openai机器人亮相，大模型有了“肉身”，英伟达微软都有投资|人工智能|财务会计|财务报表|机器人公司|人形机器人|openai-欧洲杯足彩官网

文｜尚恩

编辑｜邓咏仪

封面来源｜figure

“大模型”终于有实体了。

美国时间3月13日，由openai投资的机器人公司figure发布了一段视频demo，视频里的机器人，不仅可以与人进行对话交互，理解人类的意图，而且还拥有记忆力。

当工作人员询问机器人能看见什么，figure 01就清晰描述出桌子上的物品，包括苹果、放有杯碟的沥水架，连站在面前的工作人员也没放过，并强调了工作人员搭在桌上的右手。

而当工作人员说了一句“我饿了”，figure 01立即就递过去苹果。甚至可以一边清理工作人员刚扔在桌面上的纸团垃圾，一边解释为啥刚才给了苹果。

△figure 01，图源：figure

借助大模型，figure 01可以清晰地理解桌面上唯一的食物是“苹果”。

然后工作人员直接扔出一个终极问题，问到：

“can you put them there?” （你能把它们放在那儿吗）

这里的它们（them）和那里（there）对于机器人其实是一个很模糊的概念，但figure 01的反应堪称让人震惊，在思索片刻后，figure 01马上就把杯子和盘子放置在了碗碟架上。

△figure 01，图源：figure

看到这里的网友彻底不淡定了，直呼太疯狂，并表示：“agi即将降临”。

图源：x

图源：x

不过在诸多网友震惊之余，也有一部分网友已经迫不及待地给figure 01安排任务：

帮我打扫屋子，给我遛遛狗去，再看看终结者2学习学习。

图源：x

搭载openai视觉语言能力，自主学习还能决策

可以看到，figure 01不管是在理解能力，还是推理反应都非常强大。团队特别强调，所有这些行为都没有经过远程操作，而是通过机器人自主学习。并且整段视频没有任何加速，也没有任何剪辑，全部一镜到底拍摄。

根据figure团队负责人corey lynch的介绍，基于openai的大模型，通过端到端神经网络训练，figure 01能够完成快速、简单、灵巧的动作。

具体来看，团队将机器人摄像头拍摄到的图像和机载麦克风捕捉的语音，转录为文本输入到由openai预训练的多模态大模型中，模型能够理解图像和文本。模型会处理整个对话的历史记录，包括以往的图像，以生成语言响应，再通过文本到语音的方式向人类回话。

△figure 01训练方法，图源：figure

还能具备规划动作、有短期记忆能力、用语言解释它的推理过程。比如前文中让figure 01把杯子和盘子放到指定位置，就体现了其短期记忆能力。

根据介绍，机器人所有行为都由神经网络的视觉-运动转换器策略驱动，这种策略能直接将图像像素映射到动作。摄像头会以每秒10帧的速率接收机器人内置图像，然后神经网络再以每秒200次的24自由度动作，包括腕部姿势和手指关节角度。

上述的“自由度”，是指机器人在三维空间中可以自由移动或旋转的方向或维度数量。24自由度，也就是说figure能以24种不同的方式移动其身体各个部分。

△创始人brett adcock解释机器人行为原理，图源：x

简单而言，预训练模型会首先对图像和文本进行常识推理，给出动作计划；接着，机器人再基于已学习的视觉-动作执行策略，做出快速反应行动。同时，全身控制器负责确保动作的安全性和稳定性，保持机器人的平衡。

△figure融资6.75亿美元，图源：x

值得注意的是，距离从openai宣布与figure共同合作推进人形机器人领域，到这个视频的发布，其实只用了短短十三天。

成立两年估值26亿美元，微软英伟达参投

figure是最近硅谷备受关注的新星。公开资料显示，机器人公司figure成立于2022年，公司成立之初就瞄准通用人形机器人领域。

创始人brett adcock是位连续创业者，据公开资料显示已创办过7家公司；首席技术官jerry pratt是mit研究员，一直在机器人领域工作；ai团队负责人corey lynch则是前google deepmind的研究员。

△figure团队成员，图源：figure

截止目前，公司共获得三次融资，分别在2023年4月获得aliya capital partners等10家投资者的7000万美元a轮融资，当年7月再次获得big sky partners和intel capital的900万美元融资。

两周前，figure则宣布完成了6.75亿美元的b轮大额融资，投资人包括亚马逊创始人贝索斯，以及微软、英伟达、openai等等。当前，公司估值已飙升至26亿美元。

图源：x

而获得融资后的figure，“进化”速度也是出奇的快。今年1月，figure 01通过端到端神经网络，仅用10小时训练就掌握了制作咖啡的技能，引得众多网友感叹。

而一个月后，figure 01已学会搬运箱子并运送至传送带的新技能。

在商业化层面，figure与宝马制造公司签订了商业协议，将ai和机器人技术融入汽车生产线，并落户于宝马的工厂。

△figure与bmw达成合作，图源：x

更重要的是，openai同时公开了与figure更进一步合作的计划，将多模态大模型的能力扩展到机器人的感知、推理和交互上，开发能够取代人类进行体力劳动的人形机器人。

△figure与openai合作，图源：x

其实，openai之前也曾想自己搞机器人，但后来在2021年宣布无限期终止对机器人领域的探索，原因是缺乏训练机器人使用人工智能移动和推理所需的数据，研发受阻。

但显然，openai对这个领域的关注仍在继续。除了砸钱并与figure合作，在2023年3月openai还投资了来自挪威的机器人制造商1x technologies。

△1x technologies机器人，图源：欧洲杯足彩官网

此前，英伟达创始人黄仁勋曾表示：“具身智能将引领下一波人工智能浪潮”。英伟达内部在今年2月就由英伟达高级研究科学家jim fan携手组建了一支研究小组，名为gear（generalist embodied agent research），专注于通用具身智能研究。

△英伟达成立gear部门，图源：x

现在有了大模型的通用能力，人形机器人的gpt-4时刻或许也将到来，拭目以待。

图源：智能涌现