开源版openai机器人2.5万打造！斯坦福李飞飞团队祭出「灵巧手」，泡茶剪纸炫技|动作|动捕|科学家|openai-欧洲杯足彩官网

新智元报道

编辑：编辑部

【新智元导读】「openai机器人」一出世惊艳众人！最近，李飞飞团队打造了一个开源便携式手部动捕系统——dexcap，成本仅3600美元，就能让机械灵巧手完成花样任务。

openai大模型加持的机器人figure 01，昨天火爆了全网。

而今天，真正「开源版」的擎天柱/figure 01诞生了，而且背后团队还将成本打了下来。

成本只要3605.59美元！

它拥有一双灵巧手，就比如泡茶，先是拧开瓶盖，再拿茶镊将茶叶挑进杯中，并放回原位。

快看，它能一手拿着剪刀，一手拿着便利签纸，执行人类剪纸这一动作。（不过剪断的这个过程好难）

它还可以将胶带纸，放到收纳的纸盒中，一手拿胶带摆放，一手将盒子推近。

而且不管这个物体是什么，它都能照样完成。

与前段时间爆火的炒虾机器人不同的是，「灵巧手」并非通过远程操控完成任务。

是因为，凭借一副特制的手套，它可以通过各种传感器捕捉到手部精确的运动数据。

这正是由chen wang、李飞飞和karen liu等人提出的「便携式手部动作捕捉系统」——dexcap。

论文地址：https://arxiv.org/abs/2403.07788

dexcap是一套基于slam、电磁场，以及对环境的3d观察，便能实时追踪手腕和手指运动的系统。

与传统基于视觉动捕技术不同，它不会因为视线遮挡，而无法收集数据。

与此同时，他们还设计了全新的模仿算法dexil，才用了逆运动学和基于点云的模仿学习。

当手部动作数据收集完成，dexcap就会利用背包中的迷你pc，通过rgb-d相机重建3d场景。

然后将运动数据与之对齐，这样，就可以得到非常精确的手部动作模型，可用于进一步的机器人训练。

值得一提的是，在对具体6项操作任务评估中，dexcap展现出卓越的完成能力。

而且，它还可以从野外动捕数据中有效学习，为未来灵巧操作的数据收集方法提供了方法。

jim fan认为dexcap是「低配版的optimus」，关键只要3600美元，一般人也能买得起。

另外，他还特意强调，数据收集和机器人的执行是分离的。

还有网友称，「dexcap绝对震撼，我们正在进入个人机器人与个人ai的下一阶段」。

全新手部动捕系统dexcap，不怕遮挡

dexcap系统核心设计，就在于前向后向设备的组合。

具体来说，正面设计的胸部相机架上，配备了一个rgb-d激光雷达摄像头和三个slam追踪摄像头。

背面的背包中，有一个迷你pc，以及电源为系统供电。大约可进行40分钟的数据收集。

此外，还需要一个动捕手套，以便进行手部动作的捕捉。

追踪摄像头最初放置在胸前机架上，进行校准。

然后在具体数据收集过程中，将摄像头从校准架上取下，安装到特制的手部支架上。

这样，系统就可以持续追踪手部的位置。

可以看到，网球被放进框里，再倒出来，整个动作都清晰可见。

机器人更多的训练数据，这不就来了么。

数据可视化：点云观测中的3d手部运捕数据

再来看数据采集吞吐量，dexcap可以实现与人类自然运动同水平的效果，而且是远程操作的3倍。

再看如下用固定的手势握住杯子手柄的动作。

vr头显使用了基于视觉的手部追踪方法，却因严重遮挡而无法准确追踪手部动作。

显然，dexcap无障碍收集了手与物体交互的数据。

从人类行为模仿学习

研究人员的目标是利用dc记录的人手动作捕捉数据，来训练灵巧机器人策略，这个过程中会面临3个问题：

（1）如何将人手的运动重新定位到机器人手？ （2）什么算法可以学习灵巧的策略，而且要适应双手动作的高维空间？ （3）研究直接从人类动捕数据中学习的失败案例以及潜在的星空体育网站入口官网手机版的解决方案。

为了应对这些挑战，研究人员引入了dexil，一个使用人手动作捕捉数据训练灵巧机器人的三步框架。

第一步，将dexcap数据重新定位到机器人实施例的动作和观察空间。

第二步，使用重新定位的数据训练基于点云的扩散策略。

最后一步，可以采用人机交互来进行校正，旨在解决策略执行期间出现的意外行为。

动作重定向：

leap手比人手大了约50%，这种尺寸差异使得很难将手指运动直接转移到机器人硬件上。

为了解决这个问题，研究人员使用指尖逆向运动学（ik）来计算16维关节位置，并使用动捕手套跟踪人体手指的运动，手套根据电磁场（emf）测量手指相对于手掌的3d位置。

视觉差距：

观察和状态表示选择对于训练机器人策略至关重要。为了进一步弥合人手和机器人手之间的视觉差距，研究人员使用正向运动学生成机器人手的点云网格，并将其添加到点云观察中。

使用相机参数将dcdata中lidar相机捕获的rgb-d图像转换为点云。这种额外的转换提供了两个显著的好处。

首先，由于dexcap允许人体躯干在数据采集过程中自然移动，因此直接使用rgb-d输入需要考虑移动的相机帧。

而通过将点云观测转换为一致的世界坐标系，可以隔离并消除躯干运动，从而实现稳定的机器人观察。

其次，点云提供了与机器人操作空间对齐的灵活性。由于在野外捕获的一些运动可能超出了机器人的运动范围，所以需要调整点云观测和运动轨迹的位置来确保操作范围的可行性。

观察重定向：

为了简化在人和机器人之间切换相机系统的过程，相机机架的背面集成了一个快速释放带扣，可以在不到20秒的时间内快速更换相机。

通过这种方式，保证机器人可以使用人类收集数据时的同一台相机。

通过上述设计，dexil可以直接从dcdata学习复杂的灵巧操作技能（比如拾取、放置、双手协调等），而无需机器人数据。

30分钟人类数据，机器人「学废了」

根据上面的分析，首先通过rgb-d观测构建3d点云，并转换到机器人的操作空间，将dexcap数据重定位到机器人实例中。

同时，手部动作捕捉数据也要重定位到带有指尖ik的机械臂。

基于这些数据，学习扩散策略，将点云作为输入，并输出一系列未来目标位置作为机器人动作。

上图展示了dc以3d形式捕捉详细手部运动的能力，将人类动作与所有视图中的对象点云对齐。

黄色列表示重定位后的机器人手部动作，我们可以看到它们与蓝色列在同一3d空间中精确对齐。

上图中，将dc与最先进的基于视觉的手部姿态估计方法hamer进行了比较，从相似的角度观察它们的性能。

hamer在严重遮挡的情况下表现不佳，要么无法检测到手，要么无法准确估计指尖位置。相比之下，dc在这些条件下表现出良好的鲁棒性。

结果演示：

下图的捡球任务，只使用30分钟的人类动作捕捉数据来学习策略，无需任何远程操作。

双手操作任务：

先收集双手的人体动捕数据，然后进行完全自主的策略部署。

用dexcap进行rlhf

dexcap系统在执行任务时提供了两种便捷的人在回路纠正，让用户能够根据需要灵活调整机器人的动作：

1. 残差纠正模式：

系统会实时捕捉用户手腕的微小位移变化，并将这些变化作为额外的动作指令加入到机器人的动作中，从而实现精细控制。这种模式可以实现最小的运动，但需要用户进行更精确地控制。

2. 遥控操作模式：

通过逆向运动学算法，用户的手部动作会被转化为机器人末端执行器的相应动作，适用于需要全面控制机器人的场景，但相对而言需要用户付出更多的努力。用户可以通过简单地踩下脚踏板来在这两种模式之间自由切换。

最后，这些纠正动作会被记录并保存在一个新的数据集中，并与原始训练数据一起进行均匀采样，从而更好地调整机器人的行为策略。

微调后：泡茶

通过分析1小时人类动捕数据并进行30次人在回路纠正后学到的策略：

微调后：使用剪刀

通过分析1小时人类动捕数据并进行30次人在回路纠正后学到的策略：

硬件教程

地址：https://docs.google.com/document/d/1an xsa_pctkqff3xqakyktgbgdwebrfk7b1onje54ltw/edit#heading=h.t3oe3oo3ujny

cad 模型清单 打印项目包括：

- 中心相机架和连接板

- 两个手套相机支架（分别为左手和右手设计的镜像版本）

- 两个t265相机的后装板（同样需要左右镜像）

相关的stl文件如下：

地址：https://drive.google.com/drive/folders/1pfuismjtju68g6hkjkkijaobtrbkkbyx?usp= sharing

为了确保打印出的零件能够顺畅运作，建议将滑槽部分的打印角度保持在与z轴的倾斜角度在45度以内。

作者介绍

chen wang

论文一作chen wang是斯坦福大学cs的一名博士生，导师是李飞飞教授和c. karen liu。

在加入斯坦福大学之前，他曾在machine vision and intelligence group工作，导师是cewu lu教授。

参考资料：

https://dex-cap.github.io/