ALOHA （Viper 300 Widow X 250 6DOF 操作系统）第三部分_北京智能佳科技有限公司-中国智能服务机器人领域的专业制造者

用低成本硬件学习细粒度双手操作

摘要精细的操作任务，如穿线扎带或插电池，对机器人来说是出了名的困难，因为它们需要精度、接触力的仔细协调和闭环视觉反馈。执行这些任务通常需要高端机器人、精确的传感器或仔细的校准，这可能很昂贵，也很难设置。学习能否使低成本和不精确的硬件能够执行这些精细的操作任务？我们提出了一种低成本的系统，该系统直接从真实演示中执行端到端的模仿学习，并使用自定义的遥操作界面进行收集。然而，模仿学习也带来了自身的挑战，尤其是在高精度领域：随着时间的推移，策略的误差可能会加剧，偏离训练分布。为了应对这一挑战，我们开发了一种新的算法“变形金刚行动区块”（ACT），该算法通过简单地预测区块中的行动来减少有效范围。这使我们能够学习困难的任务，例如打开半透明的调味品杯和插入电池，成功率为80-90%，只需10分钟的演示数据。

远程操作系统

[硬件教程]

[ALOHA代码库]

机械臂中国区供应商：北京智能佳科技有限公司（www.bjrobot.com）

我们介绍ALOHA：一种用于双手动远程操作的低成本开源硬件系统。它能够远程操作精确的任务，如穿拉链，动态任务，如玩乒乓球，以及丰富的接触任务，如在NIST板2中组装链条。

学习算法

[ACT+模拟代码库]

我们介绍了变形金刚的动作方块（ACT）。关键的设计选择是预测一系列动作（“动作块”），而不是像标准的行为克隆那样预测单个动作。ACT策略（图：右）被训练为条件VAE（CVAE）的解码器，即生成模型。它使用变换器编码器合成来自多个视点、联合位置和风格变量的图像，并使用变换器解码器预测一系列动作。CVAE的编码器（图：左）将动作序列和联合观测压缩为动作序列的“样式”。它也通过变压器来实现。在测试时，CVAE编码器被丢弃，并简单地设置为先前的平均值（即零）。

下面的视频展示了ACT政策的实时推出，模仿了每项任务的50个演示。ACT策略直接预测50Hz的联合位置，固定块大小为90。从长远来看，这一集的长度在600到1000之间。为了训练和测试，我们沿着15厘米的白色参考线随机选择物体的位置。对于以下四项任务，ACT分别获得96%、84%、64%和92%的成功率。

反应性