UniSteer用机械臂拼豆：让人类指导进入VLA噪声空间强化学习

（本文阅读时间：11 分钟）

视觉 - 语言 - 动作模型（Vision-Language-Action Model，VLA）正在成为机器人操作的重要基础模型。经过少量示范微调后，VLA 已经能够完成抓取、放置、堆叠等多种任务。然而，一旦任务涉及精密接触、狭小容差或分布外位置，模型的成功率仍会明显下降。

这也是为什么真机强化学习如此重要：预训练和模仿学习赋予了机器人一个不错的起点，而强化学习则让机器人能够在真实环境中继续试错，适应具体物体、视角并接触动力学。但真机试错的成本远高于仿真，每一次失败都会消耗设备、时间、实验人员精力，甚至破坏任务现场。

因此，真机强化学习面对的核心问题不是能否学习，而是如何用尽可能少的真实交互，让策略尽快学会成功？

一个自然的答案是让人类参与。模型探索错误方向时，人类可以立即接管并完成纠正。然而，对于采用流匹配（flow matching）的 VLA来说，新的矛盾随之出现。人类给出的是机器人动作，轻量强化学习优化的却是初始噪声，也就是说人类知道机械臂应该怎样移动，却无法直接告诉模型应该选择哪一个噪声。人类动作与噪声空间之间，缺少一个可靠的接口。

来自微软亚洲研究院、悉尼科技大学和清华大学的研究员们提出了 UniSteer。它通过动作到噪声的近似反演，可将人类纠正转换成噪声监督，使监督学习和强化学习能够共同更新同一个轻量噪声行为体（noise actor），而预训练 VLA 的动作解码器始终保持冻结。

为了展示这种方法在高精度任务上的潜力，研究员们让机械臂挑战了一项颇具难度的手工任务：拼豆。

机械臂需要逐颗夹取细小的聚乙烯中空颗粒，再将其准确放到带有柱状凸起的拼豆板上。力度过大，拼豆可能弹飞；姿态稍有偏差，拼豆就无法顺利套入凸起；释放时稍有碰撞，还可能推倒已经放好的颗粒。

在模型基础上，UniSteer 训练了额外的 noise actor，逐颗放置 16 颗拼豆，最终拼出了微软 Logo。整个任务的在线学习阶段人类数据预算仅为两条完整演示轨迹。

相关论文及训练代码的开源信息已整理至文末，欢迎点击了解更多技术详情。

噪声空间微调足够轻量，但探索仍然太昂贵

目前不少 VLA 使用流匹配来生成连续动作。给定视觉观测、机器人状态和语言指令，模型先采样一个高斯噪声，再通过多步去噪，将它逐渐变换为一段机器人动作。

如果直接对整个 VLA 做在线强化学习，不仅计算代价高，还需要让梯度穿过多步动作生成过程，训练容易变得不稳定。噪声空间强化学习提供了一条更轻量的路线：冻结预训练 VLA，只训练一个小型 noise actor，由它根据当前状态选择初始噪声，再交给冻结的 VLA 解码成动作。

其执行过程可以写成：

其中，是可训练的 noise actor，是冻结的 VLA 动作解码器。强化学习的评价器（critic）直接评估状态与噪声的组合。这种设计有两个直接优势。其一，只更新小型的行动体（actor）训练成本显著降低；其二，所有动作仍由预训练 VLA 解码，因此不会轻易偏离模型原有的动作先验。

但轻量并不等于高效。若初始策略成功率很低、奖励又只在任务完成时出现，noise actor 仍需要依靠自主试错寻找少量成功轨迹。如果机械臂始终以错误姿态接近物体，它就很难获得任何正奖励，更谈不上从奖励中学习。

人类纠正本应解决这一问题：看到机械臂从错误方向靠近勺子，人类可以接管并把夹爪移动到更低、更容易抓取的位置。然而，这条纠正轨迹记录的是动作，noise actor 需要学习的却是噪声。这就把问题收敛为一个关键技术问题，能否找到一个噪声，使冻结的 VLA 恰好生成接近人类纠正的动作？

动作无法直接监督 noise actor，UniSteer

选择反演整个生成过程

UniSteer 的核心思路并不复杂，既然冻结的 VLA 定义了从噪声到动作的映射，那就沿着这条路径反向寻找产生人类动作的初始噪声。

对固定状态，流匹配解码器从初始噪声出发，沿速度场演化，并在终点得到动作：

在连续时间下，如果速度场满足论文给出的连续性与 Lipschitz 条件，这个从噪声到动作的映射是双射，每个动作都存在唯一的初始噪声与之对应。真正的困难在于，实际模型采用离散的 Euler 步完成解码，而单步逆映射仍然依赖未知的输入。

定义一次前向更新为：

要从输出恢复输入，需要求解：

右侧仍然包含未知的，因此无法直接代入求解。但它天然构成一个不动点方程。UniSteer 从开始反复迭代：

当速度场关于的 Lipschitz 常数为，并满足时，这个映射是压缩映射，迭代会收敛到唯一的不动点。于是，UniSteer 可以从人类动作开始，逐步逆转每一个 Euler 去噪步骤，最终恢复对应的初始噪声。

同一个噪声接口，如何同时接住人类纠正与强化学习？

得到目标噪声之后，人类指导终于可以直接进入 noise actor 的训练。

在模型自主执行时，系统记录状态、noise actor 采样的噪声、奖励与下一状态，并将它们放入强化学习缓冲区。人类接管时，UniSteer 将纠正动作反演为目标噪声；这条数据一方面进入演示缓冲区，用均方误差直接监督 actor：

另一方面也进入强化学习缓冲区，帮助 critic 学习这些更有价值的状态 - 噪声组合。随后，actor 再根据 critic 给出的价值信号继续优化：

因此，人类纠正和强化学习不再分别修改动作模型的不同部分，而是通过同一个噪声接口更新同一个 actor。监督学习先把 actor 拉向人类指出的有希望区域，强化学习再利用任务奖励，在这些区域附近继续探索和巩固。

平均 66 分钟从 20% 到 90%，提升来自更有效的探索

研究员们在 AgileX Piper 机械臂上测试了拿起勺子、堆叠积木、插入方块和折叠毛巾四项真机任务，覆盖抓取放置、精密接触和可变形物体操作。

系统以 30 Hz 接收侧视与腕部两路 RGB 图像、6D 末端位姿和夹爪状态。四项正式基准实验均从预训练的架构出发，每项任务先使用 30 条示范进行预热，再进入在线真机微调。

图3：UniSteer 测试使用的真机实验任务

经过平均 66 分钟在线微调，UniSteer 将四项任务的平均成功率从 20% 提升到 90%。作为对比，只做噪声空间强化学习、不使用人类指导的 DSRL 达到 55%；在动作空间聚合人类示范的 DAgger 达到 60%。

为了检验模型是否只是在重复示范，研究员们还专门设置了分布外（OOD）初始位置。初始策略在三项任务的 OOD 测试中成功率均为 0%。经过 UniSteer 微调后，三项任务的 OOD 成功率全部达到 100%。相比之下，DSRL 在三项 OOD 测试中分别达到 0%、0% 和 25%，DAgger 则分别为 75%、100% 和 25%。

表1：真机实验结果

相比于 DAgger 这样经典的人工纠错类算法，UniSteer 所需要的人力投入更少。在对比实验中，DAgger 每轮固定收集 8 条纯人工轨迹；而 UniSteer 在每轮人工轨迹更少的情况下，却能取得很好的效果。此外，UniSteer 使用的纯模型轨迹也少于 DSRL 基线，这说明它的提升并非来自采得更多，而是来自更有效的探索。

这个结果的意义不只在于最终成功率更高，更在于提升来得更快。DSRL 完全依赖自主探索，初始策略越弱，越难收集到成功轨迹；DAgger 虽然能较快利用人工动作，但可能在连续的动作空间监督中覆盖此前学到的行为。UniSteer 则先借助少量纠正找到更有希望的噪声区域，再通过奖励驱动的优化保留和扩展这些能力。

固定点反演的价值，不只是能够反演

动作到噪声并非只有一种实现方式。研究员们还比较了两种替代方案。一种把噪声本身当作优化变量，通过梯度搜索能够重建人类动作的噪声；另一种不显式恢复目标噪声，而是把 actor 输出送入冻结解码器，再从动作重建误差反向传播到 actor。

实验显示，固定点反演在速度、重建精度和最终成功率之间取得了更好的平衡。在拿勺子任务的 8 条测试轨迹上，固定点反演总耗时 73.26 秒并实现 8/8 成功；基于优化的反演耗时 208.04 秒，仅实现 3/8 成功。插方块任务中，两者分别为 40.42 秒、8/8 成功和 80.96 秒、4/8 成功。

直接动作监督虽然也能取得较高成功率，却需要让梯度穿过整个多步解码链。在拿勺子和插方块任务中，其训练耗时分别达到 193.22 秒和 90.43 秒，明显高于固定点反演方案。

固定点反演真正重要的地方因此不只是找到一个噪声，而是以较低成本找到与冻结 VLA 一致的噪声监督目标。它既可以避免反复优化单个噪声，也能够避免每次 actor 更新都穿过完整动作生成过程。

结语

VLA 已经为机器人提供了强大的动作先验，但从大致会做走向稳定做好，仍然离不开真实环境中的适应。难点在于，真机交互昂贵，纯强化学习探索缓慢，而人类纠正与噪声空间优化又使用两种不同的表示。

UniSteer 给出的答案，是把人类动作反演为初始噪声，让监督学习与强化学习在同一个轻量 noise actor 上汇合。人类纠正负责指出更有希望的探索区域，强化学习负责根据真实任务奖励继续优化，冻结的 VLA 则始终提供动作先验。

从平均 66 分钟内将四项任务的成功率由 20% 提升至 90%，到仅用两条完整演示支持机械臂逐颗完成微软 Logo 拼豆，UniSteer 展示了一条颇具现实意义的路线：不必全量更新庞大的 VLA，也不必让机器人从稀疏奖励中盲目试错，而是让人类在关键时刻给出的纠正，直接成为噪声空间中可学习的方向。

随着 VLA 逐渐进入更精密、更长程和更复杂的真实任务，如何把有限的人类参与转化为高效、稳定的策略改进，将成为机器人后训练越来越重要的问题。UniSteer 为这一问题提供了一个简洁而统一的接口。

#AI 原文：http://weixin.sogou.com/weixin?type=2&query=%E5%BE%AE%E8%BD%AF%E7%A0%94%E7%A9%B6%E9%99%A2AI%E5%A4%B4%E6%9D%A1+UniSteer%E7%94%A8%E6%9C%BA%E6%A2%B0%E8%87%82%E6%8B%BC%E8%B1%86%EF%BC%9A%E8%AE%A9%E4%BA%BA%E7%B1%BB%E6%8C%87%E5%AF%BC%E8%BF%9B%E5%85%A5VLA%E5%99%AA%E5%A3%B0%E7%A9%BA%E9%97%B4%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0