
作者丨邓哲敏
编辑丨齐铖湧
2026 年 11 月 12 日,CoRL 2026 “Learn@Deploy”(机器人部署中学习)半日研讨会上,清华大学交叉信息研究院助理教授徐梦迪以 Keynote 讲者身份做开场报告。
徐梦迪从清华车辆工程专业毕业后,前往卡内基梅隆大学机械工程系读博,师从 Safe AI Lab 负责人赵鼎,论文《构建可适应的通用机器人》拿下该系最佳博士论文奖。她在论文中指出,构建通用机器人不能只靠堆参数、堆数据、指望预训练自然泛化,必须补上适应的能力,让机器人到现场后靠少量新信息快速调整策略。
博士毕业后,徐梦迪来到斯坦福视觉与学习实验室,跟随吴佳俊、李飞飞做博士后。期间,她做了 ROSETTA,用大模型把人类五花八门的口语偏好转成机器能学的奖励信号,让机器人学会训练时没见过的新指令。
2025年,徐梦迪加入清华叉院,组建自己的实验室,方向进一步聚焦到“部署时学习”。2026 年初,团队发布 CoVer-VLA,让机器人在行动前先多生成几组候选动作,再用验证器挑出最贴合指令的那一组,以此对齐指令。而 Dex-X 从人类视频学习灵巧操作,靠仿真补上视频里缺失的触觉监督,入选 CoRL 2026。
在这场报告中,徐梦迪对近两年的工作做了集中提炼,并向学界分享了她对未来技术发展的判断。以下为雷峰网从现场带回的演讲实录精编。
▎报告人:徐梦迪 清华大学交叉信息研究院助理教授
报告题目:Building Adaptable Generalist Robots for Human-Centered Environments

01
为什么要在部署中学习
今天我想讨论的是,如何构建可适应的通用机器人,尤其是有人类在场景中的机器人。这类场景的独特挑战在于,机器人要在开放世界中完成导航和操作任务,比如清理午餐后的桌面;还要与人交互,从遵循指令、偏好、手势,到物理辅助,比如扶人站立或行走。
我有一些观察,希望能激发大家思考为什么在以人为本的场景中部署时学习非常重要。

第一,人类很容易要求机器人完成超出其技能范围的任务。最简单的办法是让人做一次,机器人直接学习人的行为或偏好。比如倒水,机器人起初不会,或者遇到一个没见过的新水杯,人可以演示一次,让机器人了解物体性质并完成任务。
第二,开放世界环境很多情况下是可观测的。比如低成本机械臂要拿一个装了很多水的水壶,第一次尝试后,它知道水壶超出了负载,第二次就可以吸取经验,改用双臂抬杯再倒水。
第三,人类偏好差异很大。倒水时,不同人想要的水量不一样,哪怕是同一个人,一天当中不同时间想要的水量也可能不同。机器人需要与人进行流式交互,比如让人按绿色按钮直接控制水量。
这些观察都引导我们得出一个结论:机器人必须在部署时获取新信息来适应其策略。
但机器人学习仍然是机器学习问题,必须有监督。我们在部署时能获得哪些监督信号呢?我认为有三种是最重要的:智能体系统、人类反馈、仿真。

第一个是智能体系统,由语言模型、视觉语言模型或独立验证器组成,帮助机器人判断行为的好坏,并提供这些好和坏的信号,让机器人在不同尝试中适应策略。
另一个自然的监督资源,是让人类直接与机器人交互。但人的指令类型多样,包括语言、手势、演示及联合模态。
最后就是仿真,既可作为评估平台,也可用于训练,广义上包括物理模拟器、机器人模拟器和世界模型,通过预测不同动作的结果来帮助机器人选择更好的动作。
接下来我将分享我们近期的三篇论文,每篇都结合了不同的资源。

02
规模验证比规模策略学习更有效
首先,让我们谈谈为什么规模验证很重要。我们的结论是,规模验证可以比规模策略学习更有效地实现视觉语言动作对齐。
做这项工作是因为我们观察到,即使是最先进的视觉语言动作模型,指令遵循能力仍然有限。已有做法一是通过改写指令增强训练数据,但这不可能覆盖部署时所有人类指令;二是用更大的视觉语言模型骨干,但学习动作生成会导致严重遗忘。

那么,能否假设已有预训练视觉语言模型,只做轻量修改,通过测试时推理和验证来提升策略?
我们提出训练一个独立验证器,用对比学习训练,并与视觉语言动作模型组合成对比验证框架。离线训练时生成困难正例和负例;部署时验证器在两个层面工作,先验证当前任务的好指令,再验证给定指令下的好动作。

论文链接:https://arxiv.org/abs/2602.12281
流程是:给定用户提示和当前场景图像,先用视觉语言模型生成多样化改写指令,再对每个改写指令多次调用视觉语言动作模型得到候选动作块,然后在指令层面和动作层面分别打分,选择最优动作部署。
验证器纯离线训练,部署时只需多次并行查询,延迟很小。例如,做批量 32 时只增加约 8 毫秒,约占整体延迟 1%。
实验还比较了不同采样机制:只加高斯噪声、重复查询原模型、只做指令采样、指令与动作混合采样。结果表明混合采样显著提高动作多样性,从而更可能采样到最佳动作块,减少动作错误。混合采样的意义正在于用不同语言指令提高动作多样性。
我们还比较了“把额外数据直接用于微调 Pi 0”和“用少量数据训练验证器并在部署时验证生成样本”。后者性能提升快约 7 倍。分布内提升约 20%,分布外约 10%。该框架也较通用,可插入不同类型的视觉语言动作模型,并在每个动作块开始时反复验证和选择。


03
如何适应多样化人类指令
第二篇工作更贴近人本环境,目标是让机器人策略更适应不同人类指令。这项工作约两年前完成,当时用强化学习学习新技能,填补预训练技能集与人类所需技能集之间的差距。

论文链接:https://openreview.net/forum?id=Ig6goVdtjb
我们做了个大型调查,让机器人与 20 个不同的人交互,那些人对机器人没什么了解。我们发现人类的指令确实非常多样化,而且人会切换角色,有时会把自己代入为机器人,有时又像是机器人的监督者。
要让机器人适应这些偏好,在当时很难。我们的做法是,用智能体系统(比如视觉语言模型)把人类偏好转化为学习奖励信号,再用这些奖励训练强化学习智能体。
通过实验,我们注意到最关键的组件是消除人类指令的歧义。最近我用 Codex 处理类似任务时也看到,即使指令很模糊,它也会先做 grounding,把指令与当前机器人 rollout 和当前场景关联起来。当时我们试图让 grounding 机制更明确,而现在,最先进的语言模型已经具备这种机制。

04
从人类演示中学习
第三篇工作讨论如何从人类演示中学习。假设机器人跟场景里的人交互,让机器人学新技能最简单的办法,就是让人演示一遍任务,机器人从演示里学有用的行为信号。

论文链接:https://arxiv.org/abs/2609.07747
难点在于,人类视频虽然有丰富的行为和偏好信息,但存在形态差距和模态差距。比如触觉信息对人类很重要,没有触觉可能完不成任务,但机器人从人类视频中很难直接获得接触信息。
我们的办法是用仿真器作为桥梁填补接触信息,使机器人在部署推理时能利用触觉信息。流程很简单,就是一个教师—学生架构,而且教师和学生都在仿真里训练。结果再次证明触觉信息很重要:没有触觉,成功率至少要降 10%,尤其在灵巧操作场景里,触觉特别关键。

05
核心理念
通过过去的这些工作,我形成了一些理念,我认为如果想研究部署时学习,下面这几点非常重要:
第一,机器人应该像人一样学习,既从智能体系统学习,也先人类学习。人机交互不只是目标,也是让机器人更有能力、更通用的解决方案。
第二,上下文学习很重要。机器人需要高频与人交互,并且高频适应策略。最轻量的方式是上下文学习,不更新模型参数;部署时也可能需要用新收集的交互数据更新参数。
第三,机器人系统应作为整体系统进化。System 1 可能需要新的机器人模型来实现更好的无意识学习,但整体上机器人系统可能是至少两层结构的复杂系统,并带有驾驭机制来利用不同语言模型的信息。
第四,仿真很重要,它提供了探索场景的替代方式,也能节省探索和奖励成本。
国际机器人顶会 CoRL 2026 即将召开,欢迎参会的研究者、学生,以及关注 AI 前沿进展的读者加入我们雷峰网的交流群。
在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。
大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。
会场见,也在群里见。
? 进群传送门: 扫码进群或添加微信Source:https://www.leiphone.com/category/private/S1vnQSfDZDVC7TWb.html






