导语:剖析视觉与动作脱节,引入 TR 指标与自适应引导,重构具身泛化机制。  
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
剖析视觉与动作脱节,引入 TR 指标与自适应引导,重构具身泛化机制。  

    作者丨张璐

    编辑丨岑峰

                                                                                                       

在机械臂的实机测试中,不少团队都遇到过类似的困扰:为了让机器人学会抓取某个马克杯,往往需要人类抓着机械臂录入上百条示范轨迹。然而只要把杯子换成未见过的款式,或者稍微改变物体的摆放位置,策略的成功率就会急剧下降。
这种靠海量遥操作数据硬堆技能的方式,很难让机器人真正具备应对新环境的泛化能力。更棘手的是,即便当前的视频预测模型已经能准确画出合理的未来画面,但一旦接入动作模块驱动实机,机械臂依然频频出错。
在 IROS 2026 大会上,来自 UPenn、MIT 与 Stanford 联合团队的茅佳源分享了他们的思考。
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
她不仅介绍了只需一次人类演示就能泛化执行多种非抓取任务的 RAPID 闭环框架,还首次提出了诊断“视觉会了、手却做不对”这一机制脱节的 TR 指标。
借由基于 TR 的自适应引导机制,团队最终将双臂机器人在复杂组合任务上的真机泛化成功率提升到了 83%。
以下是茅佳源的演讲分享,AI科技评论在不改变原意的情况下,进行了编辑和整理:
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026

01


百条轨迹换一项技能,

纯数据拟合为何难做物理泛化?

过去几年,构建通用物理智能的主流思路是“数据拟合”,试图通过端到端学习,实现从视觉观察到控制动作的直接映射。
这一路径虽推动了大量研究,但在面对真实复杂的物理交互时,瓶颈迅速显现。
以 Actor Labs 的挖掘机实验为例,其团队将 Physical Intelligence 的 π0.5部署至挖掘机,结合工业操作员的大规模真实数据训练策略。
尽管展示中仅用200 条轨迹成功完成了一项任务,但这恰恰暴露出纯数据驱动路线的缺点:数据效率极低,且多任务能力受限。
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
如果掌握每一项单一技能都需要百小时级或数百条轨迹的数据积累,这种依靠堆叠数据推动的范式,其规模化扩展的可行性显然存疑。
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
相比之下,人类仅凭单次演示就能理解动作背后的物理逻辑,并轻松迁移至不同尺寸、材质的物体甚至全新任务中。
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
当端到端模型在分布外(OOD)场景中频频失灵,研究者们不得不重新审视:在盲目堆砌数据量之外,是否存在更根本的智能构建路径?
这便引出了第二条路线:将智能视为世界建模与规划(Intelligence as World Modeling and Planning)。其核心在于将机器学习与物理规划相结合,使智能体通过小样本理解物理规律,进而实现真正的分布外泛化。
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026

02


告别像素级预测,

用“神经+符号”构建可推理的世界模型

要实现基于规划的智能,首先需构建“世界模型”,即让智能体在内部建立物理世界表征,并基于该表征演推后续动作。
然而,物理环境极其复杂,若直接在像素级预测未来状态与细节,计算代价会非常高,难以支持长序列动作的实时规划。
破解这一难题的关键在于引入组合式抽象表示。智能体无需记忆所有像素细节,而是提炼形状、姿态、材质等抽象属性,并用状态转移图显式建立“动作-状态”演变机制。
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
图:神经符号概念将物体抽象为形状、姿态、材质等属性,并用状态转移图描述动作导致的 state 演变。图中 s0→s1 表示 push(glass),s1→s3 表示 flip(cap)。
这就是神经符号概念的核心:
  • “神经”层:利用神经网络进行视觉感知,提取物体的几何与物理属性;
  • “符号”层:利用符号逻辑对这些属性进行组合,并定义动作与状态之间的转移规则。
两者结合,智能体摆脱端到端黑盒映射,转而学习物理世界运行规律的结构化模型。
有了这种抽象表示,机器人即可在执行前内部推演(如推动杯子或翻转瓶盖后的状态演变),自主规划动作序列。这正是“从单次演示中学习并强泛化”的基础。
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026

03


破解策略网络不可拼接困局:

将动作生成转化为“约束求解”

具备可组合的世界模型后,下一个问题是:如何将高层逻辑规划转化为物理世界中可执行的具体动作?
传统强化学习与端到端范式中,策略网络(π)普遍无法直接拼接。例如分别训练抓取(π1)、移动(π2)、放置(π3)三个网络,因观测空间、动作空间及中间状态难以对齐,极难直接串联完成长序列任务。
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
针对策略不可组合的困境,替代方案并非训练更大的端到端网络,而是将动作生成重新定义为约束优化问题。
在此框架下,智能体需在给定初始状态 s0 下,求解使动作代价(如轨迹长度)最小化的轨迹,同时满足两类关键约束:
  • 路径约束:包含动力学约束 dynamics(轨迹必须符合物理定律)与无碰撞约束 collision-free(机器人与环境无干涉);
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
图:约束优化生成动作。路径约束包括关节限制与无碰撞;子目标约束包括抓取目标与放置目标。
  • 子目标约束:包含阶段性接触目标 holding-target(如稳妥抓取物体)与最终任务目标 target-on-rack(如将物体精准放置至指定架子)。
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
图 :约束优化组合动作。目标是最小化轨迹长度 |t1|+|t2|,同时满足 dynamics、collision-free、holding-target、target-on-rack 等约束。
这种设计将学习显式解耦为约束集与约束值两个层面。机器人无需从零学习物理法则(交由已知物理模型与优化求解器处理),神经网络只需聚焦与任务相关的关键约束。
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
这种解耦大幅减轻数据负担,使模型能以极低数据量捕捉关键约束,实现跨物体与跨场景的精准求解。
以团队 MAGIC 项目中的“物品悬挂”任务为例,这类操作需要同时兼顾抓取、悬挂姿态与运动轨迹三重联合约束。
面对这一挑战,传统模型规划因搜索空间过大,单次求解动辄超过 5 分钟;而基于无监督特征学习与策略学习的代表性方法,哪怕在 10 万个合成水杯数据上训练,单次演示泛化成功率也仅有 42%。”
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026
相比之下,该框架通过视觉对应关系引导约束优化,仅凭单次演示就将成功率大幅提升到了 93%。
宾大茅佳源:从单次演示到 83% 真机泛化,破解具身智能数据困局|IROS 2026原文:https://www.leiphone.com/category/private/x6DMLw9up0rlycKH.html