导语:GPT-6 Astra 才拿了28.97分,而 WorldScape R²SI 把分拉到 46.58!
登顶 RoboDojo-Agent,Manifold AI 流形空间给「机器人自进化」技术路线立标杆
GPT-6 Astra 才拿了28.97分,而 WorldScape R²SI 把分拉到 46.58!

    作者丨幸丽娟

    编辑丨岑   峰

                                                                                                       

一把尺子,三个积木,任务是用尺子把积木对齐。
机器人做完了,但在 RoboDojo 的记分规则里,它没拿到分。
原因不在结果,在过程:这项任务给的预算是 200 个原生动作步,它用了 215.1 步。超支,在记分表上和没做成算同一件事。
然后它做了一件机器人此前无法做到的事:回看自己的失败轨迹,改。
改用张开的夹爪推动尺子;把"接近"和"调整姿态"原本分开的两步合并成一个动作;减少细小的试探动作;在旋转手腕之前先把夹爪抬高。
改完,它在同样的 8 种布局上重新考了一次。8 次全部在预算内完成,平均步数从 215.1 降到 140.4。
中间没有换模型,没有重新训练,也没有工程师替它改过一行控制代码。变的,是它“做事”的方式。
这套系统叫 WorldScape R²SI(Recursive Robot Self-Improvement,机器人递归自进化),来自 Manifold AI 流形空间。
它做的事可以概括成一句:让每一次执行,变成下一次的经验,然后“越做越强”。
这套框架,在号称 “具身智能界的珠穆朗玛峰”RoboDojo(Agent Track) 上成功登顶。宏观进度分数达到46.58 分,再度刷新 RoboDojo 榜单的分数上限。
登顶 RoboDojo-Agent,Manifold AI 流形空间给「机器人自进化」技术路线立标杆
登顶 RoboDojo-Agent,Manifold AI 流形空间给「机器人自进化」技术路线立标杆

01

46.58 分的“含金量”

在理解 46.58 分的含金量,我们先要看,RoboDojo 这张卷子的特别之处。
RoboDojo 今年 7 月才发布,由香港大学多媒体实验室(MMLab)牵头,联合清华、UC 伯克利等全球近二十所机构共建,背后是知名仿真基准RoboTwin的原班人马。
RoboDojo 仿真部分 42 个任务、真机 18 个任务,覆盖三种双臂平台,考察机器人的五个能力维度:泛化、精细操作、长程执行、记忆、开放语义理解。
简单来说,就是换了没见过的物体还认不认得、拧瓶盖插钥匙这类手上的功夫过不过关、连续干十几步还能不能记住自己在干什么、以及听得懂一句从没听过的指令。
发布那天,它给整个具身行业泼了一盆冷水。团队评测了 30 个代表性策略,仿真榜第一的平均成功率只有 8.80%,真机榜第一 12.8%。
而同一套任务交给人类专家,仿真 76.03%,真机 100%。人和机器之间,隔着 67 个百分点。而RoboDojo 也被行业公司称作 “具身智能界的珠穆朗玛峰”。
峰已在此,此后模型厂商开始“攀登竞速”。一直到三个月后的今天,Manifold AI 流形空间用 WorldScape R²SI 直接把 Agent track的分数拉到46.58 分,成功率达到39.35%。
值得一说的是,Agent 这个赛道考的不是某个策略模型的手上功夫,而是一整套 Agent 系统能不能把活从头干到尾:模型自己看场景、自己做决策、自己调用工具去操作。
登顶 RoboDojo-Agent,Manifold AI 流形空间给「机器人自进化」技术路线立标杆
对比之下,此前冲榜出圈的GPT-6 Astra,在这个赛道上仅拿了28.97分,其中精细操作成功率只有 4%,长程任务 8.25%,还有 16 项任务一次都没成功过。
而 WorldScape R²SI 在精细操作成功率上达到15.5%,翻了接近4倍;长程任务 34.25%,翻了4倍有余。
最为出彩的是它的泛化能力,达到 35.83%,把第二名及以后的模型甩下了一个身位。
这恰好是一个 Agent 系统该有的样子:手上功夫可以慢慢练,把没见过的任务听懂、记住、干完的能力,才是这次登顶真正量出来的东西。
这些突破背后,离不开两大功臣:R²SI ,以及 Manifold AI 流形空间早在三个月就开始技术布局的 ICL 能力。
登顶 RoboDojo-Agent,Manifold AI 流形空间给「机器人自进化」技术路线立标杆

02

R²SI :让机器人“执行经验中持续改进”

R²SI 是WorldScape R²SI 登顶背后的核心框架。它没有给机器人换一个大脑,而是加了一层“执行—复盘—再验证-自进化”的闭环。
登顶 RoboDojo-Agent,Manifold AI 流形空间给「机器人自进化」技术路线立标杆
WorldScape R²SI 框架
这个闭环由内外两层 Agent 构成:
内层是 Robot Reactive Agent,负责理解当前任务、组织记忆和技能、调用动作模型与工具,也就是真正在干活的那层。
具体的“干活”步骤是:以多视角 RGB 图像、机器人本体状态、任务描述和回合记忆作为上下文做决策,按任务加载相应的 Skill 干活。
其中,调用反应式模型(WSP,即 WorldScape Policy)也是 Skill 的一种——加载后,Robot Agent 依据观测调用 WSP,WSP 执行一个动作块就把控制权交回来,Robot Agent 再根据新的观测决定下一步,如此往复。
外层 Recursion Reflective Agent 则负责跨轮次“复盘”执行记录,修订 Skill,并以 Harness 更新的形式作用于内层。
对于使用 WSP 的任务,外层还将执行记录组织为训练数据,训练并更新该模型。各类更新均须通过测试,方可自动发布并纳入版本管理。
以下通过两个案例,分别来看内、外层的工作机制:

▎案例一:push_T,外层改进 Skill

在 RoboDojo 的 push_T 任务中,机械臂需将 T 形物体沿桌面推入目标区域,使位置、朝向与接触状态同时满足要求,预算是 600 个原生动作步。该过程中完全不使用 WSP。
首轮执行中,Robot Agent 的夹持方向和物体形状不匹配,平移时还同步转向,物体一路偏移;对齐之后一次性松开夹爪,又把位姿晃偏了。723 步,超支 123 步,按未完成计。
外层 Recursion Agent “复盘”出来的问题很具体:夹持方式不对、平移和转向耦合、释放时机太急。
随后据此修订 Skill:调整夹持方向;将平移与转向解耦,先平移、后分段转向;分阶段释放夹爪,并逐段检查物体是否偏移。
修订版本通过测试后,自动发布至内层 Robot Agent。
更新后的 Skill 首次在预算内取得原生满分,耗用 596 步。而经后续迭代,同一布局下的原生动作步数进一步降至 389,降幅约 35%。
持续优化的结果,恰恰说明这种外层“复盘”的价值,不仅仅在于一次改对,更在于这种“越改越强”的持续进化能力。
当Skill 冻结,外层停手,Robot Agent 在三种从没见过的随机布局上自主执行——222、312、256 步,全部满分,全部在预算内。
这也意味着,外层改出来的不是针对某个布局的答案,而是一套可迁移的方法。
而整个改进过程,以 Skill 的形式沉淀、呈现,人读得懂、审得了。它不是黑盒里一次看不见的参数漂移,而是一次可以检查、可以回滚的版本更新。机器人第一次有了"改作业"的能力,而且改的每一笔都有据可查。

▎案例二:装箱,内层调用 ,外层“复盘”再训练模型

当任务切换至装箱时,Robot Agent 不仅仅需要外层skill 改进,还需要内层“练功夫”,外层“复盘”后继续对模型进行“功夫训练”。
具体的分工是:Robot Agent 依据观测调用反应式模型 WSP,WSP 执行一个动作块就交还控制权,Robot Agent 再根据新观测决定下一步,如此往复;
外层 Recursion Agent 随后将执行记录组织为训练数据并训练 WSP,更新后的模型继续供内层调用。同一个模型,既在干活,也在外层 Agent 的训练下持续改进。
这种外层、内层两条路径结合起来的思路,让 R²SI 的改进成为一个完整的闭环:外层复盘把经验固化为可审查的 Skill 版本,内层调用把执行记录反哺为 WSP 的训练数据——经验既能“写成规则”,也能“练成功夫”。
机器人在每一次执行、复盘、再验证中持续变强,而不是靠一次换脑或一次调参。
登顶 RoboDojo-Agent,Manifold AI 流形空间给「机器人自进化」技术路线立标杆

03

R²SI 之外,ICL 的能力边界

R²SI 不是一次孤立的能力布局,ICL 能力同样是WorldScape R²SI 登顶 RoboDojo 背后的技术支撑。
早在三个月前,Manifold AI 就已经发布了具备上下文学习能力的 WorldScape Policy 2.0。
登顶 RoboDojo-Agent,Manifold AI 流形空间给「机器人自进化」技术路线立标杆
原文:https://www.leiphone.com/category/academic/mBylajBYT9nLsBr4.html