导语:JEPA 路线先下一城:视启未来 Track 1 第一,晨昏线 Track 2 第二。
JEPA 路线先下一城:视启未来 Track 1 第一,晨昏线 Track 2 第二。 作者丨张岂萍 幸丽娟
编辑丨幸丽娟
世界模型的竞争,正在从“生成未来”,走向“能不能被机器人真正用起来”。视频可以生成得越来越逼真,但进入机器人系统后,世界模型还要回答更具体的问题:它能否预测动作执行后的状态变化,能否支持策略训练,最终能否在真实机器人上完成任务。WorldArena 把世界模型拉进了同一个“考场”。这套评测体系由清华大学团队联合多所海内外高校推出,是世界模型领域最权威的评测榜单之一。WorldArena 1.0 已经将世界模型评测从单纯的视频生成,初步延伸到数据生成、策略评估和动作规划等具身任务。但整体仍主要集中在视觉输入、离线任务和仿真环境。真实机器人执行、在线强化学习闭环、视触觉多模态感知,以及真实部署中的噪声、延迟和误差累积,还缺少系统性的评测。针对这些缺口,WorldArena 2.0 进一步升级了评测体系。模态从纯视觉扩展到视触觉,功能从离线任务扩展到在线强化学习,平台从仿真环境延伸到真实机器人。IROS 作为机器人领域最具影响力的国际顶级会议之一,WorldArena 2.0 Challenge 在这场盛会上搭起了真机闭环的竞技场,三条赛道分别指向视频质量、在线强化学习环境和真实机器人操作。几大世界模型流派争鸣这么久,不同技术路线下的模型,也终于在这个竞技场上真刀真枪地一较高下。明确走 JEPA 路线的视启未来拿下 Track 1 冠军,空间智能路线的同济大学 BWM-Turbo 模型则以 0.84 分之差位列第二;另有同属 JEPA 路线的晨昏线科技,在 Track 2 总分第二。此外,一个值得注意的细节是:三条赛道的前两名,学院派与产业派都各占一席。世界模型赛道的竞争,已经迎来学术与工程能力的正面对撞。围绕赛事定位、多机构协作、赛道设置与榜单结果,AI 科技评论还采访到了 WorldArena 2.0 Challenge 主办方清华团队。他们的回答,也进一步说明了这套评测在走向在线交互和真机执行时,如何设计、如何协作,又有哪些边界。01
WorldArena 2.0,新一轮“大考”难在哪
WorldArena 2.0 把世界模型评测进一步推进到了在线交互和真实机器人。WorldArena 1.0 主要检查两类能力:一类是世界模型生成的未来视频质量,15 项指标覆盖视觉质量(Visual Quality)、运动质量(Motion Quality)、内容一致性(Content Consistency)、物理遵循性(Physics Adherence)、3D 准确性(3D Accuracy)和可控性(Controllability);另一类看这些预测对机器人有没有实际用处,包括数据生成、策略评估和动作规划。对 14 个代表性模型的评测显示,视频质量和具身任务表现并不总能对应。画面生成得更加清晰、流畅,并不意味着模型在数据生成、策略评估和动作规划中一定表现更好。WorldArena 1.0 的覆盖范围也相对有限:模态上只处理视觉信息,功能上以数据生成、策略评估和动作规划等离线任务为主,平台上也主要停留在仿真环境。触觉反馈、在线交互以及真实机器人中的执行表现,没有进入这套评测。WorldArena 2.0 的升级,则沿着模态(Modality)、功能(Functionality)和平台(Platform)三个方向展开。模态上,从纯视觉扩展到视触觉。考察模型能否同时处理画面和接触信息。功能上,从离线评测扩展到在线强化学习。考察世界模型能否作为交互环境支持策略训练。平台上,从主要依赖仿真环境扩展到包含真实机器人评测。RoboTwin 2.0 和 LIBERO 等仿真环境之外,WorldArena 2.0 进一步加入真实机器人测试,把模型在物理环境中的执行表现也纳入评估。基于 WorldArena 2.0 的这套评测方向,Challenge 设置了三条赛道:Track 1 评测视频质量,Track 2 评测世界模型作为强化学习环境的能力,Track 3 评测真实机器人操作。
Track 1 延续并升级了原有的视频质量评测,Track 2 和 Track 3 则是 2.0 新增的赛道。Track 1 设置了70 个正式任务。其中50 个是白色桌面的ID(In-Distribution,分布内)clean场景,另外20 个是彩色或带有纹理桌面的 OOD(Out-of-Distribution,分布外)场景。所有参赛模型都在同一组数据集上接受测试。
这一赛道考察长程和分布外场景下的视频生成表现。OOD 场景通过改变桌面的颜色和纹理,引入与 ID 场景不同的视觉条件,用来观察模型面对分布变化时,能否继续保持物体身份、空间拓扑和动作因果一致。最终成绩由 15 项指标共同决定,覆盖画面质量、运动质量、内容一致性、交互准确性、3D 几何和指令执行等方面。JEPA 表征相似度(JEPA Similarity)也被纳入其中,通过 V-JEPA 提取视频特征,比较生成视频与真实参考视频的特征分布是否接近。Track 2 进一步进入连续交互。世界模型需要作为强化学习环境,策略在其中反复执行动作、获得新的状态和奖励,再继续更新。训练完成后,策略还要回到 RoboTwin 2.0 中测试任务成功率,检验世界模型是否真正支持在线策略训练。这要求世界模型在多轮交互中保持稳定和动作可控,还要正确反映不同动作带来的状态变化,生成可靠画面为模型提供有效的奖励信号。一次预测偏差也可能被带入下一轮交互,并在连续交互中不断累积。
Track 3 则把评测直接放到真实机器人操作中。官方同时设置纯视觉和视触觉两类任务:既包括擦桌、倒水、清理桌面、叠衣服等视觉驱动操作,也包括夹薯片、削黄瓜、插两孔插头等需要接触信息的任务。到了真机,接触力变化、传感噪声、通信延迟都会直接影响任务结果。重点考察模型和策略在真实环境中的泛化鲁棒性和动作偏离后的自恢复能力。从 Track 1 到 Track 3,评测逐步从“能不能预测”,推进到“能不能支撑学习”,最后再到“能不能在真实机器人上完成任务”。原文:https://www.leiphone.com/category/private/A0uKolgD2esWoUfT.html