过去几年,构建通用物理智能的主流思路是“数据拟合”,试图通过端到端学习,实现从视觉观察到控制动作的直接映射。这一路径虽推动了大量研究,但在面对真实复杂的物理交互时,瓶颈迅速显现。以 Actor Labs 的挖掘机实验为例,其团队将 Physical Intelligence 的 π0.5部署至挖掘机,结合工业操作员的大规模真实数据训练策略。尽管展示中仅用200 条轨迹成功完成了一项任务,但这恰恰暴露出纯数据驱动路线的缺点:数据效率极低,且多任务能力受限。如果掌握每一项单一技能都需要百小时级或数百条轨迹的数据积累,这种依靠堆叠数据推动的范式,其规模化扩展的可行性显然存疑。相比之下,人类仅凭单次演示就能理解动作背后的物理逻辑,并轻松迁移至不同尺寸、材质的物体甚至全新任务中。当端到端模型在分布外(OOD)场景中频频失灵,研究者们不得不重新审视:在盲目堆砌数据量之外,是否存在更根本的智能构建路径?这便引出了第二条路线:将智能视为世界建模与规划(Intelligence as World Modeling and Planning)。其核心在于将机器学习与物理规划相结合,使智能体通过小样本理解物理规律,进而实现真正的分布外泛化。
02
告别像素级预测,
用“神经+符号”构建可推理的世界模型
要实现基于规划的智能,首先需构建“世界模型”,即让智能体在内部建立物理世界表征,并基于该表征演推后续动作。然而,物理环境极其复杂,若直接在像素级预测未来状态与细节,计算代价会非常高,难以支持长序列动作的实时规划。破解这一难题的关键在于引入组合式抽象表示。智能体无需记忆所有像素细节,而是提炼形状、姿态、材质等抽象属性,并用状态转移图显式建立“动作-状态”演变机制。图:神经符号概念将物体抽象为形状、姿态、材质等属性,并用状态转移图描述动作导致的 state 演变。图中 s0→s1 表示 push(glass),s1→s3 表示 flip(cap)。这就是神经符号概念的核心: