复旦贾萧松：VLA、WAM新架构层出不穷，但真正的瓶颈不在模型架构

导语：严骏驰一通电话，贾萧松五年几次转向。

严骏驰一通电话，贾萧松五年几次转向。

作者：李秋悦
编辑：吴彤

2021年年底，贾萧松直博上海交通大学没多久，在宿舍里接到一个电话。

电话是贾萧松的博导严骏驰打来的，问他接下来读博想研究什么？

贾萧松的回答是继续做自动驾驶轨迹预测。

两年前，贾萧松在交大致远学院读大三，参加了加州大学伯克利分校的一个暑研项目，在控制理论学者富塚城义（Masayoshi Tomizuka）团队做研究，从车辆交互与轨迹预测入门自动驾驶领域。贾萧松想继续做老本行的打算，本无可厚非。

复旦贾萧松：VLA、WAM新架构层出不穷，但真正的瓶颈不在模型架构 | 世界模型50人

2019年，贾萧松到UC Berkeley访学

但严骏驰建议贾萧松换一条路，理由是预测夹在感知与决策之间，上下游都受限制，不如做端到端。

彼时的贾萧松也意识到了轨迹预测研究的尴尬之处，能改进的空间很有限，更多的是小修小补。于是，他在严骏驰和上海人工智能实验室OpenDriveLab创始人李弘扬的指导下，开始研究端到端自动驾驶。

三年后，贾萧松和合作者们研究的Think2Drive在ECCV上一经发表，就引人瞩目。

当时，强化学习在复杂驾驶环境中往往需要极其昂贵的交互成本。Think2Drive让模型在低维潜在空间里模拟交互，大幅降低了策略训练成本。他们在一张NVIDIA A6000 GPU上，用三天左右的时间，就训练出能够完成CARLA Leaderboard 2.0复杂驾驶任务的策略。

此后，贾萧松又转向闭环评测、交互式生成仿真领域。

从传统模块化到端到端，从模仿学习到强化学习，再到世界模型，贾萧松的研究经历恰好穿过了自动驾驶过去几年几次重要的技术路线变化。这些研究并非由他一个人推动，也不是整个行业在同一时间完成的线性转向。但他的亲历提供了一个观察技术演进的视角：每一次转向发生时，旧方法究竟遇到了什么问题，又为什么需要下一种解法？

如今，贾萧松在复旦大学可信具身智能研究院担任助理教授，研究灵巧手与Ego数据。而自动驾驶过去几年遇到的问题，正在具身智能领域以不同形式重新出现。

以下是雷峰网左林右狸频道与贾萧松的对话，在不改变原意的基础上有所编辑：

01 端到端最重要的价值是直接优化最终目标

左林右狸频道：怎么理解当时严骏驰老师关于“研究轨迹预测会受到上下游限制”的判断？

贾萧松：当时研究轨迹预测，通常是给定过去几帧车辆和行人的坐标，预测它们未来的位置。但问题在于，很多与预测有关的信息，可能在上游就已经丢失了。比如，一个行人招了招手，表示他准备过马路；或者前车踩下刹车，刹车灯亮起，意味着它可能减速。如果上游没有提供这些信息，我作为研究轨迹预测的人，就无法利用它们来判断未来的运动轨迹。

下游同样存在问题。我可能预测出每辆车未来六种可能的轨迹，但到了决策模块，最终可能只使用其中一种，因为下游也不知道该如何利用这么多种预测结果。

所以，轨迹预测既受到上游信息的限制，研究成果也不一定能被下游充分利用。即使把这个模块做得再好，也未必能改善整个系统的表现。

左林右狸频道：2021年，端到端还不是行业普遍采用的方案。严骏驰和李弘扬为什么看好这条路线？你不担心做不出来吗？

贾萧松：严老师研究决策很多年，此前在IBM也有丰富的产业研究经验。当时他已经在研究预测决策一体化，而且取得了不错的效果，所以就进一步想把感知也加进来，让整个自动驾驶系统统一起来。李弘扬老师长期研究计算机视觉，也有自动驾驶方面的积累，从产业界角度思考出了端到端的必要性。

两位老师都观察到，深度学习在视觉等领域的发展，本身就是一个越来越端到端的过程。所以他们觉得，既然神经网络已经表现出这么强的能力，自动驾驶也值得沿着这个方向探索。

我自己当时确实没有太多顾虑。一方面，我对自动驾驶的理解还没有业界专家那么深，并没有充分意识到行业里主要采用的是规则和模块化方案。另一方面，也是初生牛犊不怕虎。本科期间我已经发表过几篇论文，所以没有特别担心博士毕业的问题，更想做一些有意思的研究。

而且两位老师组织了一个很好的团队，大家每天讨论新论文、新想法。很多问题此前没有多少人研究过（21年时，全世界范围端到端也只有Wayve、Waabi、Andreas Geiger团队在成体系研究），经常能有新的发现。这种新鲜感和探索的空间，让我当时没有太多精力去担心这条路线最后能不能走通。

2023年，在和合作者将Think2Drive世界模型部署到小车

左林右狸频道：传统模块化系统的感知、预测和决策都在不断进步，为什么把几个优秀的模块组合起来，整体效果却不一定好？

贾萧松：我觉得主要有两个问题。

第一个是模块之间存在信息损失。传统自动驾驶系统的设计其实很合理，先感知周围有什么，再预测其他车辆和行人会去哪里，最后决定自己怎么开。但问题是，信息在模块之间传递时可能不断丢失。比如到了轨迹预测阶段，行人的手势、前车的刹车灯等信息可能已经没有了。等到决策阶段，可能就只剩下一些车辆和行人的运动信息，这会限制整个系统的能力上限。

第二个是各个模块的优化目标不一致。比如感知团队发现200米外的车辆很难检测，花了几个月把检测准确率提高了。但对城区驾驶的决策模块来说，200米外的车辆可能根本不重要，完全可以等它开近一点再检测。这样一来，感知模块的性能虽然提高了，却不一定能改善最终的驾驶表现。

端到端就是希望解决这两个问题，让感知、预测和决策围绕同一个最终目标共同优化，同时减少中间的信息损失。

左林右狸频道：但你们2022年做TCP时，仍然保留了轨迹和控制两个分支。这是否意味着，端到端也不能完全抛弃中间任务？

贾萧松：当时领域里的相关模型还很少，我们尝试把只有轨迹输出和只有控制信号输出的两个分支结合起来，结果发现融合的性能出奇地好。最开始，我们比较强调中间结果的可解释性，希望知道模型检测到了什么、预测到了什么。

但现在我觉得，中间任务更多是在提供监督信号，而不是真正实现了可解释。比如检测到了某辆车，不代表下游决策真的会在意它；没检测到，也不代表端到端模型内部不知道它的存在。

不过，中间任务仍然很重要。因为自动驾驶的监督信号太稀疏了，大量图像、点云输入，最后可能只对应几十步的驾驶轨迹。所以不能因为做端到端，就认为应该去掉所有中间任务。这一点和特斯拉的观察相似，中间任务的点数可能不是关键，但是监督信号非常重要。基于这个思想，我在RSS 2026发表了GuidedVLA从具身角度探讨这个事情。