浙大彭思达：从元宇宙到具身智能，一个三维视觉研究者的八年 | 世界模型50人

传统MV拍摄，摄影机架在哪里，观众看到的就是哪个角度。现在用多台摄像机同时记录舞者动作，再重建出一个三维动态场景，镜头可以任意调换位置；从队形正面绕到侧面，穿过舞者之间，甚至换一个从未真正架设过的机位，重新观看刚才的表演。

今年10月，韩国SM娱乐创始人李秀满在新女团A2O LITE的出道活动上，展示了这项名为4D Gaussian Splatting（4DGS）的技术。

SM娱乐旗下女团A2O LITE 《NEON》运用4DV.ai的4DGS新技术

彭思达对这项技术很熟悉。六年前，彭思达师从浙大教授周晓巍读博，在浙大CAD&CG国家重点实验室的三维视觉研究团队ZJU3DV下研究的就是动态三维人体重建。很快他做的Neural Body入选CVPR 2021最佳论文候选，4K4D把动态场景的渲染推进到4K实时水平，FreeTimeGS把渲染质量推进到可落地的程度。实验室积累的技术后来被一家名为4DV.ai的创业公司采用，出现了在影视飓风的视频里。

技术走出了实验室，但彭思达没有继续留在这个赛道。

2023年博士毕业后，彭思达选择留校任教，入选浙江大学软件学院“百人计划”研究员，把研究对象从人体换成了街道。理想汽车找上门来，双方合作自动驾驶仿真系统，Street Gaussians被应用到了理想汽车的仿真系统中。

两年后，自动驾驶仿真技术逐渐收敛，彭思达又开始研究机器人导航。

从动态三维人体重建、自动驾驶仿真到具身智能，作为一个做了多年计算机视觉的研究者，彭思达反而认为视觉并不是智能的主角。对于像人一样思考、推理和规划，文本可能更重要；对于机器人学会操作，重要的是真正理解动作轨迹的因果性。

“到了具身领域，视觉模态仍然不是主角，动作模态才是主角。”

以下是AI科技评论与浙江大学软件学院“百人计划”研究员彭思达的对话，在不改变原意的基础上有所编辑。

01

端到端不是最优解

彭思达：我们观察到一个现象。之前很多人希望训练一个端到端导航模型，也就是微调一个VLM，让它直接预测行动。但我们持续尝试以后发现，这样微调有两个问题。

第一，把VLM的能力变差了。VLM本来还可以做一些识别等任务，一旦要求它直接输出动作，它就变笨了。

第二，他们使用的VLM本身就不是那么聪明。我们试过一些3B或者4B模型，给它一张图片，问一些问题，发现它的空间推理能力很差。

但为什么要用这些模型？因为只有3B或者4B这种模型，才能微调得动，所以这就有点不那么本质。

彭思达：我个人的看法是大部分公司不具备训练出通用智能模型的能力，只有OpenAI这种基模公司才真正掌握了训练VLM的能力。

要给模型注入某种能力，一定不是微调，一定得在预训练过程中就有这样的过程。如果某个小团队以前从来没训练过这种模型，突然号称微调一下就获得了这种能力，我认为大概率是在某个小数据集上过拟合，实际上没有任何能力上的验证，也没有技术进步性。

彭思达：我们认为导航最重要的是回归问题本身，怎么更好地做决策、交互，怎么在环境里面更好地移动。刚好Agentic System、Coding Agent这种架构出现以后，我们发现非常适合满足这个技术需求。

既然走Coding Agent路线，就以通用多模态大模型作为核心，让它负责整体规划、决策、推理。具体怎么在环境中执行，只需要给Coding Agent提供合适的工具，比如导航小脑。

SuperNav是做决策系统，决定接下来应该去哪，应该记住哪些东西，怎么规划导航路线。ScaleNav做的是导航小脑的事情，相当于大脑指定一个点，小脑负责怎么走过去。

彭思达：是的，我更相信通用多模态大模型+Agent这条路线。

端到端路线要让模型拥有很强的能力，模型肯定要很大。模型变大，最大的问题不是推理速度，而是通信速度。比如一个30B或者100B的模型，肯定不可能部署到本地机器人上，只能部署到服务器。虽然它在服务器上推理很快，但本地机器人上传图片观测到服务器，通信时间好歹得有一秒，这是短期的问题。真正操作东西的时候，肯定不能是一秒一次、一赫兹的水平，至少得是50赫兹。

所以端到端模型可以有这个能力，但因为实际交互频率，我觉得它打不过外挂底层交互工具这种形式。

彭思达：感知、推理以及理解上下文基本上都可以交给VLM去做，记忆和行动是另外两个部分。

先说记忆，在空间里面不太好直接用图文去记，因为没有任何空间结构。而且现在SLAM工具非常成熟，用SLAM做一个基本结构化是没问题的。

所以记忆有两个层面：怎么构建记忆，可以用外部工具；理解记忆，还是用VLM本身。

其次是行动能力，也就是交互能力。机器人怎么跟外界直接交互，怎么预测Action。这个要求交互频率特别高，理想状态是50赫兹。所以这种情况下，最好也外包给一个小模型去做。

02

从元宇宙到具身智能

彭思达： 2020年3月份，博士第二年下学期。当时我习惯每天看一下arXiv网站上的论文，看到了NeRF，发现技术上跟以前的方法区别很大，效果又特别好，非常有突破性。

彭思达：2020年初，也就是NeRF出来的那年，我开始做动态人体重建。 我是一个很乖的学生，我老板（周晓巍）指哪儿我打哪儿。当时他跟华为有一个合作，一直在做人体建模相关的研究。

彭思达： 动态人体和体积视频是等价的。他们要构建三维动态人体，也是为了放到VR眼镜里面看。

以前拍体积视频，要用128个相机，非常稠密。这个在好莱坞应用里面叫Live Stage，广泛应用于电影工业。华为希望把相机数量变得特别少，比如从64个相机变到4个相机。

后来我们做的Neural Body就是想解决非常稀疏视角下的问题，这在当时属于非常前沿的研究问题。

彭思达： 我觉得是运气，当时的科研做法不是那么本质。本质的科研做法，一定是分析核心问题到底是什么，再从问题反推应该用哪些技术。

但我们当时的做法是，发现NeRF技术特别新潮，想赶紧把它用过来试一下。一用过来，确实就能解决问题，属于撞大运了。

彭思达： 三维数字人本质上等价于体积视频，我们做了三维数字人以后，一直贯彻研究风格，想做一套能够落地的系统。我们希望它能放在VR眼镜上，让更多用户观看，就需要从采集、重建、渲染、部署四个方面不断提升。

最直接的是渲染，比如Neural Body渲染很慢，大家戴上VR眼镜，是希望能以60 FPS去看的，所以得提升实时渲染能力。训练速度也是一样，用户采集重建的时候，我们希望普通用户能像拍照、拍视频一样录制内容，需要提升重建速度，这就是快速训练。

紧凑表示是另一个问题。如果一个体积视频要放到VR眼镜上，不可能像最早那种表征一样，需要几百GB或者几TB，这显然放不到VR眼镜上。我们把它压缩到一两百MB的程度，一切都是为了能落地到VR眼镜上，我们为此做了很多努力。

彭思达： 其实做得还挺好，最后也催生了一家创业公司，做体积视频的，叫4DV.ai。4DV.ai跟影视飓风合作很多，影视飓风有几期上百万观看量的视频提到过4K4D。但我没有参与4DV.ai，只是他们用了很多我们实验室的技术，特别是我博士中后期做的这些东西。

彭思达： 博士毕业之前，更多是我的博士生导师指哪儿我打哪儿，没想过到底有哪些具体应用。等我真正工作以后，对这方面的思考越来越深。我觉得体积视频确实有用，但应用面不广，顶多在影视或者VR里面用一用，这两个行业总体市场价值并不大。

自动驾驶，听起来想象空间就非常大，过去也是我们学计算机视觉的主要就业需求池。这也是后面转向自动驾驶领域的仿真系统最主要的原因。