从5大视角,看AI视频的挑战与风险在哪。

    作者丨徐晓飞

    编辑丨刘   伟

                                                                                                       

当下,视频生成的竞争焦点,正在从“像不像”转移到“能不能用”。

画质、分辨率、单段时长这些指标,正被不同研究团队加速填平。当画面本身的差距收敛,剩下的落差就集中在了更难量化的地方,比如叙事是否连贯,情感是否到位,AI内容进入真实传播链路之后会引发什么。

这正是 10 月 23 日下午,CNCC 2026大会“视频生成的智与情”主题论坛尝试讨论的问题。

南开大学教授杨巨峰,是这场主题论坛的召集人。据他介绍,这个题目实际上有更早的源头。

2024 年,包括他在内的国内十位学者联名提出了“情智兼备数字人与机器人的研究”。这个题目被遴选为当年度中国科协十大前沿科学问题的第一位。

而今年,这个研究方向收敛到了“视频生成”这条更具体的赛道上。

杨巨峰把“智”比作人体骨架,这块技术已相对成熟,更加悬而未决的是“情”的部分。他在开场留了一道引发大家思考的题:如果非要二选一,我们希望生成的视频更真实,还是更动人?

雷峰网作为CNCC 2026大会的报道媒体之一,从工程交付、底层路线到社会影响三个维度,为大家带来这场主题论坛的精彩发现。

01


AI能拍科幻大片,却拍不好刘能赵四?

视频生成发展至今,画面本身已经不难做了,但真要拿来干活,就会遇到更细碎的挑战:剧情怎么连贯?情绪怎么对味?

单靠一个基座大模型,显然撑不起交付。如何做更好的交付,成为摆在从业者面前的一道必答题。

哈尔滨工业大学(深圳)教授户保田在《多智能体协作的长时序视频生成:从规则可控到叙事共情》报告中,把长视频生成拆成“质”与“情”两条线:

质是真实感的基石,要求符合物理规律和空间关系;情是感染力的来源,包含叙事审美与共情表达。

据他介绍,目前,单基座大模型能稳定生成的长度在 15到 20 秒,再往上走,跨镜头的角色漂移、跨模态的音画错位、长周期叙事断裂会集中出现。

他举了一个通俗例子:生成《乡村爱情》里刘能、赵四那类角色的对手戏,可能比生成科幻大片还难,难点不在场面,在人物关系的连续性。

对此,他的团队主要做了三块工作:

一块是把工作流变得可控,团队面向 ComfyUI 构建生成工作流基准,用节点优化加强化学习补上长程规划短板,14B 规模的模型就能达到较高准确率,这套系统已被 ComfyUI 集成为原生插件。


一块是长程叙事,Pixel Video 用故事模板协调生成流程、维护人物和时间线状态,相关开源项目在 GitHub 上拿到 3 万 star;之后的 Video Vlog 弱化刚性规则,转向多智能体导演框架,可生成连续剧类长视频。


还有一块是剪辑,Cut Master 以共享剪辑状态为核心,能处理小时级视频,剪辑质量评分相比平均水平最多提升 17 分。

他给这件事定的目标是八个字:逻辑可控,情感可感。

内蒙古大学骏马计划研究员亓帆的《视频生成中的物理感知与视频情感表达》报告在另一头接住这个目标。

她把问题分成了三部分。

在物理感知部分,早期做法是用轨迹、相机、运动场这类外部约束管控动态变化,可控但不保证碰撞、受力这类物理正确。

近年的行业进展转向了物理规律引入,有研究设置了2000 种物理专家,先从文本提取规律再细化到局部视觉特征。

她的观察是,这个方向的目标已经变了:过去追求下一帧好看,现在更强调状态能否持续,以及能否对环境变化做出响应。

情感表达最靠近“情”。

她认为把控情感需要满足三个条件:明确当下发生的事件语义、定义连续的情感维度变化、设置时间结构组织情感变化过程。

一个容易被忽略的点是:视角。过往研究多关注视频内人物的情感,但要生成符合创作目标的视频,需要重视的是观众视角的情感反馈。

在配乐部分,同一段画面换上不同的配乐,观众感受到的情绪可以完全不同。现有方案的共同短板是调不了情绪强度,模型只能按指令生成“高兴的”或“紧张的”。

亓帆团队的做法是把可缩放的低秩适配与强化学习结合,实现风格、情感与音色的连续强度调节。

在她看来,生成的人物 AI 感太强的话,会让观众觉得油腻,而走向更自然的关键,在于产出让观众观感舒心的作品,仅仅只在说话和表情的情绪理解上做到位,解决不了观感问题。

02


视觉是否会沦为“渲染器”?

工程上的多智能体和工作流,更像在基模之上打补丁。为了解决长视频漂移和物理穿帮,大家在模型外搭满了“脚手架”,而这套打法引出一个问题:

如果智能系统中的“智”主要来自语言模型,视觉智能还有多少独立价值?视觉智能,会不会沦为一个渲染器?

北京大学深圳研究生院研究员袁粒在《视觉生成与理解如何走向协同统一》报告中提到,GPT-6 Astra 这类模型出现之后,视觉智能的定位正面临新的冲击。

在强大的语言模型面前,靠视觉理解物理世界的路径走得很吃力。如果只负责把别人算好的结果画出来,视觉的独立智能在哪里?

在袁粒看来,视觉退化为“画图工具人”的根源,在于理解与生成在底层逻辑上的长期割裂。

从信息论的角度看,理解是将冗余的物理信号压缩编码,生成则是把抽象语义解码重建,两者本互为逆过程,现实中却各行其道。

一方面,模型在语言理解中掌握的知识很难自如迁移到生成环节;另一方面,现有的视觉理解习惯将图像压缩并投影到语言空间,视频理解还要频繁抽帧,连续的物理规律和空间关系在压缩中损耗殆尽。

为了弥合这道鸿沟,业内逐渐分化出两种解法。

一种是目前占主流的串行统一,相当于让理解充当“左脑”,生成充当“右脑”,中间通过语言空间对齐。这种方式虽然能直接复用成熟的开源大模型,但狭窄的中间通道不可避免地带来信息损耗。


另一种则是让理解与生成共享骨干网络的并行统一。尽管这条路线目前仍受困于“理解要抓语义、生成要抠细节”的双向冲突,但袁粒认为这才是深度融合的必然方向。

对于工程与模型的关系,他有一个明确的判断:基模决定上限,智能体兜住下限。

至于视觉的未来,袁粒把自己归为“视频派”。视频自带时空连续性,属于 2.5D 模态,数据成本远低于纯 3D,完全有可能直接走向 4D 动态世界模型。

而视觉智能最终的独立价值,不是跟语言模型抢着做抽象推理,而是作为系统的“眼睛”,通过观察真实状态、生成中间推演,为决策提供物理校验。

03


当视频足够逼真,风险就不在画面里了

当生成的内容足够多、足够真之后,就会流向社交网络。这时问题的性质就变了,“内容进入社会之后会引发什么”成了更要紧的议题。

中国科学技术大学特任教授刘武的报告《情智兼备的多智能体内容生成与社交模拟》,把起点放在智能体本身。他的切入点是人类智能的构成:问题解决能力对应智商,群体协作能力对应情商。

他的研究工作分两块,一块是培育具备多样化共情认知和大规模社交行为能力的智能体,另一块是搭建真实映射现实的社交网络模拟环境。

这里有个绕不开的障碍:

用大模型模拟社交群体,一是难以展现多样化特性,二是交互人数增多后容易出现认知同质化,大家的认知和情感趋于一致,模拟本身也就失去意义。

他的团队的应对是引入智能基础信息论框架,为每个智能体设计专属的“认知指纹”,让它分别作用于感知筛选、记忆更新和内容生成的全过程。

Source:https://www.leiphone.com/category/industrynews/Huxl5GuqzEUo9CL9.html