AI 视频的下一战:谁能让世界保持运行

    作者丨Reah

    编辑丨李娜 岑峰

                                                                                                       

大语言模型已经用 Scaling 证明模型、数据和算力可以持续换来更强能力,必须一边生成、一边回应用户的实时世界模型,能不能也走上这样一条路?

2026 年 1 月,爱诗科技提出“通用实时世界模型”这一产品方向,并推出 R1。目前,PixVerse R2 已全量上线用户可以直接进入网页端体验动作指令和互动影游的相关交互

图片

01


实时世界模型,

能走上 LLM 的 Scaling 之路吗

过去几年,Scaling 最具确定性的成功故事来自大语言模型。随着模型容量、训练数据和计算规模持续扩大,语言模型获得了更强的理解、推理与泛化能力,“越大越强”也由此成为大模型产业最重要的认知基础之一。

但如果把这条经验迁移到世界模型的话,问题就复杂很多,不能只是简单地继续放大视频生成模型。语言模型可以在接收问题后集中计算再给出答案,但实时世界模型却必须一边运行,一边接收用户的动作、文字和声音,同时继续输出连贯的音视频内容。

于是这形成了一组长期存在的矛盾:实时要求模型足够快、足够高效,通用则要求模型足够强、见过足够丰富的世界。模型能力向上扩展,计算负担就要随之增加;如果为了速度持续压缩能力,实时体验又容易停留在只能完成有限演示的专项模型。

为什么实时世界模型不能简单复制 LLM 的 Scaling?为什么“快”和“强”会互相拉扯?PixVerse R2 给出了自己的答案——把能力与效率拆成两层推进,具体的实现机制我们会在后文展开更详细的讨论。

R2 将五类增长纳入同一可扩展框架,使生成质量、长程一致性和多模态控制能够共同提升

图片

02


一次生成,

怎样变成一个持续运行的世界?

进入 PixVerse R2 实时生成的世界“冬日宫殿”,用户面对的是一个真实仍在运行的世界。WASD 和方向键用于控制移动与视角,新的指令可以继续改变当前体验;每次操作之后,页面不会退回独立的生成流程,用户仍然留在同一个世界里,决定下一刻发生什么。

技术报告中的 Scaling 最终需要回到产品端接受检验:它能否让用户真正进入一个世界,而不是在一段视频上叠加几个控制按钮?

为此,我们除了进行实机体验,还进一步分析了冬日宫殿会话的 HAR 网络记录。HAR 可以被理解为浏览器网络活动的飞行记录仪,它虽然没办法直接看见模型内部,但能帮我们记录一次产品会话究竟怎样被组织。

本轮会话最关键的事实是客户端全程只观察到一次 session_init 和一次 generation_started。此后八轮系统推荐 Prompt 共享同一条内容流,提示历史从第一轮连续累积到第八轮,客户端没有为每一轮输入重新预约资源、初始化会话或切换媒体通道。约 119.5 秒的生成窗口里,所有操作都被组织在同一条持续 session 中。

这意味着,从用户可见的产品流程看,八轮 Prompt 并不是八个彼此独立的视频任务拼凑起来的,而是当前世界下一步如何变化的连续控制输入。也就是说,一次生成不再以交付文件为终点,还要成为后续行动不断发生的环境。

多轮输入持续发生在同一产品会话;该数据反映客户端协议,不外推服务端内部子任务

在同一会话中,HAR 还记录到 3,355 条结构化 action_frame。这些动作帧的发送间隔中位数约为 29.944 毫秒,折算频率约 33.4Hz。用户按住 W、组合方向或调整镜头时,客户端持续发送的是一条高频、低层控制流,而不是把“向前走”转写成一句偶尔触发的文字命令。

这看似只是交互细节,实际对应着世界模型产品化的重要分水岭。传统 AI 视频中的 Prompt 决定内容大致长成什么样,而在持续世界里,Action 决定用户此刻正在做什么。

当 Prompt 和 Action 能够进入同一个运行过程,用户与模型的关系才会从提出要求、等待结果,进一步变成进入环境、持续行动。

WASD 以高频结构化 Action 流进入实时会话,而不是被转写成一条文字 Prompt

语言与动作也不需要轮流占用这个世界。每轮 Prompt 从发送到 prompt_generated 大约经历 3.9 至 4.5 秒;在第三至第八轮中,Prompt 发出后约 8 至 26 毫秒,Action 就继续进入控制通道,每个对应窗口内又持续发送了约 129 至 152 条动作帧。

也就是说,处理语义指令时,WASD 通道仍然保持开放,两类输入可以同时进入一条运行中的世界会话。

这正是“多模态控制”从技术名词走向产品体验的关键一步。它让用户不必在动作模式和语言模式之间反复切换,可以在移动、观察和探索的过程中继续发出新的语义意图,为边行动、边改变世界的体验建立真实通道。

Prompt 处理期间,Action 仍持续进入同一会话;该图证明协议并行,画面效果由连续录屏补充

延迟数据进一步说明了这条实时链路怎样工作。八轮推荐 Prompt 发出后,服务端 prompt_updated 的中位耗时约为 1.33 秒,与爱诗所说的“约 1—2 秒响应”处在相同区间;完整 prompt_generated 事件的中位耗时约为 4.27 秒。

前者代表当前世界流中的指令状态已经更新,并不等同于用户恰好在 1.33 秒看见完整目标变化,但它说明从接收、审核到世界流更新,R2 已经建立起一套秒级 Prompt 协议链路。

R2 的 Prompt 响应分为多个协议阶段;1.33 秒是协议更新时间,不等同于完整视觉执行耗时

冬日宫殿也展示了 R2 当前对外开放的产品形态。初始化消息显示,它由一张首帧和 345 个字符的 world setting 启动,同时配置了风格、音乐和 Action 等基础信息,并未设置 preset_video_uri。从客户端可见流程看,页面没有播放一段预置底片,而是通过 pipeline=r2 返回持续生成的实时媒体。

Winter Palace 从首帧和世界设定启动,由 R2 pipeline 持续返回实时媒体

综合来看,World 层已经把官方所说的控制信号与时间尺度 Scaling 外化成同一产品会话里的 Text、Action 和持续媒体。

更多输入不再意味着更多彼此割裂的生成任务,而是共同作用于一个仍在运行的世界。

图片

03


世界能力,

怎样被组织成一段更长的叙事?

如果说冬日宫殿展示的是“世界怎样持续回应用户“,那么互动影游 Zero Mark 展示的,则是这套能力“如何进入一段更长、更有结构的内容产品”。

两者在界面上已经呈现出明确分工:World 直接提供 WASD、镜头和 Prompt,强调自由移动与即时变化;Story 则以结构化剧情选择和电影化演出组织长叙事,同时保留文本入口,为固定分支之外的变化预留空间。

HAR 进一步确认,两者采用了不同的产品 pipeline。Winter Palace 运行在 r2 pipeline 中,Zero Mark 则使用 director pipeline。后者维持了一条约 20 分钟的长 session:53 次有效状态响应始终指向同一脱敏 session,状态保持为 ACTIVE,媒体通道也没有改变。同一长会话中还出现了多次媒体轨道分段切换,与 Director 的段落化编排形态相吻合;页面记录则确认了多次结构化剧情选择,以及一次文本入口点击。

World 强调持续生成和低层控制,Story 强调长叙事的编排与节奏,两者承担不同产品任务

Zero Mark 展示的是一条用 Director 维持长叙事的产品化路径。在本轮网络记录中,同一会话里同时出现了结构化选择、实时媒体,以及八段预先准备的 1080p、24fps 关键电影资产。它们共同守住关键叙事节点的节奏与电影完成度,并为世界模型提供的开放变化留下入口。

这种分工让生成式内容更接近一个可稳定交付的互动产品。World 提供脚本难以穷举的开放性,Director 负责把变化组织进剧情结构,关键资产则确保重要演出具有稳定完成度。 雷峰网

任务与时间尺度的 Scaling,因而不只体现为模型能生成更多画面,也体现为模型能力开始被组织进一条更长、更完整的互动叙事。

Zero Mark 以 Director 长会话组织关键电影资产、结构化选择与实时媒体,使长叙事兼顾开放性、节奏与完成度

原文:https://www.leiphone.com/category/yanxishe/qrkgXZRZeLOX4viW.html