Back

UMM论文解读05-视频与世界模型篇:UniVideo双流统一、Emu3.5下一状态预测与Lance多任务协同

统一模型在图像领域验证成功后,自然向视频和世界模型延伸。快手可灵与滑铁卢大学的 UniVideo 用 MLLM+MMDiT 双流架构把统一理解/生成/编辑扩展到视频;智源的 Emu3.5 把"下一 token 预测"升维到"下一状态预测",用 790 年互联网视频训练出一个 34B 的原生多模态世界模型;字节跳动的 Lance 则以 3B 激活参数的双流 MoE,在单个原生模型里系统覆盖图像+视频的理解/生成/编辑。三篇论文代表 UMM 向时空维度扩展的三条路径:工程化双流拼接、第一性原理的原生自回归、以及共享上下文+解耦专家的多任务协同。

UMM论文解读系列-视频与世界模型篇

系列导航

  • 01 基础奠基篇:Transformer、CLIP、LLaVA、DDPM、DiT、VQ-VAE、VQGAN
  • 02 早期统一模型篇:Chameleon、Emu3、Transfusion、Show-o
  • 03 主流模型篇:Janus-Pro、BAGEL、SenseNova U1
  • 04 VCoT 篇:CoVT、Gen-VCoT、Visual Sketchpad、Visual-Aware CoT、CoT-VLA
  • 05 视频与世界模型篇(本文):UniVideo、Emu3.5、Lance
  • 06 终章:从统一表征到 AGI 终局之战

为什么视频统一更难

把理解和生成从图像扩展到视频,难度不是线性增加,而是阶跃式增加:

  1. 时序维度:图像只需要空间一致性,视频还需要时序一致性——物体不能帧帧变形,运动要符合物理规律。
  2. 计算量爆炸:一段 5 秒的 24fps 视频包含 120 帧,token 数量是单张图像的上百倍。
  3. 理解和生成的耦合更紧:视频编辑需要理解动作语义、跟踪物体、保持身份,这些都要求理解和生成深度协同。
  4. 训练数据稀缺:高质量的视频-文本-编辑三元组数据远比图像数据少。

UniVideo、Emu3.5 和 Lance 用截然不同的策略应对这些挑战。


1. UniVideo:MLLM + MMDiT 双流统一视频框架(2025.10)

论文:UniVideo: Unified Understanding, Generation, and Editing for Videos 作者:Cong Wei, Quande Liu, Zixuan Ye 等(滑铁卢大学 / 快手可灵团队 / 港科大) 链接:https://arxiv.org/abs/2510.08377 项目主页:https://congwei1230.github.io/UniVideo/

核心思路

UniVideo 的策略是"双流设计":不追求一个模型从底层统一一切,而是让两个擅长不同任务的模型协同工作——MLLM 负责理解指令,MMDiT 负责视觉生成。这和 Transfusion 在图像领域的"AR + Diffusion 共存"思路一脉相承,但扩展到了视频。

架构设计

输入:文本 + 图像/视频(多模态指令)
         │
         ▼
┌─────────────────────┐
│   MLLM(理解流)      │  ← 解析指令、理解视觉内容、生成文本响应
│   提取最后一层隐状态   │
└─────────┬───────────┘
          │ 可训练连接器
          ▼
┌─────────────────────┐
│   MMDiT(生成流)     │  ← 两个分支:
│   分支A:MLLM 语义特征 │     高层语义指导
│   分支B:VAE 视觉特征  │     细粒度像素重建
└─────────┬───────────┘
          │
          ▼
输出:生成/编辑后的视频

1.1 MLLM:指令理解中枢

MLLM 接收文本、图像和视频输入,负责:

  • 解析复杂的多模态指令("把视频里的狗换成猫,保持背景不变")。
  • 理解参考图像/视频的内容和风格。
  • 生成文本响应(对于理解类任务)。
  • 提取最后一层 Transformer 的隐状态,这些隐状态编码了丰富的多模态语义信息。

关键设计:MLLM 保持原有的文本生成能力不变。它不是被"改造"成视频模型,而是作为一个成熟的理解模块被复用。这降低了训练难度,也保证了语言能力不退化。

1.2 可训练连接器

MLLM 的隐状态通过一个可训练的连接器对齐到 MMDiT 的输入空间。这个连接器是轻量级的(相比整个模型),负责把"理解空间"的表征翻译成"生成空间"能使用的条件信号。

1.3 MMDiT:双流视觉生成

MMDiT(Multimodal Diffusion Transformer)是视频生成的核心。它内部有两个分支:

  • 理解流分支:接收来自 MLLM 的高层语义特征,确保生成内容符合指令意图。
  • 生成流分支:接收来自 VAE 的细粒度视觉编码(当前帧的 latent),保留纹理、颜色、运动细节。

两个分支在 MMDiT 的 Transformer 层中通过注意力机制交互——语义分支指导"画什么",视觉分支保证"怎么画"。这种设计对于视频编辑尤其重要:需要同时保持语义正确(换成猫)和视觉一致(背景、光照、运动连贯)。

1.4 统一任务范式

UniVideo 用一套统一的多模态指令格式覆盖所有视频任务:

  • 文本/图像到视频生成(T2V / I2V):根据文本描述或参考图像生成视频。
  • 上下文视频生成(In-context Video Generation):给定视频片段,续写后续内容。
  • 上下文视频编辑(In-context Video Editing):根据指令修改已有视频。
  • 视觉提示生成(Visual-prompt-based Generation):手绘草图、标注线等作为提示,MLLM 理解视觉提示后指导生成。

每个视觉输入被分配一个 ID 标签,模型通过标签区分哪个是参考图、哪个是待编辑视频、哪个是风格参考。三维位置编码区分条件信息和目标视频信息,不需要额外的任务标识。

训练策略

UniVideo 的训练分三个阶段:

  1. 阶段一:建立 MLLM-MMDiT 通信机制。训练连接器,让 MLLM 的语义特征能有效指导 MMDiT 生成。
  2. 阶段二:提升生成质量。在大规模视频生成数据上训练,提升视觉质量和时序一致性。
  3. 阶段三:多任务统一训练。联合训练生成、编辑、理解任务,让模型学会区分任务类型并自适应处理。

关键能力与结果

UniVideo 在多个维度展示了统一设计的优势:

  1. SOTA 性能:在 T2V、I2V、上下文生成、上下文编辑等任务上匹配或超越专用 SOTA 基线。

  2. 任务组合泛化:支持在单条指令中组合多个能力。例如"把视频中的物体替换成参考图中的物体,同时把风格转换成油画风格"——编辑 + 风格迁移一次完成,不需要为这种组合专门训练。

  3. 自由形式视频编辑的零样本迁移:即使没有在自由形式视频编辑数据上训练,UniVideo 也能把大规模图像编辑中学到的编辑能力迁移到视频上。例如"改变视频中的环境"、"替换视频中的材质"——这些未见过的指令也能处理。

  4. 视觉提示理解:MLLM 能理解手绘标注和草图,把用户的视觉创意转化为生成指导。这在专业视频制作中很有价值。

设计哲学与局限

UniVideo 代表了"工程化统一"的路线:

  • 优势:复用成熟的 MLLM(理解能力有保障)和 MMDiT(生成质量有保障),训练风险低,每个模块可以独立升级。
  • 代价:架构上仍然是"两个模型 + 一个连接器",不是原生统一。MLLM 和 MMDiT 之间的信息通过连接器传递,存在表征鸿沟。推理时需要同时跑两个大模型,计算开销大。

对比 BAGEL 的"一个 Transformer 内部 MoT 双塔"和 SenseNova U1 的"原生统一",UniVideo 的双流更像是在视频领域重走了 Transfusion 的路——先把两个成熟模块拼起来验证可行性,后续可能走向更深层融合。


2. Emu3.5:从下一 Token 到下一状态的世界模型(2025.10)

论文:Emu3.5: Native Multimodal Models are World Learners 作者:Yufeng Cui, Honghao Chen, Haoge Deng 等(智源 BAAI) 链接:https://arxiv.org/abs/2510.26583 项目主页:https://emu.world/ 代码:https://github.com/baaivision/Emu3.5

核心思路

Emu3 证明了"next-token prediction is all you need",但纯自回归图像生成有一个致命短板:速度慢。Emu3.5 在两个维度上做了升维:

  1. 目标升维:从"下一 token 预测"(Next-Token Prediction, NTP)升维到"下一状态预测"(Next-State Prediction, NSP)。"状态"可以是一个词、一个图像片段,甚至一段视频的下一帧。
  2. 效率革命:提出 DiDA(Discrete Diffusion Adaptation,离散扩散适配),把逐 token 自回归解码转换成双向并行预测,单图推理速度提升约 20 倍。

智源研究院院长王仲远称其为"第三个 Scaling 范式"——前两个分别是语言预训练 Scaling 和后训练/推理 Scaling,Emu3.5 证明多模态领域同样存在 Scaling Law。

2.1 Next-State Prediction:统一的训练目标

NSP 是 NTP 的自然推广。在 Emu3 中,模型预测序列中的下一个离散 token;在 Emu3.5 中,模型预测的是"下一个多模态状态":

  • 如果当前状态是文本的中间位置,下一个状态是下一个词 token。
  • 如果当前状态是一段叙事中的配图位置,下一个状态是一整张图像(或图像片段)。
  • 如果当前状态是视频的一帧,下一个状态是视频的下一帧。
  • 如果当前状态是一个机器人操作步骤,下一个状态可以是操作后的视觉结果。

NSP 的关键洞察是:世界本来就是以"状态序列"的方式运行的。视频是连续帧的状态序列,图文交错的文档是文字和图像交替的状态序列,机器人操作是观察-动作循环的状态序列。用统一的 NSP 目标训练,模型天然就能学习这些不同形式的状态转换规律。

2.2 训练数据:790 年的互联网视频

Emu3.5 的预训练数据量达到了新的量级:

  • 总数据量:超过 10 万亿 token。
  • 主要来源:互联网视频的连续帧和转录文本,累计时长约 790 年。
  • 对比:Emu3 的视频数据约 15 年时长,Emu3.5 实现了两个数量级的跨越。
  • 数据还包括图文交错网页、图像-文本对等。

为什么视频如此重要?因为视频包含了世界运行的动态记录:物体怎么运动、人怎么操作工具、场景怎么随时间变化、因果关系如何展开。790 年的视频本质上是在让模型"观察"世界 790 年,从中内化物理常识和时空因果。

2.3 模型规模与架构

  • 参数:34B(从 Emu3 的 8B 扩大到 34B)。
  • 架构:纯 decoder-only Transformer,原生支持交错的视觉-语言输入输出。
  • 视觉 tokenizer:在 Emu3 基础上改进,支持更高分辨率和更好的重建质量。
  • 后训练:大规模强化学习(RL),增强多模态推理和生成能力。这是首次在自回归多模态架构下落地大规模 RL,为多模态 Scaling 提供了关键支撑。

2.4 DiDA:解决自回归生成的速度瓶颈

Emu3 最大的工程问题是:逐 token 生成一张图需要预测上千个 token,速度远不如扩散模型的并行去噪。DiDA(Discrete Diffusion Adaptation)是 Emu3.5 的核心工程创新:

核心思想:保留自回归预训练的模型权重,但在推理/微调时引入离散扩散机制,把顺序解码改成双向并行预测。

具体来说:

  1. 预训练阶段:模型用标准 NTP/NSP 目标训练,学会逐 token 预测。这一步保留了自回归训练的所有优势——简单、稳定、Scaling Law 明确。

  2. DiDA 适配阶段:在预训练模型上微调,引入离散扩散的噪声调度:

    • 给图像 token 序列随机 mask 掉一部分(类似 BERT 的 masked modeling,但有噪声调度)。
    • 训练模型根据未 mask 的 token 双向预测被 mask 的 token。
    • 这和 Show-o 的离散扩散思路类似,但 DiDA 的贡献在于证明了可以在已有的自回归预训练模型上"适配"出这种能力,不需要从头训练。
  3. 推理阶段:

    • 文本部分仍然用自回归(逐 token 生成,因为语言需要顺序性)。
    • 图像/视频部分用离散扩散并行解码(多步去噪,每步同时预测所有位置)。
    • 单图推理速度提升约 20 倍,质量不降级。

DiDA 的意义在于它同时享受了两个世界的好处:训练时用自回归(简单、可扩展),推理时用扩散(快速、并行)。这是对 Emu3"纯自回归"路线的工程补强,也是对 Transfusion"训练时就混合两种 loss"路线的另一种回答。

2.5 关键能力

Emu3.5 展示了四大类原生多模态能力:

长程视觉-语言生成

模型能生成连贯的多页图文交错内容,例如:

  • 分步骤视觉教程("如何用粘土雕刻火星探险者"——每一步都有配图)。
  • 长篇视觉故事("粘土宇航员在外星森林坠毁,遇到皮卡丘,一起探索发光蘑菇森林")。
  • 角色、风格在多页内容中保持一致。

任意到图像生成(X2I)

  • 文本到图像、图像到图像、图像+文本到图像、多图参考到图像。
  • 在图像生成和编辑任务上达到与 Gemini 2.5 Flash Image(Nano Banana)相当的性能。
  • 在交错生成任务(interleaved generation)上优于 Nano Banana。

复杂文本图像生成

  • 精准渲染密集文字(海报、文档、信息图)。
  • 支持复杂排版和图文混排。

世界建模能力

这是 Emu3.5 最具想象力的能力:

  • 世界探索(World Exploration):给定一个场景(客厅、教室、埃菲尔铁塔、天坛),生成连贯的第一人称视角探索视频。模型能保持长程空间一致性——左转后看到的物体和之前看到的物体在空间上是自洽的。
  • 开放世界具身操作(Open-world Embodied Manipulation):理解物理世界任务并生成操作步骤的视觉演示——叠衣服、清理台面、超市拣货。每一步都有对应的视觉结果,展示了模型对物理因果的理解。

2.6 为什么称"第三个 Scaling 范式"

王仲远的论断基于三个依据:

  1. 架构可扩展:Emu3.5 用纯自回归设计实现多模态大一统,能大规模复用现有计算基础设施(Transformer 训练和推理栈非常成熟)。

  2. RL 可扩展:首次在多模态自回归架构下落地大规模强化学习。RL 基础设施(GRPO、RLHF 等)在文本领域已经成熟,现在可以直接迁移到多模态。

  3. 性能可扩展:从 Emu3(8B)到 Emu3.5(34B),从 15 年视频到 790 年视频,性能实现了显著跃升,且已经达到产品级水准。这证明了多模态 NSP 目标存在 Scaling Law——更多参数 + 更多数据 = 更好性能。


第三条路线:Lance —— 共享上下文 + 解耦专家路径

UniVideo 是双流拼接,Emu3.5 是纯自回归原生统一。2026 年 8 月字节跳动智能创作实验室开源的 Lance(arXiv:2605.18678,3B 激活参数,Apache 2.0)给出了第三条路:用共享交错序列保证任务互相看见,用双流 MoE 专家保证理解和生成不在同一条参数路径上互相拉扯。

论文一句话:Lance 是一个轻量级原生统一模型,单模型同时支持图像 + 视频的理解、生成与编辑(X2T / X2I / X2V),在 VBench、GenEval、GEdit-Bench、MVBench 上以 3B 激活参数超过多个更大的开源统一模型,全程训练预算不超过 128 张 GPU。

3.1 它要解决的两个矛盾

Lance 在论文开头点明了现有 UMM 的两个根本问题,恰好呼应了 01 篇 ViT-vs-VAE 的表征冲突:

  1. 理解 vs 生成的表征错配:理解要高层语义(对齐语言的 ViT 特征),生成要低层连续 latent(保留纹理/几何/时序动态的 VAE 特征)。强行统一表征会互相打架,完全解耦又增加架构复杂度。
  2. 任务覆盖不全:之前的统一模型大多困在图文领域,或者只覆盖视频理解+视频生成的子集;编辑、主体驱动生成往往被当成下游微调,没有进入统一多任务训练。Lance 自己的 Table 1 显示,在它之前能把 image/video 的理解-生成-编辑-S2I/S2V 格子全部打勾的原生统一模型几乎没有(UniVideo 是非原生拼接,Emu3.5 部分格子是 △)。

3.2 核心设计:统一上下文 + 解耦能力路径

  文本 ──→ Qwen2.5-VL 词嵌入 ─────────┐
  理解图像/视频 ──→ SigLIP ViT 语义 token ──┤
  生成条件 ──→ 3D 因果 VAE clean latent ──→ 共享交错多模态序列 (MaPE)
  生成目标 ──→ 3D 因果 VAE noisy latent ──┘
                                   │
                    ┌──────────────┴──────────────┐
                    ▼                              ▼
          LLM_UND 理解专家              LLM_GEN 生成专家(MoE 双流)
          文本/语义 token                 VAE latent token
          自回归 next-token               Flow Matching 预测速度
          LM Head → 文本                 Flow Head → 视觉 latent
                    │                              │
                    └──────── 共享上下文注意力 ─────┘

三个关键设计:

  1. Unified Context Learning:文本 token、ViT 语义 token、clean VAE 条件 token、noisy VAE 目标 token 全部放进同一个交错序列,理解和生成在注意力层彼此可见——这是它"原生统一"而非拼接的根本。
  2. Decoupled Capability Pathways(双流 MoE):在共享上下文上拆出 LLM_UND(处理文本和语义视觉 token,AR next-token)和 LLM_GEN(处理 VAE latent token,flow matching 预测速度 vθ(xt,S,t)=x1−x0v_\theta(x_t,S,t)=x_1-x_0)。两路专家共享注意力上下文,但参数、表征、目标函数分开,避免理解与生成抢参数。总损失 L=λuLUND+λgLGEN\mathcal{L}=\lambda_u\mathcal{L}_{UND}+\lambda_g\mathcal{L}_{GEN}(不同阶段 CE:MSE 权重在 0.25:1 到 0.5:1 之间)。
  3. MaPE(Modality-Aware RoPE):在 3D-RoPE 基础上,只在时间维给不同视觉 token 组(ViT / clean VAE / noisy VAE)加不同的常量偏移 Δm\Delta_m,在全局位置空间显式区分它们的功能角色,同时保持空间布局和组内时序不被破坏。

🧭 和 Transfusion 的血缘:Lance 可以看作 Transfusion(02 篇)"文本走 CE、图像走 diffusion"思想的视频化 + MoE 解耦 + 多任务系统化版本。Transfusion 在图文上验证了双目标共享主干,Lance 把它推进到图像+视频、理解+生成+编辑的全任务空间,并把"共享"收敛到注意力上下文、把"分离"下沉到专家参数。

3.3 训练:四阶段渐进式多任务

Lance 从 Qwen2.5-VL 初始化,冻结 VAE 和 ViT,分四个阶段(论文 Table 2/3/4):

阶段 看到的 token 序列长度 重点
PT 预训练 1.5T 44K–50K 1B 图文 + 140M 视频配对,分辨率 192p→360p→480p 渐进课程,图:视频采样 ≈ 1:4
CT 持续训练 300B 74K–80K 引入交错理解(2.73M)+ 编辑(图 2.8M / 视频 2.6M)+ 主体驱动(S2I 3.6M / S2V 1M),数据混合按 CT-I/II/III 逐步加大难任务比例
SFT 监督微调 72B 74K–80K 高质量指令、编辑、主体数据,分辨率提到长边 848
RL(GRPO) 0.5B 74K–80K 20K 图像 prompt,PaddleOCR 作奖励模型,专攻文字渲染与图文对齐

消融实验(Table 9)给出了一个很有说服力的结论:

  • 加入理解数据(Gen.:Und. = 8:2)不只提升理解(MVBench 58.06),还反哺生成(GenEval 81.65、VBench 82.91);
  • 加入多任务生成数据(编辑/主体驱动)同样反向提升视频理解。

这就是标题里 Multi-Task Synergy 的实证——多任务不是简单的能力叠加,而是跨任务正迁移。

3.4 性能:3B 激活参数的"性价比标杆"

基准 任务 Lance 对比
GenEval 图像生成 0.90 开源统一模型最优,追平 20B Qwen-Image
VBench 视频生成 85.11 统一模型最优(超过 1.5B TUNA 的 84.06、8B Emu3 的 80.96)
GEdit-Bench 图像编辑 7.30 统一模型最优,超过 BAGEL(6.52)、InternVL-U(6.66,InternVL 团队的统一理解-生成变体)
MVBench 视频理解 62.0 统一模型最优,比第二名 Show-o2 7B 相对提升 11.3%

定性对比里,Lance 在复杂多人交互("两人拥抱")、镜头语言("中景推到面部特写")等指令跟随上表现稳定。

3.5 视频时长:有限时长,流式/无限生成留作未来工作

直接回答:Lance 生成的是有限时长的视频片段,不是无限时长。

从论文可以确认三点:

  1. 训练目标是固定片段的 flow matching:生成专家对一个 3D 因果 VAE latent block 一次性预测速度场并去噪,输出是有界的视频片段(VBench 评测为标准短视频片段),不是逐 token 无限延展。
  2. 架构上有"分段"机制但不是流式生成:论文描述 generalized 3D causal attention 时提到视频按 segment 组织,"each segment attends to preceding clean segments to preserve causal dependencies"——这说明它在上下文/训练层面支持分段条件,但论文没有把它做成或宣称成"任意长视频流式生成"。
  3. 作者明确把流式留作未来工作:结论部分第四条 Streaming Multimodal Interaction 写道,集成 streaming perception and generation 才能把 Lance 扩展到 real-time interaction 和 closed-loop agents,并引用了 Self Forcing 等工作。这等于明示当前版本还不是流式/无限生成模型。

它的最大上下文窗口在 CT/SFT 阶段为 70K token,配合 3D 因果 VAE(16× 空间下采样),能承载的视频长度是有上界的;要变长需要扩上下文或引入专门的自回归/流式机制。

⚠️ 和 Emu3.5 的关键差异:Emu3.5 用 next-state prediction(自回归地预测下一状态/帧),在架构上天然更接近"可以一直预测下去",并以 790 年视频训练支撑长程一致性;Lance 用 flow matching 生成有限片段,长视频要靠分段+跨段条件或未来的流式扩展。两者在"视频能生多长"上的归纳偏置不同。

3.6 为什么它对 UMM 谱系重要

  • 它填补了 Table 1 的任务覆盖空白:在 Lance 之前,原生统一模型里能同时打满 image/video 的 understanding-generation-editing-subject driven 全格子的几乎没有。
  • 它给出了"统一 vs 解耦"的折中范式:不是 Janus 那种编码器级硬解耦,也不是 Emu3/Chameleon 那种全共享,而是上下文统一 + 专家参数解耦,对中等规模(3B 激活、128 GPU)特别实用。
  • 它和 05 篇主题的关系:UniVideo 代表"工程双流",Emu3.5 代表"原生自回归世界模型",Lance 代表"原生多任务协同 + 解耦专家"——三者构成视频统一模型的三条现实路径。

三条路线对比

维度 UniVideo Emu3.5 Lance
团队 快手可灵 / 滑铁卢 智源 BAAI 字节跳动智能创作实验室
统一策略 双流拼接(MLLM + MMDiT) 原生统一(单 Transformer + NSP) 原生统一(共享上下文 + 双流 MoE 专家)
视觉表征 VAE 连续 latent 离散 token(DiDA 推理双向) ViT 语义 token + VAE latent 解耦并存
生成方式 连续扩散(MMDiT) 自回归 NSP + DiDA 离散扩散 理解 AR next-token + 生成 flow matching
视频时长 短视频片段(编辑导向) 架构上可自回归延展,主打长程世界一致性 有限片段,流式/无限生成列为未来工作
核心卖点 视频理解/生成/编辑工程一体化 世界模型(探索+具身+交错生成) 图像+视频全任务覆盖 + 多任务协同 + 3B 高效率
参数规模 未公开 34B 3B 激活(MoE)
训练数据 视频+图像编辑数据 10 万亿 token / 790 年视频 1.5T+300B+72B+0.5B token / 140M 视频
开源 是 是(代码+权重) 是(Apache 2.0)

从论文解读 01-05 篇看 UMM 的过去、现在与未来

过去:七篇奠基论文构建了词汇表

Transformer 提供骨干,CLIP/LLaVA 定义了理解范式,DDPM/DiT 定义了生成范式,VQ-VAE/VQGAN 解决了视觉离散化。没有这些,UMM 无从谈起。

现在:四条路线收敛到三个共识

Chameleon/Emu3/Transfusion/Show-o 探索了四条早期路线,Janus-Pro/BAGEL/U1 把它们推到产品级。三个共识已经形成:

  1. 一个 Transformer 统一多模态是可行的。
  2. MoT(共享注意力 + 分离 FFN)是当前最优架构模式之一。
  3. 交错图文数据是能力涌现的关键燃料。

VCoT 五篇论文则展示了统一模型"边看边想"的新能力维度——视觉中间产物不只是"画出来看",更是模型推理的载体。

未来:视频与世界模型是下一个前沿

UniVideo、Emu3.5 和 Lance 指向同一个方向:统一模型正在从"图像-文本"走向"视频-动作-世界状态"。

  • 当模型能预测下一帧、下一状态,它就具备了世界模型的核心能力。
  • 当世界模型能理解指令并生成动作,它就成了具身智能的大脑。
  • VCoT 和 NSP 的结合——模型先"想象"一系列未来状态,再据此规划行动——很可能是具身智能的关键技术路径。

BAGEL 的世界导航、CoT-VLA 的子目标预测、Emu3.5 的世界探索,这些看似独立的研究正在汇聚成一条清晰的技术线:统一多模态模型 → 视觉思维链 → 世界模型 → 具身智能。

这条线能走多远,取决于三个问题的答案:

  1. 视频 Scaling Law 是否成立? Emu3.5 的初步证据是肯定的,但还需要更多验证。
  2. 统一架构能否同时承载实时视频理解和高保真生成? UniVideo 的双流、Lance 的共享上下文+解耦 MoE 专家都是方案,但可能还不是终局。
  3. 世界模型的"世界"有多大? 是限于特定场景(厨房、客厅),还是能泛化到开放世界?

这些问题的答案,将定义 UMM 下一个阶段的研究议程。


全系列参考链接汇总

基础奠基

早期统一模型

主流模型

VCoT

视频与世界模型

评论