统一模型在图像领域验证成功后,自然向视频和世界模型延伸。快手可灵与滑铁卢大学的 UniVideo 用 MLLM+MMDiT 双流架构把统一理解/生成/编辑扩展到视频;智源的 Emu3.5 把"下一 token 预测"升维到"下一状态预测",用 790 年互联网视频训练出一个 34B 的原生多模态世界模型;字节跳动的 Lance 则以 3B 激活参数的双流 MoE,在单个原生模型里系统覆盖图像+视频的理解/生成/编辑。三篇论文代表 UMM 向时空维度扩展的三条路径:工程化双流拼接、第一性原理的原生自回归、以及共享上下文+解耦专家的多任务协同。

系列导航
- 01 基础奠基篇:Transformer、CLIP、LLaVA、DDPM、DiT、VQ-VAE、VQGAN
- 02 早期统一模型篇:Chameleon、Emu3、Transfusion、Show-o
- 03 主流模型篇:Janus-Pro、BAGEL、SenseNova U1
- 04 VCoT 篇:CoVT、Gen-VCoT、Visual Sketchpad、Visual-Aware CoT、CoT-VLA
- 05 视频与世界模型篇(本文):UniVideo、Emu3.5、Lance
- 06 终章:从统一表征到 AGI 终局之战
为什么视频统一更难
把理解和生成从图像扩展到视频,难度不是线性增加,而是阶跃式增加:
- 时序维度:图像只需要空间一致性,视频还需要时序一致性——物体不能帧帧变形,运动要符合物理规律。
- 计算量爆炸:一段 5 秒的 24fps 视频包含 120 帧,token 数量是单张图像的上百倍。
- 理解和生成的耦合更紧:视频编辑需要理解动作语义、跟踪物体、保持身份,这些都要求理解和生成深度协同。
- 训练数据稀缺:高质量的视频-文本-编辑三元组数据远比图像数据少。
UniVideo、Emu3.5 和 Lance 用截然不同的策略应对这些挑战。
1. UniVideo:MLLM + MMDiT 双流统一视频框架(2025.10)
论文:UniVideo: Unified Understanding, Generation, and Editing for Videos 作者:Cong Wei, Quande Liu, Zixuan Ye 等(滑铁卢大学 / 快手可灵团队 / 港科大) 链接:https://arxiv.org/abs/2510.08377 项目主页:https://congwei1230.github.io/UniVideo/
核心思路
UniVideo 的策略是"双流设计":不追求一个模型从底层统一一切,而是让两个擅长不同任务的模型协同工作——MLLM 负责理解指令,MMDiT 负责视觉生成。这和 Transfusion 在图像领域的"AR + Diffusion 共存"思路一脉相承,但扩展到了视频。
架构设计
输入:文本 + 图像/视频(多模态指令)
│
▼
┌─────────────────────┐
│ MLLM(理解流) │ ← 解析指令、理解视觉内容、生成文本响应
│ 提取最后一层隐状态 │
└─────────┬───────────┘
│ 可训练连接器
▼
┌─────────────────────┐
│ MMDiT(生成流) │ ← 两个分支:
│ 分支A:MLLM 语义特征 │ 高层语义指导
│ 分支B:VAE 视觉特征 │ 细粒度像素重建
└─────────┬───────────┘
│
▼
输出:生成/编辑后的视频
1.1 MLLM:指令理解中枢
MLLM 接收文本、图像和视频输入,负责:
- 解析复杂的多模态指令("把视频里的狗换成猫,保持背景不变")。
- 理解参考图像/视频的内容和风格。
- 生成文本响应(对于理解类任务)。
- 提取最后一层 Transformer 的隐状态,这些隐状态编码了丰富的多模态语义信息。
关键设计:MLLM 保持原有的文本生成能力不变。它不是被"改造"成视频模型,而是作为一个成熟的理解模块被复用。这降低了训练难度,也保证了语言能力不退化。
1.2 可训练连接器
MLLM 的隐状态通过一个可训练的连接器对齐到 MMDiT 的输入空间。这个连接器是轻量级的(相比整个模型),负责把"理解空间"的表征翻译成"生成空间"能使用的条件信号。
1.3 MMDiT:双流视觉生成
MMDiT(Multimodal Diffusion Transformer)是视频生成的核心。它内部有两个分支:
- 理解流分支:接收来自 MLLM 的高层语义特征,确保生成内容符合指令意图。
- 生成流分支:接收来自 VAE 的细粒度视觉编码(当前帧的 latent),保留纹理、颜色、运动细节。
两个分支在 MMDiT 的 Transformer 层中通过注意力机制交互——语义分支指导"画什么",视觉分支保证"怎么画"。这种设计对于视频编辑尤其重要:需要同时保持语义正确(换成猫)和视觉一致(背景、光照、运动连贯)。
1.4 统一任务范式
UniVideo 用一套统一的多模态指令格式覆盖所有视频任务:
- 文本/图像到视频生成(T2V / I2V):根据文本描述或参考图像生成视频。
- 上下文视频生成(In-context Video Generation):给定视频片段,续写后续内容。
- 上下文视频编辑(In-context Video Editing):根据指令修改已有视频。
- 视觉提示生成(Visual-prompt-based Generation):手绘草图、标注线等作为提示,MLLM 理解视觉提示后指导生成。
每个视觉输入被分配一个 ID 标签,模型通过标签区分哪个是参考图、哪个是待编辑视频、哪个是风格参考。三维位置编码区分条件信息和目标视频信息,不需要额外的任务标识。
训练策略
UniVideo 的训练分三个阶段:
- 阶段一:建立 MLLM-MMDiT 通信机制。训练连接器,让 MLLM 的语义特征能有效指导 MMDiT 生成。
- 阶段二:提升生成质量。在大规模视频生成数据上训练,提升视觉质量和时序一致性。
- 阶段三:多任务统一训练。联合训练生成、编辑、理解任务,让模型学会区分任务类型并自适应处理。
关键能力与结果
UniVideo 在多个维度展示了统一设计的优势:
-
SOTA 性能:在 T2V、I2V、上下文生成、上下文编辑等任务上匹配或超越专用 SOTA 基线。
-
任务组合泛化:支持在单条指令中组合多个能力。例如"把视频中的物体替换成参考图中的物体,同时把风格转换成油画风格"——编辑 + 风格迁移一次完成,不需要为这种组合专门训练。
-
自由形式视频编辑的零样本迁移:即使没有在自由形式视频编辑数据上训练,UniVideo 也能把大规模图像编辑中学到的编辑能力迁移到视频上。例如"改变视频中的环境"、"替换视频中的材质"——这些未见过的指令也能处理。
-
视觉提示理解:MLLM 能理解手绘标注和草图,把用户的视觉创意转化为生成指导。这在专业视频制作中很有价值。
设计哲学与局限
UniVideo 代表了"工程化统一"的路线:
- 优势:复用成熟的 MLLM(理解能力有保障)和 MMDiT(生成质量有保障),训练风险低,每个模块可以独立升级。
- 代价:架构上仍然是"两个模型 + 一个连接器",不是原生统一。MLLM 和 MMDiT 之间的信息通过连接器传递,存在表征鸿沟。推理时需要同时跑两个大模型,计算开销大。
对比 BAGEL 的"一个 Transformer 内部 MoT 双塔"和 SenseNova U1 的"原生统一",UniVideo 的双流更像是在视频领域重走了 Transfusion 的路——先把两个成熟模块拼起来验证可行性,后续可能走向更深层融合。
2. Emu3.5:从下一 Token 到下一状态的世界模型(2025.10)
论文:Emu3.5: Native Multimodal Models are World Learners 作者:Yufeng Cui, Honghao Chen, Haoge Deng 等(智源 BAAI) 链接:https://arxiv.org/abs/2510.26583 项目主页:https://emu.world/ 代码:https://github.com/baaivision/Emu3.5
核心思路
Emu3 证明了"next-token prediction is all you need",但纯自回归图像生成有一个致命短板:速度慢。Emu3.5 在两个维度上做了升维:
- 目标升维:从"下一 token 预测"(Next-Token Prediction, NTP)升维到"下一状态预测"(Next-State Prediction, NSP)。"状态"可以是一个词、一个图像片段,甚至一段视频的下一帧。
- 效率革命:提出 DiDA(Discrete Diffusion Adaptation,离散扩散适配),把逐 token 自回归解码转换成双向并行预测,单图推理速度提升约 20 倍。
智源研究院院长王仲远称其为"第三个 Scaling 范式"——前两个分别是语言预训练 Scaling 和后训练/推理 Scaling,Emu3.5 证明多模态领域同样存在 Scaling Law。
2.1 Next-State Prediction:统一的训练目标
NSP 是 NTP 的自然推广。在 Emu3 中,模型预测序列中的下一个离散 token;在 Emu3.5 中,模型预测的是"下一个多模态状态":
- 如果当前状态是文本的中间位置,下一个状态是下一个词 token。
- 如果当前状态是一段叙事中的配图位置,下一个状态是一整张图像(或图像片段)。
- 如果当前状态是视频的一帧,下一个状态是视频的下一帧。
- 如果当前状态是一个机器人操作步骤,下一个状态可以是操作后的视觉结果。
NSP 的关键洞察是:世界本来就是以"状态序列"的方式运行的。视频是连续帧的状态序列,图文交错的文档是文字和图像交替的状态序列,机器人操作是观察-动作循环的状态序列。用统一的 NSP 目标训练,模型天然就能学习这些不同形式的状态转换规律。
2.2 训练数据:790 年的互联网视频
Emu3.5 的预训练数据量达到了新的量级:
- 总数据量:超过 10 万亿 token。
- 主要来源:互联网视频的连续帧和转录文本,累计时长约 790 年。
- 对比:Emu3 的视频数据约 15 年时长,Emu3.5 实现了两个数量级的跨越。
- 数据还包括图文交错网页、图像-文本对等。
为什么视频如此重要?因为视频包含了世界运行的动态记录:物体怎么运动、人怎么操作工具、场景怎么随时间变化、因果关系如何展开。790 年的视频本质上是在让模型"观察"世界 790 年,从中内化物理常识和时空因果。
2.3 模型规模与架构
- 参数:34B(从 Emu3 的 8B 扩大到 34B)。
- 架构:纯 decoder-only Transformer,原生支持交错的视觉-语言输入输出。
- 视觉 tokenizer:在 Emu3 基础上改进,支持更高分辨率和更好的重建质量。
- 后训练:大规模强化学习(RL),增强多模态推理和生成能力。这是首次在自回归多模态架构下落地大规模 RL,为多模态 Scaling 提供了关键支撑。
2.4 DiDA:解决自回归生成的速度瓶颈
Emu3 最大的工程问题是:逐 token 生成一张图需要预测上千个 token,速度远不如扩散模型的并行去噪。DiDA(Discrete Diffusion Adaptation)是 Emu3.5 的核心工程创新:
核心思想:保留自回归预训练的模型权重,但在推理/微调时引入离散扩散机制,把顺序解码改成双向并行预测。
具体来说:
-
预训练阶段:模型用标准 NTP/NSP 目标训练,学会逐 token 预测。这一步保留了自回归训练的所有优势——简单、稳定、Scaling Law 明确。
-
DiDA 适配阶段:在预训练模型上微调,引入离散扩散的噪声调度:
- 给图像 token 序列随机 mask 掉一部分(类似 BERT 的 masked modeling,但有噪声调度)。
- 训练模型根据未 mask 的 token 双向预测被 mask 的 token。
- 这和 Show-o 的离散扩散思路类似,但 DiDA 的贡献在于证明了可以在已有的自回归预训练模型上"适配"出这种能力,不需要从头训练。
-
推理阶段:
- 文本部分仍然用自回归(逐 token 生成,因为语言需要顺序性)。
- 图像/视频部分用离散扩散并行解码(多步去噪,每步同时预测所有位置)。
- 单图推理速度提升约 20 倍,质量不降级。
DiDA 的意义在于它同时享受了两个世界的好处:训练时用自回归(简单、可扩展),推理时用扩散(快速、并行)。这是对 Emu3"纯自回归"路线的工程补强,也是对 Transfusion"训练时就混合两种 loss"路线的另一种回答。
2.5 关键能力
Emu3.5 展示了四大类原生多模态能力:
长程视觉-语言生成
模型能生成连贯的多页图文交错内容,例如:
- 分步骤视觉教程("如何用粘土雕刻火星探险者"——每一步都有配图)。
- 长篇视觉故事("粘土宇航员在外星森林坠毁,遇到皮卡丘,一起探索发光蘑菇森林")。
- 角色、风格在多页内容中保持一致。
任意到图像生成(X2I)
- 文本到图像、图像到图像、图像+文本到图像、多图参考到图像。
- 在图像生成和编辑任务上达到与 Gemini 2.5 Flash Image(Nano Banana)相当的性能。
- 在交错生成任务(interleaved generation)上优于 Nano Banana。
复杂文本图像生成
- 精准渲染密集文字(海报、文档、信息图)。
- 支持复杂排版和图文混排。
世界建模能力
这是 Emu3.5 最具想象力的能力:
- 世界探索(World Exploration):给定一个场景(客厅、教室、埃菲尔铁塔、天坛),生成连贯的第一人称视角探索视频。模型能保持长程空间一致性——左转后看到的物体和之前看到的物体在空间上是自洽的。
- 开放世界具身操作(Open-world Embodied Manipulation):理解物理世界任务并生成操作步骤的视觉演示——叠衣服、清理台面、超市拣货。每一步都有对应的视觉结果,展示了模型对物理因果的理解。
2.6 为什么称"第三个 Scaling 范式"
王仲远的论断基于三个依据:
-
架构可扩展:Emu3.5 用纯自回归设计实现多模态大一统,能大规模复用现有计算基础设施(Transformer 训练和推理栈非常成熟)。
-
RL 可扩展:首次在多模态自回归架构下落地大规模强化学习。RL 基础设施(GRPO、RLHF 等)在文本领域已经成熟,现在可以直接迁移到多模态。
-
性能可扩展:从 Emu3(8B)到 Emu3.5(34B),从 15 年视频到 790 年视频,性能实现了显著跃升,且已经达到产品级水准。这证明了多模态 NSP 目标存在 Scaling Law——更多参数 + 更多数据 = 更好性能。
第三条路线:Lance —— 共享上下文 + 解耦专家路径
UniVideo 是双流拼接,Emu3.5 是纯自回归原生统一。2026 年 8 月字节跳动智能创作实验室开源的 Lance(arXiv:2605.18678,3B 激活参数,Apache 2.0)给出了第三条路:用共享交错序列保证任务互相看见,用双流 MoE 专家保证理解和生成不在同一条参数路径上互相拉扯。
论文一句话:Lance 是一个轻量级原生统一模型,单模型同时支持图像 + 视频的理解、生成与编辑(X2T / X2I / X2V),在 VBench、GenEval、GEdit-Bench、MVBench 上以 3B 激活参数超过多个更大的开源统一模型,全程训练预算不超过 128 张 GPU。
3.1 它要解决的两个矛盾
Lance 在论文开头点明了现有 UMM 的两个根本问题,恰好呼应了 01 篇 ViT-vs-VAE 的表征冲突:
- 理解 vs 生成的表征错配:理解要高层语义(对齐语言的 ViT 特征),生成要低层连续 latent(保留纹理/几何/时序动态的 VAE 特征)。强行统一表征会互相打架,完全解耦又增加架构复杂度。
- 任务覆盖不全:之前的统一模型大多困在图文领域,或者只覆盖视频理解+视频生成的子集;编辑、主体驱动生成往往被当成下游微调,没有进入统一多任务训练。Lance 自己的 Table 1 显示,在它之前能把 image/video 的理解-生成-编辑-S2I/S2V 格子全部打勾的原生统一模型几乎没有(UniVideo 是非原生拼接,Emu3.5 部分格子是 △)。
3.2 核心设计:统一上下文 + 解耦能力路径
文本 ──→ Qwen2.5-VL 词嵌入 ─────────┐
理解图像/视频 ──→ SigLIP ViT 语义 token ──┤
生成条件 ──→ 3D 因果 VAE clean latent ──→ 共享交错多模态序列 (MaPE)
生成目标 ──→ 3D 因果 VAE noisy latent ──┘
│
┌──────────────┴──────────────┐
▼ ▼
LLM_UND 理解专家 LLM_GEN 生成专家(MoE 双流)
文本/语义 token VAE latent token
自回归 next-token Flow Matching 预测速度
LM Head → 文本 Flow Head → 视觉 latent
│ │
└──────── 共享上下文注意力 ─────┘
三个关键设计:
- Unified Context Learning:文本 token、ViT 语义 token、clean VAE 条件 token、noisy VAE 目标 token 全部放进同一个交错序列,理解和生成在注意力层彼此可见——这是它"原生统一"而非拼接的根本。
- Decoupled Capability Pathways(双流 MoE):在共享上下文上拆出
LLM_UND(处理文本和语义视觉 token,AR next-token)和LLM_GEN(处理 VAE latent token,flow matching 预测速度 )。两路专家共享注意力上下文,但参数、表征、目标函数分开,避免理解与生成抢参数。总损失 (不同阶段 CE:MSE 权重在 0.25:1 到 0.5:1 之间)。 - MaPE(Modality-Aware RoPE):在 3D-RoPE 基础上,只在时间维给不同视觉 token 组(ViT / clean VAE / noisy VAE)加不同的常量偏移 ,在全局位置空间显式区分它们的功能角色,同时保持空间布局和组内时序不被破坏。
🧭 和 Transfusion 的血缘:Lance 可以看作 Transfusion(02 篇)"文本走 CE、图像走 diffusion"思想的视频化 + MoE 解耦 + 多任务系统化版本。Transfusion 在图文上验证了双目标共享主干,Lance 把它推进到图像+视频、理解+生成+编辑的全任务空间,并把"共享"收敛到注意力上下文、把"分离"下沉到专家参数。
3.3 训练:四阶段渐进式多任务
Lance 从 Qwen2.5-VL 初始化,冻结 VAE 和 ViT,分四个阶段(论文 Table 2/3/4):
| 阶段 | 看到的 token | 序列长度 | 重点 |
|---|---|---|---|
| PT 预训练 | 1.5T | 44K–50K | 1B 图文 + 140M 视频配对,分辨率 192p→360p→480p 渐进课程,图:视频采样 ≈ 1:4 |
| CT 持续训练 | 300B | 74K–80K | 引入交错理解(2.73M)+ 编辑(图 2.8M / 视频 2.6M)+ 主体驱动(S2I 3.6M / S2V 1M),数据混合按 CT-I/II/III 逐步加大难任务比例 |
| SFT 监督微调 | 72B | 74K–80K | 高质量指令、编辑、主体数据,分辨率提到长边 848 |
| RL(GRPO) | 0.5B | 74K–80K | 20K 图像 prompt,PaddleOCR 作奖励模型,专攻文字渲染与图文对齐 |
消融实验(Table 9)给出了一个很有说服力的结论:
- 加入理解数据(Gen.:Und. = 8:2)不只提升理解(MVBench 58.06),还反哺生成(GenEval 81.65、VBench 82.91);
- 加入多任务生成数据(编辑/主体驱动)同样反向提升视频理解。
这就是标题里 Multi-Task Synergy 的实证——多任务不是简单的能力叠加,而是跨任务正迁移。
3.4 性能:3B 激活参数的"性价比标杆"
| 基准 | 任务 | Lance | 对比 |
|---|---|---|---|
| GenEval | 图像生成 | 0.90 | 开源统一模型最优,追平 20B Qwen-Image |
| VBench | 视频生成 | 85.11 | 统一模型最优(超过 1.5B TUNA 的 84.06、8B Emu3 的 80.96) |
| GEdit-Bench | 图像编辑 | 7.30 | 统一模型最优,超过 BAGEL(6.52)、InternVL-U(6.66,InternVL 团队的统一理解-生成变体) |
| MVBench | 视频理解 | 62.0 | 统一模型最优,比第二名 Show-o2 7B 相对提升 11.3% |
定性对比里,Lance 在复杂多人交互("两人拥抱")、镜头语言("中景推到面部特写")等指令跟随上表现稳定。
3.5 视频时长:有限时长,流式/无限生成留作未来工作
直接回答:Lance 生成的是有限时长的视频片段,不是无限时长。
从论文可以确认三点:
- 训练目标是固定片段的 flow matching:生成专家对一个 3D 因果 VAE latent block 一次性预测速度场并去噪,输出是有界的视频片段(VBench 评测为标准短视频片段),不是逐 token 无限延展。
- 架构上有"分段"机制但不是流式生成:论文描述 generalized 3D causal attention 时提到视频按 segment 组织,"each segment attends to preceding clean segments to preserve causal dependencies"——这说明它在上下文/训练层面支持分段条件,但论文没有把它做成或宣称成"任意长视频流式生成"。
- 作者明确把流式留作未来工作:结论部分第四条 Streaming Multimodal Interaction 写道,集成 streaming perception and generation 才能把 Lance 扩展到 real-time interaction 和 closed-loop agents,并引用了 Self Forcing 等工作。这等于明示当前版本还不是流式/无限生成模型。
它的最大上下文窗口在 CT/SFT 阶段为 70K token,配合 3D 因果 VAE(16× 空间下采样),能承载的视频长度是有上界的;要变长需要扩上下文或引入专门的自回归/流式机制。
⚠️ 和 Emu3.5 的关键差异:Emu3.5 用 next-state prediction(自回归地预测下一状态/帧),在架构上天然更接近"可以一直预测下去",并以 790 年视频训练支撑长程一致性;Lance 用 flow matching 生成有限片段,长视频要靠分段+跨段条件或未来的流式扩展。两者在"视频能生多长"上的归纳偏置不同。
3.6 为什么它对 UMM 谱系重要
- 它填补了 Table 1 的任务覆盖空白:在 Lance 之前,原生统一模型里能同时打满 image/video 的 understanding-generation-editing-subject driven 全格子的几乎没有。
- 它给出了"统一 vs 解耦"的折中范式:不是 Janus 那种编码器级硬解耦,也不是 Emu3/Chameleon 那种全共享,而是上下文统一 + 专家参数解耦,对中等规模(3B 激活、128 GPU)特别实用。
- 它和 05 篇主题的关系:UniVideo 代表"工程双流",Emu3.5 代表"原生自回归世界模型",Lance 代表"原生多任务协同 + 解耦专家"——三者构成视频统一模型的三条现实路径。
三条路线对比
| 维度 | UniVideo | Emu3.5 | Lance |
|---|---|---|---|
| 团队 | 快手可灵 / 滑铁卢 | 智源 BAAI | 字节跳动智能创作实验室 |
| 统一策略 | 双流拼接(MLLM + MMDiT) | 原生统一(单 Transformer + NSP) | 原生统一(共享上下文 + 双流 MoE 专家) |
| 视觉表征 | VAE 连续 latent | 离散 token(DiDA 推理双向) | ViT 语义 token + VAE latent 解耦并存 |
| 生成方式 | 连续扩散(MMDiT) | 自回归 NSP + DiDA 离散扩散 | 理解 AR next-token + 生成 flow matching |
| 视频时长 | 短视频片段(编辑导向) | 架构上可自回归延展,主打长程世界一致性 | 有限片段,流式/无限生成列为未来工作 |
| 核心卖点 | 视频理解/生成/编辑工程一体化 | 世界模型(探索+具身+交错生成) | 图像+视频全任务覆盖 + 多任务协同 + 3B 高效率 |
| 参数规模 | 未公开 | 34B | 3B 激活(MoE) |
| 训练数据 | 视频+图像编辑数据 | 10 万亿 token / 790 年视频 | 1.5T+300B+72B+0.5B token / 140M 视频 |
| 开源 | 是 | 是(代码+权重) | 是(Apache 2.0) |
从论文解读 01-05 篇看 UMM 的过去、现在与未来
过去:七篇奠基论文构建了词汇表
Transformer 提供骨干,CLIP/LLaVA 定义了理解范式,DDPM/DiT 定义了生成范式,VQ-VAE/VQGAN 解决了视觉离散化。没有这些,UMM 无从谈起。
现在:四条路线收敛到三个共识
Chameleon/Emu3/Transfusion/Show-o 探索了四条早期路线,Janus-Pro/BAGEL/U1 把它们推到产品级。三个共识已经形成:
- 一个 Transformer 统一多模态是可行的。
- MoT(共享注意力 + 分离 FFN)是当前最优架构模式之一。
- 交错图文数据是能力涌现的关键燃料。
VCoT 五篇论文则展示了统一模型"边看边想"的新能力维度——视觉中间产物不只是"画出来看",更是模型推理的载体。
未来:视频与世界模型是下一个前沿
UniVideo、Emu3.5 和 Lance 指向同一个方向:统一模型正在从"图像-文本"走向"视频-动作-世界状态"。
- 当模型能预测下一帧、下一状态,它就具备了世界模型的核心能力。
- 当世界模型能理解指令并生成动作,它就成了具身智能的大脑。
- VCoT 和 NSP 的结合——模型先"想象"一系列未来状态,再据此规划行动——很可能是具身智能的关键技术路径。
BAGEL 的世界导航、CoT-VLA 的子目标预测、Emu3.5 的世界探索,这些看似独立的研究正在汇聚成一条清晰的技术线:统一多模态模型 → 视觉思维链 → 世界模型 → 具身智能。
这条线能走多远,取决于三个问题的答案:
- 视频 Scaling Law 是否成立? Emu3.5 的初步证据是肯定的,但还需要更多验证。
- 统一架构能否同时承载实时视频理解和高保真生成? UniVideo 的双流、Lance 的共享上下文+解耦 MoE 专家都是方案,但可能还不是终局。
- 世界模型的"世界"有多大? 是限于特定场景(厨房、客厅),还是能泛化到开放世界?
这些问题的答案,将定义 UMM 下一个阶段的研究议程。
全系列参考链接汇总
基础奠基
- Attention Is All You Need: https://arxiv.org/abs/1706.03762
- CLIP: https://arxiv.org/abs/2103.00020
- LLaVA: https://arxiv.org/abs/2304.08485
- DDPM: https://arxiv.org/abs/2006.11239
- DiT: https://arxiv.org/abs/2212.09748
- VQ-VAE: https://arxiv.org/abs/1711.00937
- VQGAN: https://arxiv.org/abs/2012.09841
早期统一模型
- Chameleon: https://arxiv.org/abs/2405.09818
- Emu3: https://arxiv.org/abs/2409.18869
- Transfusion: https://arxiv.org/abs/2408.11039
- Show-o: https://arxiv.org/abs/2408.12528
主流模型
- Janus-Pro: https://arxiv.org/abs/2501.17811
- BAGEL: https://arxiv.org/abs/2505.14683
- SenseNova U1: https://arxiv.org/abs/2605.12500
VCoT
- Visual Sketchpad: https://arxiv.org/abs/2406.09403
- CoVT: https://arxiv.org/abs/2511.19418
- Gen-VCoT: https://arxiv.org/abs/2606.16783
- Visual-Aware CoT: https://arxiv.org/abs/2512.19686
- CoT-VLA: https://arxiv.org/abs/2503.22020
视频与世界模型
- UniVideo: https://arxiv.org/abs/2510.08377
- Emu3.5: https://arxiv.org/abs/2510.26583
- Lance: https://arxiv.org/abs/2605.18678