论文：Video Generation Models are General-Purpose Vision Learners arXiv：2607.09024 | 2026年7月10日 会议：ECCV 2026 项目主页：https://genception.github.io/ 机构：Google DeepMind, University of Toronto, MIT, University of Oxford, Lund University

一句话总结

GenCeption 证明了大规模视频生成模型不仅是合成工具，更是通用视觉智能的基础路径——它将预训练的文生视频扩散模型（WAN 2.1）改造为前馈感知模型，通过文本指令驱动，在单一架构中以 SOTA 性能完成深度估计、法线估计、分割、相机位姿估计、3D 关键点预测等多种视觉任务，且展现出 sim-to-real 迁移和跨类别泛化等涌现行为。

1. 研究动机：CV 领域的”GPT 时刻”

1.1 NLP 的启示

NLP 已从任务专用模型（翻译、摘要各一个模型）演进为统一的通用基础模型（LLM），核心驱动力是** next-token prediction** 这一预训练目标。

1.2 CV 的困境

计算机视觉仍停留在”任务专用”阶段：

• SAM 系列做分割
• Depth Anything 系列做深度
• VGGT 做几何
• Sapiens 做姿态

每个任务需要独立架构、损失函数、解码规则。这导致能力无法组合迁移，系统越来越复杂却越来越孤立。

1.3 理想的视觉预训练目标应满足三个条件

1. 时空演化：世界是 4D 连续体，预训练目标必须迫使模型内化 4D 时序因果和物理规律
2. 视觉-语言对齐：视觉特征需与语言语义原生对齐，以继承指令跟随和常识推理能力
3. 可扩展性：能在数据和算力上持续扩展，最终涌现视觉智能

核心主张：大规模文本到视频生成恰好同时满足这三个条件——生成高保真视频迫使模型学习 3D 几何、物体持久性和物理交互；文生视频模型天然以文本为条件，具备视觉-语言对齐能力；现代文生视频模型已用海量数据和算力训练，具备规模化路径。

2. 核心方法：从视频生成到通用感知

2.1 三大设计原则

1. 多模态生成预训练作为表征学习：以预训练文生视频扩散模型为通用骨干网络，最大化保持原始预训练范式，最小化架构修改
2. 任务无关的统一架构后训练：将所有视觉任务视为统一的序列到序列映射问题，不设计任务专用编解码器或损失函数
3. 前馈改革：将多步迭代扩散过程改造为单步前馈感知模型，兼顾精度和效率

2.2 前馈感知公式

关键改造：

• 输入：不再输入噪声潜变量，而是直接输入干净视频的潜变量
• 时间步：固定为 t=0（对应生成过程的终止点）
• 输出：取 DiT 的原始速度输出 v，取反得到 -v = x₀ - ε，更接近目标潜变量
• 本质：将 DiT 重新用作强大的特征提取器，利用 Rectified Flow 在 t=0 处的速度场提取最丰富的特征

2.3 统一任务表示

密集任务：统一在 RGB 空间

所有密集感知任务的输出都用 3 通道 RGB 空间 [0,1] 表示：

• 深度/分割：单维输出复制到三个 RGB 通道
• 法线/DensePose：三维任务直接用 RGB 三通道
• 相机位姿：使用”Raymap”表示——将 6 通道光线数据（起点+方向）空间分区到 3 通道 RGB 中

这种设计类似于 LLM 将非文本数据格式化为文本字符串，GenCeption 将视觉任务直接投影到连续像素空间。

稀疏任务：可学习 token

对于需要结构化输出的任务（2D/3D 关键点）：

• 在视频潜变量后追加 T 个可学习 token（每帧一个）
• 通过 MLP 解码每个 token 预测 K 维目标值
• 使用原生 3D RoPE 定位（空间位置可学习，时间位置通过位置插值缩放）

3. 数据构建：可扩展的合成数据策略

3.1 核心思路

真实数据集通常只包含部分模态且规模有限，因此采用合成数据作为可扩展的数据来源。

3.2 合成数据管线

• 角色资产：800 个 RenderPeople 3D 人体模型
• 动作数据：200 个 CMU 动作捕捉序列
• 背景：多种 3D 全景场景或 HDRI 环境贴图
• 相机：变化焦距、相机位置和轨迹
• 总量：7,500 个合成视频
• 标注：通过 Blender 渲染通道直接生成法线、深度、分割掩码等 GT

3.3 数据增强

额外引入公开合成数据集补充多样性：

• TartanAir、Virtual KITTI、MVS Synth（深度标注）
• TartanAir（相机轨迹）
• MeViS、Ref-COCO、YouTube-VOS（指代表达分割，使用真实数据）

4. 训练策略

4.1 统一损失函数

核心创新：完全统一的 L₂ 损失，不需要任何任务专用损失函数。

• 密集任务：在潜空间直接应用 L₂ 损失
• 稀疏任务：在输出空间应用 L₂ 损失
• 任务间的平衡仅通过数据混合比例管理，类似 LLM 的做法

4.2 数据层面的任务定制

以深度估计为例（通常需要尺度不变损失）：

• 用场景中值深度归一化，消除尺度模糊性
• 非线性映射 d’ = clip(α·log(d+1), 0, 1) 对齐到 [0,1] RGB 范围
• α 可动态调节近场细节与远场结构的关注度

4.3 训练细节

• 基座模型：开源 WAN 2.1 文生视频扩散模型
• 分辨率：480×832，81 帧，24 FPS
• 硬件：256 个 v6e TPU，batch size 64
• 优化器：Adam，学习率 5e-5，15000 步
• 稳定性：梯度裁剪 + 梯度丢弃（丢弃梯度范数超限的 batch）

5. 推理效率

前馈模型消除了标准 WAN 的 50 步迭代扩散：

文本编码器（10GB）和 VAE（0.25GB）可卸载到系统内存以节省显存。

6. 实验结果

6.1 与 SOTA 专用模型对比

结论：在绝大多数任务上匹配或超越 SOTA 专用模型，尤其在法线估计和指代分割上优势显著。

6.2 预训练范式对比（同等微调数据）

结论：视频生成预训练骨干网络全面超越 V-JEPA 和 VideoMAE V2，且展现出初步的 scaling 特性。

6.3 数据效率

GenCeption 用 7× 到 500× 更少的训练数据达到了与 D4RT 和 VGGT-Ω 相当的性能。

7. 消融实验关键发现

7.1 联合训练 vs 单任务训练

• 密集任务（法线、深度、分割）：从 Specialist 到 Generalist 性能基本保持或略有下降
• 前景分割：联合训练持续受益
• 3D 关键点：联合训练严重退化

原因分析：

1. token 坐标回归与连续像素空间预训练不一致
2. 从零训练的可学习 token 破坏了预训练 DiT 层的原生注意力机制

启示：后训练应尽量减少对预训练骨干的架构修改。

7.2 预训练层的重要性

• 随机初始化 DiT 训练几乎无学习曲线
• 随着使用更多预训练层，性能逐步提升
• 确认了预训练对下游收敛和性能的关键作用

8. 涌现行为

8.1 Sim-to-Real 迁移

模型完全在合成视频上训练，却能零样本迁移到真实世界视频，且输出细节（如猫须、发丝分割）超过了 Blender 渲染的训练数据质量。

8.2 多实例泛化

训练数据中每个视频只有单个物体，但模型能零样本泛化到包含多个物体的真实视频。

8.3 跨类别泛化

训练数据仅包含人体，但模型能泛化到动物和机器人等未见过的关节物体类别。

这些涌现行为表明，生成式视频骨干网络内部存在一个通用的”世界模型”。

9. 核心贡献总结

1. 范式创新：首次证明大规模视频生成可作为通用视觉感知的预训练范式
2. 统一架构：单一模型、单一损失函数（L₂）、单一前馈通道，覆盖密集+稀疏视觉任务
3. SOTA 性能：在深度、法线、分割、相机位姿、3D 关键点等任务上匹配或超越专用模型
4. 卓越数据效率：用 7×-500× 更少的数据达到领先性能
5. 涌现行为：sim-to-real 迁移、多实例泛化、跨类别泛化
6. 预训练范式对比：视频生成预训练显著优于 V-JEPA 和 VideoMAE V2

个人评价

GenCeption 的核心洞察极为深刻：如果 next-token prediction 是 NLP 的通用预训练目标，那么 text-to-video generation 就是 CV 的通用预训练目标。

这项工作的意义超越了具体性能数字：

1. CV 的范式转移：从”为每个任务工程化专用系统”到”用一个生成模型统一所有视觉任务”。这与 LLM 统一 NLP 的路径高度相似。
2. 数据优于架构：不需要新架构，只需要将任务输出格式化到统一的 RGB 空间，用统一 L₂ 损失训练。任务规格从架构修改转移到数据表示设计。
3. 涌现是核心证据：仅用人体合成视频训练，却能零样本迁移到真实视频、多实例、动物和机器人——这强烈暗示视频生成模型学到了超越”生成”本身的通用视觉理解。
4. 与前两篇论文的关系：
   • SenseNova-U1 统一了理解与生成（创作方向）
   • SenseNova-Vision 将 CV 任务统一为生成（分析方向）
   • GenCeption 将视频生成模型改造为感知模型（感知方向）
   • 三者共同指向一个趋势：生成式预训练是通向通用视觉智能的路径

当然，当前工作仍有局限：3D 关键点的联合训练退化、指代表达分割仍依赖真实数据、模型规模（14B）仍远小于 LLM。但这些局限恰好指出了下一步的研究方向。