对比论文：

• Vision Banana: Image Generators are Generalist Vision Learners (arXiv: 2604.20329, 2026年4月)
• SenseNova-Vision: Vision as Unified Multimodal Generation (arXiv: 2607.06560, 2026年7月) 项目主页：https://vision-banana.github.io/ | https://github.com/OpenSenseNova/SenseNova-Vision

一句话总结

两者都主张“生成式预训练是通用视觉学习的基础”，但路径截然不同：Vision Banana 用图像生成模型做视觉理解（2D 图像空间），SenseNova-Vision 用统一多模态模型将 CV 任务统一为文本+图像生成（文本+图像双空间）。前者更纯粹地依赖生成能力，后者更强调多模态的统一表达。

1. 核心定位对比

2. 最核心的差异：Diffusion vs Autoregressive

这是两者最本质的区别，决定了后续一切设计选择的分野。

Vision Banana — 基于 Diffusion（扩散模型）

• 基座 Nano Banana Pro (NBP) 是一个图像扩散生成模型
• 图像生成通过迭代去噪完成：从纯噪声出发，经过多步去噪逐步生成清晰图像
• 视觉感知任务复用同一套扩散机制：将任务输出编码为 RGB 图像后，通过扩散过程生成
• 推理需要多步采样（虽然可通过蒸馏减少步数）
• 优势：扩散模型在图像生成质量上有天然优势，生成的像素级输出（深度图、法线图、分割掩码）质量极高
• 局限：多步推理速度慢；难以自然处理文本等离散符号输出

SenseNova-Vision — 基于 Autoregressive（自回归 Transformer）

• 基座 Bagel-7B-MoT 是字节跳动开源的自回归 Transformer 模型（Mixture of Transformers）
• 所有输出（文本 token 和图像 token）都通过逐 token 预测生成
• 理解流和生成流共享同一个 Transformer 主干，通过 MoE 风格的专家路由分流
• 推理是单步前馈（每个 token 一次预测），不需要迭代去噪
• 优势：天然支持文本和图像的混合生成；推理效率高；与 LLM 范式一致，易于扩展
• 局限：自回归生成图像的质量通常不如扩散模型（但 Bagel 通过 MoT 和像素空间 Flow Matching 弥补了这一点）

架构差异的深层影响

本质上：Vision Banana 选择了”图像生成质量最优”的扩散路线，SenseNova-Vision 选择了”与 LLM 范式统一”的自回归路线。前者在像素级输出质量上有优势，后者在多模态统一和扩展性上有优势。

2.1 深入 AR 路线：图文交错自回归生成机制

SenseNova-U1/Vision 的 AR 架构最革命性的能力是图文交错生成（Interleaved Image-Text Generation）——同一个模型、同一条自回归流中，端到端地同时输出文字和图像。其核心机制可以拆解为三层：

第一层：统一混合词表（Unified Vocabulary）

要让同一个模型既能输出文字又能输出图像，首先必须在”语言”上实现大一统。模型拥有一个巨大的”超级词表”，里面包含三种 Token：

对于模型而言，文字和像素在底层都是离散的数字——这是整个机制的基石。

第二层：自回归”混合吐字”

当用户输入指令（如”写一个童话故事，配一幅猫咪插图”）后，模型以自回归方式逐个预测下一个 Token：

1. 文本阶段：模型正常输出文本 Token → “很久很久以前，有一只可爱的猫咪。”
2. 触发画图：模型预测出 `\`，这个特殊 Token 像"开关"一样告诉下游系统"我要开始画画了"
3. 连续输出图像 Token：模型连续输出固定数量（如 256/1024 个）的图像 Token（如 `[IMG_102]`、`[IMG_55]`、`[IMG_3201]`…），这些 Token 在语义上描述了构图、颜色和细节
4. 结束画图：模型吐出 `\`，标志图像 Token 流结束
5. 恢复文本：模型继续自回归预测文本 Token → “它最喜欢在阳光下的草地上打滚。”

第三层：后端分流与动态渲染（Routing & Rendering）

当混合 Token 流从 Transformer 输出时，系统的分流器（Router）实时拦截和分流：

• 文本 Token → 直接送入文本解码器，实时流式输出（Streaming）
• 遇到 `\` → 后续图像 Token 被送入**缓冲区（Buffer）**
• 收到 `\` → 缓冲区集齐所有图像 Token，一次性送入 **VQ-VAE/VQ-GAN 解码器**，还原为 RGB 像素图片
• 前端将文字和渲染出的图片按输出顺序图文交错排版呈现

关键洞察：这个机制的本质是——用 LLM 的自回归范式统一一切生成。文本是”逐字生成”，图像是”逐 token 生成再解码”，两者在同一条 Token 流中无缝切换。这正是 AR 架构相对于 Diffusion 的根本优势：不需要两套独立的生成机制。

在线模拟器：点击这里体验图文交错自回归生成模拟器，亲手操作每一步，观察 Transformer 如何流式输出混合 Token 并实时解包为文本与图像。

3. 架构与方法的进一步差异

3.1 输出表示：单空间 vs 多空间

Vision Banana — 极致的单空间统一：

• 所有视觉任务的输出都参数化为 RGB 图像
• 分割 → 颜色编码掩码图
• 深度 → 灰度/伪彩色深度图
• 法线 → RGB 法线图
• 语义分割 → 每类一个颜色的 RGB 图
• 没有文本输出：即使是类别标签、边界框坐标等符号化信息，也编码为图像像素

SenseNova-Vision — 灵活的多空间统一：

• 文本生成：类别、边界框、坐标、OCR 文本、关键点 → 用 `<p>`、`\` 等标记符
• 图像生成：分割掩码、深度图、法线图 → RGB 图像
• 混合输出：文本描述 + 颜色编码掩码（如多区域分割中，文本列出区域名称和 RGB 值，图像渲染对应掩码）

评价：Vision Banana 更纯粹——一切皆图像，极简优雅；SenseNova-Vision 更灵活——根据任务性质选择最合适的输出空间，对符号化任务（检测、OCR）更自然。

3.2 训练方式

Vision Banana：

• 在 NBP 原始图像生成训练数据上，混合少量视觉任务数据进行指令微调
• 轻量级微调，不牺牲基座模型的图像生成能力
• 强调 zero-shot 迁移能力

SenseNova-Vision：

• 构建了 SN-VC 5000 万样本的大规模语料库
• 基于 Bagel-7B-MoT 进行监督微调
• 数据覆盖结构化理解、密集几何、分割、多视图几何四大任务族
• 强调全任务谱的覆盖

3.3 任务覆盖范围

结论：Vision Banana 聚焦于密集几何预测和分割任务（输出都是图像的任务），SenseNova-Vision 覆盖了完整的 CV 任务谱（包括符号化输出的任务）。

4. 性能对比

4.1 深度估计（6 个 benchmark 平均 δ₁）

SenseNova-Vision 在深度任务上的数据（NYUv2 δ₁ 98.1, KITTI δ₁ 95.9 等）与 Vision Banana 使用的 benchmark 不完全重叠，但两者都达到了超越 Depth Anything 系列的水平。

4.2 表面法线估计（3 个 benchmark 平均 mAE）

两者在法线估计上都超越了所有对比模型。

4.3 分割任务

Vision Banana 在 zero-shot 设置下：

• Cityscapes 语义分割 mIoU: 69.9（SOTA）
• RefCOCOg cIoU: 73.8（SOTA）
• ReasonSeg gIoU: 79.3（SOTA）

SenseNova-Vision 在微调设置下：

• 语义分割 mIoU: 64.0
• 指代分割 cIoU: 81.3
• 推理分割 gIoU: 63.2

注意：两者评估设置不同（Vision Banana 强调 zero-shot，SenseNova-Vision 是 supervised fine-tuning），直接对比需谨慎。

5. 核心理念的异同

5.1 相同点

1. 生成式预训练是视觉学习的基础：两者都认为生成能力蕴含理解能力
2. 文本指令驱动：都通过自然语言指定任务类型和目标
3. 统一架构：都追求单一模型处理多种视觉任务
4. RGB 空间作为通用输出：密集任务都用 RGB 图像表示输出
5. 机构背景：Vision Banana 来自 Google（Kaiming He, Saining Xie 等），SenseNova-Vision 来自商汤 OpenSenseNova（基于字节跳动 Bagel 基座）

5.2 不同点

6. 各自的独特优势

Vision Banana 的独特之处

1. Zero-shot 能力：无需任务特定训练即可处理新任务，更接近”通用视觉智能”
2. 保持生成能力：微调后仍能生成高质量图像，真正的”生成+理解”双能力
3. 极简设计：一切输出都是图像，不需要设计不同的解码策略
4. 灵活的颜色映射：通过文本指令指定任意颜色编码方案，用户可以自定义输出格式

SenseNova-Vision 的独特之处

1. 完整任务谱覆盖：从检测到多视图几何，覆盖 CV 的几乎所有任务族
2. 符号化输出：原生支持检测框、OCR 文本、关键点坐标等结构化输出
3. 混合输出：文本+图像的组合输出，适合复杂场景（如多区域分割+语义描述）
4. 大规模数据工程：5000 万样本语料库，系统化的数据构建协议
5. 涌现行为：文本坐标→掩码生成等未训练行为

7. 与 GenCeption 的三方关系

值得一提的是，还有一篇高度相关的工作 GenCeption（arXiv: 2607.09024, ECCV 2026, Google DeepMind），它将视频生成模型改造为感知模型：

三者共同指向一个趋势：生成式预训练是通向通用视觉智能的路径，区别在于选择哪种生成模型作为基座、如何表示输出。

8. 总结与展望

谁更强？

取决于场景：

• 需要 zero-shot 灵活性和保持图像生成能力 → Vision Banana
• 需要完整 CV 任务覆盖（包括检测、OCR、关键点等符号化任务） → SenseNova-Vision
• 需要视频时序一致性 → GenCeption

未来方向

1. 统一图像+视频：Vision Banana 和 GenCeption 分别证明了图像和视频生成模型都能做感知，下一步可能是统一
2. 统一文本+图像输出：Vision Banana 目前不支持文本输出，SenseNova-Vision 证明了多空间输出的可行性
3. 更大的模型和更多的数据：三者都展现了初步的 scaling 特性
4. 真正的通用视觉基础模型：结合三者的优势——图像生成的 zero-shot 能力 + 多模态的完整任务覆盖 + 视频的时序理解

核心洞察

这两篇论文（连同 GenCeption）共同提出了一个革命性观点：

CV 的未来不是为每个任务设计专用模型，而是用一个生成模型统一所有视觉任务——就像 LLM 统一了 NLP 一样。

分歧仅在于”统一”的方式：是用纯图像生成统一（Vision Banana），还是用多模态生成统一（SenseNova-Vision），还是用视频生成统一（GenCeption）。最终的答案可能是三者的融合。