|本文
4436
字|
需要时间:
13
分钟|
论文：Vision as Unified Multimodal Generation arXiv：2607.06560 | 2026年7月7日 项目主页：https://github.com/OpenSenseNova/SenseNova-Vision
一句话总结
SenseNova-Vision 提出将整个计算机视觉领域统一为多模态生成问题——不需要任何任务专用架构，一个统一多模态模型（UMM）通过自然语言指令驱动，用文本生成表达符号化输出（检测框、坐标、OCR），用图像生成表达密集空间预测（分割掩码、深度图、法线图），用混合输出处理组合任务，从而在单一模型中覆盖了从目标检测到多视图几何的完整 CV 能力谱。
1. 研究动机：为什么要把 CV 变成生成问题？
1.1 当前 CV 领域的碎片化困境
计算机视觉领域长期依赖专用系统：
- 目标检测：DETR、Mask R-CNN
- 分割：SAM、SegGPT
- 深度估计：DepthAnything
- 多视图几何：VGGT
- 光流：RAFT
每个任务家族都有独立的架构、损失函数、解码规则和评估协议。这导致：
- 视觉监督信号难以跨任务共享和复用
- 能力无法组合和迁移
- 系统越来越复杂但越来越孤立
1.2 已有统一尝试的局限
序列格式统一（OFA、Pix2Seq、Unified-IO 2）：
- 将标注转为共享序列格式
- 但不同输出类型仍需序列化/解析约定，对密集图和结构多样的视觉输出不够自然
视觉基础模型（SAM、DepthAnything、VGGT）：
- 在视觉一致的任务家族内泛化能力强
- 但没有统一输出空间，语言控制能力有限
图像生成模型用于感知（Lotus、DICEPTION、Vision Banana）：
- 用扩散模型做密集预测
- 但只能处理图像侧输出，无法处理符号化记录（类别、框、参数）
MLLM + 任务模块（LISA、X-SAM、VisionLLM v2）：
- 引入语言和推理能力
- 但仍需任务专用解码器，输出空间碎片化
1.3 核心主张
计算机视觉可以且应该成为统一基础模型的原生生成能力——不再是逐个工程化任务，而是变成可编程、可生成、可扩展的能力。
这是 GPT 在 NLP 领域所做的事情在视觉感知领域的类比。
2. 核心方法：统一多模态生成范式
2.1 基本思路
用自然语言指令 + 可选视觉提示来指定：
- 任务类型
- 目标区域或视角
- 输出格式
- 解码约定
模型的响应通过三种原生生成空间表达：
| 响应类型 | 适用任务 | 输出形式 |
|---|---|---|
| 文本生成 | 符号化视觉记录 | 类别、边界框、坐标点、OCR 文本、关键点、相机参数 |
| 图像生成 | 密集空间预测 | 分割掩码、深度图、表面法线、多视图点图 |
| 混合文本-图像 | 组合任务 | 文本描述 + 颜色编码掩码，文本列出区域并用 ` |
2.2 四大任务族的统一表达
结构化视觉理解（文本输出）
覆盖：检测、指代、定位、关键点、OCR、布局分析、GUI 定位
- 标签、转录文本、属性 → 普通文本
- 空间字段 → 归一化图像坐标
- 轻量标记符 `<p>`、`
\`、\` \` 分隔短语和坐标字段 - 生成结果可解析回类型化的 benchmark 记录
密集几何预测（图像输出）
覆盖：深度估计、表面法线估计
- 深度：有效度量值转为逆深度，渲染为归一化灰度图
- 法线：渲染为 RGB 图，通道编码法线分量
- 生成图像可解码回度量兼容的深度/法线图
分割（图像/混合输出）
覆盖：语义/全景/指代/推理/接地对话/交互式分割
- 单目标（指代、推理、交互式）→ 二值掩码图像（固定前景/背景色）
- 多区域（语义/全景分割）→ 混合文本-图像响应：文本列出区域并用 `
\` 标记指定 RGB 调色板，图像渲染对应颜色编码掩码 - 交互式分割支持点、框、涂鸦、掩码等视觉提示
多视图视觉几何（混合输出）
覆盖：多视图点图重建、相机位姿估计
- 密集场景几何 → 逐视图密集 XYZ 点图（RGB 通道存储对齐归一化的 3D 坐标）
- 相机位姿 → 结构化序列（四元数旋转 + 平移方向 + 缩放），用 `\`、\`
\`、\` \`、\` \` 等特殊 token 界定
3. 数据构建：SenseNova-Vision Corpus (SN-VC)
3.1 数据协议
统一样本模式：一个或多个视觉输入 + 自然语言指令 + 可解码目标响应
- 指令：指定任务意图、输出格式、解码约定
- 响应：文本、图像或混合文本-图像输出
- 每个任务实例化多种指令变体以提高 prompt 鲁棒性
3.2 语料库规模
SN-VC-50M：5000 万样本的已发布子集
来源覆盖：
- 结构化视觉理解：以检测为中心的标注 + GUI、OCR、布局、关键点监督
- 密集几何预测：深度和表面法线监督
- 分割：掩码中心任务（指代、通用、交互式、GCG、推理分割）
- 多视图视觉几何：重建目标和相机位姿标注
3.3 数据补充策略
对于标注不完整或不可直接使用的情况：
- 结构化理解：借鉴 Rex-Omni 数据构建管线
- 密集几何：用 MoGe-2 稠密化不完整监督，生成额外深度/法线目标
- 分割：策划混合文本-图像目标（如 GCG 分割）
- 多视图几何：用 LingBot-Depth 补全稀疏深度，过滤无效样本
4. 训练策略
4.1 基础模型
基于 Bagel-7B-MoT 检查点进行监督微调（不从头训练）
4.2 混合任务微调
- 主训练数据：SenseNova-Vision Corpus
- 辅助数据：通用多模态数据（VQA、图像生成等），作为能力保持混合
- 不需要任何任务专用预测头或架构修改
4.3 关键训练配置
- 高分辨率训练
- 多视图训练支持
- 详细超参数设置见论文
5. 实验结果
5.1 结构化视觉理解
| 任务 | 对比模型 | SenseNova-Vision |
|---|---|---|
| COCO 检测 (mAP) | Grounding DINO-T 56.6 | 56.6 |
| RefCOCOg | LocateAnything 78.7 | 80.2 |
| LVIS (mAP) | LocateAnything 50.7 | 54.8 |
| Dense200 | LocateAnything 58.7 | 66.8 |
| VisDrone | LocateAnything 39.9 | 43.3 |
| HierText | Rex-Omni 28.0 | 31.2 |
| ICDAR15 | Rex-Omni 28.1 | 49.5 |
| ScreenSpot-V2 | Qwen3.5-9B 92.2 | 85.9 |
| COCO-Kpt | Rex-Omni 32.6 | 34.6 |
结论：在绝大多数结构化视觉理解任务上领先，尤其 Dense200（+8.1）和 ICDAR15（+21.4）优势显著。
5.2 密集几何预测
| 任务 | 最佳专用模型 | SenseNova-Vision |
|---|---|---|
| NYUv2 深度 (AbsRel/δ1) | MoGe-2 3.5/98.0 | 4.0/98.1 |
| KITTI 深度 | MoGe-2 5.5/97.7 | 5.9/95.9 |
| ETH3D 深度 | MoGe-2 3.4/98.8 | 4.3/97.4 |
| ScanNet 深度 | MoGe-2 3.4/98.3 | 3.9/98.0 |
| ScanNet 法线 | FE2E 13.8/67.2 | 12.8/68.9 |
| NYUv2 法线 | FE2E 16.2/59.6 | 14.4/62.7 |
结论：深度和法线估计均达到或超越专用模型水平。
5.3 分割
| 任务 | 最佳对比模型 | SenseNova-Vision |
|---|---|---|
| 全景分割 PQ | PSALM 55.9 | 48.8 |
| 语义分割 mIoU | PSALM 66.6 | 64.0 |
| RefCOCO cIoU | LENS 84.2 | 81.3 |
| 推理分割 gIoU | ConverSeg 61.9 | 63.2 |
| GCG mIoU | X-SAM 69.4 | 65.7 |
| 交互式分割(Box) | X-SAM 70.0 | 73.9 |
结论：推理分割和交互式分割表现突出，通用分割略逊于 SAM 等专用模型。
5.4 多视图视觉几何
| 任务 | 最佳专用模型 | SenseNova-Vision |
|---|---|---|
| ETH3D F1 | VGGT 80.9 | 72.2 |
| Re10K AUC | DepthAnything3 89.6 | 77.3 |
| CO3Dv2 AUC | DepthAnything3 91.8 | 80.1 |
结论：在多视图几何上仍有差距，但作为通用模型已接近专用系统。
5.5 与通用视觉模型对比
vs Youtu-VL（VLM 路线）：
- 检测 53.7 vs 47.1 (+6.6)
- 语义分割 71.2 vs 70.4
- 深度 δ1 98.1 vs 90.4 (+7.7)
vs Vision Banana（图像生成路线）：
- 语义分割 71.2 vs 69.9
- 指代分割 80.3 vs 73.8 (+6.5)
- 深度 NYUv2 98.1 vs 94.8
结论：全面超越现有通用视觉模型。
5.6 能力保持验证
微调后仍保留基础多模态能力：
- MMVP 理解：79.0（Bagel 原始 83.3）
- GenEval 生成：0.85（Bagel 原始 0.82，反而提升）
6. 收敛分析与有趣发现
6.1 任务收敛速度差异
论文展示了归一化收敛曲线，揭示了有趣的学习动力学：
- 最快收敛：深度和法线估计 — 可能因为目标与输入图像空间对齐，接近预训练中已见的图像生成/编辑模式
- 中等收敛：检测和通用分割 — 依赖语义识别和空间对齐
- 较慢收敛：指代分割 — 对语言条件语义定位要求更高
- 最慢收敛：密集检测 — 需要精确的跨模态判别和细粒度图像理解
- 相机位姿：收敛慢，需要跨视图对齐和新的位姿 token
启示：视觉能力并非均匀收敛，而是呈现分阶段学习模式。
6.2 涌现能力：自由形式语言到掩码生成
论文展示了多个令人印象深刻的涌现行为：
- 指代风格交互式分割：用文本编码的坐标（而非图像提示）指定位置，模型能准确理解并生成掩码
- 密集实例分割：用检测任务指令请求实例级掩码输出，能处理近百个紧凑/微小目标
- 视觉接地分割：用文本坐标指定参考实例，分割同类其他实例
- 自由形式颜色编码掩码：自然语言描述区域-颜色对应，模型能遵循
- 文本分割：将文字内容（单词/字母）作为空间掩码目标
这些行为未出现在训练协议中，是不同任务域能力重组的结果。
7. 核心贡献总结
- 范式创新：首次将完整 CV 任务谱系统一为多模态生成问题，类比 GPT 对 NLP 的统一
- 无任务专用头：单一模型覆盖检测、OCR、关键点、分割、深度、法线、点图、相机位姿
- 数据工程：构建了 5000 万样本的 SN-VC 语料库，提供完整的转换协议
- 竞争力性能：在四大感知家族中匹配或超越领先的专用系统
- 涌现能力：展示了语言定义的任务变体，超越固定 benchmark 模式
- 开源贡献：模型和语料库均公开发布
8. 未来方向
- 更强的上下文学习：通过示例、提示或混合演示指定新视觉任务
- 扩展到视频：引入时间动态和网络规模视频监督
- 规模化：扩大语料库和模型容量，与最强语言模型深度整合
- 走向世界模型：感知、推理、交互物理世界
个人评价
SenseNova-Vision 的核心洞察极具启发性：如果 GPT 证明了异构 NLP 任务可以统一为文本生成，那么 CV 的异构任务也可以统一为文本+图像生成。
这一工作的意义不仅在于性能数字，更在于它指向的方向：
- CV 的”GPT 时刻”：从逐个设计专用系统，到一个模型通过自然语言编程解决所有视觉任务
- 数据比架构更重要：不需要新架构，只需要把现有标注转换为正确的生成格式
- 能力涌现：联合训练带来的跨域能力重组（如文本坐标→掩码）暗示了统一框架的深层优势
- 与 U1 的互补：SenseNova-U1 统一了理解与生成（创作方向），SenseNova-Vision 将 CV 任务统一为生成（分析方向），两者共同推进了”一个模型做所有事”的愿景
当然，在多视图几何等需要强几何归纳偏置的任务上，统一模型与专用系统仍有差距。但随着数据规模和模型容量的提升，这个差距预计会持续缩小。
