论文：SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture arXiv：2605.12500 | 2026年5月12日 项目主页：https://github.com/OpenSenseNova/SenseNova-U1

一句话总结

SenseNova-U1 提出了一种原生统一多模态范式，基于全新的 NEO-unify 架构，同时去掉了传统的视觉编码器（VE）和变分自编码器（VAE），让模型直接在像素和文字上进行端到端的学习，实现了理解与生成的真正统一。

1. 研究动机：为什么要”统一”？

当前的大视觉语言模型（VLM）存在一个根本性的割裂：

• 理解靠预训练的视觉编码器（如 SigLIP、CLIP）
• 生成靠潜空间的变分自编码器（VAE）

这导致：

• 架构碎片化，流水线级联
• 表征空间不对齐
• 理解和生成互相牵制

作者认为这不是工程问题，而是结构性缺陷——它阻碍了原生多模态智能的涌现。

核心主张：多模态 AI 不应该是”连接分离的系统”，而应该是”构建一个统一系统，让必要的能力从中自然涌现”。

2. 核心架构：NEO-unify

NEO-unify 是从第一性原理出发设计的全新架构，三大核心支柱：

2.1 近无损视觉接口（Near-Lossless Visual Interface）

编码端：

• 两层卷积（stride=16 和 stride=2），GELU 激活
• 每个 token 对应 32x32 的图像 patch
• 用 `` 和 `</img>` 特殊 token 界定视觉内容
• 不使用任何预训练视觉编码器

解码端：

• 理解流：线性投影头 -> 词表，做文本预测
• 生成流：MLP 头 -> 直接预测像素 patch
• 不使用 VAE 解码器，不做潜空间压缩

动态噪声尺度：

• 引入分辨率自适应噪声，保证不同分辨率下信噪比一致
• 配合噪声尺度条件注入，让去噪器感知当前分辨率

2.2 原生多模态统一建模

改进的原生基元：

• 基于 NEO 的 Native RoPE，统一时间轴 T 和空间轴 H、W
• 文本 token 沿时间轴演化（H=W=0）
• 图像 token 额外携带空间索引
• 重新分配预训练 LLM 的 head 维度到 T/H/W 轴，不增加参数

原生 MoT（Mixture of Transformers）架构：

• 理解流和生成流共享同一个 Transformer 主干
• 通过 MoE 风格的专家路由，最小化异构目标间的干扰
• 两个变体配置：

2.3 联合训练目标

统一损失函数：

• 文本：标准自回归交叉熵
• 理解/生成：像素空间的 Flow Matching
• 权重：lambda_1=0.1（理解），lambda_2=1.0（生成）

3. 训练流程：六阶段渐进式

Stage 1：动态分辨率预热

• 大规模网络文本 + 图文对 + 交错多模态文档
• 数据配比：图文对 32%、描述 17%、信息图理解 14%、纯文本 37%
• 经过跨源去重、内容安全过滤、图像质量过滤、CLIP 比例平衡重描述

Stage 2：理解预热

• 理解分支全参数训练，生成分支冻结
• 建立基础视觉感知能力

Stage 3：统一中间训练（Mid-training）

• 理解和生成分支联合优化
• 数据涵盖理解、T2I 生成、图像编辑、交错图文

Stage 4：统一监督微调（SFT）

• 高质量指令跟随数据
• 覆盖多模态对话、图像生成、编辑、交错数据
• 9k 步，余弦学习率衰减

Stage 5：T2I 后训练（RL + 蒸馏）

• 基于 Flow-GRPO 的强化学习
• 三个奖励函数：
  • 文本渲染奖励（OCR IoU）
  • 风格遵循奖励（VLM Judge 评分）
  • 美学奖励（HPSv3）
• 动态分辨率预热策略，从易到难逐步引入
• 两组奖励交替训练：文本渲染+风格 / 人类偏好+美学

Stage 6：CFG & 步数蒸馏

• 使用 DMD2（分布匹配蒸馏）
• 将推理步数从 100 步压缩到 8 步
• 仅优化生成分支

4. 数据构建

理解数据

预训练：大规模网络数据，四阶段清洗管线

中间训练：来自 SenseNova V6.5 内部数据集

• General 39.2%、Agent & Spatial 22.3%、知识推理 19.3%、纯文本 19.2%
• 三阶段管线：分布平衡采样 -> Prompt 增强 -> 多标准过滤

SFT：按能力原子维度精细组织

• 空间智能 ~15%、通用多模态理解 ~13%、推理 ~12%、NLP ~11%、OCR ~11%、Agent ~10%

生成数据

T2I 数据：

• Nature ~40.5%、People ~26.7%、Design ~20.7%
• 加上复杂信息图和双语文本渲染数据

图像编辑数据：

• 自然场景 ~52.3%、人物 ~14.7%
• 操作类型：主体增删、背景/颜色变化、身份迁移、运动操控、推理驱动变换

交错数据：

• 生活 ~44%、信息图 ~29%、视频 ~19%、推理 ~8%

5. 推理基础设施

采用解耦部署架构：

• LightLLM：负责多模态理解、文本流式输出、请求编排
• LightX2V：负责图像生成
• 两者通过共享内存交换生成状态

优势：

• 不同并行策略：理解用 LLM 的 TP，生成用 CFG Parallelism / SP
• 独立资源分配：不同 GPU 组、内存预算、批处理策略
• 运维隔离：文本密集和图像密集流量可独立扩缩

混合注意力核：

• 文本行保持因果掩码
• 图像行可关注完整文本前缀和完整图像跨度
• 纯文本块走因果快速路径，仅图像块扩展 key 范围

性能：2048x2048 图像生成，TP2+CFG2 配置下，5090 每步延迟 0.415 秒。

6. 实验结果

理解能力

• 在空间智能上优势明显（VSI-Bench 62.66 vs 56.61）
• 文本密集理解场景表现突出

生成能力

• GenEval、DPG-Bench、OneIG-Bench 等基准上达到开源 SOTA
• 信息图生成（BizGenEval、IGenBench）表现优异
• 文本渲染能力强，支持中英文

图像编辑

• ImgEdit、GEdit-Bench、RISEBench 上超越专用编辑模型
• 支持推理驱动编辑（物理推理、时间推理、生物推理）

交错生成

• OpenING、VBVR-Image、Uni-MMMU、RealUnify 基准上领先
• 支持连贯的多页图文叙事

消融实验关键发现

1. 去掉 VE 不损失语义：原生编码器无关设计同时保留了语义和像素表征
2. MoT 实现理解-生成协同：共享主干 + 专家路由 > 分离架构
3. 高数据扩展效率：原生多模态架构在数据扩展上表现出更高的效率

7. 局限性与改进方向

• 视觉理解：当前仅支持 32K token 上下文长度
• 人物生成：精细人体细节仍有挑战，尤其是小尺寸人物或复杂交互
• 文本渲染：偶有拼写错误或格式不一致，对 prompt 措辞敏感
• 交错生成：仍是实验性功能，RL 尚未针对编辑和交错任务专门优化
• VLA 和 WM：初步验证了潜力，但还需进一步探索

8. 核心贡献总结

1. 架构创新：NEO-unify 去掉 VE 和 VAE，实现真正的端到端像素-文字统一
2. 范式突破：从”模态整合”到”真正统一”，理解和生成是同一过程的两个视角
3. 开源 SOTA：在理解和生成两大方向同时达到开源最佳
4. 完整技术细节：公开了模型设计、数据处理、训练流程、推理策略
5. 前瞻性验证：初步展示了 VLA（视觉-语言-动作）和 WM（世界模型）能力

个人评价

SenseNova-U1 代表了多模态 AI 的一个重要方向转变：不再用适配器在模态之间翻译，而是让模型原生地在语言和视觉之间思考和行动。

其核心洞察是：视觉编码器和 VAE 虽然是成熟组件，但它们引入的归纳偏置和表征瓶颈，反而阻碍了多模态智能的自然涌现。回到第一性原理，直接在原生输入（像素和文字）上学习，反而能获得更好的效果。

8B 参数规模下就能媲美商业模型，且训练效率极高（<80M 数据、40K 步完成中间训练），这对社区研究和低成本部署都有重要意义。