多模态大模型发展综述（~2026.7）

本文系统梳理多模态大模型从 2021 年至 2026 年的技术演进脉络，深入分析主流模型的技术架构、核心创新与发展关系。

一、发展脉络总览

2021-2022 ──── CLIP / BLIP / BEiT-3
              │  "单塔稠密"时代
              │  图文对比学习奠定基础
              │
2023 Q1-Q3 ── LLaVA / MiniGPT-4 / Qwen-VL / InternVL
              │  "双塔 + 浅层融合"范式
              │  ViT + Q-Former/Connector + LLM
              │
2023 Q4 ───── GPT-4V 发布
              │  多模态对话爆发
              │
2024 ───────── GPT-4o / Gemini 1.5 / Claude 3
              │  原生多模态架构成熟
              │  百万级 token 上下文
              │
2025 ───────── GPT-5 / Gemini 2.0 / Claude Opus 4.5 / LLaVA-NeXT
              │  多模态智能体兴起
              │  实时交互 + 工具调用
              │
2026 ───────── Gemini 3.1 / GPT-5.5V / Claude 4.5 / InternVL3.5 / Qwen3-VL
              │  原生多模态成为标配
              │  3D 理解 + 多模态 RAG + MoE 架构
              ▼
              当前时间点 

二、技术架构演进

2.1 第一阶段：单塔稠密时代（2021-2022）

代表模型：CLIP、BLIP、BEiT-3

核心思想：所有模态共享同一组注意力权重

技术架构：

图像 ──→ ViT ──→ 特征向量 ──┐
                              ├──→ 共享 Transformer ──→ 输出
文本 ──→ Tokenizer ──→ 嵌入 ─┘

ViT（Vision Transformer）技术细节：

1. 图像分块（Patch Partition）

   • 将 224×224 图像分割为 16×16 的 patch
   • 得到 196 个图像块（14×14 grid）
   • 每个 patch 展平为 768 维向量（ViT-L）

2. 线性投影（Linear Projection）

   • 通过可学习的投影矩阵将 patch 映射到 d 维嵌入空间
   • 添加 [CLS] token 用于全局表示

3. 位置编码（Position Encoding）

   • 可学习的位置嵌入（Learned Position Embedding）
   • 或旋转位置编码（RoPE），具备尺寸泛化能力
   • 2D-RoPE 同时编码高度和宽度两个维度

4. Transformer Encoder

   • 多层自注意力机制（Self-Attention）
   • 前馈神经网络（FFN）
   • 层归一化（LayerNorm）

关键创新 - CLIP 对比学习：

• 双塔架构：独立的图像编码器和文本编码器
• 对比损失：InfoNCE Loss

  L = -log[exp(sim(I,T)/τ) / Σexp(sim(I,T')/τ)]
  

• 拉近配对图像与文本的嵌入距离
• 推远非配对样本
• 温度参数 τ 控制分布尖锐度

局限性：

• 视觉噪声容易淹没文本语义
• 模态间相互干扰严重
• 无法处理细粒度视觉任务
• 只能做检索，不能生成

2.2 第二阶段：双塔 + 浅层融合（2023 Q1-Q3）

代表模型：LLaVA-1.5、MiniGPT-4、Qwen-VL、InternVL

技术架构：

图像 ──→ ViT ──→ 视觉特征 ──→ Connector ──→ 视觉 token ──┐
                                                            ├──→ LLM ──→ 文本输出
文本 ──→ Tokenizer ──→ 文本 token ──────────────────────────┘

核心组件：

2.2.1 Q-Former（BLIP-2 / MiniGPT-4）

工作原理：

• 使用可学习的查询向量（Query Tokens）从图像特征中提取信息
• 固定 32 个 query，通过交叉注意力机制与视觉特征交互
• 将视觉信息压缩为固定长度的表示

优势：

• 大幅减少视觉 token 数量（从 576 个降至 32 个）
• 降低 LLM 计算负担
• 提取与文本相关的视觉信息

局限性：

• 信息压缩可能丢失细节
• 固定数量 query 限制表达能力

2.2.2 Linear Projector（LLaVA）

工作原理：

• 直接用 MLP 将 ViT 特征投影到 LLM 嵌入空间
• 公式：H_vision = W·H_vit + b
• 保持所有视觉 patch 的完整信息

优势：

• 架构简单，易于实现
• 保留完整视觉信息
• 端到端训练效果好

LLaVA 系列演进：

• LLaVA-1.0：ViT-L + Vicuna-7B，线性投影
• LLaVA-1.5：ViT-L + Vicuna-13B，MLP 投影，更高分辨率
• LLaVA-1.6（LLaVA-NeXT）：动态图像分辨率，改进训练策略
• LLaVA-NeXT-34B：使用 Nous-Hermes-2-Yi-34B 作为语言模型

2.2.3 InternVL 的融合策略

InternViT-6B：

• 超大规模视觉基础模型（60 亿参数）
• 使用 FFC（Feed-Forward Convolution）增强局部感知
• 支持动态分辨率输入

像素级特征融合：

• 不压缩视觉 token，保留完整空间信息
• 使用 Cross-Attention 实现细粒度对齐
• 支持高分辨率图像（如 448×448、896×896）

InternVL3.5 创新：

• 级联强化学习（Cascade RL）框架
  • 离线 RL：使用混合偏好优化（MPO）稳定收敛
  • 在线 RL：使用 GSPO 精细对齐
• 视觉分辨率路由器（ViR）：动态调整视觉 token 分辨率
• 解耦视觉 - 语言部署（DvD）：视觉和语言模型分离到不同 GPU
• 最大模型 InternVL3.5-241B-A28B（MoE 架构）

2.3 第三阶段：原生多模态架构（2023 Q4 - 2024）

代表模型：GPT-4V、GPT-4o、Gemini 1.5、Claude 3

核心思想：从底层设计就是多模态，而非后期拼接

2.3.1 GPT-4V / GPT-4o（OpenAI）

技术架构：

图像 ──→ Visual Encoder ──→ 视觉 token ──┐
                                          ├──→ Transformer ──→ 输出
文本 ──→ Tokenizer ──→ 文本 token ───────┘

关键创新：

• 原生多模态 Transformer：视觉和文本 token 在同一序列中处理
• 图像分块策略：
  • 将图像分割为多个 patch
  • 每个 patch 通过视觉编码器转换为 token
  • 动态 token 数量（根据图像复杂度）
• GPT-4o 的"o"代表 Omni：
  • 同时处理文本、图像、音频、视频
  • 统一的多模态编码器
  • 端到端训练，无级联延迟

性能指标：

• 图像理解：MME 2375，MMBench 85.7
• OCR：TextVQA 80.5
• 数学：MathVista 63.8

2.3.2 Gemini 1.5 / 2.0（Google）

技术架构：

• 原生多模态 Transformer
• 混合专家架构（MoE）
• 百万级 token 上下文（Gemini 1.5 Pro：1M tokens）

关键创新：

• Long Context：
  • 支持超长上下文窗口
  • 可处理数小时视频、数十万行代码
• 多模态融合：
  • 视觉、文本、音频统一编码
  • 跨模态注意力机制
• Gemini 2.0：
  • 更强的推理能力
  • 原生工具调用
  • 多模态智能体

性能指标：

• MMLU：90.0（Gemini 1.5 Pro）
• MMMU：65.9
• MathVista：68.3

2.3.3 Claude 3 / 3.5 / 4.5（Anthropic）

技术特点：

• 原生多模态架构
• 强调安全性和对齐
• 优秀的视觉推理能力

版本演进：

• Claude 3（2024.03）：
  • Haiku（快速）、Sonnet（均衡）、Opus（最强）
  • Opus 在 MMLU 达到 86.8
• Claude 3.5 Sonnet（2024.06）：
  • 视觉理解显著提升
  • 代码能力增强
• Claude 4.5（2025）：
  • 更强的多模态推理
  • 改进的指令遵循

视觉能力亮点：

• 图表理解：准确提取数据和趋势
• 文档 OCR：支持手写体识别
• 空间推理：理解物体关系和布局

2.4 第四阶段：多模态智能体与 MoE 架构（2025-2026）

代表模型：GPT-5、Gemini 3.1、Qwen3-VL、InternVL3.5

2.4.1 GPT-5 / GPT-5.5V

技术特点：

• 原生多模态
• 混合专家架构（MoE）
• 多模态智能体能力

关键创新：

• 工具调用：可调用外部 API 和工具
• 多模态 RAG：检索增强生成
• 实时交互：流式多模态输入输出
• GPT-5.5V：
  • 增强的视觉推理
  • 3D 场景理解
  • 视频时序推理

2.4.2 Qwen3-VL / Qwen3.5/3.6/3.7 系列（阿里巴巴）

Qwen3-VL（2025）

技术架构：

图像 ──→ ViT (EVA-CLIP) ─→ 视觉特征 ──→ MLP ──→ 视觉 token ──┐
                                                                  ├──→ Qwen3 (MoE) ──→ 输出
文本 ─→ Tokenizer ──→ 文本 token ────────────────────────────────┘

关键创新：

• 深度融合设计：
  • 视觉和语言深度交互
  • 多层 Cross-Attention
• MoE 语言模型：
  • 稀疏激活，提升效率
  • 总参数量大，激活参数少
• 动态分辨率：
  • 支持任意分辨率输入
  • 自适应 token 数量
• 全模态扩展：Qwen3-Omni 支持音频、视频

性能指标：

• MMMU：70.2
• MathVista：71.5
• MMBench：86.3

Qwen3.5-Omni（2026 年初）

技术架构：

• 原生全模态训练，统一处理文本、图像、音频、视频
• 词表扩展至 25 万，覆盖 201 种语言及方言
• 预训练音视频数据超 1 亿小时
• 参数量：397B-A17B（MoE 架构）

核心能力：

• 全模态理解与交互
• 低延时、高拟真、不降智
• 移动端版本适配车规芯片（Qwen3.5-Omni-Mobile）
• 云端版本 Qwen3.5-Omni-Flash 支持高并发

应用场景：

• 智能座舱（语音助手、多媒体分析）
• 文本创作、语音助手
• 阿里巴巴办事生态集成（"Hi，千问"智能入口）

Qwen3.6 系列（2026 年 4 月）

Qwen3.6-35B-A3B：

• 原生视觉语言模型
• Agentic Coding 能力提升
• 代码推理、空间智能、物体定位与目标检测全面突破
• 开源（Apache 2.0），适合本地部署
• 衍生模型超 20 万个，全球下载量破 10 亿

Qwen3.6-Max-Preview：

• 闭源旗舰模型
• 六个 Agentic Coding 基准测试领先
• 多模态（文本/图像/视频）

Qwen3.7 系列（2026 年 5-6 月）

Qwen3.7-Max（旗舰）：

• 1M token 上下文窗口
• Arena 全球盲测：国产第一、全球第六（超越 Kimi-K2.6、DeepSeek-v4-pro、GLM-5.1）
• 推理能力：GPQA Diamond、HLE、HMMT 2026 Feb、IMOAnswerBench 均超越 Claude-Opus4.6
• 编程智能体：SWE-Pro、SWE-Multilingual、Terminal Bench 2.0、SWE-bench 系列、SciCode 领先
• Agent 能力：MCP-Atlas、MCP-Mark、SkillBench 表现优异
• 长程任务：可连续执行 35 小时复杂 Agent 任务，完成超 1000 次工具调用
• 办公自动化：SpreadSheetBench-v1 得分 87 分
• GPU 内核优化：在平头哥真武 M890 芯片上自主完成推理内核优化

Qwen3.7-Plus：

• 多模态智能体（文本/图像/视频）
• 1M token 上下文
• 深度推理、工具调用、自主迭代
• 极低 token 成本
• 支持 Anthropic 协议（MCP）

技术亮点：

1. 编程智能体：可自主完成需求理解、任务拆解、代码调试与修复闭环
2. 通用推理：超越所有国产模型，接近 GPT/Claude/Gemini 最强模型
3. 超长程自主任务：连续执行 35 小时，1000+ 次工具调用
4. 多智能体协作：通过 MCP 集成实现企业级工作流自动化
5. 开源生态：Qwen-Agent 框架（MCP、工具调用、代码解释器）

2.4.3 Gemini 3.1（Google）

技术特点：

• 原生多模态
• 超长上下文（2M tokens）
• 多模态智能体

关键创新：

• 多模态思维链：视觉推理的逐步思考
• 视频理解：时序建模和事件检测
• 3D 理解：空间关系和几何推理
• 多模态 RAG：跨模态检索增强

三、主流模型详细对比

3.1 闭源商业模型

3.2 开源模型

四、关键技术深度解析

4.1 视觉编码器（Vision Encoder）

ViT 变体对比

高分辨率处理策略

1. 固定分块（Fixed Tiling）

   • 将高分辨率图像分割为固定大小的块
   • 每块独立编码，然后拼接
   • 代表：LLaVA-NeXT、Qwen-VL

2. 动态分块（Dynamic Tiling）

   • 根据图像长宽比动态调整分块策略
   • 保持原始宽高比，避免变形
   • 代表：InternVL、Qwen2-VL

3. 金字塔特征（Pyramid Features）

   • 多尺度特征提取
   • 融合不同分辨率的特征图
   • 代表：Fuyu、CogVLM

4.2 模态连接器（Modal Connector）

连接器类型对比

连接器设计原则

1. 信息保留 vs 压缩

   • 保留完整信息：Linear/MLP（适合细粒度任务）
   • 压缩信息：Q-Former（适合对话场景）

2. 训练效率

   • 简单连接器：训练快，易收敛
   • 复杂连接器：需要更多数据和算力

3. 任务适配

   • 通用对话：Q-Former 足够
   • OCR/图表：需要完整视觉信息

4.3 语言模型（LLM）

主流 LLM 底座

MoE（Mixture of Experts）架构

工作原理：

• 总参数量大，但每次推理只激活部分参数
• 公式：Output = Σ(g_i · E_i(x))，其中 g_i 是门控权重
• 典型配置：总参数 30B，激活参数 3B

优势：

• 提升模型容量，不增加推理成本
• 稀疏激活，计算效率高
• 适合多模态多任务场景

代表模型：

• Qwen3-VL：8B-A2B（总 8B，激活 2B）
• InternVL3.5-241B-A28B：总 241B，激活 28B
• Mixtral 8x7B：总 46B，激活 13B

4.4 训练策略

三阶段训练流程

阶段 1：预训练（Pre-training）
├── 数据：大规模图文对（LAION、WebData）
├── 目标：模态对齐
── 方法：对比学习 / 因果语言建模

阶段 2：监督微调（SFT）
├── 数据：高质量指令数据（10K-1M 条）
── 目标：指令遵循
└── 方法：因果语言建模 + 指令模板

阶段 3：强化学习（RLHF/RLAIF）
├── 数据：人类偏好 / AI 反馈
── 目标：对齐人类偏好
└── 方法：PPO / DPO / MPO / GSPO

关键训练技巧

1. 冻结策略

   • 阶段 1：冻结 ViT 和 LLM，只训练 Connector
   • 阶段 2：解冻部分层，端到端微调
   • 阶段 3：全参数微调或 LoRA

2. 学习率调度

   • 余弦退火（Cosine Annealing）
   • 预热（Warmup）：前 1-3% 步骤线性增加
   • 不同组件使用不同学习率

3. 数据工程

   • 数据清洗：去重、质量过滤
   • 数据混合：多源数据按比例混合
   • 课程学习：从简单到复杂

4. 强化学习创新

   • Cascade RL（InternVL3.5）：
     • 离线 RL：MPO（Mixed Preference Optimization）
     • 在线 RL：GSPO（Group Sequence Policy Optimization）
   • DPO（Direct Preference Optimization）：
     • 直接优化偏好，无需奖励模型
   • GRPO（Group Relative Policy Optimization）：
     • 组内相对优势估计

五、性能基准测试

5.1 综合多模态基准

5.2 专项能力基准

5.3 主流模型性能对比

六、应用场景

6.1 通用对话

• 图像描述生成
• 视觉问答（VQA）
• 多轮多模态对话

6.2 文档理解

• OCR 文字识别
• 表格信息提取
• 文档问答

6.3 科学推理

• 数学题解答
• 科学图表分析
• 实验数据解读

6.4 代码与 UI

• 截图转代码
• UI 元素识别
• 可视化图表生成

6.5 视频理解

• 视频摘要
• 动作识别
• 时序推理

6.6 具身智能

• 机器人视觉导航
• 物体操作规划
• 环境交互

6.7 多模态智能体

• 工具调用
• 网页浏览
• 多模态 RAG

七、发展趋势

7.1 架构趋势

• 原生多模态成为标配：不再使用双塔拼接
• MoE 架构普及：提升效率，降低推理成本
• 统一生成模型：理解 + 生成统一架构

7.2 能力趋势

• 3D 空间理解：从 2D 到 3D
• 视频时序推理：长视频理解
• 多模态智能体：工具调用 + 自主决策
• 实时交互：流式多模态输入输出

7.3 训练趋势

• 强化学习优化：Cascade RL、GRPO
• 数据质量优先：从规模到质量
• 合成数据：AI 生成训练数据

7.4 部署趋势

• 端侧部署：手机、边缘设备
• 动态分辨率：自适应计算资源
• 解耦部署：视觉和语言分离

八、开源生态

8.1 主流开源框架

8.2 训练框架

8.3 推理框架

九、总结

多模态大模型从 2021 年的 CLIP 到 2026 年的 Gemini 3.1、GPT-5.5V，经历了四个主要阶段：

1. 单塔稠密时代（2021-2022）：CLIP 奠定对比学习基础
2. 双塔 + 浅层融合（2023）：LLaVA、Qwen-VL 开启多模态对话
3. 原生多模态架构（2024）：GPT-4o、Gemini 1.5 成熟
4. 多模态智能体与 MoE（2025-2026）：GPT-5、Qwen3-VL、InternVL3.5

核心技术突破：

• ViT 视觉编码器：从 ViT-L 到 InternViT-6B
• 模态连接器：从 Q-Former 到 Cross-Attention
• 语言模型：从 LLaMA 到 MoE 架构
• 训练策略：从三阶段到 Cascade RL

未来方向：

• 3D 理解与生成
• 长视频时序推理
• 多模态智能体
• 端侧高效部署

十、2026 年最新进展

10.1 GPT-5.5 / GPT-5.6

发布时间：2026 年 6 月

核心升级：

• 1M token 上下文：可处理《三体》三部曲 +《百年孤独》的总长度
• 原生多模态架构：从底层打通文本、图像、音频的理解和生成
• 幻觉率降低 80%：相比 GPT-4o，事实准确性大幅提升
• MMMU 得分 84.2%：比 GPT-4o 的 72.2% 提升 12 个百分点

多模态能力：

• 细粒度图像理解（定位、OCR、图表分析）
• 视频时序推理（动作识别、因果关系）
• 跨模态检索与生成

10.2 Gemini 3.5 / 3.5 Flash

发布时间：2026 年 6 月

核心指标：

• GPQA Diamond 91.9%：博士级推理基准新纪录
• AIME 2025 95.0%：数学推理无工具条件下 95% 准确率
• 多模态能力 9.4/10：图像、文档、表格、音视频理解

技术特点：

• 原生多模态 Transformer 架构
• 高效 MoE 实现（Flash 版本）
• 100 万 token 上下文窗口
• 成本优势：$1.5/M tokens（GPT-5.6 的 30%）

10.3 Claude 4.8 / Opus 4.5

发布时间：2025 年 11 月（Opus 4.5）/ 2026 年 6 月（Claude 4.8）

核心突破：

• SWE-bench Verified 80.9%：首个突破 80% 的模型
• Terminal-Bench 2.0 59.3%：终端编程任务大幅领先
• MMLU-Pro 98.3%：接近人类专家水平
• Constitutional Self-Correction：推理阶段实时自我纠错

多模态能力：

• 长上下文能力 9.6/10（三款模型中最强）
• 中文写作 9.2/10（最自然流畅）
• 文档理解与专业报告生成

10.4 DeepSeek-V4 Flash

发布时间：2026 年 6 月

核心成就：

• 斯坦福 HELM 全项第一：安全、编码均获 A+ 评级
• 开源权重：HuggingFace 可下载
• 多模态智能体：下一代研发方向

技术特点：

• 更强的 Agent 能力
• 搜索智能体和编程智能体全面性能提升
• 多模态联动处理

10.5 Grok 4.3

发布时间：2026 年

核心优势：

• 实时信息获取：X 平台数据接入
• 多模态能力：图像、文本理解
• 成本：$3.0/M tokens

适用场景：

• 实时热点追踪
• 新闻事件分析
• 社交媒体监控

10.6 2026 年模型横评对比

选型建议：

• 逻辑推理/代码：GPT-5.5/5.6
• 多模态/成本敏感：Gemini 3.5 Flash
• 长文本/中文写作：Claude 4.8
• 实时信息：Grok 4.3

10.7 多模态智能体（2026 新方向）

定义：将多模态理解嵌入智能体底层架构，让提示不再只是文字，而是图片、截图、语音、视频、代码等任何人类表达意图的媒介。

核心能力：

1. 多模态提示理解

   • 图片提示：上传截图直接定位问题
   • 语音提示：实时对话交互
   • 视频提示：理解动态场景

2. 自主任务执行

   • 视觉导航（具身智能）
   • 工具调用（API、代码执行）
   • 多步骤规划与执行

3. 跨模态协同

   • 视觉 + 语言 + 行动统一
   • 实时感知与决策
   • 环境交互与学习

市场规模：

• 2025 年全球 AI Agent 软件市场：76 亿美元
• 2033 年预计：1829 亿美元
• 年复合增长率：49.6%

代表应用：

• 电路板故障检测（上传照片→定位短路点）
• 医疗影像分析（CT 扫描→标注异常区域）
• 白板流程图识别（拍照→生成代码架构）

十一、总结

多模态大模型从 2021 年的 CLIP 到 2026 年的 Gemini 3.5、GPT-5.6，经历了五个主要阶段：

1. 单塔稠密时代（2021-2022）：CLIP 奠定对比学习基础
2. 双塔 + 浅层融合（2023）：LLaVA、Qwen-VL 开启多模态对话
3. 原生多模态架构（2024）：GPT-4o、Gemini 1.5 成熟
4. MoE 与强化学习（2025）：GPT-5、Gemini 3.1、Claude 3.5
5. 多模态智能体（2026）：GPT-5.6、Gemini 3.5、Claude 4.8

核心技术突破：

• ViT 视觉编码器：从 ViT-L 到 InternViT-6B
• 模态连接器：从 Q-Former 到原生融合
• 语言模型：从 LLaMA 到 MoE 架构（GPT-5.6 1.8T-A225B）
• 训练策略：从三阶段到 Cascade RL
• 上下文窗口：从 4K 到 1M token

2026 年竞争格局：

• 闭源三巨头：OpenAI（GPT-5.6）、Google（Gemini 3.5）、Anthropic（Claude 4.8）
• 开源力量：DeepSeek-V4、Qwen3-VL、InternVL3.5、LLaVA-NeXT
• 差异化竞争：推理（GPT）、多模态（Gemini）、安全（Claude）、实时（Grok）

未来方向：

• 3D 理解与生成
• 长视频时序推理
• 多模态智能体
• 端侧高效部署

多模态大模型正在从"单模态专家"进化为"全模态通才"，从"被动响应"升级为"主动智能体"。随着 GPT-5.6、Gemini 3.5、Claude 4.8 等模型的持续突破，以及 DeepSeek、Qwen、InternVL 等开源力量的崛起，多模态 AI 将在更多领域展现其变革性力量，真正成为 AI 智能体的"新母语"。

参考文献：

1. CLIP: Learning Transferable Visual Models From Natural Language Supervision (2021)
2. BLIP-2: Bootstrapping Language-Image Pre-training (2023)
3. LLaVA: Large Language and Vision Assistant (2023)
4. InternVL: Scaling up Vision Foundation Models (2023-2025)
5. Qwen-VL: A Versatile Vision-Language Model (2023-2025)
6. GPT-4V Technical Report (2023)
7. Gemini 1.5 Technical Report (2024)
8. Claude 3 Technical Report (2024)
9. GPT-5.6 System Card (2026)
10. Gemini 3.5 Technical Report (2026)
11. Claude 4.8 Release (2026)
12. DeepSeek-V4 Flash (2026)