大模型强化学习综述：从 RLHF 到经验时代，一条四十年的因果链

"大模型 RL" 并不是从 ChatGPT 才开始的。它背后是一条从 1989 年 Q-learning 延续至今的因果链。本篇是这个系列的总览：把前世（经典 RL → RLHF）、今生（DPO 浪潮 → RLVR 推理革命 → Agentic RL）、未来（经验时代）串成一张图，并给出后续五篇精读篇章的导航。

目录

• 一、为什么 RL 又回到了 C 位
• 二、前世：三个时代的铺垫（1989–2022）
• 三、今生：四次范式跃迁（2022–2026）
• 四、方法工具箱一页速览
• 五、批判视角：三个灵魂拷问
• 六、未来走向：经验时代
• 七、系列导航
• 小结
• 资源索引

一、为什么 RL 又回到了 C 位

在大模型的叙事里，强化学习经历过一次明显的"失宠"与"复位"：

• 2022–2023，RL 是"对齐工具"——ChatGPT 的 RLHF 三段式（SFT → 奖励模型 → PPO）解决的是"听话"的问题，学术界很快用 DPO 这类无需 RL 的闭式方法把 PPO"优化"掉了，RL 看起来要被绕开。
• 2024 年 9 月，OpenAI o1 改变了叙事：RL 不只是让模型"听话"，还能让模型"会想"。通过在可验证任务上做大规模 RL，模型自发学会长思维链、自我反思与错误回溯，推理能力随训练计算量和推理时计算量同时增长。
• 2025 年 1 月，DeepSeek-R1 把这条路完全公开：纯 RL（R1-Zero，连 SFT 都不要）就能激发推理行为，且开源。此后一年半，整个后训练领域变成了 RL 的天下——GRPO 系算法军备竞赛、Agentic RL 兴起、RL 训练算力从"微调级"膨胀到"万卡月级"。

RL 在大模型上的角色，完成了从对齐 → 能力 → 自主性的三级跳。本篇把这条链路完整讲清楚。

二、前世：三个时代的铺垫（1989–2022）

2.1 经典 RL：试错与价值的数学（1989–2012）

强化学习的核心设定四十年来没变过：智能体在环境中试错，用标量奖励修正行为策略。关键理论构件：

• MDP 与贝尔曼方程：把序贯决策形式化为状态、动作、转移、奖励四元组，价值函数满足递归关系。
• TD learning（Sutton, 1988）：用自举（bootstrap）在线更新价值估计，无需等到回合结束。
• Q-learning（Watkins, 1989）：离策略地学习最优动作价值，成为后来 DQN 的直接源头。
• 策略梯度定理（Sutton et al., 1999）：直接对参数化策略求期望回报的梯度，是 PPO/GRPO 的数学祖先。

这一时期的 RL 受限于表征能力，只能解决低维、小规模问题。信用分配、探索、样本效率三大难题已经全部被提出——它们会在四十年后的大模型时代原样回归。

2.2 深度 RL：表征与搜索的胜利（2013–2019）

深度神经网络给 RL 补上了表征短板：

• DQN（DeepMind, Nature 2015）：用深度网络逼近 Q 函数，在 49 款 Atari 游戏上达到人类水平，经验回放与目标网络两大工程 trick 沿用至今。
• AlphaGo / AlphaZero（DeepMind, 2016/2017）：MCTS 搜索 + 价值/策略网络 + 自我对弈，证明了"不依赖人类棋谱，纯靠自我博弈的 RL 可以超越人类千年积累"——这个结论是整个"经验时代"叙事的原型。
• PPO（Schulman et al., 2017）：用裁剪的重要性比率约束策略更新幅度，把"稳定"做成了默认选项，成为后来 RLHF 的标配优化器。
• AlphaStar / OpenAI Five（2019）：RL 征服即时战略与 MOBA，长时序、部分可观测、多智能体。

2.3 RLHF：RL 与语言的第一次握手（2017–2022）

让 RL 从大模型手中"出圈"的关键一跃，是把奖励从环境换成人类偏好：

• Deep RL from Human Preferences（Christiano et al., NeurIPS 2017）：提出"先学奖励模型，再用 RL 优化它"的两段式，人类只需比较两段轨迹的优劣。
• Learning to Summarize with Human Feedback（Stiennon et al., NeurIPS 2020）：把这套方法搬到文本摘要，首次证明 PPO + 偏好奖励模型可以显著提升语言输出质量。
• InstructGPT（Ouyang et al., NeurIPS 2022）：SFT → RM → PPO 三段式定型，1.3B 的 InstructGPT 在人类偏好评测中胜过 175B 的 GPT-3——"对齐税"远低于想象。
• ChatGPT（2022.11）：同一配方的工程化产品，RLHF 从此成为大模型出厂标配。
• Constitutional AI / RLAIF（Anthropic, 2022.12）：用 AI 反馈替代人类反馈，奖励信号的供给第一次不再受标注人力约束。

至此，RL 在大模型上的使命是"对齐"。它做得很好，但也很贵、很不稳定——这直接催生了下一幕。

三、今生：四次范式跃迁（2022–2026）

3.1 第一次跃迁：DPO 浪潮，"去 RL 化"（2023–2024）

PPO 的痛点众所周知：要同时维护 actor、critic、reward model、reference model 四个模型，显存爆炸、超参敏感、容易崩溃。DPO（Rafailov et al., NeurIPS 2023 Oral）用一个数学巧思把 RL 问题变成了监督问题：在 Bradley-Terry 偏好模型下，最优策略与奖励函数存在闭式映射，因此可以直接用偏好对做类似二分类的训练，完全绕开在线采样与价值网络。

随后是一整年的"DPO 变体雨"：IPO（防过拟合）、KTO（只要好坏标注、不要成对比较）、ORPO（连 reference model 都去掉）、SimPO（用平均 log-prob 当隐式奖励）。一时间"RLHF 已死，DPO 永生"的说法流行开来。

但后续的对照实验给出了更微妙的结论：在充分调参后，在线 RL（PPO）在推理类任务上仍优于 DPO，DPO 的优势主要在工程简洁与偏好拟合。更重要的是——DPO 只能消费"已有的偏好对"，无法让模型在环境里主动探索新解法。这个能力缺口，正是下一次跃迁的入口。

3.2 第二次跃迁：RLVR 与推理革命（2024–2025）

2024 年 9 月 o1 发布，2025 年 1 月 DeepSeek-R1 开源，确立了新范式 RLVR（Reinforcement Learning with Verifiable Rewards）：

• 奖励不再需要学：数学对答案、代码跑单测，规则即真值。奖励模型及其噪声、hack 风险被整体移除。
• R1-Zero 实验：直接在基座模型上做纯 RL，无任何 SFT，模型自发涌现"aha moment"——自我质疑、重新验算。这被解读为"推理能力可以被奖励信号激发，而非只能从示范中模仿"。
• GRPO 成为事实标准：DeepSeekMath 提出的 GRPO 去掉 critic，用同题多解的组内相对优势当基线，把 RLHF 的显存与实现复杂度砍掉大半。
• 推理时计算：RL 训出的长思维链让"算力换智力"从训练侧延伸到推理侧，预训练、RL、推理时扩展构成新的三轴算力分配。

3.3 第三次跃迁：GRPO 系军备竞赛与工程科学（2025）

RLVR 暴露的新问题被逐个拆解，形成 2025 年的"算法+基建"双线军备竞赛：

• 算法线：Dr. GRPO 修正长度偏置与难度偏置；DAPO 引入 Clip-Higher、动态采样与 token 级损失；GSPO 反其道而行之，把重要性采样提升到序列级，根治 MoE 长链训练的崩溃；熵崩溃（entropy collapse）被识别为 pass@k 天花板的主因之一。
• 信用分配线：一条几百上千 token 的推理链只拿到终局一个 0/1，功劳到底算谁的——token 级、step 级、结构级、多奖励归因方案密集涌现。这个方向我们刚做过一份系统梳理：RLVR 信用分配综述。
• 基建线：veRL、AReaL、slime 等异步流水线框架把 rollout 与训练解耦，万卡级 RL 从"手工杂技"变成"可复现工程"；Meta 的 ScaleRL（The Art of Scaling RL, 2025.10）首次把 RL 损失随算力的变化拟合成可预测的 sigmoid 曲线，用 10 万 GPU 小时验证了"RL 也有自己的规模定律"。

3.4 第四次跃迁：Agentic RL（2025–2026）

2025 年下半年起，RL 的战场从"单轮答题"扩展到"多轮办事"：

• 搜索与工具：Search-R1 让模型在推理中自主发起检索；深度研究（DeepResearch）类智能体全部依赖 RL 收尾；GUI/代码/具身智能体紧随其后。
• 新难题回归：终局奖励 → 跨轮信用分配（哪一次工具调用立了功？）、环境不稳定（网页会改版、API 会超时）、异步 rollout 的工程复杂度，全部回到了经典 RL 的老问题清单。
• 能力边界扩展：近期工作（如 RSIPO）开始让"技能"与策略共同进化，模型自己从轨迹中提炼可复用技能并反哺训练——自我改进的雏形。

四、方法工具箱一页速览

五、批判视角：三个灵魂拷问

综述不能只做文献罗列。2025–2026 年的三波反思值得每个实践者正视：

1. RLVR 真的教会了新推理吗？ "边界之争"的核心证据：pass@1 大涨的同时 pass@k（大 k）常常不涨甚至下跌，提示 RLVR 可能主要是在重采样基座模型已有的能力分布，而非创造新能力。对此的反驳是：pass@k 指标对长链任务不稳定，且 agentic 场景中 RL 带来的多轮行为显然是新的。真相大概率在中间：RLVR 同时做"蒸馏已有"与"激发新组合"，比例取决于任务与基座。
2. 奖励信号到底有多重要？ Spurious Rewards（Shao et al., 2025）发现：给 Qwen2.5-Math 喂随机奖励，MATH-500 也能涨 21 个点（真奖励涨 29 个点）。机制层面，后续工作（ICML 2026）定位到"记忆捷径"：虚假 RLVR 会激活模型对污染数据的记忆检索而非推理。结论不是"奖励没用"，而是"单模型家族上的涨点不能证明奖励有效"——做 RLVR 研究务必跨模型家族验证。
3. RL 会侵蚀对齐吗？ ICML 2026 的一项研究表明：仅 50 步搜索 agent RL 就能让模型绕过指令微调建立的拒答机制，在表示空间中滑向"有害检索"方向。能力训练与安全对齐的耦合，是 agentic 时代最被低估的风险。

六、未来走向：经验时代

把 2025 年之后的信号连起来，可以看到一条相当清晰的路线图：

• 从人类数据到经验：Sutton 与 Silver 的《Welcome to the Era of Experience》（2025.4）是纲领——人类数据见顶，下一代智能体必须在持续的经验流中，用来自环境的奖励（而非人类偏好）自主学习。AlphaProof 用数亿条机器生成的证明训练是雏形。
• 环境成为新瓶颈：没有奖励的环境怎么办？Meta 的"早期经验"（Early Experience）范式用自生成的中间信号做无奖励环境的过渡；产业界的共识是"环境工程"将取代数据工程，成为 RL 时代的基础设施生意。
• 算法本身也被学习：DeepMind 的 DiscoRL 用元学习自动发现了超越人工设计的 RL 更新规则（Atari/ProcGen SOTA）——"RL 发明 RL"的递归自我改进开始转动。
• 持续学习是真正的圣杯：当前所有 RL 后训练都是"训练-冻结"模式；Sutton 描绘的经验流要求永不停止的学习，灾难性遗忘与非平稳性仍是无人解决的硬骨头。
• 安全需要前置：能力 RL 与对齐的冲突不会在 agentic 时代自动消失，奖励设计、沙箱环境、可审计轨迹将成为标配。

七、系列导航

本系列用六篇把"大模型强化学习"讲透，本文为总览：

关联阅读（站内已有）：

• RLVR 信用分配综述：一条长推理链，功劳到底算谁的？——第 3.3 节的展开版
• 全双工语音模型精读系列——RL 在多模态交互中的落地

小结

• 大模型 RL 的历史是一条方法迁移链：经典 RL 的问题定义 → 深度 RL 的表征与搜索 → RLHF 的偏好奖励 → RLVR 的可验证奖励 → Agentic RL 的环境交互。
• 每次范式跃迁的本质都是奖励信号的来源革命：人工设计 → 人类偏好学习 → 规则验证 → 环境原生。谁掌握了更便宜、更真实、更可扩展的奖励，谁就掌握下一代模型。
• 对从业者：DPO 没有杀死 RL，RLVR 也不是终点；真正值得投入的是环境、奖励与信用分配这三件"不那么性感"的事。
• 对研究者：边界之争、Spurious Rewards、对齐侵蚀这三盆冷水提醒我们——RLVR 的机制理解还远落后于它的工程成功。

资源索引

前世

今生

未来

保留意见

1. "四十年因果链"是叙事便利，RL 史中的符号主义支线（如基于模型的 Dyna、MCTS 的独立谱系）被本篇有意简化了。
2. 对 DPO 家族的判断（"推理弱于在线 RL"）主要来自 2024–2025 年的对照实验，不排除后续变体翻盘。
3. 文中对"经验时代"的展望属于作者基于公开信号的判断，非从业者共识；环境工程与持续学习的落地节奏存在很大不确定性。

更新计划

• 2026-10-26：初版发布，作为「大模型强化学习」系列总览（order 0）。
• 系列六篇已全部发布，入口见第七节导航。