2024 年 9 月 12 日，OpenAI 发布 o1，几乎不公布任何技术细节，只留下一句话：让模型在回答前花更长时间思考，而思考能力是用强化学习训出来的。四个月后，DeepSeek-R1 把整套配方连源码带权重砸给全世界。这是本系列的核心篇章：RL 如何第一次取代"模仿人类"，成为大模型能力增长的主引擎。
目录
- 一、前史：推理为什么需要 RL
- 二、o1：不公开细节的范式确立
- 三、DeepSeek-R1：把配方交给世界
- 四、GRPO 军备赛：2025 年的算法迭代
- 五、第二次 Scaling：推理时计算
- 六、争议的另一面
- 七、小结
- 系列导航
- 资源索引
一、前史：推理为什么需要 RL
预训练 scaling 的边际收益在 2024 年显现疲态：高质量文本数据接近耗尽，参数翻倍带来的 benchmark 提升越来越贵。与此同时，数学和代码任务暴露出一个结构性矛盾——监督学习教模型模仿"人的解题书写"，而书写只是推理结果的投影；人类解题时的试错、回溯、自我纠错从不写在纸面上。要学到这些"看不见的动作"，模型必须被允许自己尝试、并由结果对错来裁决，而不是逐 token 模仿标准答案。
铺垫早已存在：STaR（2022，arXiv:2203.14465）让模型自举生成推理链、只保留答对的用于微调；ReST、拒绝采样微调（RFT）等自改进循环一脉相承。它们缺的是把"采样—筛选"闭环真正变成在线策略优化的那一步。
二、o1：不公开细节的范式确立
2024 年 9 月 12 日，OpenAI 发布 o1 预览版：AIME 数学竞赛从 GPT-4o 的 13.4 分跳到 74.4 分（o1 满血后续公开成绩 83.3），GPQA Diamond 超过人类博士水平。OpenAI 官方博客只确认了两件事：思维链通过大规模强化学习训练；性能随推理时计算量（test-time compute）对数线性增长。
o1 真正改变行业的不是分数，而是坐标轴的切换：此前提升模型的唯一杠杆是训练算力（预训练 scaling law），o1 证明存在第二根轴——回答前的思考时间，而这根轴上的能力只能用 RL 来塑造，因为长思维链的每一步都没有人类标注，只能靠最终答案的自动验证来打分。RL 的角色从此翻篇：从 RLHF 时代的"对齐工具"，变成能力引擎。
三、DeepSeek-R1：把配方交给世界
2025 年 1 月 20 日，DeepSeek 发布 R1（技术报告 arXiv:2501.12948），开源权重 + 完整方法论，性能对标 o1，训练成本据称仅数百万美元级。它一次性回答了 o1 留下的三个悬念：
1. 算法：GRPO。 来自 DeepSeekMath（2024.2，arXiv:2402.03300）的 Group Relative Policy Optimization——扔掉 PPO 里与策略同规模的 value critic，对同一问题采样一组回答，用组内奖励均值当基线计算相对优势。显存与复杂度骤降，超大规模训练第一次变得便宜。
2. R1-Zero 的"阿哈时刻"。 完全不做 SFT、直接在基座模型上跑纯 RL，模型的思考长度自发增长，并涌现出自我验证、回溯重来的行为——训练日志里那句著名的 "wait, wait, that's an aha moment" 是研究员观察到模型自己写出 "wait" 开始反思的时刻。这些推理策略不是被教的，是被奖励逼出来的。
3. 完整管线。 R1 的最终形态是四段式：冷启动 SFT（少量长 CoT 数据打底）→ 推理导向 RL（数学/代码，规则验证奖励）→ 拒绝采样 + 全场景 SFT → 通用对齐 RL。这套管线此后被全球实验室逐字复刻。
地震随之而来：HuggingFace 发起 OpenR1 复现计划，TinyZero 用 30 美元在 3B 模型上复现出"aha moment"，英伟达单日暴跌 17%（市场对算力需求逻辑的瞬间重估）。同期的 Kimi k1.5（arXiv:2501.12599）报告了长上下文 RL 与 long2short 蒸馏，QwQ、Qwen3 混合推理模式相继落地——2025 年全年，推理 RL 是所有头部实验室的第一优先级。
四、GRPO 军备赛：2025 年的算法迭代
R1 开源后的十个月里，GRPO 经历了一轮密集的"找茬与修补"，每一条都对应一个真实训练事故：
| 工作 | 修的问题 |
|---|---|
| Dr. GRPO（arXiv:2503.20783） | 长度归一化偏置：错误回答越长被罚得越轻，导致回答无限膨胀；难度归一化偏置：过难样本权重畸高。修法：去掉两个除法 |
| DAPO（字节，arXiv:2503.14476） | 长 CoT 大规模训练的稳定性四件套：Clip-Higher（保护探索）、动态采样、Token 级损失、超长惩罚 |
| GSPO（Qwen，arXiv:2507.18071） | token 级重要性比率在长序列上方差累积、在 MoE 上崩溃；改为序列级比率，已用于 Qwen3 |
| 信用分配方向 | 细粒度归因：VinePPO 的 MC 步骤价值、PRIME 的隐式过程奖励、GSPO 的序列级反弹，详见本站《RLVR 信用分配综述》 |
基础设施同样狂奔：veRL、AReaL（arXiv:2505.24298）等异步 RL 框架把 rollout 与训练解耦，10 万 GPU 小时级的持续 RL 成为常态；Meta 的 The Art of Scaling RL（arXiv:2510.13786）给出 RL 算力—性能的 sigmoid 外推曲线，标志着 RL 训练从手艺走向工程科学。RLVR 的适用面也从数学代码扩展到多模态理解、竞赛编程与工具调用。
五、第二次 Scaling：推理时计算
o1/R1 范式更深远的遗产，是把"智能"拆解为两个可独立扩增的乘数：模型能力 × 思考时间。推理时计算（test-time compute）在 2025–2026 年催生了完整的技术栈：长思维链的 RL 训练、long2short 压缩、自适应思考预算（简单题秒答、难题深思）、以及推理 API 按思考档位计价。R1 论文里那条"训练步数 vs 平均思考长度"同步增长的曲线，与当年预训练 scaling law 一样，成为新时代的信仰图腾。
六、争议的另一面
繁荣之下必须复述三盆冷水（详见总览篇批判节）：pass@k 分析显示 RLVR 可能是在浓缩基座模型已有的能力分布而非创造新能力（arXiv:2504.13837）；Spurious Rewards 实验显示在部分基座模型上连随机奖励都能训出提升（arXiv:2506.10947），提示相当比例的"RL 收益"可能来自唤醒预训练先验；记忆捷径机制研究（arXiv:2601.11061）进一步给出错误奖励下模型绕过推理直接记忆的机制证据。这些工作不推翻 RLVR——R1 的涌现行为是真实的——但它们提醒：RLVR 是能力放大器，不是能力永动机；基座与奖励质量决定天花板。
七、小结
RLVR 革命的本质是奖励来源的第二次革命：RLHF 用人类偏好打分（贵、主观、会过拟合），RLVR 用规则与验证器打分（便宜、客观、可无限供给），第一次让 RL 可以在正确性任务上无限规模化。它把 RL 从对齐工具变成能力引擎，并打开了"推理时计算"这根全新的 scaling 轴。而当正确性任务的验证器也逐渐被榨干，RL 的下一个前沿必然要走向没有标准答案的地方——开放环境、真实世界、长期任务。这就是终篇的主题：Agentic RL 与经验时代。
系列导航
资源索引
| 工作 | 链接 |
|---|---|
| STaR（自举推理，2022） | arXiv:2203.14465 |
| DeepSeekMath / GRPO（2024） | arXiv:2402.03300 |
| OpenAI o1 发布页（2024.9） | openai.com/o1 |
| DeepSeek-R1（2025.1） | arXiv:2501.12948 |
| Kimi k1.5（2025.1） | arXiv:2501.12599 |
| Dr. GRPO（2025.3） | arXiv:2503.20783 |
| DAPO（字节，2025.3） | arXiv:2503.14476 |
| GSPO（Qwen，2025.7） | arXiv:2507.18071 |
| AReaL 异步 RL（2025.5） | arXiv:2505.24298 |
| The Art of Scaling RL（Meta，2025.10） | arXiv:2510.13786 |
| Does RL Really Incentivize Reasoning Beyond the Base Model?（边界之争） | arXiv:2504.13837 |
| Spurious Rewards（2025.6） | arXiv:2506.10947 |
| 记忆捷径机制研究（ICML 2026） | arXiv:2601.11061 |
| OpenR1（HuggingFace 复现计划） | github.com/huggingface/open-r1 |
| TinyZero（30 美元复现 aha moment） | github.com/Jiayi-Pan/TinyZero |
撰写日期：2026-10-26。o1 的成绩数字来自 OpenAI 官方发布页与后续系统卡片；R1 训练成本数字来自 DeepSeek 对外口径，第三方估算存在分歧，本文从略。