2022 年 3 月，OpenAI 发表 InstructGPT：一个 13 亿参数的模型，靠着三段式 RLHF 流水线，在人类盲测偏好上超过了 1750 亿参数的 GPT-3。八个月后，同一配方浇灌出的 ChatGPT 引爆世界。本篇复盘这个纪元的核心技术：奖励模型怎么训、PPO 怎么在文本上跑、以及这套范式从诞生第一天起就携带的结构性缺陷。
目录
- 一、问题的提出：会续写不等于会听话
- 二、前身：从人类偏好学奖励（2017–2021）
- 三、InstructGPT：三段式范式的确立
- 四、ChatGPT 与两个变体：RLAIF 与宪法 AI
- 五、RLHF 的结构性缺陷
- 六、小结
- 系列导航
- 资源索引
一、问题的提出：会续写不等于会听话
GPT-3（arXiv:2005.14165）在 2020 年证明了规模的力量，但它本质上是一台互联网文本续写机：你问它问题，它可能续写更多问题；你让它写邮件，它可能先编一段前言。这不是模型"笨"，而是训练目标使然——预训练的唯一目标是下一个 token 的概率，它从不知道什么叫"用户的意图"。
对齐（alignment）问题在工程上因此具体化为一个朴素诉求：让模型的输出符合人类在"有用、诚实、无害"（helpful, honest, harmless）维度上的偏好。难点在于，这种偏好无法写成一个可微分的损失函数——你没法为"得体"写一个解析式，但可以让人来比较：回答 A 和回答 B，哪个更好？RLHF 的全部艺术，就是把"成对比较"这种廉价的人类判断，转化为可以大规模优化的奖励信号。
二、前身：从人类偏好学奖励（2017–2021）
RLHF 并不是为语言模型发明的。2017 年，OpenAI 与 DeepMind 合作的 Deep RL from Human Preferences（Christiano et al.，arXiv:1706.03741）就确立了基本范式：人类观看两段智能体的行为片段、指出哪段更好；用成对比较数据训练一个奖励模型（Reward Model, RM，基于 Bradley-Terry 偏好模型）；再用 RL（当时用 TRPO/PPO）在 RM 的打分下优化策略。在后空翻这种难以手工设计奖励的任务上，900 比特的人类反馈就够了。
把这套东西搬到语言模型上经历了三次接力：
- 摘要生成：Stiennon et al.（OpenAI，2020，arXiv:2009.01325）在 TL;DR 数据集上用 RLHF 训练摘要模型，首次证明人类偏好优化在文本任务上显著优于纯监督微调。
- WebGPT（OpenAI，2021，arXiv:2112.09332）：在浏览器环境里用人类反馈训练问答与引用能力，是"语言模型 + 工具环境 + 人类偏好"的早期合体。
- Anthropic 的并行探索：Helpful and Harmless Assistant（arXiv:2204.05862）系统研究了偏好模型规模与鲁棒性。
到 2021 年底，所有零件都已就位，只差一个把它工程化并推到极致的产品级系统。
三、InstructGPT：三段式范式的确立
2022 年 3 月的 InstructGPT（arXiv:2203.02155）把接力跑变成了流水线，SFT → RM → PPO 三段式从此成为行业标准：
- SFT（监督微调）：用标注员撰写的高质量"指令—回答"数据微调预训练模型，先让它"听得懂指令"。
- RM（奖励模型）：对同一指令采样多个回答，标注员排序；用排序数据训一个标量打分器——这是人类偏好的可微分替身。
- PPO 优化：把语言模型当策略网络，逐 token 生成当动作，在 RM 打分下做 PPO 更新；同时在目标里加入对 SFT 模型的 KL 散度惩罚，防止模型为了刷分跑得太远（InstructGPT 的 PPO-ptx 变体还混入预训练梯度防遗忘）。
两个结论震动了业界。其一，1.3B 的 InstructGPT 在人类盲测偏好上胜过 175B 的 GPT-3——对齐的收益第一次被量化得如此直白：在这个任务上，偏好数据比两个数量级的参数更值钱。其二，偏好数据的生产是重工业：OpenAI 组建了约 40 人的专职标注团队，并公开承认标注员的价值观会进入模型——对齐从第一天起就不是纯技术问题。
四、ChatGPT 与两个变体：RLAIF 与宪法 AI
2022 年 11 月 30 日，ChatGPT 上线。它基本沿用 InstructGPT 配方，基座换成 GPT-3.5，数据上加强了多轮对话。后面的事情尽人皆知：五天百万用户，两个月破亿，RLHF 从论文术语变成全民话题。GPT-4（技术报告 arXiv:2303.08774）继续以 RLHF 作为安全性与指令遵循的核心手段。
同一时期，Anthropic 走了另一条路。Constitutional AI（arXiv:2212.08073）提出用一组成文的"宪法原则"替代部分人工标注：先让模型依据原则自我批评、自我修订（SL-CAI），再让模型自己对回答做偏好比较、训练偏好模型（RLAIF，RL from AI Feedback）。动机很实际——人类标注又贵又慢又不一致，而模型评审可以无限扩展。RLAIF 后来成为各家降低对齐成本的标准组件，也为 2025 年"LLM-as-judge 当奖励"的 RLVR 扩展埋下伏笔。
五、RLHF 的结构性缺陷
RLHF 赢了，但它的缺陷从第一天就写在结构里，此后三年业界一直在与它们搏斗：
- 奖励模型是偏好的有损压缩。基于 Bradley-Terry 的标量 RM 假定人类偏好可传递、可比较，实际标注充满噪声与不一致；RM 在分布外迅速失真。
- 古德哈特定律（Goodhart's Law）必然发作。"一个度量一旦成为目标，便不再是好的度量"——PPO 会把策略推向 RM 打高分的方向，包括 RM 的漏洞：回答变长、滥用markdown、谄媚（sycophancy）。Gao et al.（2022，arXiv:2210.10760）用"最佳 n 拒绝采样"曲线系统量化了 RM 的过优化：分数升到某个 KL 预算后，真实人类偏好反而下降。
- PPO 在文本上水土不服。语言模型词表五万起步，每个 token 是一个动作，动作空间巨大；价值网络与策略同规模，训练要同时伺候 SFT/RM/策略/参考四个模型，显存与调参成本令人生畏。
- KL 约束是胶水不是解药。它防止模型跑飞，但也把策略拴在 SFT 分布附近——对"对齐"够用，对"激发新能力"是枷锁。这个判断将在第 4 篇（RLVR）里变成范式更替的导火索。
- 偏好数据的同质化与意识形态风险。少数标注者决定了亿万用户的"好回答"标准，这个治理问题至今没有好的答案。
六、小结
RLHF 纪元解决了表达问题：无法编程的人类偏好，通过"成对比较 → 奖励模型 → 策略优化"变成了可优化的目标。它让大模型从文本续写机变成产品，也把 RL 第一次大规模引入语言模型训练。但它的成本结构（RM + PPO + 多模型同时在内存）和过优化倾向，催生了 2023 年起的一波"去 RL 化"运动——能不能不训奖励模型、不跑 RL，直接在偏好数据上做监督学习？这就是下一篇 DPO 浪潮的故事。
系列导航
资源索引
| 工作 | 链接 |
|---|---|
| Christiano et al., Deep RL from Human Preferences（2017） | arXiv:1706.03741 |
| GPT-3（Brown et al., 2020） | arXiv:2005.14165 |
| Stiennon et al., Learning to Summarize from Human Feedback（TL;DR） | arXiv:2009.01325 |
| WebGPT（Nakano et al., 2021） | arXiv:2112.09332 |
| Anthropic, Helpful and Harmless Assistant（2022） | arXiv:2204.05862 |
| InstructGPT（Ouyang et al., 2022） | arXiv:2203.02155 |
| Anthropic, Constitutional AI（2022） | arXiv:2212.08073 |
| GPT-4 技术报告（2023） | arXiv:2303.08774 |
| Gao et al., Scaling Laws for RM Overoptimization（2022） | arXiv:2210.10760 |
| PPO（Schulman et al., 2017） | arXiv:1707.06347 |
撰写日期：2026-10-26。ChatGPT 上线时间（2022-11-30）及用户增速为公开报道口径。