去 RL 化浪潮：DPO 家族与「在线 vs 离线」的三年之争

2023 年 5 月，斯坦福的一篇论文把 RLHF 里最贵的两个部件——奖励模型和 PPO——用一行监督学习损失函数替换掉了。DPO 引发的"去 RL 化"浪潮在此后两年席卷开源社区，又在"在线 RL 派"的反击中退回到它最擅长的领域。本篇讲清这场范式之争：DPO 到底做对了什么、输在哪里、以及它和 RL 最终如何划分了地盘。

目录

• 一、动机：RLHF 贵在哪里
• 二、DPO：一行损失替代一条流水线
• 三、家族爆发：IPO、KTO、ORPO、SimPO
• 四、反击：在线 RL 派的实证反杀
• 五、结局：不是替代，是分工
• 六、小结
• 系列导航
• 资源索引

一、动机：RLHF 贵在哪里

上一篇结尾列过 RLHF 的成本结构：训 RM 要一份偏好数据，跑 PPO 要同时在内存里放 SFT 模型、RM、策略、参考模型四个大块头；PPO 本身是出了名的难调——优势估计、KL 系数、学习率、裁剪范围，任何一项不对都可能训崩。对绝大多数实验室而言，这条流水线的门槛高得离谱。

于是一个自然的问题浮现：偏好数据（回答 A 优于回答 B）本身已经包含了全部监督信号，为什么非要先蒸馏成一个标量奖励模型、再用 RL 去逼近它？ 能不能直接从偏好数据学出策略？

二、DPO：一行损失替代一条流水线

DPO（Direct Preference Optimization，Rafailov et al.，2023.5，arXiv:2305.18290，NeurIPS 2023 Oral）给出了一个数学上漂亮的答案。核心推导只有一步：在 Bradley-Terry 偏好模型 + KL 约束的 RLHF 目标下，最优策略存在闭式解——最优策略恰好是"参考策略与隐含奖励的某种重加权"。把这个关系反解出来代入偏好模型，奖励和 RL 同时消去，剩下的只有一个直接作用在策略对数概率上的二分类损失：

直觉版：让"优选回答"相对参考模型的对数概率上升，让"劣选回答"相对参考模型的对数概率下降，两者之差通过一个 sigmoid 推向正无穷。显式的奖励模型消失了，参考模型充当了隐式锚点，整个训练退化成一次监督微调——任何能跑 SFT 的代码库改十几行就能跑 DPO。

工程民主化的效果是爆炸性的。Zephyr（HuggingFace，arXiv:2310.16944）用蒸馏偏好数据 + DPO 把 7B 模型的 MT-Bench 打到当时的开源第一梯队，"SFT + DPO"迅速成为开源模型的出厂标配。

三、家族爆发：IPO、KTO、ORPO、SimPO

DPO 打开了一个设计空间，2023–2024 年变体井喷，各自修一个具体的洞：

此外还有 SLiC、RRHF、CPO、RPO 等一众工作，以及把 DPO 迭代化/在线化的尝试（Iterative DPO、Online DPO）：新回答由当前策略采样、由奖励模型或 LLM 评审标注，循环迭代——这已经悄悄向"在线 RL"靠拢了。

四、反击：在线 RL 派的实证反杀

DPO 家族风光的同时，"在线 RL 派"完成了几次关键的实证反击：

第一击：受控对比实验。 DeepMind 的 Is DPO Superior to PPO for RLHF?（2024.4，arXiv:2404.10719）在同等条件下系统比较，结论是：在充分调参和分布内数据上，PPO 仍然强于 DPO，尤其在代码、数学等需要能力迁移的任务上。DPO 的两个结构性短板被指认：

• 离线数据诅咒：DPO 只吃固定的偏好对，策略一旦偏离数据分布，没有机制把它拉回来（没有在线采样纠错）；
• 概率下降悖论：实践中常观察到优选回答的概率也在掉，只是掉得比劣选慢——模型并非在"学会偏好"，而是在"调整相对差距"。

第二击：头部实验室的配方公开。 Llama 3 技术报告（Meta，2024.7，arXiv:2407.21783）披露的对齐配方是多轮迭代的在线式偏好优化（每轮重新采样、重新标注、更新奖励模型），而非一次性 DPO；Qwen 等也类似。业界用脚投票：顶级模型没有一个敢把宝全押在纯离线 DPO 上。

第三击：理论补刀。 后续研究指出 DPO 隐含奖励与策略梯度估计之间的失配、对偏好数据覆盖度的敏感等问题；与此同时 PPO 的工程门槛被开源实现（TRL、OpenRLHF、veRL）迅速拉平，"PPO 太难调"这条 DPO 最大的卖点被削弱了。

五、结局：不是替代，是分工

到 2025 年，硝烟散尽后的格局大致是：

• DPO 家族统治"长尾对齐"：风格、安全、格式、通用指令遵循——偏好数据易得、任务对能力上限要求不高的场景，DPO/KTO/ORPO 以十分之一的工程成本拿到八九成效果，至今是开源微调的事实标准之一。
• 在线 RL 统治"能力前沿"：数学、代码、推理、Agent——一切"答案有对错、需要超越现有分布"的任务，在线采样 + 奖励反馈不可替代。这条线索最终汇入了第 4 篇的主角：RLVR。
• 两者的合流形态：在线/迭代 DPO 本质上已经是"用策略梯度思想包装的离线损失"；而 GRPO 等 RLVR 算法里也能看到 DPO 式参考模型锚点的影子。争论"谁是 RL"已无意义，谱系的两端是"纯离线监督"和"纯在线采样"，所有实用方法都在中间。

六、小结

DPO 浪潮的历史贡献不在于"取代 RL"，而在于：它把偏好优化从少数实验室的重工业变成了人人可用的轻武器，并且用三年时间把"对齐该花多少钱"的成本预期压低了一个数量级。它划出的能力边界（离线数据到不了的地方）同样重要——正是这条边界，让 2024 年底的业界重新集结到在线 RL 的旗帜下，去攻推理这座城。下一篇，进入本系列的核心战场：RLVR 与推理革命。

系列导航

• 上一篇：对齐纪元：RLHF 如何把人类偏好塞进语言模型
• 总览篇：大模型强化学习综述
• 下一篇：推理觉醒：RLVR、GRPO 与 o1/R1 开启的第二次 Scaling 革命

资源索引

撰写日期：2026-10-26。DPO 变体数量众多，本篇仅选取影响面最大的五支；更多变体见总览篇速查表。