2026-10-26·技术1 分钟0去 RL 化浪潮：DPO 家族与「在线 vs 离线」的三年之争> 2023 年 5 月，斯坦福的一篇论文把 RLHF 里最贵的两个部件——奖励模型和 PPO——用一行监督学习损失函数替换掉了。DPO 引发的"去 RL 化"浪潮在此后两年席卷开源社区，又在"在线 RL 派"的反击中退回到它最擅长的领域。本篇讲清这场范式之争：DPO 到底做对了什么、输在哪里、以及#强化学习#DPO#RLHF#偏好优化#后训练