·技术
1 分钟0
大模型强化学习综述:从 RLHF 到经验时代,一条四十年的因果链
> "大模型 RL" 并不是从 ChatGPT 才开始的。它背后是一条从 1989 年 Q-learning 延续至今的因果链。本篇是这个系列的总览:把前世(经典 RL → RLHF)、今生(DPO 浪潮 → RLVR 推理革命 → Agentic RL)、未来(经验时代)串成一张图,并给出后续五篇
> "大模型 RL" 并不是从 ChatGPT 才开始的。它背后是一条从 1989 年 Q-learning 延续至今的因果链。本篇是这个系列的总览:把前世(经典 RL → RLHF)、今生(DPO 浪潮 → RLVR 推理革命 → Agentic RL)、未来(经验时代)串成一张图,并给出后续五篇
> RLHF 的奖励来自人类偏好,RLVR 的奖励来自规则验证器——下一步,奖励将来自世界本身。本篇是全系列的终章,把镜头推向正在发生的未来:当智能体被放进真实环境长期行动,RL 要面对什么新问题?Sutton 的"经验时代"宣言描绘了怎样的终局?以及,这条路会把我们带向超人类智能,还是撞上能力边界