·技术
1 分钟0
前世：从试错学习到 AlphaZero，强化学习的经典三十年
> 大模型时代的 RL 看起来像凭空冒出来的新东西，其实每一件兵器——价值函数、策略梯度、Actor-Critic、自我对弈、奖励黑客——都在前三十年被锻造过一遍。本篇回到源头：从行为主义心理学到 AlphaZero，看看这门学科给 LLM 时代留下了哪些遗产，哪些教训又被重新学了一遍。 目
·技术
1 分钟0
对齐纪元：RLHF 如何把人类偏好塞进语言模型
> 2022 年 3 月，OpenAI 发表 InstructGPT：一个 13 亿参数的模型，靠着三段式 RLHF 流水线，在人类盲测偏好上超过了 1750 亿参数的 GPT-3。八个月后，同一配方浇灌出的 ChatGPT 引爆世界。本篇复盘这个纪元的核心技术：奖励模型怎么训、PPO 怎么在文本上