·技术
1 分钟0
对齐纪元：RLHF 如何把人类偏好塞进语言模型
> 2022 年 3 月，OpenAI 发表 InstructGPT：一个 13 亿参数的模型，靠着三段式 RLHF 流水线，在人类盲测偏好上超过了 1750 亿参数的 GPT-3。八个月后，同一配方浇灌出的 ChatGPT 引爆世界。本篇复盘这个纪元的核心技术：奖励模型怎么训、PPO 怎么在文本上
> 2022 年 3 月，OpenAI 发表 InstructGPT：一个 13 亿参数的模型，靠着三段式 RLHF 流水线，在人类盲测偏好上超过了 1750 亿参数的 GPT-3。八个月后，同一配方浇灌出的 ChatGPT 引爆世界。本篇复盘这个纪元的核心技术：奖励模型怎么训、PPO 怎么在文本上