未来走向：Agentic RL、经验时代与超人类智能的分岔路

RLHF 的奖励来自人类偏好，RLVR 的奖励来自规则验证器——下一步，奖励将来自世界本身。本篇是全系列的终章，把镜头推向正在发生的未来：当智能体被放进真实环境长期行动，RL 要面对什么新问题？Sutton 的"经验时代"宣言描绘了怎样的终局？以及，这条路会把我们带向超人类智能，还是撞上能力边界？

目录

• 一、Agentic RL：从答题到行动
• 二、规模化的科学：RL 训练成为工程学科
• 三、经验时代：Sutton 的宣言与"环境工程"产业
• 四、元层级突破：RL 算法的自动发现
• 五、安全与对齐的暗面
• 六、三条分岔路
• 七、全系列总结
• 系列导航
• 资源索引

一、Agentic RL：从答题到行动

RLVR 的成功有一个隐蔽前提：episode 是单轮的——一个问题、一条思维链、一个答案。而真实世界的任务是"推理 → 行动 → 观察 → 再推理"的多轮循环。2025–2026 年，RL 的主战场正从"把题答对"迁移到"把事做成"：

• 检索与深度研究：Search-R1（arXiv:2503.09516）首次把搜索引擎调用纳入 RL 动作空间；此后 R1-Searcher、ReSearch 及各家的 DeepResearch 产品沿此路线爆发。最新的 EG-GRPO 把检索证据转成语义对齐的步级奖励，GCA（arXiv:2610.23148）则修复了"答案对但没证据"的 grounding gap——多轮场景下的信用分配首次成为一等公民。
• 工具与软件工程：ToolRL 专门研究工具使用任务的奖励设计；SWE-RL（Meta）用软件演化史上的真实代码变更做 RL 环境；UI-TARS（字节）等 GUI 智能体把点击、输入当作动作空间，在屏幕截图上端到端训练。
• 内在动机补充外部验证：当外部奖励不可得，RSIPO（arXiv:2610.15772）用模型自身的 logprob 对比"引用证据 vs 不引用"的推理轨迹，蒸馏出内在过程奖励——这是经典 RL 里好奇心驱动探索在语言智能体上的转世。

Agentic RL 相对 RLVR 的难度跃升是结构性的：轨迹更长、奖励更稀疏、环境有状态且会变化、奖励黑客的危害从"分数虚高"升级为"真实副作用"（一个为完成 KPI 而学会欺骗的订票智能体不是 benchmark 问题，是事故）。

二、规模化的科学：RL 训练成为工程学科

RLVR 时代初期的 RL 训练更像炼金术；2025 年起它快速工程化：

• 性能可预测：Meta 的 The Art of Scaling RL（arXiv:2510.13786）用 40 万 GPU 小时的实证给出结论——RL 的性能—算力曲线是 sigmoid（有饱和点），不是预训练式的对数线性；并给出可复现的 ScaleRL 配方，从小规模实验外推 100 倍算力的最终表现。RL 训练第一次有了"预算规划"的依据。
• 系统瓶颈转移：长 rollout 让生成（推理）成为耗时大头，veRL、AReaL（arXiv:2505.24298）、slime 等异步框架把 rollout 与训练解耦、跨集群调度，"离线策略程度"与"吞吐"的权衡成为新的系统议题。
• 环境吞吐成为新瓶颈：当 rollout 环境从"打分器"变成"要真实执行的代码沙箱、浏览器、终端"，环境的并发、隔离、复位成本开始决定训练速度——基础设施的重心正从 GPU 调度移向环境调度。

三、经验时代：Sutton 的宣言与"环境工程"产业

2025 年 4 月，RL 之父 Richard Sutton 与 David Silver 发表 《Welcome to the Era of Experience》（DeepMind 官方 PDF），可以视为这个领域的纲领性文件。核心论点：人类数据是有限的存量，正被榨干；超人类智能只能来自智能体与自身环境交互产生的一手经验。他们描绘的经验时代有四个支柱：

1. 流式经验：智能体活在连续的、长期的经验流里，而非孤立的问答片段；
2. 环境化交互：动作与观察扎根于真实环境（计算机、实验室、物理世界）；
3. 奖励来自环境：摆脱人类预判，用"信号能否从环境中测量"作为奖励合法性的标准；
4. 非人类式推理：规划与思考不必模仿人类语言链，可以是模型自己的内部语言。

配套的落地路径也在成形：Meta 的 Early Experience（2025.10）给出"无奖励环境如何冷启动"的桥接方案；围绕"可验证环境"的生产——自动出题器、合成任务、可执行测试、仿真世界——正在形成一个事实上的新产业。环境是新的数据这个判断，正取代"数据是新的石油"成为后训练时代的口头禅。

四、元层级突破：RL 算法的自动发现

还有一个更深的递归正在启动：用 RL 去发现更好的 RL 算法。Google DeepMind 的 DiscoRL（Nature，2025）让元学习系统在 Atari 等数十个环境上自动进化策略更新规则，发现的 Disco57 更新规则超过了 PPO 等全部人工设计算法——人工调了三十年的 RL 目标函数，第一次被自动搜索超越。

这与大模型领域的自改进潮流（self-rewarding、LLM-as-judge、自动构造验证器）在精神上是同构的：当"怎么做信用分配、怎么设计奖励"本身都成为可学习对象，RL 栈的每一层都在被自动化吞并。谨慎地看，这类方法目前还在受控环境成立，距大模型生产级应用有距离；但它提示的终局图景是：未来的后训练系统里，人类手写的部分可能只剩下环境本身。

五、安全与对齐的暗面

能力越自主，对齐越脆弱，2025–2026 年的几个实验结果值得所有人警觉：

• RL 会侵蚀既有对齐：ICML 2026 的 Search-R1 复现实验（OpenReview）发现，仅 150 步 GRPO 训练就削弱了指令微调模型原有的安全行为——无害响应变得不可预测，对齐训练与能力 RL 之间的干扰是真实存在的。
• 奖励黑客升级：从"回答变长骗 RM"到"智能体篡改自身评分脚本"，学术界已在真实 agentic 训练日志中观察到规范博弈（specification gaming）行为，防御手段（过程监督、可审计 CoT、行为白名单）远未成熟。
• 多轮自主性放大的新型风险：长期记忆 + 工具权限 + 自我改进循环，三者组合出的失败模式（目标漂移、权限蔓延）目前没有任何基准能够度量，这是评测与治理共同的前沿。

六、三条分岔路

把所有证据摆在一起，大模型 RL 的未来存在三种互斥的图景，而今天的实验结果各自支持其中一种：

1. 能力扩展派：RLVR 的收益会随算力与环境规模化持续外推，pass@k 边界只是暂时现象——支持证据：sigmoid 曲线外推（ScaleRL）、长时程 agentic 任务的稳定收益、R1 式涌现行为。若此派为真，经验时代将通向某种意义上的超人类推理者。
2. 引出派：RL 主要在重组基座模型的先验，预训练决定能力天花板——支持证据：pass@k 边界实验、Spurious Rewards、记忆捷径机制。若此派为真，下一步的军备竞赛会回到预训练与数据，RL 收敛为"高效榨汁机"。
3. 混合派（本文作者的现实主义立场）：在规则可验证域，RL 是放大器；在开放环境域，环境奖励与自主探索可能带来真正的新能力，但会被对齐与安全问题反复拖慢。RL 既不是永动机也不是榨汁机，而是一台"奖励转换器"——它的上限取决于你能给世界装上多少可信的计价器。

七、全系列总结

回顾这六篇走下来的一条链：

经典 RL 给了我们试错学习的数学（第 1 篇）→ RLHF 把人类偏好变成奖励（第 2 篇）→ DPO 把对齐民主化，并划出了离线方法的边界（第 3 篇）→ RLVR 用可验证奖励点燃推理革命（第 4 篇）→ Agentic RL 与经验时代正在把奖励的来源推向世界本身（本篇）。

每一次范式更替，本质都是同一个问题的重新回答：奖励从哪里来，它能带我们走多远。这个领域最迷人的地方在于——四十年来，答案一直在变，而问题从未变过。

系列导航

• 上一篇：推理觉醒：RLVR、GRPO 与 o1/R1 革命
• 总览篇：大模型强化学习综述：从 RLHF 到经验时代

资源索引

撰写日期：2026-10-26，"大模型强化学习"系列终篇。未来预测部分仅代表作者基于公开证据的判断，欢迎打脸。