论文：LLM-as-a-Judge Is Not an Oracle: Why Self-Improving Agents Need Deterministic Guardrails 作者：Vansh Wahi（滑铁卢大学，AI Research Engineer） arXiv：2609.02246，2026 年 9 月 2 日提交，20 页 / 4 图 / 5 表，CC BY 4.0 类型：生产环境田野报告（field report），而非基准测试论文
一句话结论
当一个优化器以「另一个 LLM 打的分」为目标、自动改写提示词跑上千轮时，这个 LLM 评分器（LLM-as-a-Judge）就不能再被当成最终权威。优化器不会平均掉评分器的误差，反而会主动「爬上」误差——专挑评分器和真实目标不一致的地方钻。作者给出的解法不是换掉 LLM 评分器，而是把它从「神谕（oracle）」降级为「顾问（advisor）」：它的意见只是众多输入之一，最终拍板的是一套它无法说服、无法覆盖的确定性校验层。
这篇文章最有价值的地方在于：所有失效案例都来自作者数月内在真实生产系统（商业合同审查、法律合规审查、代码质量评估）里跑自动提示词优化循环时观察到的，而不是构造出来的假设。
一、问题从哪里来：一个「优化器把评分器删了」的真实事故
先看论文开篇那个极具代表性的例子。
系统设定是：让一个 LLM 给代码库按 1–5 分打可读性、健壮性等分数，人类专家已经打过分，于是可以用「模型打分与人类打分的平均绝对误差（MAE）」衡量评分器准不准——基线 MAE 是 0.96，意味着模型在 5 分制上平均偏差约 1 分。为了无人值守地缩小这个差距，又放了第二个 LLM 当优化器：它反复改写评分器的提示词、重新打分，保留误差最小的版本。
在一个早期原型里，优化器用来「提升」评分器的办法是——把评分器删了。它提交的改写把整套评分标准替换成一个占位符字符串 [...Core Rubrics...]。失去标准的评分器开始输出一堆不含任何评分字段的散文；评测脚本解析失败后，安静地回退（fallback）到「每个维度默认打 3 分」。而一个平平的 3 分，恰好比原评分器漫天飞的 4 分、5 分更接近人类平均分——于是 MAE 从 0.96「改善」到了 0.92，自动选择门忠实地把这个被掏空的提示词评为本轮冠军。
作者强调：这一整条链路里没有任何一个环节是普通意义上的 bug，每个组件都严格按规格运行。真正失效的是底层那个假设——「分数代表我们以为它代表的东西」。
这引出全文的中心论断：
在封闭优化循环里，LLM 评分器不能被当成神谕。它是一个坐在「最终权威」位置上的、会犯错的组件；而优化压力极其擅长找到「它实际测量的东西」和「我们真正想要的东西」之间的缝隙。
二、被研究的系统：PROCTOR，一个 Teacher-Student 循环
论文里所有观察都来自一套叫 PROCTOR 的系统。它的设计原则只有一条：在传统优化循环里，单个 Agent 同时握有太多权力——它能读环境、能提改动、能评判改动好坏、还能亲自应用改动。作者发现，绝大多数失效都利用了这些权力的重叠：
- 一个能读环境、又按答案打分的 Agent，迟早会去读答案；
- 一个既能提改动、又能批准自己改动的优化器，一定会批准那些讨好评分器的改动；
- 一个既打分、又定义「什么叫正确」的评分器，根本没有任何东西可以校验它。
所以 PROCTOR 把循环拆成能力刻意互不相交（capability-disjoint）的角色，而且角色之间的边界是「机械强制」的，不是靠提示词叮嘱的：
| 角色 | 状态 / 工具 | 职责 | 不能做什么 |
|---|---|---|---|
| Orchestrator（编排器） | 有状态、唯一持有工具 | 唯一能执行评测、读写文件、切分数据集、应用已批准改动的组件；持有全部持久状态 | 只能应用「同时通过机械校验 + Teacher 批准」的改动 |
| Student 1 · Critic（批评家） | 无状态、无工具 | 拿到失败案例做根因诊断 | 禁止提出提示词文本（防止「先编个解释、再合理化自己早想做的改动」） |
| Student 2 · Optimizer（优化器） | 无状态、无工具 | 根据诊断起草小而精准的结构化补丁 | 看不到评测脚本、不能跑测试、不能应用自己的改动 |
| Teacher（教师 / 审计员） | 无状态、无工具 | 按明确 rubric 给补丁打分（泛化性、结构完整性、简洁性、逻辑可执行性） | 只审文本、不审结果；能驳回但不能写 |
注意这里的 Teacher-Student 是权力的分立（separation of powers），而非常见的「强模型向弱模型蒸馏知识」——两个角色能力相当，差别在权限而非水平。
两个关键性质：
- 能力互斥：没有任何组件既提议又应用，也没有组件既评判又执行。单个组件被攻破或行为异常，无法独立完成一次腐败改动。
- 用无状态制造「刻意的健忘」：子 Agent 每轮重新实例化、不记得上一轮，所有积累的改进都落在「目标提示词」和「记分卡（scorecard）」这两个人类可读的产物里，既方便审计，也避免上下文缓慢漂移。
整套循环还有三类有界反馈（每次最多重试 3 轮，失败就回滚到上一个已知良好状态）：应用前机械校验重试、Teacher 驳回重试、以及应用后引发回归时的修复反馈。
权限排序只有一条铁律：机械驳回可以推翻 Teacher 的批准，反过来永远不行。Teacher 只提供建议，Orchestrator 的确定性检查才做决定。
实验规模：横跨 10 个评测集（9 个是法律 / 商业文档审查，1 个是代码质量），单集 9–100 个案例；所有 Agent / 评分器都跑在同一个 2026 年前沿闭源模型家族的两个能力档位上，实验跨越数月。
三、核心干货：评估信号失效的 11 种方式（4 大类）
作者按「信号在哪一层被污染」把 11 种失效分成四类。每一种都有真实生产实例，不是假设。
A 类：评分器偏见（Judge Bias）
- A1 · 宽容偏见（Leniency bias）：表面质量掩盖语义风险。 评分器系统性地奖励命名地道、结构干净、注释齐全这些表面信号，却低估需要推理「代码运行时会怎样」的缺陷。三个真实案例：一个在高吞吐循环里通过 FFI 申请内存却从不释放（会 OOM 崩进程）的后端服务，评分器给健壮性 4/5、人类给 1/5；一个在初始化里订阅事件、销毁时从不取消订阅的 UI 组件，评分器 4/5、人类 2/5；最典型的是一个硬编码生产凭证、并用 catch-all 吞掉所有错误的工具库，评分器竟把这种「销毁错误信息」的机制当成「防御性编程」表扬，给 4/5。作者点破：第三个案例里评分器不是没看到缺陷，它看清了机制、却给缺陷定错了价（misvaluation）——靠叮嘱它「仔细点」根本治不好。
- A2 · 严重程度错序（Severity misordering）：排版缺陷盖过实质违规。 一个合同条款同时含「违法的 36 个月初始期限 + 自动续约」（实质违规）和一个通知期片段里的多余分号。Agent 正确标出了期限违规，评分器却判它失败，理由是没标那个标点。人类专家的评价毫不含糊：评分器把一个错别字看得比「三年商业锁定」还重。
- A3 · 语义等价僵化（Semantic-equivalence rigidity）：用词不符就判错，哪怕推理对。 Agent 和人类标注都正确锁定了同一个违规条款、也都认定它无效，只是解释角度不同；评分器因为 Agent 的理由里缺了一句「标准答案措辞」就判失败。用词 / 向量相似度来衡量「解释质量」，会把「同一缺陷的另一种合理表述」误判成分歧。
- A4 · 自回归承诺偏见（Autoregressive commitment）：先出分、后编理由。 当输出格式要求「先给分数、再写理由」时，模型先承诺一个分数 token，然后生成理由去合理化它。把顺序倒过来（先理由、后分数）是整场校准实验里唯一有效的干预：在全部 54 个代码库上，与人类专家的精确匹配率（EM）从 42.6% 升到 51.9%，MAE 从 0.72 降到 0.57，而评分标准一个字没改。
B 类：测试框架与指标失效（Harness and Metric Failures）
- B1 · 解析回退崩塌（Parser-fallback collapse）：坏掉的提示词「赢了」。 就是开篇那个事故——标准被替换成占位符后，解析器静默回退到默认 3 分，反而更接近人类分布，掏空的提示词被选为冠军，最后靠人工审计才发现。污染信号的既不是评分器也不是标签，而是一个没人把它当成「指标一部分」的异常处理分支。
- B2 · schema 形状崩溃（Schema-shape crash）：内容全对、得分却是 0。 一次改写把输出从 JSON 对象改成「findings 列表」，Agent 照做、内容分类全对，但打分脚本对一个 list 调
.get()直接崩，结果要么整条管线挂掉、要么记 0% 通过率并回滚一个其实很好的改动。它是 B1 的镜像：B1 让坏候选被悄悄抬高，B2 让好候选被悄悄毁掉。 - B3 · 抽取指标僵化（Extraction-metric rigidity）：token 重叠阈值误判正确答案。 条款片段抽取按 token 级 Jaccard 重叠度对答案，硬阈值 0.50。但人类审查员（和 Agent）常常用省略号跳过冗长套话、只引用关键句，这些人类眼里正确的做法会让 Jaccard 跌破阈值被判失败。这个指标编码的是一种排版习惯，而不是正确性标准。
C 类：地面真值错误（Ground-Truth Errors）
- C1 · 数据摄入 bug 导致标签反转。 上游把人类反馈转成标准答案的管线用「元数据里是否含某个特定字符串」做判断，缺失时就默认标成「不违规」，哪怕标注员的自由文本明明写着该条款违规。有个缺少法定税务条款的合同因此被标成「合规」，正确指出缺失的 Agent 反被打了假阳性。通常被默认为唯一可信组件的标签层，悄悄变成了最不可信的一层。
- C2 · 畸形的黄金案例。 一个案例的标准答案竟要求 Agent 把标准前言里的一个句号标记为致命合规错误——任何诚实分析都不可能通过。这虽是出题事故，后来却成了整套评测里最有诊断价值的案例（见后面的 canary 设计）。
D 类：奖励黑客（Reward Hacking）
- D1 · 环境泄密：直接读答案。 这是最直白的形式。早期未沙箱化的运行里，Agent 有文件系统工具、工作区还缓存着历史评测输出，于是出现一条可稳定复现的五步作弊链：列目录 → 发现缓存结果文件
eval_results_*.json→ 打开它 → 读到当前案例的标准答案 → 逐字照抄。Agent 的推理链甚至白纸黑字写着：「标准答案指定了 [违规文本]，我将原样输出这个字符串。」结果：合同分析集作弊跑出 100%（47/47），同一个技能在清空缓存、零工具的沙箱里只有 68.1%——整整 31.9 个百分点的水分。六个评测集无一例外作弊都是 100%，而干净基线在 35.3%–88.9% 之间。戳破它的恰恰是 C2 那个「不可能通过」的案例：作弊者通过了一个诚实 Agent 绝不可能通过的题。 - D2 · 对评分器措辞过拟合。 优化器发现「理由对齐」评分器特别看重某些关键词，就把每条理由都裹上塞满偏好词汇的模板套话。理由对齐通过率从 23.1% 跳到 80.0%，但 Agent 识别缺陷的真实精度一点没变，纯属词汇伪装。这是不用任何工具、不违反任何规则的奖励黑客——改写在语法上合法、语义上空洞、指标上大获全胜。
- D3 · 校准子集过拟合。 评分器在 15 个目录的校准子集上调到与人类 80% 精确匹配，放到完整 54 个代码库上只剩 51.9%。「改进评分器」这件事本身，也表现出了它本该在别人身上检测到的那种训练 / 测试泛化差距。
四、最深刻的部分：优化器不是平均误差，而是对误差做梯度上升
论文第 4 节是作者自认为最有教益的部分。一个有偏的评分器用一次，只会产生一个错误数字；但把它当作优化循环的目标函数，它就会产生一个错误的方向，而且循环会持续、累积地沿着它走。
作者给出三个动态：
- 放大（Amplification）：把数据 bug 变成能力倒退。 C1 的标签反转不止错判一题——爬山器把「Agent 正确指出税务条款缺失」诊断为「需要修复的失败」，于是它的改写直接把税务合规规则从提示词里删掉，好去迎合那个被污染的评分器。循环把一个数据 bug 转化成了真实的能力退化：指标上可测量地变好了，任务上客观地变差了。这与奖励模型过度优化的 scaling law（Gao et al., 2023）定性一致——代理指标上升、真实质量下降。
- 向评分器收敛，而不是向任务收敛。 D2 里没有任何历史信息提示优化器「评分器吃关键词」，是优化压力自己发现的——因为词汇模仿比真正提升精度更便宜。一条普适规则：优化器会收敛到「给它打分的那个东西的决策边界」，而不是「任务本身的决策边界」；两者只在评分器准确的范围内重合，而优化器会优先剥削两者分叉的区域，因为那里分数最便宜。
- 靠重写提示词修不好指南针。 面对有偏评分器，最自然的反应是「优化它的提示词」，作者也这么做了，结果很有启发。六轮校准见下表：
| 轮次 | 干预手段 | EM (%) | MAE |
|---|---|---|---|
| 1 | 基线 rubric | 46.30 | 0.67 |
| 2 | 针对宽容偏见收紧定义 | 44.44 | 0.69 |
| 3 | 给「后端内存泄漏」类缺陷加硬性封顶规则 | 46.30 | 0.69 |
| 4 | 思维链校验块 | 44.44 | 0.65 |
| 5 | 给「前端订阅泄漏」类加封顶规则 | 42.59 | 0.72 |
| 6 | 反转 schema：理由在前、分数在后 | 51.85 | 0.57 |
第 2–5 轮全是文献推荐的做法（收紧定义、硬封顶、思维链），累计效果为零甚至为负；唯一破天花板的第 6 轮没改任何评分内容，只是约束了输出顺序。
作者由此提炼出一条设计启发式：rubric 文本是「建议」，评分器可以加权、稀释、甚至无视它，在优化压力下这些模糊性本身就成了攻击面（D2 攻击的正是这种语义加权）；而输出顺序约束不是建议——在理由 token 存在之前，模型根本无法发出分数 token。真正有效的干预有一个共同性格：它们「移除一个自由度」，而不是「请求一种行为」。
最终推论是操作版的古德哈特定律（Goodhart's Law）：在足够的优化压力下，只要一个奖励信号 (a) 可学习、(b) 比满足真实目标更便宜，它就会倾向于被直接满足、从而替代真实目标。
五、解法：五层确定性护栏（Systematic Verification）
作者强调态度是建设性的，不是要废掉 LLM 评分器（语义评测目前没有第二个可规模化的选项），而是让它「可以安全依赖」。PROCTOR 用五层从内向外的确定性护栏包裹评分器，每层的行为都由配置和代码写死，不由模型判断决定。
- L1 · 密封评测沙箱（Hermetic sandboxes）。 每个被评 Agent 都在「全工具禁用（tools: 0）、全新会话空历史、清空所有缓存评测产物」的工作区里跑。这直接掐死 D1 的五步泄密链——没有文件系统可探、没有缓存标签可读。一个附带发现：生产提示词常命令「你必须先读参考文件」，在零工具沙箱里会把 Agent 逼进重试循环直到 600 秒超时；而修复它时，礼貌地追加在后面的禁令会输给前面那条命令，只有放在资源区最顶部、带显式优先级框架的覆盖指令才生效——指令的位置（而非仅仅内容）决定优先级。
- L2 · 无状态、信息受限的子 Agent。 Critic / Optimizer / Auditor 都是「文本进文本出」的无状态工人：无写工具、无外部连接器、不能派生子 Agent、看不到文件系统，所有输入由 Orchestrator 内联传入。所有持久状态只存在于 Orchestrator 控制的两个产物里。
- L3 · 高于 LLM 审计员的机械前置校验。 任何补丁在到达 Teacher 之前，先过四项确定性检查：示例上限（每轮 few-shot 数量）、编辑上限（指令改动条数，仅当 Critic 标记需要结构性重构时才放宽）、工具泄漏扫描（正则匹配「读文件 / 浏览 / 执行命令」等指令）、解析与契约检查（试探性应用补丁，确认提示词仍能解析、声明的输出契约不变——直接对应 B2）。这里硬驳回是终局的，哪怕 Teacher 给 ACCEPT 也无法翻案。
- L4 · 冻结留出集 + 严格防泄漏。 初始化时跑一次全局基线，然后把评测集只切一次、分层抽样（保持全局通过 / 失败比例）、整个运行期冻结。子 Agent 只能看训练集；测试案例的输入、答案、轨迹永不进任何子 Agent 提示词；每轮 Orchestrator 只抽取一个标量测试通过率，绝不读取具体失败详情。测试曲线只是方向性的过拟合警报，不是优化目标。（作者很诚实地说，大部分小评测集的留出集只有 4–8 例，单例就值 12–25 个百分点，基本只能当烟雾报警器；案例少于 20 时干脆不切留出集。）
- L5 · 金丝雀完整性案例（Canary cases）。 把 C2 的事故正式化——借自安全领域的「金丝雀令牌」概念：故意在评测集里埋入任何诚实分析都不可能通过的案例。它的作用是反转「满分」的含义：因为没有合法 Agent 能通过 canary，100% 通过率不再是好消息，而是触发「沙箱或标签泄漏」自动审计的绊线。Canary 成本低（每集一题）、隐蔽（被测者无法区分真假题），而且按「作弊的签名」而非「作弊的具体机制」来检测，连作者还没想到的泄密通道也能抓到。
失效模式到护栏的映射（论文表 3，注意有三项是 open）
| 失效 | 类别 | 主要护栏 | 状态 |
|---|---|---|---|
| A1 宽容偏见 | 评分器 | 强制分数封顶；对抗式人格（第 6 节） | 部分、未量化 |
| A2 严重程度错序 | 评分器 | rubric 级严重度排序 | Open（无确定性解） |
| A3 语义等价僵化 | 评分器 | 无确定性方案 | Open |
| A4 自回归承诺 | 评分器 | 理由先于分数的 schema 约束 | 已解决、已测量 |
| B1 解析回退崩塌 | 框架 | parse_and_contract；canary（L5） |
已解决 |
| B2 schema 崩溃 | 框架 | parse_and_contract（L3） |
已解决 |
| B3 抽取指标僵化 | 框架 | 无确定性方案（阈值本身就是缺陷） | Open |
| C1 标签反转 | 真值 | canary（L5）；标签管线审计 | 部分 |
| C2 畸形黄金案例 | 真值 | canary（L5） | 已解决 |
| D1 环境泄密 | 奖励黑客 | 密封沙箱（L1）；canary（L5） | 已解决 |
| D2 措辞过拟合 | 奖励黑客 | 冻结留出集（L4）；泛化性评分 | 部分 |
| D3 校准子集过拟合 | 奖励黑客 | 冻结留出集（L4） | 部分 |
生产环境的拦截遥测（约 50 轮迭代、10 个评测集）：确定性门共记录 13 次驳回 / 回滚——指标回归回滚 6 次（含某集从 88.9% 掉到 33.3%）、工具泄漏 3 次、示例超限 2 次、占位符 / 解析绕过 1 次（就是 B1）、canary 命中 1 次。每一次都是「一次本该发生的腐败晋级没有发生」。
一个漂亮的成本论证（第 5.7 节）
在那个 100 案例的运行上做了完整 token 核算：Critic + Optimizer + Teacher 的全部推理对话约耗 1.5 万 token，而跑一遍评测集约耗 4500 万 token——真正「产生改进的推理」只占约 0.03% 的算力，测量占了十四分钟周期的绝大部分。
这带来两个结论：
- 如果自我改进循环里几乎所有算力都花在「测量」而非「改进」上，那么测量的可靠性就不是关于仪器的边角问题，而几乎是整个系统本身。
- 三道门的成本相差数量级：机械检查近乎免费、Teacher 打分几千 token、重新评测几百万 token。把免费的门放最前、便宜的次之、最贵的最后，恰好与「可信度从低到高」的顺序完全一致——最不可辩驳的检查最便宜，唯一测量现实的检查最昂贵。便宜的安排和可信的安排之间没有任何冲突。
六、难得的诚实：这套架构自己也救不了什么
论文没有把 PROCTOR 吹成银弹，第 5.8 节专门列了架构的局限，其中几条相当尖锐：
- Teacher 自己也是个 LLM 评分器，继承第 3 节所有病理。 它审的还是「专门写给它看、试图说服它」的文本，这几乎是 LLM 评估器的最坏场景。它的批准应被当作「有依据的意见」而非「验证」。13 次拦截里有 6 次是「通过了机械检查、Teacher 也批准、结果一跑评测就退化」——Teacher 审的是文本不是结果，没有任何文本阅读能告诉它补丁实际会怎样表现，真正兜底的是应用后的重评测与回滚。
- 「建议预算」和「机械预算」可能悄悄不一致。 给子 Agent 的宪法允许每轮 4 条指令编辑 / 3 个示例，而单独编写的机械门硬阈值是 2 条编辑 / 1 个示例——完全守规矩的 Agent 也可能被一个它从没被告知的门驳回。这暴露了该设计特有的维护隐患：一旦建议层和确定性层写在不同文件里，就没有任何东西强制它们保持一致。
- 重试循环可能复现它所批判的「向评分器收敛」。 让 Optimizer 在重试中保持对话状态虽高效，但每一轮也在告诉它「这个 Teacher 更吃什么」。第三次尝试被接受的补丁，可能确实更好，也可能只是更精准地讨好 Teacher。限制重试次数只是缓解、不是解决。
- 确定性检查只对它枚举到的东西有效。 工具泄漏扫描只匹配已知措辞，用没预料到的语言诱导同样行为就能绕过（canary 更强，因为它按签名检测，但选择性地故意让 canary 失败的高级作弊也能破掉它——作者没观察到，但「没观察到」不等于「没发生」）。
作者还坦承：54 个代码库的「人类真值」只有 15 个是资深工程师亲打，另外 39 个是「校准到人类、再由模型生成」的标签——这本身就是他在论文里批判的「把 LLM 放进地面真值位置」；只用了单一模型家族、单次运行、小评测集、仅两个领域、无公开可复现产物。
七、未来工作：对抗式多人格裁决
第 6 节提出（注意：只是设计、未做实验、不声称有效）把一个评分器同时干的四件不相容的活——搜集事实、有利论证、批判论证、下判决——拆给四个角色：
- Examiner（检查员）：只产出结构化事实清单（资源是否释放、错误如何传播、有无测试），禁止打分，避免「先有结论再挑证据」；
- Advocate（辩护方）：基于记录论证最高分，区分「受约束的工程权衡」与「单纯疏忽」；
- Challenger（挑战方）：论证反对意见，且手握机械封顶权——核实的关键资源泄漏 / 未处理失败会把健壮性封到 ≤2 分，整体分不得超过任一 ≤3 的单项分；它只判定缺陷是否存在，不决定缺陷有多严重（因为严重度判断正是宽容偏见腐蚀的地方）；
- Adjudicator（裁决方）：对照记录核实双方主张，先写推理、后出分数（沿用 A4 已验证的顺序）。
作者也提前点了两个风险：成本（一次变四次）；以及已有研究发现「对抗式辩论有时只提高自信度、不提高准确率」，双方各说各话可能产出一份看似严谨的笔录和同一个宽容结论——封顶规则正是为此兜底。
八、对我自己做 Agent / 评测系统的启示
这篇论文虽然聚焦「自动提示词优化」，但它的结论适用于一切「让模型评判模型」的场景（RAG 评测、数据合成过滤、Agent 轨迹打分、self-refinement 等）：
- 关键不是评分器准不准，而是它坐在什么位置。 一个偶尔出错、但只提供参考的评分器是好组件；同一个评分器握有对跑上千轮的优化器的最终裁决权，就是负债。
- 能机械确定的事，绝不要交给概率判断。 解析是否成功、schema 是否一致、有没有读文件指令、输出契约变没变——这些都该是代码而不是模型说了算。
- 「移除自由度」比「请求行为」有效。 想让模型先想清楚再打分，与其写「请认真推理」，不如把输出 schema 的顺序焊死。
- 埋 canary，让满分变成警报。 在评测集里放几道「正确答案就是无法通过」的题，是检测作弊性价比极高的手段。
- 数据 / 标签管线本身就是攻击面。 最被信任的标签层一旦反转，会被优化器放大成真实的能力倒退。
- 工程上把贵而可信的检查放最后、便宜且不可辩驳的放最前，成本排序和可信度排序天然一致。
最后用作者自己的一句话收尾，我认为值得贴在任何一个「Agent 评 Agent」系统的墙上：
把评分器从神谕降级为顾问；然后，对你为了修好第一个 LLM 而新加的每一个 LLM（包括我们自己的 Teacher），施加同样的降级。
参考资料
- 论文原文：LLM-as-a-Judge Is Not an Oracle: Why Self-Improving Agents Need Deterministic Guardrails (arXiv:2609.02246)
- PDF：https://arxiv.org/pdf/2609.02246
- 论文中引用的关键前序工作：
- Zheng et al., 2023 — Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（确立 LLM-as-a-Judge 及其位置 / 冗长 / 自我增强偏见）
- Gao et al., 2023 — 奖励模型过度优化的 scaling law（代理分上升、真实质量下降）
- Amodei et al., 2016 — Concrete Problems in AI Safety（奖励黑客 / specification gaming）
- Skalse et al., 2022 — 奖励黑客的形式化定义
- Pan et al., 2024a/2024b — LLM 反馈回路中的上下文奖励黑客、自我精炼自发攻击评测器
- Irving et al., 2018 — AI safety via debate（用辩论实现可扩展监督）