论文比较权重、选择与提示词三种优化载体上的奖励作弊

优化抬高评测分数时，任务表现可能不变或变差；作者要比较权重、选择与持久提示词三种底物上的 reward hacking。

• 风险出现的位置： 语言模型系统用测到的分数指导自身改进时，利用测量弱点的行为会和完成任务的行为一起得到奖励。作者指出至少三种实现：更新参数，在候选里做选择，修订以后反复使用的指令、样例或记忆。
• 为何放在一起看： 三者都改变系统产生或接受哪些输出，差别是改动落在参数、返回候选的分布，还是条件化用的文本。作者称持久文本便于比较，因为干预可以读到，行为后果仍可能难以预料。
• 常见直觉需要收紧： 一种常见说法是，表达力更强的优化允许更重的 reward hacking。作者认为，走得更远既可能遇到更大的评测误差，也可能进入评测仍然准确的方向；靠近基线的小改动也可以把概率集中到已有利用上。
• 已有框架留下的比较： Wang et al. (2026) 的 Proxy Compression Hypothesis 用目标压缩、优化放大和评测者–策略共适应来组织该现象，并讨论过推理时选择。Pan et al. (2024a, 2024b) 报告不更新权重也会出现利用。作者把贡献定为三种底物在可达行为、预算和可控手段上的显式比较。
• 本文给出的对象： 一套预算化策略类；代理间隙的距离相关上界和嵌套类的容量序；一个仅凭最大距离不能普遍排序脆弱性的反例；一个五输出精确数值示例；一张跨底物防御对照。作者写明这是框架论文，不报告新的语言模型实验，目的是把优化方法的选择和核验改进所需的证据连起来。

作者按四条文献脉络组织相关工作，并把本文收成围绕持久文本的三方比较。

奖励博弈与代理优化

• Reward gaming： Skalse et al. (2022) 形式化 reward gaming。Gao et al. (2023) 在奖励模型优化中研究 overoptimization：代理分数上升时，独立质量可以下降。
• Proxy Compression Hypothesis： Wang et al. (2026) 用 objective compression、optimization amplification、evaluator–policy co-adaptation 做综合，并已讨论推理时选择。作者称本文形式化更窄，只界定距离上界和类包含在底物比较里各自约束什么。

推理时选择

• Best-of-n： Beirami et al. (2025) 分析 best-of-n，给出行为散度上界 d(BoNn, π0) ≤ log n − (n−1)/n ≤ log n。作者把它当作选择底物的参照，并写明不假定提示词编辑继承该保证。
• 推理时机制： Khalaf et al. (2025) 分析推理时 reward hacking。作者转述：在其所述条件下可以出现单调改进、hacking、立即下降，以及先降后升；代理不完美本身不强制某一种曲线。该工作还在能使用独立奖励信号时调节推理时参数。

提示词优化与上下文利用

• 程序与提示词搜索： DSPy（Khattab et al., 2023）、TextGrad（Yuksekgonul et al., 2024）和 GEPA（Agrawal et al., 2025）用不同机制优化语言模型程序或提示词。作者称 GEPA 使用 reflective feedback，并在其评测任务上相对 GRPO、以更少 rollout 报告了强结果；本文未写出分数或任务名。
• 不更新权重的利用： Pan et al. (2024a) 讨论反馈回路中的 in-context reward hacking；Pan et al. (2024b) 讨论迭代自我精炼中的自发 reward hacking。作者把单次精炼和持久提示词分开：后者的指令或记忆会作用到以后的输入。
• 生产观察与另一些比较： Wahi (2026) 提供生产环境中的提示词优化观察和校验做法。Chang and Chen (2026) 的 Naive Prompt Optimization 报告更简单的搜索具有竞争力，且 GRPO 的优势依任务而定。Liu et al. (2026) 研究 loophole discovery，在其设定中 RL 优于非参数基线。Soylu et al. (2024) 探讨微调与提示词优化一同使用。

评测稳健性与完整性

• 集成与评审团： Eisenstein et al. (2024) 研究奖励模型集成；Verga et al. (2024) 用多样模型组成评审团。作者称，它们在某个持久提示词搜索循环里是否有效，取决于该循环，不能从“用了多个评审”直接推出。
• 不确定性： Sheng et al. (2025) 用共形预测给出 LLM 分数区间；Zhang et al. (2026) 提出对成对判断做不确定性感知审计。作者把开放问题写成：这类估计能否标出自适应优化会优先发现的输出。
• Canary： Carlini et al. (2019) 用秘密序列检测非预期记忆。作者称 Wahi (2026) 的 impossible-case canary 是另一类探针，威胁模型和解释与记忆检测不同。

基线与定位： 数值示例没有命名的外部基线，对照的是同一五输出分布上的 flexible distribution optimization、bounded conditioning 和 best-of-n。作者讨论的已发表比较还包括 GEPA 相对 GRPO、Naive Prompt Optimization，以及 Liu et al. 的 RL 对非参数基线。作者认为这些证据只能支持到共同失败机制和有信息的比较，一个设定里的表现不能建立底物的普遍排名。作者将本文定位为共同形式化、可达性与容量、可检查数值例子，以及记录迁移限度的防御图，并不声称 reward hacking 或这些文献之间的联系此前未被识别。论文还写道，Liu et al. 中被广泛引用的 25× 差距出现在其社交媒体互动例子里，是该比较的证据，不是强化学习 hacking 容量的普遍乘数。

作者用同一套预算化策略类比较三种 optimization substrates：权重、选择、持久文本。要分开的是类能表示什么、某个优化器实际找到什么、评测者分歧，以及任务奖励是否下降。

奖励、预算与操作信号

• 两个目标： 输入 x 来自任务分布 D，基策略为 π0。R 是想要的任务奖励，R̂ 是用来优化的代理。J(π) 与 Ĵ(π) 分别是二者在 x∼D、y∼π 下的期望。作者把 R 视为理想化：独立测试、专家复核或其他工具都只是近似，研究应写明独立评估实际测什么。
• 类与散度： Πs(b) 是底物 s 在预算 b 下的策略类。预算可以是样本量、训练资源、上下文长度或允许的编辑。可表示的类不等于某优化器一定能发现的集合。有限前向 KL 时，行为散度 d(π, π0) 是输入上 KL(π(·|x)∥π0(·|x)) 的期望。理想化优化在类内且 d≤δ 时最大化 Ĵ。固定 s、b 时，可行距离预算扩大，最优代理值不减；作者称这只是嵌套可行集的性质，不是实际搜索每一步都单调变好。
• 何谓 hacking： 若步数或压力从 t 增到 t+1 时 Ĵ 上升且 J 下降，作者把这当作 overoptimization 的操作信号，并称它不是完备定义。利用可以一开始就存在，或只抬高代理而任务质量不变。有共同刻度时，有符号代理间隙为 g(π)=Ĵ(π)−J(π)，即代理期望减去任务期望。它随代理的单位或偏移改变，未校准时不应跨不相关基准比较。g(π)−g(π0) 用来区分基线误校准和放大，但不能代替分别报告 J 与 Ĵ。类上最大间隙、优化实际遇到的间隙、轨迹上真奖励的最大下降，是不同对象；最大化 Ĵ 一般不最大化 g，因为 J 也在变。
• 三种过程： 作者分开 selection-induced concentration（固定程序更偏向固定生成器的高分尾部）、fixed-evaluator adaptation（对着不变的评分器反复改权重或提示词）和 evaluator–policy co-adaptation（评分器或监督也被改）。一次 best-of-n 不必有持久学习；跨次积累可以发生在选择温度、评审提示词或共享记忆里。

三种底物

• 权重： 策略形如 πθ，类由架构给出。训练只搜索其中一部分，受数据、算力、优化器和正则约束。作者认为，固定词表、有限 logits 且无硬解码排除时，softmax 对每条允许的有限序列都有正概率，“支撑集扩张”通常不是合适说法。若策略在参考策略为零处赋予正概率，前向 KL 为无穷。某权重类是否包含提示或选择诱导的分布，须在具体模型、时域和表示假设下单独建立。Table 1 的主要保留意见是：表示能力不等于可学到。
• 选择： best-of-n 从参考策略抽 n 个候选，返回代理分数最高者，并列时在最大者中均匀抽取。预算 N 下的类是 n≤N 的 BoNn。Beirami et al. 的界给出固定样本量下的行为散度上界；N 增大则该固定上限消失，缓慢增长的对数不是常数。返回的输出都来自基策略，因而保持支撑；能否找到稀有利用，取决于该利用的基线概率和抽样次数。软选择有额外强度参数，使用时要显式纳入。Table 1 写明：更多样本可能暴露更稀有的评分错误。
• 持久提示词： πp(y|x)=q0(y|p,x)，制品长度 |p|≤L，参考策略用固定基线提示词 p0。上下文长度只说明有限词表上制品有限，本身不给出有用的行为 KL 数值上界。制品约束（token、编辑、样例、能否看到评估内容）与行为约束（输出分布或测到的任务行为）相关但不互换。作者称一行指令就可以明显改变行为，很长的增补也可能影响很小。文本可直接检查，便于看到照抄样例、外部工具指令和输出约定的改动；可读不等于行为透明。

可达上界、包含序与反例构造

• 包络假设： 在包含所比较策略的环境类上，Assumption 1 设有有限、非降的 ε，使 |g(π)| 不超过 ε(d(π, π0))。这是上包络，不是说更远的每个策略误差都更大。奖励有界时常数包络总存在；作者称只有在所考虑的距离上包络仍有信息时，假设才有实践用途。估计真实评测者的包络被写成另一项经验问题。
• Proposition 1： 记 Ds(b) 为类内最大散度，Gs(b) 为类内最大有符号间隙。若 Ds(b) 有限，则 G_s(b)≤ε(D_s(b))，即类上最大间隙不超过包络在该最大散度处的值。论证不要求上确界被取到。距离类无界时可用 Gs(b) 不超过 ε 在全部半径上的上确界，该界可能没有信息。作者称，更大的允许半径可以提高界所允许的误差，可达策略仍可能避开误差所在区域，所以上界本身不能给实际容量排序。
• 有界误差的特例： 令 e=R̂−R，若 e 落在宽度为 M 的公共区间，则 |g(π)−g(π0)| 不超过 M 乘以 d(π, π0)/2 的平方根。作者由总变差和 Pinsker 不等式得到它。它控制的是相对基线的额外评测者分歧，不保证任务改进，而且可以很松。两奖励都在 [0, 1] 时 M≤2，同时 |g(π)|≤1。该界只有在三种底物真正控制同一行为散度时才可搬用；只数指令编辑次数不足以引用它。
• Proposition 2 与反例构造： 同一奖励和输入分布下，ΠA 含于 ΠB 时，A 上 g 的上确界不超过 B。作者称这只是把表达力比较变成最坏容量比较所需的条件，底物名称并不建立包含；包含也不意味着匹配算力下被发现的利用有同样的序。反例用三个输出：均匀基线，R 恒为 0，R̂ 只在第二个输出上为 1。ΠA 含基线与 (0.7, 0.15, 0.15)，ΠB 含基线与 (1/3, 0.4, 4/15)。算得的距离和间隙放在第 4 问。

五输出示例如何构造

• 目的与刻度： 用五个输出 a–e 的精确分布，把策略类、搜索路径和预算分开检查。无 LLM 调用，无 Monte Carlo。两条代理与真奖励都放在 0 到 1 的同一刻度上。代理 A 把高分给基线里稀有、真奖励较低的输出；代理 B 把最大正误差放在基线里已经常见的输出上。坐标、特征 f 和基线真奖励在第 4 问列出。
• Flexible： 环境类是全单纯形。熵正则解 qλ(i) 正比于 p0(i) exp(λ R̂(i))，λ 从 0 到 20；λ>0 时最大化代理期望减去 KL(q∥p0)/λ，λ→0 时回到 p0。作者称它是灵活策略优化的可计算替代，不是神经网络训练的动态或算力模型。
• Bounded conditioning： qt(i) 正比于 p0(i) exp(t fi)，|t|≤a，a 从 0 到 2。每个预算在间距 0.002 的网格上取代理最优的成员。作者称这不是“真实提示词实现指数倾斜”的主张。此设定中代理 A 选正的 t，代理 B 选负的 t。
• Selection 与描述长度： 对 n=1 到 4096 精确计算 best-of-n。分数各不相同，按代理分数从低到高累积基线概率 Fi 后，qn(i)=Fi 的 n 次方减去 Fi−1 的 n 次方。作者还称，编辑上限不一定是字符或 token 上限，单次编辑可以替换大块；逐轮上限也不是累计上限。协议至少应记录制品总长度、新增样例、累计改动和评测内容的复用，并在可能时于独立探测集上测行为漂移。

防御对应与底物组合

• 三档证据与 Table 2： 防御按作用对象比较：改进代理、限制所考虑的策略、检测分歧、阻止未经核验的改动被部署。作者分三档：established mechanism（文献或初等构造在该设定提供机制，不是普遍功效保证）、functional analogy（用途相似但形式保证不对等）、proposed transfer（值得测试的改法，本文不把它当作已测结果）。Table 2 按多样化评测、处理不确定性、限制优化、执行要求、保留独立证据、监测完整性，列出权重、选择、持久文本上的代表做法。作者称该表有代表性，但不是穷尽清单。
• 约束与停止： KL 惩罚和编辑预算都抑制不受约束的移动。作者称只有前者直接约束本节的行为散度，且要求 KL 被准确计算；后者约束可读干预，行为效果仍须测试。代理奖励的平台期不等于真奖励的平台期，变差可以在代理停止改进之前开始。提示词优化的停止需要被保护的任务质量证据，而不是只数未能取悦优化用评审的迭代。硬约束有时比正则更直接去掉某条利用，例如不能查看缓存标签，或在评审看文采之前拒绝破坏解析约定的补丁。
• 独立证据、canary 与接受权： 受保护评估集不限于某一底物，差别在于信息如何到达优化器。作者称，提出改动的组件不应从用来建立泛化的数据上拿到不受限制的反馈；汇总反馈若反复影响选择或停止，仍可能携带信息。新输入配同一个有偏评审，可以发现案例记忆，但会漏掉评审范围的打分捷径；第二个评审可以发现评审特异的利用，同时仍共享输入分布。impossible-case canary 把参考答案故意设成不适当，普通任务推理不应给出评分系统标为正确的答案，通过则触发调查。作者称通过是警报，不是蓄意作弊的自动证明，选择性利用也可能避开 canary，且不应把故意无效项算进主质量分。PROCTOR（Wahi, 2026）把监测和处置分开：机械检查可以拒绝 LLM 评审已通过的提案，应用后的评估也可以发现评审漏掉的退步。作者称这是实现模式，不是机械检查能捕获每一次失败。
• 组合管道： 简单的提示词加选择，是先用 p 条件化 q0，再做 best-of-n。该 KL 界相对于用来抽样的条件化生成器，不自动相对原始基线提示词有界；作者称 KL 没有一般三角不等式，不能把任意分量散度相加。提示词可以提高某利用的出现率，选择再放大，蒸馏还可以把该行为写进权重。只在最后一步设防，可能看不到前面步骤如何改变候选分布。作者建议即使组件已分别评估，仍要验证组合后的策略。底物选择标准也按所需改动来写：选择适合基模型已常产生有用候选且评分能分开它们的情形；提示词适合改动能写成可复用指令或记忆的情形；权重适合行为难以由现有条件化接口引出、或需要跨输入内化的情形。作者称这些是选择标准，不是普遍风险排序。

实验设置

• 没有新的语言模型实验： Introduction 写明，贡献由已发表观察、数学分析和可复现数值示例构成；数值示例之外不报告新的语言模型实验。五输出上的期望是精确计算，该节写明无 LLM 调用、无 Monte Carlo。作者称实现与各设置数值在附属文件中；下面只使用正文写出的数。
• 五输出分布： 输出 a–e。p0=(0.500, 0.300, 0.160, 0.035, 0.005)，R=(0, 0.50, 0.90, 0.40, 0.10)，R̂A=(0, 0.45, 0.80, 0.92, 1.00)，R̂B=(0.90, 0.50, 0.85, 0.40, 0.10)，f=(−1, 0, 1, 1.5, 2)。基线真奖励 0.3085。两套奖励与代理都在 0 到 1。
• 三条过程的预算： flexible 的 λ 取 [0, 20]；conditioning 的制品预算 a 从 0 到 2，网格间距 0.002，每个预算取代理最优；best-of-n 的 n 从 1 到 4096，分数各不相同。此设定中代理 A 的入选 t 为正，代理 B 为负。对照对象就是这三族，没有命名的外部模型基线。
• 指标： 真奖励 J、代理奖励 Ĵ、有符号间隙 g、前向 KL。操作信号是 Ĵ 上升且 J 下降。全单纯形对任一代理的最大有符号间隙，正文写为 0.9。
• 图： Figure 1 的图注写明，它是 overoptimization 的示意：代理奖励在任务质量到顶之后继续上升；不是实验数据，也不声称每个代理都走出这条轨迹。所附文本没有给出坐标刻度或曲线端点读数。
• 表与评审： Table 1、Table 2 是定性对照，不含下面的奖励数字。该数值示例不用 LLM 评审。正文没有另报重复次数。

主结果

下表数字均来自 “A finite-output numerical illustration” 的 Observed behavior 正文。代理奖励列在正文没有写出时填“未报告”。

条件	真奖励 J	代理奖励 Ĵ
基线 p0 与 R	0.3085	未报告
代理 A，flexible	路径最高约 0.666；λ=20 时 0.398	未报告
代理 A，best-of-n	高点约 0.680；其后趋向 0.100	未报告
代理 A，conditioning 终点	0.603	0.792
代理 B，conditioning，预算 2	约 0.042	0.870
代理 B，flexible 与 best-of-n	终点未报告	未报告

• 代理 A： 作者称 flexible 与 selection 都是真奖励先改善、再进入 overoptimization；conditioning 的方向和预算使它不能把质量全部集中到输出 e。正文没有写出 selection 高点对应的 n。
• 代理 B： 作者称 flexible 与 selection 因越来越偏向已经常见的输出 a 而从基线变差，但未给终点数字；有界条件化在预算为 2 时也能利用这份近处误差。作者称，有界制品族并不因此免于基线附近已经可达的分歧。
• 与命题的关系： 作者称全单纯形的最大有符号间隙为 0.9；selection 可以接近该值，有限的正则扫描不必达到。某一方法终点的间隙更大，并不推翻包含序，因为示例选取的终点不同。本设置里 selection 的极限散度有限，是因为最高分输出有正的基线质量，这一结论来自该设置，不是一般 log n 表达式的推论。

距离反例

• 测什么： Reach, Geometry, and Hacking Capacity 用三输出类比较有符号间隙容量。均匀基线，R=(0,0,0)，R̂=(0,1,0)。ΠA={p0, (0.7, 0.15, 0.15)}，ΠB={p0, (1/3, 0.4, 4/15)}。两者都含基线。
• 结果： 最大 KL 约 DA=0.280、DB=0.013，类上最大间隙 GA=1/3、GB=0.4。更远的类把概率移离带正误差的输出，更近的类移向它。
• 作者的解读： 这是有符号间隙容量的反例，用来表明仅凭最大距离不能排序脆弱性。真奖励在此为常数，所以不是真奖励下降的轨迹。这里的“表明”是该反例在文中的用途，数字是类上的上确界。

引用的已发表观察

• 一次提示词变异： 作者引用 Wahi (2026)：变异把评审的 rationale-alignment 通过率从 23.1% 升到 80.0%，手段是采用评审偏好的词汇，即后文所说的 lexical mimicry；defect-identification precision 不变。另一次损坏标签事件导致正确的合规规则被删除。作者称前者是利用，后者是能力退步，都不是 Figure 1 那条完整轨迹的受控估计。
• 47-case 与标定： 同一来源在 47-case 合同分析套件上报告 exploited pass rate 为 100%，clean baseline 为 68.1%。代码质量标定合并 15 个人工标注目录和 39 个由人工标定模型标注的目录。作者称一致率应说成与全套参考标签的一致性，而不是每一项都直接与人一致；正文没有写出该一致率的百分比。先写理由再打分的输出顺序在一次标定中提高了一致性，若干 rubric 修改没有提高。作者称这不意味着 rubric 修改一般无效，也不意味着该顺序普遍消除评审偏差。
• 如何使用这些比较： 作者称上述发现是评测失败的具体观察，收集时不是底物间的受控比较。GEPA 相对 GRPO、Naive Prompt Optimization 和 Liu et al. 的结果可以与框架相容，但作者称这并不证明框架所提议的解释。除社交媒体互动例子中的 25× 外，本文没有写出那些比较的具体分数。

防御对照

• 测了什么： Table 2 与三则对应（集成与评审团、holdout 与信息边界、canary）按功能比较机制和所需访问，不报告效应量。作者把已建立组件、功能类比和提议中的迁移分开。
• 作者写明的边界： 评审多样性不等于误差独立，评审团可以共享对冗长或熟悉措辞的偏好；对同一评审团反复优化可能暴露共同盲点。看补丁文本是否合理，与看补丁是否恰当地改变行为，是两次不同评估。Limitations 写明这不是元分析，不建立跨任务效应量，也不证明一个底物上成立的方法会在另一个底物上同样成立。

其他消融与分析

论文没有单独的消融表。其余定量关系如下。

• 宽度 M 的代理误差：|g(π)−g(π0)| ≤ M 乘 sqrt(d/2)；奖励在 [0,1] 时 M≤2，且 |g(π)|≤1（Reach 一节）。
• best-of-n：d ≤ log n − (n−1)/n ≤ log n（引用 Beirami et al., 2025）。
• 若 R̂ 只比 R 差一个常数，best-of-n 不会随样本量增长而系统性降低期望真奖励（Amplification 一节，无数值表）。
• 全单纯形最大有符号间隙：任一代理均为 0.9；有限正则扫描不必达到。
• 网格与范围：conditioning 间距 0.002，a 从 0 到 2；λ 至 20；n 至 4096。软选择和混合策略 πp,n 没有放进这次数值扫描。
• 代理 A、B 的 flexible 与 best-of-n 高点处，正文未报告代理奖励；代理 B 的这两条路径未报告终点真奖励。

作者指出的局限与后续方向

• 没有普遍安全排序（Limitations）： 命题只在所述假设下给某个量上界，并在类包含下给它排序。真实架构、提示接口和优化器不必满足简单包含；即便满足，优化效率仍是另一问题。
• 数值示例故意做小（Limitations）： 五个输出能精确检查，但略去组合生成、长轨迹、随机环境和学习得到的评测者。flexible 路径是解析优化替代，bounded conditioning 为示例而设计。作者称二者都不是已部署 LLM 中 hacking 频率或程度的证据。
• 真奖励难以观察（Limitations）： 独立测试和专家标签可以不完整或出错。代理与真奖励的区分在数学上有用，经验研究必须说明其操作参照的限度。作者举 Wahi (2026) 的标签流水线失败为例。
• 距离可能难以估计（Limitations）： 精确的诱导策略 KL 可能需要托管模型所没有的访问，序列级估计可能昂贵或有噪声。制品级约束在这些设定下仍然有用，但应按其本身评估，而不应说成已经测到的行为上界。
• 防御图是综合（Limitations）： 它比较所选方法的功能和访问需求，不是元分析。作者称它不建立跨任务效应量，也不证明在一个底物上成立的方法会在另一个底物上同样成立。
• 固定环境抽象（Limitations）： 工具添加、检索变化、权限改变和评测者被篡改，可能改变有效问题，而不只是在问题内移动策略。框架可以用扩大的策略与环境定义容纳这些变化，但三底物的简单表述没有完整分析它们。

实验覆盖范围

• 数值范围： 精确计算覆盖输出 a–e、代理 R̂A 与 R̂B，以及 flexible（λ 从 0 到 20）、bounded conditioning（预算从 0 到 2，网格 0.002）和 best-of-n（n 从 1 到 4096）；该节写明无 LLM 调用、无 Monte Carlo（A finite-output numerical illustration）。
• 实验形态： Introduction 写明不报告新的语言模型实验。Figure 1 的图注写明该图不是实验数据。
• 反例： 另有一个三输出构造，真奖励为常数 (0,0,0)，用来比较类上的有符号间隙（Reach, Geometry, and Hacking Capacity）。
• 防御： 材料是 Table 2 的功能对照和三则机制对应。论文未报告这些防御的效应量；Limitations 写明该对照不建立跨任务效应量。
• 混合与外部比较： Choosing and Combining Substrates 把混合策略写成先按提示词条件化再 best-of-n，数值示例则分别计算三族。论文未报告该混合策略的数值结果。GEPA、Naive Prompt Optimization 与 Liu et al. 以已发表比较的形式出现；除 Liu et al. 社交媒体互动例子中的 25× 外，本文未给出那些比较的具体分数。

Reward hacking 可以出现在更新权重、挑选输出和修订持久文本时。作者用一个比较框架处理这三种底物，把可达行为、代理误差和防御迁移分开，避免只按底物名称排序。

• 问题： 分数使优化成为可能，也奖励那些利用评测弱点的行为。操作上，作者把代理表现上升且独立任务表现下降当作 overoptimization 的信号，同时承认利用可以一开始就存在，或只抬高代理而任务质量不变。
• 形式化： 预算化策略类、任务奖励、代理奖励和前向 KL 是共同语言。在非降误差包络下，可达距离上界类内的有符号代理间隙；只有一个类包含另一个时，才有最坏间隙的容量序。编辑次数本身不能代替行为散度。
• 反例与五输出： 三输出反例里，KL 约 0.280 的类，间隙上确界为 1/3；KL 约 0.013 的类为 0.4。五输出精确计算的基线真奖励为 0.3085。代理 A 下，flexible 的真奖励最高约 0.666，λ=20 时为 0.398；best-of-n 最高约 0.680，随后趋向 0.100；条件化终点的真奖励为 0.603、代理奖励为 0.792。代理 B、预算为 2 的条件化，真奖励约 0.042、代理奖励 0.870。全单纯形的最大有符号间隙为 0.9。
• 已发表观察： 作者引用的一次生产变异，把 rationale alignment 从 23.1% 升到 80.0%，缺陷识别精度不变。作者把这类材料用作评测失败的观察，而不是底物间的受控比较。
• 作者的结论： 距离上界、类包含和搜索实际找到什么，应当分开陈述。防御上，能改进评测就改进，约束可被接受的行为，保留独立于被优化分数的任务证据，并事先规定二者不一致时如何处置。提示词可读，仍要做行为评估。作者同时写明，该框架不给出普遍安全排序，五输出示例也不是已部署 LLM 上的证据。