RLVR 中的验证器错误：奖励作弊、反馈局限与选择性控制

固定不完美验证器下，RLVR 的验收奖励可以上升，而被接受错误（accepted errors）的占比同时上升；训练记录本身又不足以检测、识别这些错误，或在不牺牲正确回答的前提下保证减少它们。

• 场景：强化学习可验证奖励（RLVR）用自动验证器比较已知解答或运行测试来给 0/1 奖励，并已用于数学与代码推理。作者认为收益取决于验证器是否可靠判断正确性：代码可通过现有测试却在未覆盖输入上失败，这类被接受错误会被强化。
• 已有不足：作者称约束优化、改进反馈、检测并纠正黑客等方法依赖关于正确性的假设，因而可能留下验证器错误未解决，训练继续同时奖励正确回答与被接受错误。
• 核心问题：作者把学习写成固定验证器上的梯度流，追问被黑客占比何时增长、RLVR 训练中可观察的信息能揭示什么，以及何时干预能减少黑客同时保留正确性。
• 提出内容：作者给出黑客占比增长的条件（hack bias 与 correctness-to-hack leakage，Proposition 3.2）及奖励上升、正确性下降的条件（Proposition 3.1）；证明仅用训练记录无法检测、识别或保证选择性控制（Propositions 4.1–4.3）；并设计投影审计校正（projected audit correction），用部分回答的正确性审计实现选择性控制（Theorem 5.1）。

代理奖励与缓解

• 奖励黑客的机制：Everitt 等人（2017）与 Skalse 等人（2022）说明改进代理奖励可以降低预期真实回报；Zhuang 与 Hadfield-Menell（2020）讨论代理遗漏相关属性，Laidlaw 等人（2025）与 Kwa 等人（2024）讨论代理及其误差的性质如何影响严重程度。Gao 等人（2023）、Pan 等人（2022）报告更强优化与更强模型会拉大代理与预期奖励的差距；Pan 等人（2024）报告迭代自我改进中的差距；Helff 等人（2026）、Zhong 等人（2025）、Mahmoud 等人（2026）报告自动验证器接受违反任务要求的回答。Khalifa 等人（2026）报告训练会放大此类黑客；Denison 等人（2024）、MacDiarmid 等人（2025）报告学到的黑客可泛化到奖励篡改或更广的错位。Karwowski 等人（2024）、Khalaf 等人（2025）、Gauthier 等人（2026）分别从优化几何、推理时选择、策略与奖励模型再训练的反馈解释发展过程；Wang 等人（2026c）把评委奖励下“发现偏差”与“利用偏差”分开。

• 缓解方法：Laidlaw 等人（2025）用约束限制策略变化；Ackermann 等人（2026）偏好更平坦的最优，并在额外假设下把它与奖励准确性联系起来。Coste 等人（2024）组合奖励模型，Helff 等人（2026）加约束，Lightman 等人（2024）监督推理步骤，Kenton 等人（2026）用辩论提供批评；Cai 等人（2025）在假定噪声模型下用已知错误率修正更新。Eisenstein 等人（2024）报告奖励集成仍会留下未解决的错误。Baker 等人（2025）检查推理，Wang 等人（2026b）衡量通过验证器所需的推理量；Wang 等人（2026a）的 Grift 按梯度分组、抽查标注并过滤微调样本，Beigi 等人（2026）的 IR3 重建奖励并针对被标为有问题的特征。Everitt 等人（2017）讨论这些保证如何依赖对正确性的观察或假设。

• 基线与环境：实验比较 verifier flow、gradient regularization、raw audit correction 与 projected audit correction（PAC）；语言模型用 GRPO，有无 PAC，审计概率 ρ ∈ {0.25, 0.5, 1}。环境为 Gaussian contextual bandits，以及数字按规则替换、不完美验证器只检查最后两位的语言模型任务。

作者称本文固定一个二值验证器，推导更新何时偏好被同等奖励的黑客而非正确回答，并说明奖励目标在被接受集合内没有把概率拉回正确回答的偏好；再刻画审计如何提供选择性校正，以及覆盖不足或审计错误如何削弱它。

作者把 RLVR 写成对固定二值验证器目标的精确梯度流，先给出黑客占比增长与奖励黑客的充要条件，再证明训练记录单独不能保证选择性控制，最后用审计标签构造投影审计校正。

问题设定

• 策略与目标：提示 x 来自 D，策略 πθ(·|x) 从 Yx 采样回答 y。验证器 R(x, y) ∈ {0, 1}，1 表示接受。目标 JR(θ) = E[R(x, y)]，即平均验收概率，取值在 [0, 1]。
• 正确性与黑客：固定正确性指示 c(x, y) ∈ {0, 1}。作者假设验证器无假阴性，故 c ≤ R：所有正确回答都被接受。黑客是 {R = 1, c = 0}。对每个 x，接受集 Ax 分成正确集 Gx 与黑客集 Hx，训练中集合固定，采样频率可变。
• 两个概率：px(θ) 为给定 x 的验收概率；px > 0 时 qx(θ) 为接受回答中的黑客占比。总体 p(θ) = JR(θ) = pG + pH，q(θ) = Pr(H | G ∪ H)。JR 只依赖总验收，不区分正确与黑客。
• 梯度流：θ̇ = gR := ∇θ JR。可微时 J̇R = ∥gR∥² ≥ 0，只保证总验收不降，不约束 qx。

黑客何时增长

• 奖励黑客：代理为 JR = p，真实回报为 JC = pG。Proposition 3.1：在 p > 0 的区间上，存在 t1 < t2 使奖励升、正确性降，当且仅当某处 p q̇ > (1 − q) ṗ。左端是占比转向黑客造成的正确性损失，右端是验收上升带来的正确性增益；该不等式只需在某一时刻成立。
• 两个机制：在 pG、pH > 0 时用对数几率 z = log(pH/pG)。沿验证器流，ż = (s̄H − s̄G)⊤ gR，其中 s̄S 是群体 S 的平均得分 ∇θ log Prθ(S)。展开为 ż = p(1 − p)[(s̄H − s̄G)⊤(s̄G − s̄N) + q∥s̄H − s̄G∥²]。
• Proposition 3.2：上式括号为正当且仅当总体黑客占比增长；此时验收与黑客占比都严格上升，接受回答中的正确占比下降。hack bias 项 q∥s̄H − s̄G∥² 恒非负，并随当前黑客占比增大；correctness-to-hack leakage 可正可负，负且幅度超过 bias 时可逆转增长。条件是当前策略上的局部条件。作者认为存在反馈环：占比上升会在群体得分固定时加强 bias，而 RLVR 本身不设计来对抗它。

仅验证器反馈的限度

• 记录与兼容赋值：Lt 包含到时刻 t 的提示、采样回答、验证器标签，以及参数、概率、梯度等派生量，但不含额外正确性反馈。FtR = σ(Lt)。兼容类 CR 是所有满足 c′ ≤ R 的 0/1 赋值；它们在被拒绝回答上一致，在被接受回答上可以不同。比较时固定提示分布、验证器、初始化与训练算法。
• 检测与识别：Proposition 4.1：对任一在当前策略下存在黑客的 c1 ∈ CR，Lawc=R(Lt) = Lawc=c1(Lt)，故没有监视器能区分“无黑客”与“有黑客”。Proposition 4.2：若某赋值下正确与黑客概率都为正，则对每个监视器和每个被接受对 (x, y)，存在仍有黑客的 c1，使预测错误概率至少为 1/2。
• 选择性控制：控制器只用 Lt 加修正 u(t)，使 θ̇ = gR + u。要求每当 pH > 0 时 ṗH < 0 且 ṗG ≥ 0，并且对每个 c′ ∈ CR 都成立（各赋值有自己的 pH、pG）。Proposition 4.3：没有这样的控制器。作者的解释是兼容赋值可以互换正确与黑客的角色，同一更新在一种赋值下压低黑客、在另一种下压低正确回答。正则化只用策略与验证器，同样不能保证（Appendix C.3.5）。

投影审计校正

• 审计：一次审计 Z = (x, y, c(x, y)) 揭示被接受回答的真实标签，把 CR 收到与该标签一致的子集。固定审计集 Aaud，已审计黑客 HA = Aaud ∩ H，概率 pHA。未投影修正 u = −λ ∇θ pHA（λ > 0）在 ∇pHA ≠ 0 时局部降低 pHA，但交叉项 ∇pG⊤ ∇pHA 可正，从而可能同时压低正确回答。
• 投影：为保持 p 的瞬时增长率，要求 gR⊤ u = 0。投影 P⊥ = I − gR gR⊤/∥gR∥²（gR = 0 时 P⊥ = I），取 u = −λ P⊥ ∇pHA。于是 ṗ = ∥gR∥²，且当 P⊥ ∇pHA ≠ 0 时反对 pHA 增长；在该约束下，反对 pH 增长的更新对 pG 有等量的正向贡献。
• Theorem 5.1：在 [0, T] 上，(A1) 概率连续可微且 pG、pH > 0；(A2) 未审计黑客概率全程为 0，故 ∇pHA = ∇pH；(A3) ∥P⊥ ∇pH∥² / p ≥ κ q。则 ż 等于 bias 加 leakage 再减去 λ∥P⊥ ∇pH∥² / (p q(1 − q))，且 ṗ = ∥gR∥²。校正项超过 bias 与 leakage 时黑客占比下降、pG 上升；若 λ∥P⊥ ∇pH∥² > ∇pH⊤ gR，则 ṗH < 0、ṗG > 0。另若增长压力 (s̄H − s̄G)⊤ gR ≤ D，则 q(t) ≤ e^{−λκt} q(0) + (D/(4λκ))(1 − e^{−λκt})。
• 实现备注：作者称有限样本梯度、优化器与有限步长可能使实现后的更新既不保持验收进展、也不抑制黑客。部分覆盖在投影梯度正向对齐时仍可反对 pH 增长。附录给出用选择概率加权的策略得分估计 ∇pH 的无偏估计条件，以及投影到估计梯度时 ṗ 会多一项投影误差。

实验设置

• 赌博机：Gaussian contextual bandits。对数线性策略特征固定，神经策略学习自己的表示。设定初始 pG(0)、pH(0)，Figure 1 报告 q(0) ∈ {0.1, 0.3, 0.5}。比较 verifier flow、gradient regularization、raw audit correction 与 PAC。细节在 Appendix D.1、D.2；正文未给出该环境的提示数或重复次数。
• 语言模型：任务是按给定规则替换一串数字；全部替换正确才算正确，不完美验证器 R 只检查最后两位。每个提示含错误前缀与正确末对的提示，照抄即产生黑客。模型为 Qwen2-0.5B，先在 G、H、N 上做 SFT，再跑 GRPO 20 轮，有或无 PAC。审计对每个被接受回答独立以概率 ρ ∈ {1, 0.5, 0.25} 进行。主图初始混合 G/H/N = 0.3/0.3/0.4。
• 训练与评测（Table 6）：输入/输出位数 6/12；每情景最终 SFT 更新 80 次；种子 0–4；每轮 2 个提示、每提示 8 个回答，每轮运行共 320 条训练回答。AdamW，学习率 10^{-5}，梯度范数上限 1，权重衰减 0，KL 系数 0，优势分母偏移 10^{-4}，温度 1，最大回答 token 192，全 token 分布采样。校准轮次 0、5、10、20，每轮 8 个提示、每提示 4 个回答；测试 32 个提示、每提示 4 个回答。曲线为五个种子的均值。
• 指标：验收 p 或 JR，正确性 pG 或 JC，黑客概率 pH，接受回答中的黑客占比 q。语言模型报告测试提示上的 acceptance 与 correctness。

主结果

Figure 1 为曲线，正文未给出端点数值，故主表只列语言模型测试集上的文字结果（第 6.2 节，对应 Figure 2）。

方法	测试 acceptance	测试 correctness
GRPO	99.4%	2.2%
PAC，ρ = 1	未报告	97.2%
PAC，ρ = 0.25	未报告	95.2%

• 赌博机：作者称 Figure 1(a) 中从 q(0) = 0.3 起 p 与 q 一起上升，与 Proposition 3.2 一致。Figure 1(b) 中 q(0) = 0.5 时正确性在记录区间内下降，q(0) = 0.3 时先升后降，q(0) = 0.1 时正确性与验证器奖励都上升；两处下降按 Proposition 3.1 算奖励黑客。Figure 1(c) 在 c = R 与 c1 = 1G 下训练信息相同而正确性不同，作者称与 Proposition 4.1 一致；c = R 下正确性等于 p。
• 神经策略：Figure 1(d) 中 PAC 降低 pH 并提高 pG，作者称与 Theorem 5.1 一致。原始审计校正起初同时降低两个概率；verifier flow 与 gradient regularization 提高 pH。箭头表示训练方向。
• 语言模型：Figure 2(a) 中 GRPO 使 JR 上升、JC 下降，验证器对正确回答与黑客一视同仁。Figure 2(b) 中三种 ρ 下 PAC 都从初始化提高 pG、降低 pH，作者称与 Theorem 5.1 定性一致。圆点标出 GRPO 与 ρ = 1 的 PAC 在校准轮次上的评估。

初始化与审计消融

• 另一初始混合：Figure 7(a,b)，G/H/N = 0.4/0.4/0.2 时，GRPO 仍提高验证器奖励并降低正确性；raw audit 与 PAC 提高正确性并降低黑客。Figure 7(c) 在 0.3/0.3/0.4 下两种校正都偏向正确回答，作者称 PAC 更早达到更高正确性。
• 轮次与审计量：Figure 7(d,e) 在后一初始化下比较三种 ρ。作者称每种概率下 PAC 在第 5 轮的平均正确性更高。Figure 7(f) 把最终测试正确性对审计数量作图，ρ ∈ {0.25, 0.5, 1} 从左到右；作者称更少审计仍保持高正确性，但这些运行里 PAC 相对 raw audit 没有最终优势。纵轴标注含 0.95 与 0.9，正文未给出各点精确读数。
• 种子：曲线为五种子均值；Appendix D.3 报告种子间变异，正文未给出方差数字。

其他消融与分析

• 赌博机的额外实验与消融在 Appendix D.1、D.2，本段可见正文只定性描述 Figure 1，没有另外的数值表。
• Table 6 固定 KL 系数为 0、梯度范数上限为 1、学习率为 10^{-5}，正文没有对这些超参数做数值扫描。
• 作者报告的例外：q(0) = 0.1 时正确性与奖励同时上升，不出现 Proposition 3.1 意义上的下降；Figure 7(f) 中 PAC 相对 raw audit 无最终正确性优势。

作者指出的局限与后续方向

• 无假阴性：Appendix A.1 写明，为隔离“奖励黑客是否降低 pG”，假设验证器接受所有正确回答。若允许假阴性，即使 ṗH < 0，被拒绝的正确回答下降快于被接受正确回答上升时，总正确性仍会下降；把控制保证扩到该情形需要对该概率变化率的下界。Proposition 3.2 在接受总体内仍适用。
• 精确梯度流：Appendix A.1 称分析的是 JR 的精确梯度、连续时间。有限步、Adam、梯度裁剪和 KL 等额外目标都会改变动力学，增长与控制保证只对所述流精确成立。离散更新实验只检查预测行为是否在所测设置中保持，不把保证推广到其他算法。
• 有限区间与局部性：Appendix A.1 与第 8 节称 Proposition 3.2 是当前策略上的刻画，某时刻增长率为正不保证持续增长。Theorem 5.1 的界要求假设在整个 [0, T] 上成立，不建立区间之外的收敛。投影校正下 ṗ = ∥gR∥² 是当前策略的瞬时速率，不意味着校正后的验收曲线或最终验收与未校正训练相同。
• 信息限度的范围：Appendix A.1 称不可能性针对只观察 Lt 的方法，且是对 CR 中每个正确性赋值的统一保证；并不意味着每个监视器在每个任务上都失败。关于任务要求的额外知识若排除证明里那些不可区分赋值，论证就不再适用。允许假阴性会扩大赋值类，该类仍包含这些不可区分赋值，因此也没有统一保证。
• 固定验证器与提示分布：Appendix A.1 与第 8 节称二值验证器、正确性标签和提示分布在训练中固定。实践中测试增加或课程重排提示会在没有策略更新时改变总体概率，本文动力学排除这些变化。pG、pH 是对提示分布的平均，提高 pG 或降低 pH 不保证每个提示上的正确性都改善。
• 审计与后续：第 8 节称不完整审计和不准确标签会削弱校正；把保证延伸到整个训练过程，以及从有限、不完美的审计做校正，仍是后续工作。Appendix A.2 称在有限审计与计算预算下维持选择性控制，是开放的工程问题；并提到 susceptibility 方法与 patterning 或可帮助选择审计与校正，但适配仍未完成。

实验覆盖范围

• 模型与环境：被测策略为对数线性策略、神经策略（Figure 1）和 Qwen2-0.5B（第 6.2 节、Table 6）。环境为 Gaussian contextual bandits，以及输入 6 位、输出 12 位、验证器只检查最后两位的数字替换任务。
• 训练协议：语言模型先 SFT（每情景最终 80 次更新），再 GRPO 20 轮；种子 0–4；每轮 2 个提示、每提示 8 个回答，共 320 条训练回答；优化器 AdamW，学习率 10^{-5}，KL 系数 0（Table 6）。
• 审计与对照：PAC 的审计概率为 1、0.5、0.25；对照包括 verifier flow、gradient regularization、raw audit correction，以及无 PAC 的 GRPO（Figure 1、Figure 2、Figure 7）。
• 评测量：校准在第 0、5、10、20 轮，8 个提示、每提示 4 个回答；测试 32 个提示、每提示 4 个回答；曲线为五个种子的均值（Table 6、Figure 2）。报告了两种 SFT 混合：0.3/0.3/0.4 与 0.4/0.4/0.2。
• 理论假设在实验中的位置：第 6.2 节用采样梯度与有限 Adam 更新检验超出精确梯度流的情形；Appendix A.2 讨论部分覆盖、有限样本估计与投影误差，正文实验报告了 ρ = 0.25 仍提高正确性，Figure 7(f) 报告这些运行中 PAC 相对 raw audit 没有最终优势。论文未报告赌博机实验的重复次数，也未报告测试 acceptance 在 PAC 各 ρ 下的数值。

作者分析固定、不完美验证器下的 RLVR：验证器无假阴性，因而同时奖励正确回答和被接受错误，平均奖励只看总验收概率。

• 增长条件：沿精确梯度流，黑客对数几率的变化拆成 hack bias 与 correctness-to-hack leakage。Proposition 3.2 给出占比上升的充要条件；Proposition 3.1 给出存在一对策略使验证器奖励更高、正确性更低的充要条件，即某处转向黑客的正确性损失超过验收上升带来的增益。
• 信息限度：完整训练记录在“全接受即正确”与“存在黑客”的兼容赋值下同分布，故不能检测黑客（Proposition 4.1）；即使已知有黑客，识别单个被接受回答的错误概率在某种赋值下至少为 1/2（Proposition 4.2）；只用该记录的控制器无法在所有兼容赋值上保证降低黑客概率同时不降低正确概率（Proposition 4.3）。
• 校正：投影审计校正把 −λ 倍已审计黑客概率的梯度投到与奖励梯度正交的子空间，从而保持 p 的瞬时增长率。在全程覆盖、足够校正强度等假设下，校正超过 bias 与 leakage 时黑客占比下降、正确性上升，并有关于 q(t) 的 ISS 型上界（Theorem 5.1）。
• 实验：对数线性赌博机中，q(0) = 0.5 时正确性在记录区间下降，q(0) = 0.3 时先升后降，q(0) = 0.1 时两者都上升；神经策略上 PAC 降低 pH 并提高 pG，原始审计起初两者都降，验证器流与梯度正则化提高 pH。Qwen2-0.5B 经 SFT 混合 0.3/0.3/0.4 后，GRPO 在测试提示上验收 99.4%、正确性 2.2%；PAC 在全审计与四分之一审计下测试正确性为 97.2% 与 95.2%。
• 作者结论：控制奖励黑客需要验证器之外的正确性信息。不完整或不准确的审计会削弱校正；分析假设验证器固定且梯度流精确，把保证延伸到整个训练并从有限、不完美审计校正仍是后续工作。