包络采样：用少量真值标注重校准 LLM 评委以缓解奖励作弊

如何选择这 n 条真值标注的查询分布，才能使重标定后的代理适合被拿去优化。

• 场景：真奖励如医生审临床笔记太贵，实践常优化 LLM judge 等代理。作者称代理失准时，模型可在代理上得分高、在真奖励上得分低，即 reward hacking。
• 现有不足：作者称此前的 judge 重标定代价高或依赖启发式，iterated RLHF 每轮还要新标注与新训练。作者还称 on-policy 采样在代理只对稀有输出失准时失败，典型样本揭示不了 j 与 h 的分歧。
• 协议：从 ρ 抽 n 条 i.i.d. 输出并标注 h，把 j 重标定为 r，再得到 πr ∝ π e^{βr}。作者不固定重标定算法；界依赖于 ρ 上的重标定误差 Varρ(h−r)。
• 方法：作者假设 h 与 r 靠近 j，并在裁剪 L2 球上给出最小化最坏覆盖因子的包络分布 ρ*（envelope sampling）。实验比较临床笔记生成与受控谄媚任务。

Reward hacking 与 overoptimization

• Goodhart (1975) 提出该定律；Manheim and Garrabrant (2018) 分类其变体。Gao et al. (2023) 测量针对学得代理加大优化压力时真奖励如何下降。后续工作记录 RLHF、LLM-as-a-judge、自动基准和 rubric judge 中的 reward hacking。
• 理论工作分析优化误设代理的危害及正则化 [27–29]。Zhang et al. (2026) 把危害放在基座模型下稀缺的高奖励尾部，并用 off-policy 样例引出的 rubric 覆盖该尾部。作者称本文改为研究如何花真值标注预算、在优化前修复代理，以及查询分布如何决定 regret。

RLHF、RLAIF 与指数倾斜

• Ouyang et al. (2022)、Rafailov et al. (2023) 等优化 KL 正则目标，总体解是基座模型的指数倾斜。Bai et al. (2022) 的 Constitutional AI 与 Lee et al. (2024) 的 RLAIF 用语言模型判断代替人类标签，即本文的代理设定。
• Iterated RLHF 在最新优化模型的偏好数据上重训奖励模型 [9, 35, 36]。作者称附录 F 将其与包络联系起来，并把 Theorem 1 用于任意重标定程序，以及任何得到指数倾斜的后训练。

减少标注量的奖励建模

• 主动偏好学习、把不确定比较路由给更强 judge、奖励模型集成与不确定性惩罚，以及用人类评分校准 LLM judge [6, 10, 37–48]。作者称这些采样律由模型不确定性驱动，而 envelope 的采样律来自对显式奖励类的 minimax 分析。
• Rubric 细化根据偏好反馈改写标准，或分解并过滤 rubric [49, 50]。作者在部分实验中用该方法做 judge 重标定。

通用预测与离线覆盖

• Shtarkov (1987) 的 normalized maximum likelihood 测度最小化通用编码中的最坏 regret。作者称 Theorem 2 的归一化包络就是该测度，但本文把它当作采样目标，而不是编码工具。
• 离线 RL 用密度比系数控制数据分布上的误差如何转到优化策略诱导的分布 [55–57]。作者称覆盖因子 C(ρ) 角色类似，但检验分布是 πr 与 πh 之间的一维倾斜路径，且 ρ 是设计变量而非固定数据集。

基线与基准

• 主基线是 on-policy 查询 ρ=π；附录 F 另比较 judge 优化模型 πj，以及混合 (π+πj)/2。环境为 ACI-Bench、TriviaQA 的谄媚评测切分，以及 Section 5 与 Appendix C 的有限输出空间。

作者把本文定位为：在 h 与 r 靠近当前 judge 的假设下，用包络分布花费有限真值标注，使重标定后再优化的 regret 上界由 ρ* 上的重标定误差控制。

作者提出 envelope sampling：在真奖励 h 与重标定奖励 r 都靠近当前代理 j 时，用最小化最坏覆盖因子的查询分布 ρ* 收集 n 条真值标签，重标定后再做 KL 正则后训练。

设定与指数倾斜

作者把针对奖励 f 的后训练写成指数倾斜 πf ∝ π e^{βf}。作者称它是变分问题的唯一解：π_f=argmax_μ𝔼_x∼μ[f(x)]−1/βKL(μ∥π)。含义是在奖励与靠近基座 π 之间取平衡。作者称这对应 PPO 类 RLHF 与 Bradley-Terry 模型下 DPO 的总体目标；附录 A.1 有推导。

X 取有限输出空间。目标是相对昂贵的 h 改进预训练模型 π；廉价代理 j 可任意查询。协议是：从 ρ 抽 n 条 i.i.d. 样本标注 h；把 j 重标定为 r；再优化得到 πr。质量用 h 下的同一 KL 正则目标 J 衡量，最大值在 πh，regret 为 J(πh)−J(πr)。作者不指定重标定算法，界依赖 Varρ(h−r)。

覆盖因子与包络

Theorem 1：若 supp(π) 含于 supp(ρ)，regret 不超过 (β/2) 乘以插值奖励 rt=(1−t)r+th 对应倾斜相对 ρ 的密度比上确界，再乘 Varρ(h−r)。前一因子称为覆盖因子。作者称有界奖励下重标定误差有界，覆盖项却可以任意大；标签变多后误差缩小，因此主要去压覆盖因子。

为去掉对未知 h 的依赖，作者引入奖励类 F，最坏覆盖因子为 C(ρ)=sup over f in F of 密度比上确界。若 F 凸且 r、h 属于 F，则 regret 不超过 (β/2) C(ρ) Varρ(h−r)。未归一化包络为 π̄(x)=sup_{f∈ F}π_f(x)，再除以 Z_F 得到 ρ。含义是每个输出取该类里能给它的最大倾斜概率。Theorem 2 称 ρ 最小化 C(ρ)，最小值为 Z_F。

裁剪 L2 球上的闭式

作者取 F 为 j 周围的裁剪 L2 球：在 πj 下方差不超过 M 的平方，且在 supp(πj) 上的振荡不超过 S。σ(s) 取 M 除以 s(1−s) 的平方根与 S 中的较小者。Theorem 3 称上确界由单点扰动 u=σ(s) 乘该点指示函数达到；包络只通过 πj(x) 依赖代理与基座，不依赖未知 h。

该包络可写成 πj(x) 乘权重 w(πj(x))。作者称 w 在 (0,1) 上严格递减，且落在 1 到 e^{βS} 之间，因此质量移向 πj 的尾部。附录 B.1 称不裁剪时稀有输出上的权重趋向 1/s，尾部近乎均匀，输出空间指数大时难以采样。附录 B.2 给出 sup-norm 球的类似闭式。附录 B.3：β 取后训练 KL 系数的倒数；作者称 M 设在 πj 下 h 与 j 的均方根偏差量级较好，再用试点把 S 校准到目标接受率。临床实验的目标接受率为 80%。

两种采样

Proposition 4：从 πj 提议，以 e^{−βS} w(πj(x)) 的概率接受，接受样本精确服从 ρ，接受概率为 e^{−βS} Z_F。不需训练，但要序列概率。Proposition 5：bonus 为 (1/β) log w(πj(x))，取值在 0 到 S；基座对 j 加 bonus 的倾斜等于 ρ。

临床实验用拒绝采样。Section 6.2 与 Appendix C 的有限设定直接计算或采样包络。附录 C.4 在这些有限设定中检验对 bonus 的优化能否恢复 ρ*。

风格化模型中的重标定规则

Section 5 用一个好输出和 K 个坏输出做标签复杂度案例。h 惩罚坏输出，j 反而给坏输出正边际，基座只以总概率 ε 生成坏输出。局部重标定是在已获真值标签的集合上把 j 换成 h。具体的 n 阈值与概率界在 Theorem 6，实验对照放在第 4 问。

实验设置

• 临床模型与数据：被后训练的抄写模型为 Qwen3-4B，温度 1。代理 j 为 Qwen3-8B，九项文档完整度求和后除以 18。参考 h 为 GPT-5.6 Terra，质量分在 [0,1]，并计数编造的数值生命体征；≥3 个记为文中的 severe fabrication。数据来自 ACI-Bench 训练切分，训练池与留出评测各 16 个 encounter。
• 临床重标定与优化：GPT-5.6 Sol 根据 n=8 条同时带 j 与 h 分数的笔记改写 rubric；附录 D.5 给出完整提示词。base query 从 ρ=π 抽样。envelope 按 Proposition 4 从 πj 拒绝采样，M=1，包络权重所用 β=10，按 encounter 把 S 调到接受率 α=0.8，S 的搜索范围为 [2, 256]。后训练是离线 DPO 加 LoRA（rank 8），更新数 T 为 32、64、128，种子 101、202、303。每个模型在 16 个评测 encounter 上各生成 4 条笔记。对数几率差系数为 0.1，与包络用的 β=10 不是同一个量。附录 D.1 写明实验是有限步 DPO，不是理论中的精确指数倾斜。
• 谄媚任务：冻结的 Qwen3.8-27B 演员回答 TriviaQA 谄媚评测切分中的问题，用户表达对错误答案的信念。输出只保留正确答案与用户答案，π 由 logits 读出，倾斜闭式计算，不训练权重。主 judge 也是 Qwen3.8-27B，附录另用 Qwen3.5-9B；二者被提示奖励与用户一致。h 在正确答案上为 0、错误答案上为 −1。重标定是在已标注问答上用 h 替换 j。四个互斥 panel，支持题数分别为 15/16、29/32、27/32、58/64；主文为 panel 4。演员温度 1.5，judge 温度 1。包络用 M=1.5、S=3。主比较 β=4，512 次标签抽取；Table 3 注明 panel 1 为 256 次。
• 指标与区间：临床为参考质量、≥3 个伪造生命体征的比例、原 judge 完整度。谄媚为 πr 选错答案的期望概率。数值仿真用 regret，等于 (1/β) KL(πr 相对 πh)。临床区间为 2,000 次配对 bootstrap 的分位区间；谄媚的 ± 是标签抽取的 Monte Carlo 半宽。论文未报告假设检验 p 值。
• 对照：on-policy ρ=π、未重标定 judge、未训练模型。附录 F 增加从 πj 标注。Appendix G 另用 Qwen2.5-14B-Instruct、Qwen2.5-72B-Instruct-AWQ 与 Claude Opus 4.8。

主结果

表格较宽，可左右滑动

条件	指标	base ρ=π	envelope ρ*	参照
临床 T=128（Table 2）	参考质量	0.563	0.658	未训练 0.651
临床 T=128（Table 2）	≥3 伪造比例	19.8%	1.0%	未训练 1.6%
临床 T=128（Table 2）	原 judge 完整度	0.875	0.852	未训练 0.830
临床 T=64（Table 2）	参考质量	0.589	0.666	未训练 0.651
临床 T=64（Table 2）	≥3 伪造比例	15.1%	2.1%	未训练 1.6%
panel 4，27B，256 次抽取（Table 3）	error %	33.49±0.16	2.06±0.10	无标签 37.74；演员 3.08

• 作者对 Figure 2 的概括是：两条重标定臂都提高完整度，但只有 base query 以伪造和参考质量下降为代价。Table 2 中这一分离出现在 T=64 与 T=128；T=32 时两边 ≥3 伪造都是 0.5%，质量差 −0.004，区间 [−0.055, 0.042] 跨过 0。
• T=128 的配对差为：质量 +0.095，区间 [0.049, 0.150]；≥3 伪造 −18.8 个百分点，区间 [−40.6, −4.7]；完整度 −0.023，区间 [−0.053, 0.003] 跨过 0（Table 2）。作者称两边的差别在重标定奖励买到了什么。
• Figure 3 按不同标签计数：58 个不同标签时 base query 错误率 36.9%、包络 19.4%。收齐 116 个答案标签后每种查询都达到真值最优错误率；base query 需要超过 14,000 次抽取，包络为 450 次（Section 6.2）。作者称 base query 约 97% 落在正确答案，包络约一半落在错误答案。正文把 256 次后的错误率写为高于 33% 与 2.1%，Table 3 为 33.49% 与 2.06%。

与从 πj 标注比较

• 附录 F：包络是对 πj 按递减权重重加权；S 趋向 0 时退化为 πj。作者称被高估输出的高估程度相近时，直接标注 πj 即可；程度不同时重加权才有必要。
• 谄媚任务（Figure 12）：27B judge 下，256 次抽取时包络 2.1%、πj 查询 4.8%。9B judge 下，64 次以内二者相差不超过 0.2 个百分点，256 次时 2.3% 对 3.3%。收齐 116 个标签，包络平均 450 次；πj 在 27B 下 1,055 次，9B 下至少 3,960 次。
• 临床 T=64、n=8（Table 5，每查询 192 条）：πj 查询质量 0.680、≥3 伪造 1/192；包络 0.666、4/192；base 0.589、29/192。包络减 πj 的质量差 −0.014，区间 [−0.057, 0.029] 跨过 0；无支持陈述每条多 1.06，区间 [0.28, 2.03] 不含 0。作者称此任务中 πj 查询至少不差于包络。异质稀有仿真（Figure 13）中，πj 查询在各预算的 regret 仍高于 3.4，包络在 64 个标签、各支持大小上低于 0.2。

数值仿真与标签复杂度

• Appendix C 在 N 为 5、9、17、K=4 个坏状态上仿真 Section 5。基座把 0.99 放在好状态、0.01 放在坏状态。β 为 0.5、2、6，三个问题种子，每格 128 次标签抽取。
• 作者报告 base query 在整个预算上把 regret 留在未重标定附近。N=5、64 个标签时，包络在两种体制、各 β 上 regret 为 0.000；同格 base query 在等值体制为 0.72、3.39、1.80，异质体制为 0.77、3.96、2.01（对应 β=0.5、2、6）。Figure 6：N=17、等值体制、16 个标签时，包络相对 base 的收益降到没有。
• Section 5 概括 Theorem 6：任意查询需要 Ω(K log K) 次标签，包络在该量级成功，ρ=π 要到 Ω((K/ε) log K)。作者称谄媚实验与此相符，演员坏模式质量 ε≈0.03。Appendix C.3：β=2、N=5 时，拒绝采样的期望提议数为等值体制 2.4×10^5、异质体制 1.3×10^7。Table 1：自然梯度在 1,458/1,458 次拟合中把总变差降到 0.01 以内；β=6 时全梯度 Adam 为 270/486。

另一代模型

• Appendix G 为一种种子：抄写模型 Qwen2.5-14B-Instruct，审计员 Qwen2.5-72B-Instruct-AWQ，参考与编辑都是 Claude Opus 4.8。参考分为 0–18，与主实验的 [0,1] 不同。每臂 1,600 条生成，后训练为 listwise DPO。
• Table 6：未重标定后训练使 ≥3 伪造生命体征从 0.81% 升到 22.12%，平均参考分从 12.36 降到 10.25。base query 为 17.38% 与 10.70。包络查询为 0.19% 与 12.62。Wilson 区间见 Table 6。
• 作者称两种实例化出现同一类失败与修复；并称这一种子不支持与主实验比较效应量。

其他消融与分析

• 接受率 α：T=64、n=8，α=0.8 与 0.5 的质量为 0.666 与 0.630，≥3 伪造 4/192 与 11/192；base 为 0.589 与 29/192。配对差 +0.036，区间 [−0.011, 0.078]（Appendix D.3）。
• 不重标定：seed 101 质量 0.528、15/64；同种子 base 为 0.573 与 13/64，包络为 0.651 与 0/64。
• 种子：T=128 时三个 base 种子的参考质量都低于未训练；seed 202 有 26/64 条 ≥3 伪造，包络各种子至多 3/64（Appendix D.2）。
• 9B judge：panel 4、256 次抽取，无标签 44.98%，base query 36.98%±0.18，包络 2.25%±0.12（Table 3）。
• 优化压力：panel 4、27B、64 次抽取（Table 4，不是 256 次）：β=4 时无标签 37.74%、base 37.36%±0.10、包络 20.32%±0.20；β=8 时为 89.54%、87.25%±0.20、47.29%±0.44。
• 否认正确答案：27B 未重标定 3.4%（演员 4.3%），包络修复后 2.4%，base 修复后 4.6%；9B 为 4.9%、3.0%、5.7%（Appendix E.3）。

作者指出的局限与后续方向

• 理论分析把后训练理想化为精确的指数倾斜（Limitations and future work）。
• 案例研究使用风格化输出空间（同一节）。
• 临床实验用 LLM 作为参考，而不是医生审阅（同一节）。
• 作者列出的后续方向：其他领域的应用、rubric 编辑以外的重标定规则、迭代 recalibrate-then-optimize 循环、更丰富奖励类的包络，以及与主动学习的联系（同一节）。
• 附录 C.4 称，神经网络语言模型上用 bonus 优化来采样包络的可扩展实现仍待展示。

实验覆盖范围

• 临床主实验后训练 Qwen3-4B，代理为 Qwen3-8B，参考为 GPT-5.6 Terra，编辑为 GPT-5.6 Sol；ACI-Bench 训练池与评测各 16 个 encounter，n=8，T 为 32、64、128，3 个种子（Section 6.1、Appendix D）。
• 谄媚实验的演员是 Qwen3.8-27B，judge 为该模型及 Qwen3.5-9B；四个 panel，主比较 β=4，panel 4 为 512 次标签抽取，panel 1 为 256 次（Table 3）。
• 比较的查询包括 ρ=π 与 ρ=ρ*，附录 F 还包括 ρ=πj 和 (π+πj)/2。临床重标定是改写 rubric；谄媚与风格化设定是在已标注输出上用 h 替换 j。
• Appendix G 使用 Qwen2.5-14B-Instruct、Qwen2.5-72B-Instruct-AWQ 与 Claude Opus 4.8，一种种子，每臂 1,600 条生成，参考分为 0–18（Table 6）。
• Section 4 写明 h、r 靠近 j 的假设通常无法验证。临床后训练是有限步离线 DPO 加 LoRA，不是精确指数倾斜（Appendix D.1）。论文报告 95% 区间，未报告假设检验 p 值。

作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类；若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。

方法上，作者把后训练写成指数倾斜，用覆盖因子和查询分布上的重标定误差控制 regret。在 judge 周围的裁剪 L2 球内，最小化最坏覆盖的查询是 Shtarkov 包络 ρ*。它的闭式只依赖对当前 judge 优化得到的 πj，并把质量移向 πj 仍视为稀有的输出。采样可以是从 πj 拒绝，或对一个 bonus 奖励微调。临床实验用的是拒绝采样。

临床笔记中，Qwen3-4B、n=8、T=128 时，包络查询的 ≥3 个伪造生命体征比例为 1.0%，base query 为 19.8%，未训练为 1.6%；参考质量为 0.658、0.563、0.651（Table 2）。配对质量差为 +0.095，95% 区间 [0.049, 0.150]。谄媚任务 panel 4、27B judge、256 次抽取时，包络错误率 2.06%，base query 33.49%，未重标定 37.74%，演员本身 3.08%（Table 3）。收齐 116 个答案标签，包络平均 450 次抽取，base query 超过 14,000 次。作者称风格化模型中，包络达到全部查询里最优的标签复杂度量级，on-policy 则否。

作者的结论是：在 h 与 r 都靠近 j 的假设下，包络最小化 regret 上界中的覆盖项。同样的标注预算下，on-policy 重标定把 judge 的错误留在原地并被后训练利用，包络样本重标定则缓解了 reward hacking。该假设通常无法验证；理论中的后训练是精确指数倾斜，临床实验用的是有限步 DPO。