重新思考奖励模型评估：我们是否找错了方向？

固定偏好集上的 accuracy 不能稳定预测：用该奖励模型（RM）优化出的策略会有多大 policy regret。

• 出现场景：RLHF 用 RM 代替人类偏好，策略最大化该 RM 的期望奖励。作者称完整覆盖人类偏好很难，不完美代理被优化时会出现 reward model overoptimization，并把它视为 Goodhart’s law 的结果，因此需要能反映优化副作用的评测。
• 现有做法：直接评估优化后的策略是最终指标，但作者称它受优化成本限制，且分不清不良行为来自策略优化还是奖励学习。另一常见做法是在固定数据集上算 accuracy（如 RewardBench）；它能否预测优化后策略的表现，论文认为仍不清楚。
• 概念对应：accuracy 量的是学到的 RM 与经验人类奖励之差，即 RM error。代理 RM 与 golden reward 各自优化出的策略之间的表现差距被定义为 policy regret。评测要做的是用前者预测后者（Figure 1）。
• 本文的考察：人类奖励不可得，故用合成 RM 当 golden reward。构造 N=10 个 RM，每次一个当 golden、其余当 proxy，拆成三个问题：accuracy 是否与 regret 相关、怎样度量 RM error 更能预测 regret、误差与 regret 在 overoptimization 下是什么关系。

相关工作按论文第 6 节的脉络，可分成奖励学习挑战、奖励函数差异，以及现行 accuracy 评测三组。

• RLHF 与过优化：Bai 等（2022）、Ouyang 等（2022）、Stiennon 等（2022）把人类反馈强化学习用作对齐；Yang 等（2024）、Dubey 等（2024）被当作对齐后的大模型例子，RM 在其中代替人类偏好。Casper 等（2023）、Lang 等（2024）、Armstrong 与 Mindermann（2019）、Skalse 等（2022）被引用为 RLHF 的挑战，论文未逐篇对照。Gao 等（2022）、Lehman 等（2019）写 proxy RM 优化可使真实表现变差；论文将其视为 reward hacking（Krakovna, 2020）以及 Goodhart’s law（Goodhart, 1984；Zhuang 与 Hadfield-Menell, 2021）的特例。
• 奖励差异与 regret 界：Ng 等（1999）、Skalse 等（2023）考虑用奖励函数差异预测后果。Gleave 等（2021）、Skalse 等（2024）提出量化奖励函数差异、并给最优策略 regret 上界的度量。Zhuang 与 Hadfield-Menell（2021）、Fluri 等（2024）对面向不完美代理的优化给出负面判断；紧接该句，论文称这些工作假设 golden reward 可获得，而在 RLHF 中这一点可以不成立。
• 固定集 accuracy：Lambert 等（2024）的 RewardBench 代表在固定偏好集上算 accuracy。论文称这仍留下问题：该评测有没有理论或经验上的表现预测验证，并引用 Zhou 等（2024）、Kim 等（2024）。论文没有说本文在数值上超过这些工作。
• 实验中的基线与数据：对照包括两条响应上的 accuracy（文中 Accuracy-pair），以及 Pearson、Spearman、Kendall τ、Bo5、ECE、MRR、NDCG、ξ correlation。主评测与下游提示词来自 RewardBench；附录另用 MT-Bench。优化算法为 best-of-n 与 PPO。

作者把本文放在“不假设能直接拿到人类 golden reward 时，固定集 accuracy 能否预测 policy regret”这一问题上，并用合成 golden–proxy 对检验误差度量与 regret 的相关。

整体是一条合成 RLHF 管道：用另一个 RM 充当 golden reward，以 Normalised Drop Ratio（NDR） 估计 policy regret，再看 accuracy 及其他误差度量能否预测它。

问题设定

• 策略 π 对提示词 x 以 π(y|x) 生成响应。golden reward r* 给质量分，实践中不可得，由偏好数据学到的代理 RM r 代替。优化是最大化 r 的期望，得到次优策略，而不是直接最大化 r* 的理想策略。
• 流程被写成四步：在训练集上学 r；在测试集上用度量 M 得到 RM error；用算法 A_RL 从初始策略 π0 优化出 π；再用 M′ 比较 π 与直接对 r* 优化的 π*。论文固定其余因素，主要变动 RM 测试集、度量 M 和策略测试集。
• 目标被写成：怎样度量 RM error，才能与 policy regret 有高相关。

合成配对与训练

• 沿 Gao 等（2022；2024），用另一个 RM 当 golden reward。在训练集上随机翻转比例 α_i 的偏好对，得到 N=10 个 RM，各优化出一个策略，形成 N×(N−1) 组配对：每次一个为 golden，其余为 proxy（Figure 2）。若两套训练集分别翻转 α_i 与 α_j，则两者有 |α_i−α_j|% 的标签不一致（附录 8.1）。
• 训练数据混合 Nectar、Capybara-7K-binarized、Orca-pairs、UltraFeedback、PKU-SafeRLHF、MTBench-human、Chatbot-arena、HH-RLHF，只留单轮，去重、过滤过长样本并平衡正负长度，保留 112400 条，其中 7052 条作 RM 训练验证集。
• 全部 RM 从 Llama-3-instruct-8B 初始化，损失为偏好对的负对数似然加正则（Hou 等, 2024）。π0 也是该模型。A_RL 为 best-of-n（从 n 个候选中取奖励最高者）和 PPO；主实验 KL penalty 为 0。附录写明 BoN 的 n=1280。

regret 与 accuracy

• 在 KL(π′||π0)<λ 下，论文把相对 r* 的 regret 写成约束内最大奖励增益与实际增益之比（式 2）。作者称它难算：最优策略不可得，KL 也难控制。
• 因而用 NDR：M′_NDR(π,π^∗)=(J_r^∗(π)−J_r^∗(π₀))/(J_r^∗(π^∗)−J_r^∗(π₀))。J 是策略在 r* 下的期望奖励；π 与 π* 用相同超参，分别对代理 RM 和 golden reward 优化。作者称它量化对代理而非 golden 优化带来的表现变差，并消掉 RM 尺度差异。
• accuracy 看代理 RM 与参照奖励对 chosen/rejected 的排序是否一致。主实验的参照是被指定为 golden 的合成 RM。测试提示词来自 RewardBench，去重后 2733 条，并用于下游优化。

分布、响应数与过优化

• 响应侧既用 RewardBench 原响应，也从单一模型采样；另按某一 RM 的奖励排序后分箱，从不同箱抽 chosen/rejected。提示词按 RewardBench 原类别拆开；GPT-4o 做两种改写：只改表述不改语义，或在同类别生成新提示词。附录 8.2 给出这两段提示词。
• 每条提示词扩到 5 个响应后比较多种相关与检索指标，并在样本数相同、标注预算相同两种约束下改变响应数。标注噪声用 Bradley-Terry 模型，β=0.5，成本按成对比较次数计。
• 理论只考虑 Regressional Goodhart：r=r*+z，且奖励与噪声都正态。过优化程度为 d_π=(σ_r²)/(σ_r²+σ²)，表示代理期望奖励为 c 时，golden 期望奖励为 d_π c。accuracy 的积分式无解析解，论文用数值解画预期曲线（Figure 8a，推导在附录 8.9）。

主实验在合成 golden–proxy 对上，看 RewardBench accuracy 与 NDR 的相关；随后改响应、提示词和指标，并在附录换模型、数据和 KL penalty。

实验设置

• 模型：RM 与 π0 均为 Llama-3-instruct-8B。构造测试响应还用 Mistral-7B、Qwen2-7B、Vicuna-7b，以及下游模型本身（表中 Llama3-8B*）。改写用 GPT-4o。附录训练 Qwen2.5 系列 pretrain 与 instruct，规模从 0.5B 到 72B，并用 Qwen-2.5-7B-Instruct 作下游策略。附录 8.4 的下游模型写作 LLaMA-3-Instruct，未写参数规模，MT-Bench 由 GPT-4o 评。
• 数据与配对：RewardBench 提示词去重后 2733 条，同时用于 accuracy 和下游优化。N=10，标签翻转，共 N×(N−1) 组 golden–proxy。训练偏好集 112400 条，验证 7052 条。
• 优化：BoN 与 PPO。附录写明 BoN 的 n=1280。主实验 PPO 的 KL penalty=0。PPO 用 OpenRLHF；RM 与 PPO 超参在附录 Table 8。
• 指标：默认 RM error 为 accuracy，policy regret 为 NDR。相关报 Kendall τ、Pearson、Spearman，以及 MRR：最高 accuracy 的 RM 所优化策略的倒数排名之平均。扩展响应后还比较 ξ correlation、ECE、Bo5、NDCG 等。
• 重复：第 4 节多次抽样。Figure 4 每个 chosen–reject 箱 64 次；Table 2–4 提示词固定、响应抽样 64 次，报均值和方差。Figure 5–7 每点 64 次，报 95% 置信区间。Table 1 是原 RewardBench 上的单次计算，没有 ±。

主结果

据 Table 1，RewardBench 原提示词与原响应上，accuracy 与 NDR 的相关如下。策略从 Llama-3-instruct-8B 优化。

Swipe horizontally to read the table

算法	Kendall τ	Pearson	Spearman	MRR
BoN	0.6561	0.7520	0.7533	0.6333
PPO	0.4654	0.6395	0.6102	0.5167

• 摘要和结论称这是弱正相关。Figure 3 横轴为 d_racc、纵轴为 d_NDR，标注的 Spearman 与 MRR 同 Table 1。作者称趋势为正，但 accuracy 相近时 regret 仍可差很多；纯文本看不到散点位置。
• 作者称 accuracy 与 BoN 的相关强于 PPO，并认为 BoN 更局部、更稳定，因而更容易被 RM error 预测。
• MRR 看的是 accuracy 最高的那个 RM 优化出的策略排第几，不是相关系数本身。

响应来源与秩

• 测了什么：测试响应改为只从一个模型采样，对照 RewardBench 原响应（Origin）；再按某一 RM 的奖励分箱，改变 chosen/rejected 的秩。
• 单模型采样（Table 2，Spearman / MRR）：BoN 上 Origin 为 0.753 / 0.633；Llama3-8B* 为 0.644±0.038 / 0.598±0.080；Vicuna-7b 为 0.703±0.035 / 0.658±0.075。PPO 上 Origin 为 0.610 / 0.517；Llama3-8B* 为 0.648±0.047 / 0.551±0.061；Vicuna-7b 为 0.527±0.036 / 0.517±0.068。作者称只从下游优化模型采样并不能稳定超过原 RewardBench。
• 秩：作者称响应秩对相关的影响大于采样模型。BoN 上 chosen 来自中等秩、rejected 来自更低秩时相关更高；PPO 上 chosen 来自更高秩、rejected 来自中等秩时更强（Figure 4）。各箱系数正文未给出。作者认为这与优化力度有关：PPO 更激进，高奖励样本上的一致性更关键；BoN 较弱，中等奖励样本更有指示性。

提示词分布与每条响应数

• 类别（Table 3，Spearman）：作者称 BoN 下各类 accuracy 与对应类别 regret 更一致，PPO 下没有这一关系，并推测 PPO 中不同提示词会互相影响。BoN 对角上，ChatHard 为 0.682±0.053、Code 为 0.717±0.043、Math 为 0.610±0.058，这三行最高值在对角；Chat 行最高是 ChatHard 列 0.682±0.058，不是 Chat 列 0.529±0.082；Safety 行最高是 ChatHard 列 0.705±0.057，不是 Safety 列 0.687±0.049。
• 改写：GPT-4o 以两种策略改写不同比例的提示词（Figure 5）。作者称 BoN 下改写对相关影响较小；PPO 的 Spearman 随改写比例增大而持续变弱。各比例的系数正文未给出。
• 响应数：每条 5 个响应时，多种指标与 regret 的相关高于两条响应的 Accuracy-pair（Table 4）。BoN 上 ξ correlation 的 Spearman 为 0.677±0.026，Accuracy-pair 为 0.635±0.039；PPO 上为 0.688±0.026 与 0.642±0.047。作者称 ξ correlation 总体上最好。ECE 为 BoN 0.173±0.016、PPO 0.063±0.014，作者称它并未表现出与 regret 的相关。样本数固定时，作者称增加响应数通常比增加提示词数更有效，样本量变大后优势下降（Figure 6）。标注预算固定、β=0.5 时，作者称 BoN 下更多响应更有益，预算较小时收益随响应数增加很快变小；PPO 下增加响应数没有明显优势（Figure 7）。图中端点正文未列出。

过优化与 accuracy

• 理论曲线：仅 Regressional Goodhart、奖励与噪声均正态时，论文用数值解画出 accuracy 与过优化程度的预期关系（Figure 8a）。坐标读数正文未列出。
• BoN：作者称 Figure 8b 有超出该预期关系的离群点，并认为可能来自其他 Goodhart 效应。Figure 9 图例：以 α=0 为 golden 时，α=0 的 Acc.=1.000，α=0.45 的 Acc.=0.736；以 α=0.15 为 golden 时，α=0.20 的 Acc.=1.000，α=0.45 的 Acc.=0.722。横轴距离 d 为 KL(π||π0) 的平方根。
• 作者解读：作者称 Figure 9a 中 golden reward 随 KL 增大几乎不下降，Regressional Goodhart 占主导；Figure 9b 中几乎所有 proxy RM 的 golden reward 都下降，并认为有更复杂的 Goodhart 效应。作者称只看 accuracy 可能无法充分反映潜在过优化。纯文本看不到曲线形状。

其他消融与分析

• KL penalty（Table 7，同一批 RM 的 PPO）：0 时 Spearman 0.4840、MRR 0.5158；0.05 时 0.6692 与 0.3960；0.10 时 0.6265 与 0.3750。与 Table 1 的 PPO 行不同，论文未说明原因。作者称适当增大 KL penalty 会提高 Spearman、降低 MRR，过大后 Spearman 也下降；KL Penalty=0.5 时训练甚至可能崩溃。
• 换模型规模（Figure 12a，Qwen2.5，BoN）：Spearman 0.8645，MRR 0.9285。
• 训练集随机分成 10 份、第 i 个 RM 用前 i 份（Figure 12b）：Spearman 0.458，MRR 0.5708。作者称这一相关低于换模型设定，并认为可能与 accuracy 显示的高相似度有关。
• 开源 RM 的 RewardBench 与 MT-Bench（Figure 13，Best-of-32，GPT-4o）：Spearman 0.635，p=0.001。作者称正相关存在，但 accuracy 相近时下游分数仍会波动。这些 RM 的名称正文未列出。
• 更大样本量（Figure 14）：作者称再扩大不会明显提高相关，而是逐渐接近上限。RewardBench 只有 2733 个不同提示词，超过 5500 且每条仅两个响应并不可行。各点系数正文未给出。
• Qwen-2.5-7B-Instruct 作下游策略（Figure 15）：作者称增加每条响应数仍然有益；正文未给相关系数。

作者指出的局限与后续方向

• 论文没有 Limitations、Discussion 或 Future Work 专节，也没有在 Conclusion 或附录把合成 golden RM、标签翻转或某种优化算法写成研究局限。
• 后续取向（Conclusion）：作者建议对 accuracy 所指示的 RM 表现更谨慎，并强调发展更精细的 RM 评估技术。
• 引言末句写到需要更严格的 RM benchmark 和更先进的评估工具。该句不在上述章节，这里不把它算作作者列出的局限。

实验覆盖范围

• 主实验的 RM 与初始策略为 Llama-3-instruct-8B；golden reward 由合成 RM 充当；N=10，用训练集标签翻转构造 golden–proxy 对（Section 2，Figure 2）。
• RM 误差与下游提示词来自 RewardBench，去重后 2733 条；类别为 Chat、ChatHard、Code、Math、Safety。优化为 BoN（附录 n=1280）与 PPO（主实验 KL penalty=0）。
• 响应采样模型为 Mistral-7B、Llama3-8B、Qwen2-7B、Vicuna-7b。提示词改写由 GPT-4o 完成。第 4 节的相关估计为 64 次抽样；标注预算实验用 Bradley-Terry，β=0.5。
• 附录另报告 Qwen2.5 系列（0.5B 到 72B）换规模、训练数据划分、未点名的开源 RM 在 RewardBench 与 MT-Bench 上的相关（GPT-4o，Best-of-32）、KL penalty 取 0、0.01、0.05、0.10 以及 0.5、样本量，以及 Qwen-2.5-7B-Instruct 作为下游策略。
• 论文未报告主实验的人工标注一致性；标注预算部分是 Bradley-Terry 模拟。Figure 13 未列出所评开源 RM 的名称。附录 8.4 的 LLaMA-3-Instruct 未写参数规模。

这篇工作检查奖励模型评测里的 accuracy，能否预测用该 RM 做 RLHF 之后的策略 regret。

• 问题：常见做法是在固定偏好集上算 accuracy。作者称它与下游策略表现的关系缺少检验；不完美代理被优化时会出现 overoptimization，并被视为 Goodhart’s law 的结果。
• 做法：人类奖励不可得，故用合成 RM 当 golden reward。标签翻转得到 10 个 RM，轮流作 golden 与 proxy。RM 和初始策略都从 Llama-3-instruct-8B 出发，在去重后 2733 条 RewardBench 提示词上用 BoN 和 PPO 优化，以 NDR 估计 regret。
• 主结果：作者在摘要和结论中称为弱正相关。Table 1 里，accuracy 与 NDR 的 Spearman 在 BoN 为 0.7533、MRR 为 0.6333，在 PPO 为 0.6102、MRR 为 0.5167。作者称 accuracy 相近时策略表现仍可差很多，且 BoN 比 PPO 更容易由 RM error 预测。
• 度量怎么改：只从下游模型采样响应并不能稳定超过 RewardBench 原响应。作者称提示词分布不同会削弱相关；每条提示词增加响应数能提高相关。ECE 与 regret 的 Spearman 在 BoN 为 0.173±0.016、PPO 为 0.063±0.014。
• 过优化：在 Regressional Goodhart 与正态假设下，accuracy 与过优化程度有一条预期曲线。作者称 BoN 上有离群点，accuracy 相近的 golden–proxy 对可以呈现不同的过优化形态，因此单靠 accuracy 可能无法充分反映过优化。作者建议更谨慎看待 accuracy，并强调发展更精细的 RM 评估技术。