RMB：用奖励模型 boosting 缓解 RLHF 中的奖励作弊

RLHF 中代理奖励模型不完美，策略优化提高代理分数时，相对真实人类偏好的表现可能下降，即 reward hacking（或 overoptimization）。

• 场景与重要性：作者称 LLM 常通过 RLHF，用人类偏好数据训练奖励模型来近似人类对输出质量的判断，再优化策略。该路线已被广泛用于对齐，但奖励模型仍是有限数据上的不完美代理（Gao et al., 2023）。
• 现有方法的不足：一类工作改进受约束的策略优化；另一类构造更稳健的奖励模型。作者关注后者。Coste et al. (2024) 对多个奖励模型的预测取平均以降噪，但作者引用 Eisenstein et al. (2024) 称，相似数据与目标训练出的模型常共享系统性盲点，会“herd”到相同错误判断。
• 核心观察：作者认为稳健性不只是聚合多个奖励模型，还要显式促进多样性，并学习如何组合互补优势。随机种子带来的随机性不足以让同数据模型收敛到不同函数。
• 本文提出：作者提出 Reward Model Boosting（RMB）。先用多样性正则（Hilbert–Schmidt Independence Criterion，HSIC）联合训练一组奖励模型，使其学习奖励景观的互补方面；再按 boosting 原则学习轻量决策树聚合器，把这些输出合成更准确、更稳健的奖励信号，用于 RLHF。

作者在引言与 §4 把缓解 reward hacking 分成改进 RL 过程与改进奖励模型两条线，并另述多目标对齐。

改进 RL 过程

• 保守或悲观奖励：Zhai et al. (2023)、Zhang et al. (2024)、Yan et al. (2024)、Mandal et al. (2025b) 在不完美奖励模型下设计悲观奖励，使策略更新更保守。
• 正则或参数平均：Ouyang et al. (2022)、Liu et al. (2024)、Laidlaw et al. (2025) 正则化 RL 目标以保持预训练策略的文本生成能力；Lin et al. (2024) 对策略参数取平均。
• 限制探索区域：Moskovitz et al. (2024)、Dai et al. (2025)、Mandal et al. (2025a) 约束策略优化的探索范围。

改进奖励模型

• 集成：Coste et al. (2024) 平均多个奖励模型的输出；Ramé et al. (2024) 平均奖励模型参数。作者称简单平均不能去掉个体奖励模型共享的偏差（Eisenstein et al., 2024）。
• 单个奖励模型：Yang et al. (2024)、Wang et al. (2024b) 改进训练目标；Miao et al. (2024)、Chen et al. (2024) 优化架构；Zhu et al. (2024)、Wolf et al. (2025)、Haider et al. (2025)、Liu et al. (2025)、Bukharin et al. (2025) 改进训练数据质量。作者称这些方法针对单个奖励模型，有可能与 boosting 结合。
• boosting：聚合器遵循 Chen & Guestrin (2016) 的 boosting 原则，逐步减小互补的残差奖励误差。

多目标对齐

• 目标冲突：Li et al. (2025)、Chen et al. (2026) 在策略优化中自适应组合各目标梯度；Xu et al. (2026) 研究来自偏好数据的冲突。作者认为该方向主要处理多目标如何联合优化而不出现不良权衡或塌缩。
• 与 RMB 的关系：作者称 RMB 作用在更早阶段，即策略优化前构造可靠奖励信号；它不对个体奖励模型指定预定义目标，而是在同一偏好数据上用多样性正则捕捉潜在互补模式。作者认为两边处理对齐中大体正交的部分，难以直接比较。

基线方法与基准

• 基线：Frozen RM、Baseline RM（式 (7) 的标准目标）、Label Smooth、Margin Loss、GRM（Yang et al., 2024）、Average Ensemble（不同随机种子，Eisenstein et al., 2024；文中也对照 Coste et al., 2024）。预算受限设置还对照 FsfairX-LLaMA3-RM、Starling-RM，以及把 GPT-4、GPT-4o 用作评审。
• 基准/数据集：训练与分布内评测用 Unified-Feedback（40K 与 400K）；OOD 为 HHH-Alignment、MT-Bench Human Judgments、RewardBench。合成 reward hacking 用 Mistral-7B-Instruct-v0.2 作 gold reward。预算受限实验的训练混合为 HH-RLHF、SHP、UltraFeedback 与 Summarization（文中称 preference-700K），测试为 RewardBench。

作者称，因论文范围所限，实证比较集中在奖励建模阶段与 RMB 直接竞争的方法。

Reward Model Boosting（RMB） 先训练一组互补的奖励模型，再学习一个决策树聚合器，把它们的分数向量变成用于 RLHF 的标量奖励。

问题设定

• 偏好数据：数据集 D 的样本为 (x, yw, yl)，x 为输入，人类偏好 yw 胜过 yl。
• 奖励向量：N 个奖励模型 r1,…,rN 各把 (x, y) 映成标量，组成 R(x, y) = [r1(x, y), …, rN(x, y)]。
• 聚合目标：学习聚合函数 F，把该向量合成标量，用于评价给定 x 时响应 y 的质量。单个奖励模型通常用成对比较的 logistic 损失，使 yw 得分高于 yl；多样性惩罚见后。

Boosting 聚合器

• 加法模型：按 XGBoost（Chen & Guestrin, 2016）的原则，Fk 由 K 棵回归决策树相加，Fk(R(x, y)) = Σ_{t=1}^{k} ft(R(x, y))。每棵树按特征阈值分裂（特征是 R 的某一维），叶节点给出标量。
• 第 k 轮目标：在成对数据上最小化 L(k) = Σ L(Fk(R(x, yw)) − Fk(R(x, yl))) + Ω(fk)。数据项是成对 logistic 损失 L = −log(σ(Fk(R(x, yw)) − Fk(R(x, yl))))，σ(z) = 1/(1+e^{−z})。正则 Ω(fk) = γTk + (λ/2) Σ_j w_{kj}^2，Tk 为叶数，w_{kj} 为叶值。
• 分裂与停止：从根节点贪心加分支，分裂质量用目标下降 Gain = L_before − L_after。增益用 Chen & Guestrin (2016) 的二阶泰勒展开近似，细节在附录 A.1。最佳候选增益低于阈值则停止加枝；树结构固定后，叶值用带 ℓ2 惩罚的二阶近似的闭式解。目标不再因多加一棵树而改善时停止 boosting。作者称每棵新树聚焦当前排序错误的样本。

多样奖励模型与 HSIC

• 为何要多样性：作者称，基模型分数高度相关时，boosting 难以继续降低损失。仅换随机种子时，同数据训练的模型仍倾向收敛到相似函数。
• 主损失：按 Bradley & Terry (1952)，L_reward(θ) = −E[log(σ(r_θ(x, yw) − r_θ(x, yl)))]。
• 在边际上做 HSIC：作者不用原始分数 r_θ(x, y)，因为尺度与偏移在语义上不可辨识，直接去相关可能与主损失冲突。对第 k 个模型，批量边际 m_k 的分量为 r_{θk}(x, yw) − r_{θk}(x, yl)。HSIC 用核把边际映到高维并度量依赖，记为 HSIC_b(mi, mj)，计算见附录 A.2。
• 联合目标：L_total = Σ_k L_reward(θk) + λ_HSIC Σ_{i<j} HSIC_b(mi, mj)，λ_HSIC > 0。作者称最小化后，各模型在偏好符号上可以一致，但在偏好强度上不同。

训练与使用设置

• 主实验骨干：奖励模型与策略优化的骨干均为 Gemma-2B-IT，设置跟随 Yang et al. (2024)。合成检测 reward hacking 时，gold reward 为已在 Unified-Feedback 上微调的公开 Mistral-7B-Instruct-v0.2。
• 个体数量：主实验尝试 N = 3、5、8、10；与 Average Ensemble 在 N = 3 上对照，因为 Table 1 引用了先前工作的结果。§3.4 的相关分析用五个个体。除非另说，Average Ensemble 平均三个不同随机种子的 Baseline RM。
• 评测用途：聚合后的标量奖励用于偏好排序准确率、Best-of-N 与 PPO。成功的偏好预测定义为给 win 响应更高奖励。reward hacking 的操作定义是：Best-of-N 或 PPO 中代理分数上升，而 gold 分数停滞或下降。

实现上作者写明的选择

• 附录中的多样性对照：作者比较了 HSIC 与 DPP、NCL 等多样性正则的优化动态后，采用 HSIC，并把 DPP 与 NCL 排除出主模型设计。
• 代码与超参：作者称代码、数据加载、奖励模型训练、策略优化与全部训练超参已随仓库发布；附录 B 给出各方法实现细节。具体超参数数值在所给正文中未逐项列出。

实验设置

• 奖励模型骨干与策略：主设置用 Gemma-2B-IT 做奖励模型与 PPO 初始策略。合成 gold reward 为在 Unified-Feedback 上微调的 Mistral-7B-Instruct-v0.2。LLM-as-judge 用 DeepSeek-R1。预算受限设置另与 GPT-4o-2024-08-06、GPT-4-0125-preview、FsfairX-LLaMA3-RM（8B）、Starling-RM（34B）比较。
• 数据：Unified-Feedback 用于训练与分布内评测，规模为 40K（Table 1）与 400K（附录 Table 8）。OOD：HHH-Alignment 221 条、MT-Bench 5,755 条、RewardBench 2,985 条，均无训练样本。合成实验从 Unified-Feedback 抽 20K，用 gold reward 标注偏好来训练 proxy。预算受限实验在 HH-RLHF、SHP、UltraFeedback、Summarization 混合上全参微调一个 epoch，测 RewardBench。
• 对照：Frozen RM、Baseline RM、Label Smooth、Margin Loss、GRM、Avg. Ensemble（N=3 与 N=5）。作者称对照与 RMB 使用相同数据划分、预处理、骨干与训练框架。LLM-as-judge 因预算只比 Baseline RM、GRM、Avg. Ensemble。
• 指标：偏好准确率（win 得分高于 lose）。LLM-as-judge 报 Win、Tie、Lose 与 ∆；成对比较每对交换顺序与 ID 查询四次；逐点打 1–10 分再比大小。BoN/PPO 报平均 proxy score 与 gold score。扰动实验报 Pairwise accuracy、Footrule similarity、nDCG，范围 [0, 1]。效率报 s/batch 的 mean、p50、p90、p99。
• BoN 与噪声：KL_BoN = log n − (n−1)/n，从 0 到 5，对应每条输入 n 从 1 到 405。标签噪声为随机翻转 25% 由 gold reward 诱导的偏好标签。作者称人类偏好数据通常约有 20–30% 标签噪声，该数字引自 Wang et al. (2024a)。
• 扰动协议：对 Unified-Feedback 测试输入，用预训练 Gemma-2B-IT 每条采 400 个候选；键盘邻近字符替换（QWERTY），编辑预算 {1, 3, 5, 8, 10}。原文排序当作 nDCG 的 ground truth。重复次数论文未报告。

主结果

Table 1 为 40K Unified-Feedback 训练后的偏好准确率（%）。Frozen RM 在 RewardBench 各列为论文所标的 x。

表格较宽，可左右滑动

方法	Unified-Feedback	HHH-Align	MT-Bench	RewardBench Avg.
Frozen RM	63.9	68.6	68.2	未报告
Baseline RM	68.8	70.3	69.1	64.5
Label Smooth	68.5	68.8	71.9	61.1
Margin Loss	69.6	69.8	71.0	66.4
GRM	71.5	78.7	73.0	66.8
Avg. Ensemble (N=3)	69.9	72.2	71.1	65.2
Avg. Ensemble (N=5)	70.8	74.5	72.6	68.9
RMB (N=3)	73.6	81.3	76.3	68.2
RMB (N=5)	74.6	83.2	76.0	71.7

据 Table 1。RewardBench 分项（Chat / Chat-Hard / Safety / Reasoning）：RMB (N=5) 为 95.3 / 43.6 / 78.3 / 71.4；RMB (N=3) 为 96.4 / 44.1 / 72.4 / 66.0；Baseline RM 为 95.8 / 37.3 / 59.9 / 64.8。MT-Bench 上 RMB (N=3) 为 76.3，高于 RMB (N=5) 的 76.0。Chat 上 Margin Loss 为 97.2，高于两个 RMB。

• 作者解读：作者称近期方法相对 Baseline 只有边际改进，而 RMB 在分布内与 OOD 上持续且幅度更大地优于对照；在控制个体数（N=3、N=5）时超过平均集成。
• 400K：正文称附录 Table 8 用 400K 训练，但所给文本未列出该表数字，此处不转写。
• LLM-as-judge（Table 2，RMB N=3）：对 Baseline RM，成对 Win/Tie/Lose 为 55.97 / 3.21 / 40.82（∆ ↑15.15），逐点 44.73 / 23.97 / 31.29（∆ ↑13.44）。对 Avg. Ensemble (N=3)，成对 57.87 / 4.31 / 37.81（∆ ↑20.06），逐点 40.22 / 34.50 / 25.28（∆ ↑14.94）。对 GRM，成对 54.76 / 3.01 / 42.22（∆ ↑12.54），逐点 43.33 / 30.39 / 26.28（∆ ↑7.05）。作者称 RMB 策略在两种协议、对三个对手的胜率都最高。评审提示词模板在附录 Table 16、17，不复述。

Reward hacking：BoN 与 PPO

• 测了什么：用 gold 标注训练 proxy，再看 BoN（Figure 1）与 PPO（Figure 2）中 proxy 与 gold 是否一起变好。Avg. Ensemble 与 RMB 都用三个个体。图中具体端点数值在纯文本中与坐标轴交错，无法可靠读出，故不抄曲线上的分数。
• 无标签噪声：作者称对照方法的 gold 分数随 KL 的升幅远小于 proxy，存在 reward hacking；RMB 的 gold 分数随 KL 单调上升。PPO 中各方法初期 proxy 都上升；作者称对照轨迹更噪、训练中段有下降，RMB 更平滑。gold 方面，作者称对照只在最初几步上升、之后塌缩，RMB 的 gold 曲线更跟随 proxy。
• 25% 标签翻转：作者称 Baseline 的 gold 分数下降；GRM 与 Avg. Ensemble 有一定缓解，但 proxy 继续上升时 gold 停滞；RMB 的 gold 最高且稳健上升。PPO 加噪后 gold 波动更大，作者称 RMB 仍保持最高且下降最少。作者同时写明不同 proxy 的分数不能直接比较。

多样性、攻击与效率

• 随机种子对比 HSIC（Table 3，五个 RM）：随机种子下，个体在 Unified-Feedback 上为 70.71、71.34、70.52、69.85、70.30，Avg. Ensemble 70.80，RMB 71.04；RewardBench 上个体 68.45、67.66、69.97、67.11、67.24，Avg. Ensemble 68.92，RMB 68.70（此处集成高于 RMB）。HSIC 下，Unified-Feedback 个体 73.40、70.73、69.29、68.05、73.84，Avg. Ensemble 72.04，RMB 74.58；RewardBench 个体 70.08、69.95、67.58、66.97、71.62，Avg. Ensemble 69.40，RMB 71.65。作者称随机种子模型相似，集成帮助有限；HSIC 提供互补误差后 boosting 明显超过平均。
• 相关与增益：Figure 3 为 Unified-Feedback 测试集上成对偏好一致率。作者称随机种子大多数配对 >80%；HSIC 通常 50–80%。图中可见例如 HSIC 的 RM0–RM2 为 0.59，随机种子的 RM1–RM3 为 0.93。Table 4 的 Total Gain：随机种子下 RM1 占 70.13%、RM0 12.39%、RM4 10.99%、RM2 5.82%、RM3 0.66%；HSIC 下 RM0 29.75%、RM4 27.39%、RM1 26.78%、RM2 8.55%、RM3 7.53%。作者称 HSIC 下增益更匀，boosting 超过每个个体。
• 字符扰动（Figure 4，N=3）：指标为 Pairwise accuracy、Footrule similarity、nDCG，横轴扰动数 0 到 10。纯文本未给出可核对的曲线端点，不写具体百分数。作者称 RMB 在三项上都最高，并认为决策树只输出有限叶值，从而平滑训练噪声带来的波动。

其他消融与分析

• 延迟（Table 5，三个基座 RM）：Base RMs 均值 19.7915 s/batch（p50 19.7442，p90 20.2839，p99 20.3000）。Avg. Ensemble 聚合器均值 5.92×10^−5 s；RMB 聚合器均值 1.7458×10^−3 s。端到端均值：Avg. Ensemble 19.7915 s，RMB 19.7932 s。作者称聚合器相对基座前向可忽略，并给出 aggregator 与端到端之比 0.000088。
• 预算受限（Table 6，RewardBench）：RMB (N=3) 总参数 6B，Average 87.8，Chat 98.9，Chat-Hard 75.6，Safety 87.3，Reasoning 89.1。GPT-4o-2024-08-06 为 86.7 / 96.1 / 76.1 / 88.1 / 86.6。GPT-4-0125-preview 为 86.0 / 95.3 / 74.3 / 87.6 / 86.9。FsfairX-LLaMA3-RM（8B）为 84.4 / 99.4 / 65.1 / 86.8 / 86.4。Starling-RM（34B）为 82.7 / 96.9 / 57.2 / 88.2 / 88.5。作者称 RMB 平均分从 8B 基线的 84.4 到 87.8，总参数更少、训练数据相同；Chat-Hard 上 GPT-4o 为 76.1，高于 RMB 的 75.6；Chat 上 8B 模型为 99.4，高于 RMB。
• 规模饱和与偏移：§6 称个体数增加后边际收益减弱，中等聚合规模之后性能大体饱和；附录 C.4 分析奖励平移，作者称注入常数后成对排序只有小变化。主文 N=3、5、8、10 的完整曲线数字未在所给表格中列出。
• 例外：随机种子设置下 RewardBench 上 Avg. Ensemble（68.92）高于 RMB（68.70）（Table 3）。Table 1 的 MT-Bench 上 N=3 略高于 N=5；Chat 列上 Margin Loss 高于 RMB。

作者指出的局限与后续方向

• 边际收益饱和：§6 写，实验中奖励模型数量增加后边际收益减弱，超过中等聚合规模后性能大体饱和。作者给出的一种可能解释是训练数据没有足够丰富且独立的学习信号，更多模型会学到冗余偏好模式。（§6 Limitations）
• 数据覆盖：作者称实验受现有开源偏好数据集的覆盖与质量约束，因而不能充分评估 RMB 在更丰富、更异质反馈下的扩展潜力。在更大、更高质量、更多样的偏好语料上评估是未来工作。（§6）
• 奖励不可辨识：作者称 boosting 阶段在奖励模型被加上常数偏移时可能不保持偏好序，原因是 Bradley–Terry 目标不可辨识。他们同时称，因为先训练奖励模型再训练 boosting，聚合器可以适应偏移，因此在本方法中顾虑较小。（§6）
• 平移敏感性：作者在附录 C.4 做了奖励平移分析，并称注入常数后 RMB 的成对排序只有小变化，排序大体保持稳定。（§6，指向 Appendix C.4）
• 与多目标对齐的衔接：§4 称一个有趣的未来方向是考察 RMB 学到的互补模式是否对应可解释的偏好维度，例如 helpfulness、harmlessness 或 honesty，以及这种奖励表示能否支持下游多目标对齐。（§4 Related Work）

实验覆盖范围

• 主奖励模型与策略骨干为 Gemma-2B-IT；合成 gold 为 Mistral-7B-Instruct-v0.2；LLM-as-judge 为 DeepSeek-R1，且该评测只包含 Baseline RM、GRM 与 Avg. Ensemble 三个对手（§3.1–§3.2，Table 2）。
• 偏好预测在 Unified-Feedback（40K 与 400K 两种训练规模）以及 HHH-Alignment（221）、MT-Bench（5,755）、RewardBench（2,985）上报告；OOD 集没有训练样本（§3.1，Table 1）。
• reward hacking用 BoN（KL 0 到 5，n 从 1 到 405）和 PPO，各含无噪声与 25% 标签翻转；Figure 1–2 中集成与 RMB 均为三个奖励模型（§3.3）。
• 多样性分析比较随机种子与 HSIC，各五个个体，并报告一致率热图与 Total Gain；扰动实验在 Unified-Feedback 上用键盘邻近替换，预算 {1, 3, 5, 8, 10}，每输入 400 个候选，指标为 Pairwise accuracy、Footrule similarity、nDCG（§3.4–§3.5，Table 3–4，Figure 3–4）。
• 效率以三个基座 RM 的 s/batch 分解；预算受限设置在 preference-700K 混合上训练、在 RewardBench 上与 8B、34B 及 GPT-4/GPT-4o 评审比较（Table 5–6）。论文未在正文表格中给出 N=8 与 N=10 的准确率，也未报告实验重复次数。

RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。

• 问题：有限人类偏好上的奖励模型是不完美代理。策略优化可以提高代理分数，同时使相对真实偏好的表现变差。简单平均无法消除共享盲点。
• 方法：联合训练 N 个奖励模型，在成对偏好边际上加 HSIC 惩罚；再按 XGBoost 式梯度 boosting 拟合回归树，用成对 logistic 损失逐步修正残差，叶节点输出离散分数。骨干为 Gemma-2B-IT。
• 偏好预测：40K Unified-Feedback 上，RMB (N=5) 准确率 74.6%，HHH-Align 83.2%，RewardBench 平均 71.7%；同表 Avg. Ensemble (N=5) 为 70.8%、74.5%、68.9%（Table 1）。MT-Bench 上 N=3 为 76.3%，N=5 为 76.0%。
• 策略与 hacking：DeepSeek-R1 评审下，RMB (N=3) 相对 Avg. Ensemble (N=3) 的成对 ∆ 为 ↑20.06（Table 2）。BoN 与 PPO 中，作者称 RMB 的 gold 分数随优化上升，包括 25% 标签翻转时仍高于对照。
• 机制与代价：HSIC 五个模型在 Unified-Feedback 上 RMB 为 74.58%，平均集成为 72.04%；随机种子设置下二者接近，且 RewardBench 上集成 68.92% 高于 RMB 的 68.70%（Table 3）。三个 RM 时 RMB 聚合器均值延迟 1.7458×10^−3 s/batch，基座约 19.79 s（Table 5）。预算受限时 RMB (N=3, 6B) 的 RewardBench 平均分为 87.8（Table 6）。
• 作者结论：作者认为 RMB 在分布内与 OOD 上提高偏好预测、缓解 reward hacking，并对字符扰动更稳，从而为对齐人类偏好的策略训练提供可靠奖励。他们也写明模型数增加后收益饱和，并希望在更丰富的偏好语料上再评估。