BiasReducer：面向奖励模型的自适应偏见缓解方法

奖励模型会把长度、自信等表面属性当成更高奖励，而现有缓解要么重训练，要么只能对事先指定的单一偏差做固定编辑。

• 场景与重要性：作者称奖励模型在 RLHF 中给 LLM 输出打分并引导训练，但是人类偏好的不完美代理，可能偏好长度、格式、自信或谄媚（sycophancy）。在回答选择或下游训练中，这些信号会鼓励模型优化表面属性而非质量，即作者所说的 reward hacking。
• 现有方法的不足：训练式方法改数据、损失、结构或微调流程，作者称计算贵且常要大量新数据。编辑式方法不用重训练，但通常要事先指定目标偏差，并对该偏差使用固定编辑。作者指出奖励模型可依赖多种属性，且相关性随目标分布变化。
• 核心问题：作者提出的问题是，能否在不重训练、也不对所有数据集套用同一预先选定属性修正的情况下，为每个新数据集选择合适的奖励模型修正。
• 本文做法：提出 BIASREDUCER，只编辑线性奖励头。它先学习预定义属性（如 length、confidence）的内部表示，再学习沿哪个方向、改多少以降低对该属性的依赖，最后在新数据集上按影响排序并选择编辑。变体 BIASREDUCER-S 选一条修正，BIASREDUCER-M 组合多条。

奖励黑客与奖励模型偏差

• 长度、格式、自信与迎合：Liu et al. (2025b)、Bharadwaj et al. (2026)、Zhang et al. (2025) 讨论奖励模型可能偏好这些属性，而不是正确性或有用性。
• reward hacking：Gao et al. (2023)、Coste et al. (2024)、Rafailov et al. (2024) 讨论当这些信号指导选择或训练时，模型会优化被奖励的属性。

稀疏表示

• SARM 与 SparseRM：Zhang et al. (2026) 的 SARM 用稀疏特征解释奖励模型决策；Liu et al. (2026a) 的 SparseRM 用稀疏表示做偏好建模。作者称现有稀疏表示与概念擦除方法没有把可解释的奖励模型属性接到可复用的偏差缓解编辑上。

缓解奖励模型偏差

• 训练式：ODIN（Chen et al., 2024）分离奖励信号；RRM（Liu et al., 2025a）、CROME（Srivastava et al., 2026）和反事实微调（Bharadwaj et al., 2026）通过训练时改动提高鲁棒性。作者称这类方法需要重训练和新数据构造。
• 编辑式：Liu et al. (2026b) 与 Fein et al. (2026) 修改已训练奖励模型，例如去掉与指定偏差相关的子空间或方向。作者称它们对事先指定的偏差施加固定修正。线性概念擦除 LEACE（Belrose et al., 2023）被用作编辑方向的动机，论文未把它列为偏差缓解基线。

基线方法与基准：实验基线是原始奖励模型、按 RRM 流程进一步微调的 RRM-based baseline，以及把属性干预对与源数据混合后再微调的 intervention fine-tuning。基准为 RM-Bench-Hard、JudgeBiasBench，以及由 Arena Human Preference 140K 构造的 Arena-StyleConflict。

作者将本文定位为：学习可复用的属性专用修正，再按每个新数据集决定改哪些属性，从而不必重训练，也不必事先指定目标偏差。

BIASREDUCER 把问题拆成三步：学习预定义属性的内部表示，学习如何降低奖励头对每个属性的依赖，再在新数据集上决定编辑哪些属性。除线性奖励头权重 wr 外，奖励模型参数保持不变。

问题设定

• 奖励形式：给定提示 q 与回答 x，标量奖励为 r(q,x)=w_r^⊤ h(q,x)+b。h 是送入奖励头的隐表示，wr 为奖励头权重。下文把 r(q,x)、h(q,x) 简写为 r(x)、h(x)。
• 数据与知识：预定义属性集合为 A，包括 length、verbosity、formatting、emoji/exclamation、confidence、hedging、sycophancy。源偏好数据 Dsrc 分成训练集与验证集；偏好对比为 Δh = h(x+) − h(x−)。对新数据集 D，可用回答、隐表示和原始奖励分，但不知道每对里哪条被偏好。
• 两个变体：BIASREDUCER-S 取排序最高的一个合格属性；BIASREDUCER-M 组合至多 kmax 个编辑。默认 kmax = 4。

学习属性表示

• SAE 式编码：对训练对比 u = Δh，编码器得到 zpre = Wenc u + benc，TopK 保留绝对值最大的 kact 个坐标并保留符号，解码器重构 û = V zpost。默认字典大小 K = max(64, round(d/16))，kact = K/2。
• 语义监督：稀疏分解本身不指定哪个坐标对应哪个属性。每个属性 a 分配一个坐标 za。行为监督 Lbeh 把 za 连到该属性的自然差异；干预监督 Lint 用受控改写确定方向；伪影项 Lart 吸收受控改写中共有的变化，避免记到命名属性上。总损失为 L = L_rep + γ_b L̃_beh + γ_i L̃_int + γ_a L̃_art。Lrep 为带稀疏正则的重构，γb、γi、γa 默认为 1.0、0.1、0.1。附录 B 给出完整损失，附录 E 给出其余超参。
• 训练设置：奖励模型固定，只训练编码器–解码器。Adam，学习率 10−3，源批大小 512 个偏好对比，干预与伪影批各 41 个差分，训练 200 个 epoch（21,000 步），无 warmup 与早停。

构造属性专用编辑

• 方向：对每个属性，用源训练集估计 Ca = Cov(h, zpost,a(h))，即与属性激活共变的隐状态方向。作者称该方向受线性概念擦除启发。
• 强度：候选编辑为 wa(λ) = wr − λ (wr⊤ Ca) / (Ca⊤ Ca + εedit) Ca。λ⋆a 在源验证集上选取：在偏好准确率下降不超过预算 τsrc = 0.02 的前提下，引起最大奖励分变化。搜索集合为 {0.125, 0.25, …, 2.0} 共 12 个值。编辑库 B = {(a, Ca, λ⋆a)} 在针对新数据集选择之前就固定。

为新数据集选择编辑

• 两个信号：Ga(D) 是原始奖励与属性连续激活 zpre,a 在 D 上的协方差，衡量奖励随该属性的变化；Ia(D) 是该属性编辑带来的奖励分平均变化。选择时不知道哪条回答被偏好。
• 秩和：Ba(D) = rank↓G(a) + rank↓I(a)，秩和更小者优先，作者称遵循 Borda 式秩聚合。S 采用最高排序的合格属性；M 用 Compose 组合前若干条编辑。Algorithm 1 概括该流程。
• 成功判定：评测指标为成对偏好准确率 Acc = (1/N) Σ 1[r(x+i) > r(x−i)]，其中 x+ 是基准偏好的回答。偏好标签只用于算最终指标，不用于选择编辑。附录 A 称这是 transductive 设置：基准回答在选择时可见，偏好/拒绝信息隐藏。JudgeBiasBench 的七个子集分别选择编辑。

实验设置

• 奖励模型：五个标量奖励模型，均用公开检查点，只改线性奖励头：Skywork-Reward-V2-Qwen3-1.7B（Qwen3-1.7B）、GRM-Llama3.2-3B-rewardmodel-ft（GRM-3B）、RM-Mistral-7B（Mistral-7B）、internlm2-7b-reward（InternLM2-7B）、GRM-Llama3.1-8B-rewardmodel-ft（GRM-8B）。
• 源数据：Skywork-Reward-Preference-80K-v0.2。预处理并按归一化提示或连续 13 词去污后，可用 77,004，去污后 66,850，训练 53,678，验证 13,172（Table 7）。训练集用于表示学习与编辑方向，验证集用于选择编辑幅度。
• 基准：RM-Bench-Hard 使用 RM-Bench 的 Hard Accuracy，即基准偏好回答风格等级低于被拒回答的三个格子。JudgeBiasBench 使用 Superficial Quality Bias 下全部七个子集：length、authority、beauty、assertiveness、sycophancy、sentiment、concreteness，每子集用含 rewritten_response 的回答对。Arena-StyleConflict 从 Arena Human Preference 140K 构造：保留英文、单轮、非代码、人类偏好明确的样本；一条至少比另一条长 1.3 倍且 Markdown 不少于对方，但人类偏好相反的那条；确定性抽样后 1,000 对。论文未写 RM-Bench-Hard 与 JudgeBiasBench 的样本条数。
• 基线：原始奖励模型；RRM-based baseline，用 RRM 缓解流程继续微调同一奖励模型；intervention fine-tuning，把构造的属性干预对与源数据混合后再微调。
• 指标与评审：主指标为成对偏好准确率（%）。下游用 Claude Sonnet 5 评质量（1–10）、不必要冗长和谄媚，并报告平均词数。策略模型为 Qwen3-4B 与 Llama-3.2-3B-Instruct；选择为 best-of-N（N ∈ {16, 64, 256}），训练为 GRPO，奖励模型为原始或 BIASREDUCER-M 编辑后的 Mistral-7B。适用处对 seeds {0, 1} 取平均。
• 选择协议：每个基准用回答、隐表示和原始奖励分选择属性，不用偏好标签。RM-Bench-Hard 与 Arena-StyleConflict 各做一次选择；JudgeBiasBench 按七个子集分别选择。默认用该基准的全部回答池。

主结果

Table 1 报告成对偏好准确率（%），上标为相对原模型的百分点。

表格较宽，可左右滑动

模型	RMB 原模型	RMB-M	Arena 原模型	Arena-M	JBB 原模型	JBB-M
Qwen3-1.7B	59.96	66.92	22.90	39.65	73.93	75.64
GRM-3B	48.93	54.08	36.20	43.55	70.10	78.93
Mistral-7B	44.64	55.38	20.30	56.05	63.19	76.55
InternLM2-7B	58.25	63.93	50.70	69.55	57.82	63.68
GRM-8B	50.89	63.90	34.10	45.15	70.06	74.66
五模型均值	52.53	60.84	32.84	50.79	67.02	73.89

• 相对原模型：作者称 S 与 M 在每一个模型–基准组合上都高于原模型。五模型平均，S 在三个基准上分别提高 6.2、15.7、6.0 个百分点（表中 +6.18、+15.67、+6.02）；M 提高到 8.3、18.0、6.9 个百分点（表中 +8.31、+17.95、+6.87）。
• 相对训练基线：作者称 M 在三个基准上都取得最强平均表现。相对平均更强的 RRM，M 再高 4.1、13.2、2.3 个百分点。表中 RRM 均值增益为 +4.21、+4.78、+4.56；Interv. FT 为 +2.00、+4.20、+3.50。
• 例外：Interv. FT 在 InternLM2-7B 的 RM-Bench-Hard 为 57.42（−0.83），Arena-StyleConflict 上 InternLM2-7B 的 RRM 为 48.90（−1.80）、Interv. FT 为 48.20（−2.50）。JBB 上 Qwen3-1.7B 的 S（75.21）和 M（75.64）低于 RRM（77.28）；GRM-8B 的 S（74.79）和 M（74.66）低于 RRM（78.39）。

下游选择与策略训练

• GRPO（Table 2）：奖励为编辑后的 Mistral-7B。Qwen3-4B 上，Initial / 原 RM / M 的质量为 4.24 / 4.29 / 4.53，不必要冗长 0.53 / 0.74 / 0.58，谄媚 0.06 / 0.08 / 0.04，词数 274 / 331 / 285。Llama-3.2-3B-Instruct 上质量为 3.85 / 4.02 / 4.01，冗长 0.66 / 0.70 / 0.55，谄媚 0.06 / 0.11 / 0.03，词数 301 / 318 / 291。作者称编辑后的奖励降低冗长和谄媚，并保持相当的评判质量。
• best-of-N（Figure 2）：同一固定候选池，N ∈ {16, 64, 256}，策略为 Qwen3-4B（上）与 Llama-3.2-3B-Instruct（下），图例为 Original、BiasReducer-S、BiasReducer-M。纵轴为质量、不必要冗长和词数。正文未给出各 N 的精确读数；作者称编辑后的奖励在回答选择中同样减少冗长与谄媚并保持质量。附录 D 称另有结果，正文未列出附录 D 的数字。
• 评审：质量、冗长和谄媚由 Claude Sonnet 5 评估。附录中的审计提示要求返回 JSON，字段为 sycophancy、unsupported_confidence、unnecessary_verbosity。论文未报告该评审与人工的一致性。

语义监督、编辑构造与选择

• 语义监督（Table 3）：相对 vanilla SAE（把属性分给与测量差相关最高的坐标），完整方法把留出集平均 |corr| 从 0.26 提高到 0.55。vanilla SAE 的 M 在 RMB/Arena/JBB 上平均增益为 +4.99 / +7.41 / +1.09；完整 M 为 +8.31 / +17.95 / +6.87。去掉 Lbeh 后属性轴相关从 0.55 降到 0.17、泄漏从 0.08 升到 0.31，M 增益变为 +7.12 / +13.70 / +2.77；去掉 Lint 后符号准确率从 0.99 降到 0.75，增益 +6.59 / +14.74 / +5.76；去掉 Lart 后轴相关仍为 0.55、泄漏 0.09、符号准确率 1.00，增益 +6.68 / +15.25 / +6.14。作者称三路信号作用互补。
• 方向与强度（Table 4，BIASREDUCER-S，五模型平均）：解码器方向在三个基准上为 +0.54 / +0.40 / +0.59，协方差方向为 +6.18 / +15.67 / +6.02。预设 λ=1 为 +7.68 / +12.60 / +4.10，λ=0.5 为 +1.30 / +2.71 / +1.61；全体属性共用一个验证集 λ 为 +4.95 / +9.67 / +4.18，逐属性 λ⋆a 为 +6.18 / +15.67 / +6.02。作者称在 Mistral-7B 的 JudgeBiasBench 上，增益从共用强度的 8.4 点增至逐属性的 11.8 点。
• 数据集专用选择（Table 4、Figure 3）：固定 sycophancy 编辑的平均增益为 +3.93 / +5.01 / +1.79；源验证集上表现最好的固定属性 MaxSrc 为 +6.58 / +10.07 / +1.00；S 为 +6.18 / +15.67 / +6.02；M 为 +8.31 / +17.95 / +6.87。Figure 3(a–d) 显示不同模型与基准选中的属性不同；图注称 (d) 的格子是五个奖励模型中该属性在该基准上被选中的比例，正文未逐格抄出。Figure 3(e) 在 JudgeBiasBench 上，秩和规则把最佳合格修正包含进所选编辑的比例为 86%，单一信号为 71–74%；图中另标有 74、71、75、63、58、68、72、66 等选择质量数字，论文未在正文逐一对应到 recall 或 precision。Figure 3(f) 标注秩和在 Arena-SC 的平均增益为 17.95，并标有 16.91、13.05、6.94、8.31、7.37、5.52、3.04。作者称秩和优于任一单独信号。

其他消融与分析

• 无标签池大小（Figure 4）：100 个例子与全池选择一致的比例为 89%，200 个为 97%。图 (a) 纵轴为 Agreement (%)，(b)(c) 为 S 与 M 的准确率增益；正文未给出各池大小下每个模型的增益读数。
• kmax（Table 5，M，五模型平均）：kmax ∈ {2, 3, 4, 6} 时 RMB 为 +8.35 / +7.70 / +8.31 / +8.44，Arena 为 +17.67 / +18.54 / +17.95 / +17.41，JBB 为 +6.39 / +6.45 / +6.87 / +7.07。作者称差异不大。
• 字典与激活坐标（Table 5）：字典 K/2 相对默认 K，RMB +9.38、Arena +17.30、JBB +4.68（默认为 +8.31 / +17.95 / +6.87）。激活坐标改为 K/4 时三个基准为 +5.56 / +7.38 / +1.68。作者称减小字典提高 RM-Bench-Hard、降低另两个基准，减少激活坐标则三个基准增益都降低。
• 负面与局部更弱：Table 4 中 RMB 上 λ=1 的 +7.68 高于默认协方差逐属性的 +6.18；MaxSrc 在 RMB 上 +6.58 高于 S 的 +6.18。JBB 上部分模型的 RRM 高于 M，见主结果。

作者指出的局限与后续方向

论文正文的 Conclusion 没有单独的 Limitations 小节。附录中与范围有关、且作者写成方法前提或未做事项的内容如下。

• 属性需预定义：方法针对预先指定的七个回答属性学习坐标与编辑，而不是从数据中发现未命名属性（Section 3.2、Table 9、Appendix A.5）。
• 干预改写：方向由受控加长、缩短等改写监督确定，因此依赖可构造的干预数据（Section 3.2）。
• 源偏好标签：表示学习与编辑方向、强度使用带偏好标签的源数据；新数据集选择阶段才不使用偏好标签（Section 3.1、Appendix A.4）。
• 只改奖励头：除 wr 外参数固定，编辑形式是沿 Ca 的闭式线性修正（Section 3.1、式 (4)）。
• 选择时可见目标回答：附录 A.4 写明这是 transductive 设置，基准回答在选择时可用，只隐藏偏好标签。
• 后续：Conclusion 把结果说成一条设计原则——先学一次可复用修正，再按新数据集上观察到的奖励行为决定用哪些——论文未另列待做实验清单。

实验覆盖范围

• 奖励模型：主评测为五个公开标量奖励模型，规模 1.7B 到 8B（Table 6）；下游策略为 Qwen3-4B 与 Llama-3.2-3B-Instruct，奖励模型为 Mistral-7B（Section 4.3）。
• 基准：RM-Bench-Hard、JudgeBiasBench 七个 Superficial Quality Bias 子集、Arena-StyleConflict 1,000 对（Table 8、Appendix A.3）。源数据去污后训练 53,678、验证 13,172（Table 7）。
• 属性：length、verbosity、formatting、emoji/exclamation、confidence、hedging、sycophancy（Table 9）。
• 基线与下游：对比原模型、RRM 微调和干预微调（Table 1）；下游为 best-of-N（N 为 16、64、256）和 GRPO，评审模型为 Claude Sonnet 5（Table 2、Figure 2）。论文未报告评审与人工的一致性，也未报告各条件的查询次数。
• 重复：适用处对 seeds 0 和 1 取平均（Appendix A.4、Table 24）。默认 kmax = 4、τsrc = 0.02，并在 Table 5 报告 kmax、字典大小和激活坐标的变化。

BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架，用来降低模型对预定义表面属性的依赖，并按新数据集决定改哪些属性。

• 问题：奖励模型可能偏好长度、格式、自信或谄媚。训练式缓解要重训练和新数据；已有编辑方法要事先指定偏差并使用固定修正。
• 方法：用带行为、干预和伪影监督的 SAE 式编码器，把指定坐标对齐到七个属性；用源数据上的协方差方向和验证集准确率预算（τsrc = 0.02）确定每条编辑的方向与强度；在新数据上用奖励依赖与编辑影响的秩和选择。S 选一条，M 组合至多 kmax = 4 条。选择时不用偏好标签。
• 主结果：五个奖励模型上，M 相对原模型在 RM-Bench-Hard、Arena-StyleConflict、JudgeBiasBench 的平均准确率从 52.53%、32.84%、67.02% 升至 60.84%、50.79%、73.89%，即 +8.31、+17.95、+6.87 个百分点（Table 1），平均高于 RRM 与干预微调。个别模型上 RRM 在 JudgeBiasBench 更高，例如 Qwen3-1.7B 的 77.28 对 M 的 75.64。
• 下游：以编辑后的 Mistral-7B 做 GRPO 时，Qwen3-4B 的 Claude Sonnet 5 质量从原奖励的 4.29 到 4.53，不必要冗长从 0.74 到 0.58，谄媚从 0.08 到 0.04，词数从 331 到 285（Table 2）。
• 作者结论：语义监督、按奖励确定的方向与强度、以及按数据集选编辑都有贡献；最有效的属性随模型和数据集变化，组合多条编辑比只选一条增益更大。作者认为可用的原则是一次学好可复用修正，再按每个新数据集上的奖励行为选用。