RewardExplainer：用反事实偏好反馈学习奖励模型解释

判别式奖励模型只给标量分数，缺少能从RM反馈中学习、可复用且能闭环去偏的自然语言打分机制解释。

• 场景与重要性：作者称，奖励模型是RLHF等后训练的关键组件，把提示–回答对映成标量奖励。比较分数只能看出相对偏好，看不出哪些具体回答特征或行为驱动分差，因此理解打分因素对解释RM决策和识别潜在偏差很重要。
• 现有方法的不足：作者指出，预定义高层属性可能过粗，抓不住具体打分行为，也揭示不了预定义空间之外的偏好；解释新样本常要反复生成反事实改写并跨多个属性评估奖励，干预结果主要用于事后解释当前样本，而不是转成训练信号去优化可单次前向生成解释的可复用模型；这些解释通常停在分析RM行为，没有进一步用发现的机制自动识别偏差并改进RM本身。
• 核心观察：作者认为，忠实解释应对应可测量的奖励变化：在合适上下文中，引入或加强被偏好行为应提高奖励，移除或削弱应降低奖励，并尽量保持其他因素不变。
• 论文提出的方法：作者提出RewardExplainer，一个闭环框架：从目标RM偏好的响应对生成开放、原子、可编辑、可泛化的自然语言打分机制，先SFT再把双向反事实反馈转成偏好监督做DPO；再用优化后的解释器发现潜在偏差机制并构造定向去偏数据，微调原RM。

奖励模型解释

• 多维可解释奖励模型（Wang et al., 2024）——定义多个可解释评价维度并训练RM预测各维分数，把标量奖励分解成若干可解释分量。
• Contrastive Explanations（Jiang et al., 2024）——沿人工预定义的高层属性扰动回答，并根据RM偏好是否改变构造对比解释。作者将其作为解释基线，并称这类方法依赖预定义属性、解释新样本需要反复干预。
• RATE（Reber et al., 2024）——从因果视角用反事实改写加双重改写校正，估计给定回答属性对奖励分数的因果效应。稀疏自编码器（Zhang et al., 2026; Shi et al., 2025）——在表示层识别RM中的可解释特征、研究偏好机制。附录D中作者称，本文与RATE、SAE路线互补，但没有与它们直接对比。

奖励模型偏差发现与去偏

• 预定义偏差类型的缓解（Bharadwaj et al., 2026; Kim et al., 2026; Liu et al., 2026a）——从预定义偏差出发评估敏感度，再用去偏数据微调，或直接编辑奖励头以降低对hacking特征的依赖。
• 自动偏差发现（Wang et al., 2026）——用语言模型迭代提出并验证偏差假设，重点是偏差识别。作者称，与之相比，RewardExplainer从反事实奖励反馈学习可复用解释器，再从生成的机制中识别潜在偏差并构造定向去偏数据来微调RM。

基线方法与基准/数据集

• 基线：GPT-4o直接生成机制，同时作为SFT标签的教师；Contrastive Explanations（Jiang et al., 2024）沿预定义属性扰动；另报告仅SFT的RewardExplainer，用来对照把奖励反馈当作偏好监督继续微调的效果。
• 数据：解释器初训用UltraFeedback，并加入PreferenceHack与Preference Model Perturbations（PMP）；去偏以Skywork Reward Preference 80K v0.2为底，在RewardHackBench、JudgeBiasBench上评去偏效果，用JudgeBench评一般评价能力。

作者把本文定位为：在目标RM保持固定的前提下训练可复用解释器，不依赖预定义属性，从高、低奖励回答的差异生成候选机制，并把双向反事实干预反馈转成DPO的偏好监督，使反事实验证既评单个解释，也训练解释器为未见响应对生成机制。

RewardExplainer把目标RM的双向反事实打分反馈变成机制级偏好，用DPO训练一个可对未见响应对直接生成自然语言打分机制的解释器，再用这些机制构造去偏数据微调原RM。流程见Figure 1。

问题设定与形式化

• 目标RM：关注已预训练的判别式RM。给定提示x与回答y，r_φ(x, y)为标量奖励，分数越高表示偏好越强。常见Bradley–Terry目标为对偏好对(x, y+, y−)最小化负对数sigmoid（论文记为LRM）。
• 要解释的对象：同一提示下按目标RM划分高奖励回答y^H与低奖励回答y^L，满足r_φ(x, y^H) > r_φ(x, y^L)。解释器要找出刻画二者奖励差的文本行为。
• 机制定义：解释器E_θ对偏好例(p, y^H, y^L)生成集合M = {m_1, …, m_N}。每个机制m是原子、可泛化、可干预的回答行为，描述y^H与y^L之间具体、可观察的差异，并能在局部被加强、削弱或移除以便反事实验证。

SFT初始化

• 数据：收集K_1个由目标RM打分的偏好例(p, y^H, y^L)。输入为(p, y^H, y^L)，由教师LLM（实验中为GPT-4o）生成机制集作为监督目标，得到D_sft并微调初始解释器π_0。
• 作用：作者称这是轻量预热，使基座具备生成原子、可泛化、可干预文本机制的基本能力，并作为后续候选生成与偏好数据构造的初始化。论文未在正文给出K_1的数值。

反事实验证与偏好构造

• 候选：对每个偏好对，用SFT后的π_sft在高温度下采样W次（实现中W=4），再做语义去重，得到候选集M_i。
• 双向干预：对每个候选m，在低奖励回答上ADD（加入或加强m），期望奖励上升；在高奖励回答上REMOVE（移除或削弱m），期望奖励下降。改写尽量保持无关内容不变，再用同一目标RM重新打分。
• BOTH与偏好对：ADD与REMOVE都满足期望变化时记为BOTH-success。每个响应对把全部BOTH-success机制聚成chosen集M+，并从其余候选中取同样数量、未达到BOTH成功的机制作为rejected集M−，形成机制偏好对，得到D_dpo，规模记为K_2。正文未给出K_2。
• 改写流程：附录A称，改写前由LLM分别检查y^H与y^L，判断m是否区分二者并抽取简短的原文证据片段；只保留m在y^H中清楚存在、在y^L中缺失或明显更弱的方向有效机制。证据作为编辑锚点。附录F给出完整提示词。

DPO优化

• 目标：在D_dpo上最小化标准DPO损失。上下文x = (p, y^H, y^L)，M+、M−为验证得到的chosen与rejected机制集，π_θ为策略、π_ref为参考模型，β控制相对参考策略的偏离。
• 意图：作者称，把反事实干预结果转成偏好监督后，DPO使解释器更倾向目标RM观测打分行为所支持的机制。附录E.4给出学习率、批大小、DPO的β与epoch等超参，此处不展开。

用机制做RM去偏

• 发现：解释器只用于机制发现，后续优化作用在目标RM上。对目标RM的一批偏好例生成机制解释，过滤并聚合那些看起来与实质回答质量无关的机制，得到候选偏差机制集M_b。
• 构造数据：对人类偏好例(p, y+, y−)，保持y+不变，按m_b对y−做最小改写，把目标机制注入被拒绝回答，得到ỹ_b−。改写时尽量只引入目标偏差机制，并保持原内容与实质质量。再过滤，确认机制注入成功且y+在实质上仍优于ỹ_b−，得到K_3条去偏数据。
• 微调：在D_debias上用标准成对奖励建模目标微调原RM：鼓励模型在被拒绝回答带有已识别表层机制时，仍偏好实质上更好的回答，从而降低对这类偏差信号的依赖。实验中注入改写使用GPT-4o。

成功判定与评测口径

• 三类指标：机制质量由LLM评审按对比选择性（C-Sel.）、范围校准（Scope）、方向保真（Dir.）打分，每维0到2，Overall为等权平均；反事实忠实度为ADD、REMOVE成功率及BOTH（两个方向都成功）；偏好预测准确率（Pref. Acc.）衡量生成的机制能否正确预测目标RM的原始偏好。细则在附录E.1。
• 评测生成：成对评测采样300个训练时未见的响应对，每对生成三个机制。Contrastive Explanations基线由GPT-4o从预定义属性集中为每对选三个属性。

实验设置

• 目标RM：FsfairX-LLaMA3-RM-v0.1、Skywork-Reward-V2-Qwen3-1.7B、RM-Mistral-7B。解释器骨干为指令微调版Qwen3-4B、Qwen3-8B、Gemma4-12B。
• 数据：解释器训练用UltraFeedback，并加入PreferenceHack与PMP。SFT初始机制标签由GPT-4o生成。去偏以Skywork Reward Preference 80K v0.2为底，按识别出的偏差机制改写被拒绝回答。评测集为RewardHackBench、JudgeBiasBench与JudgeBench。论文未写这些集合的样本条数。
• 基线：GPT-4o直接生成机制；Contrastive Explanations（Jiang et al., 2024）；以及仅SFT的RewardExplainer。去偏另设General基线：在等量一般偏好数据上微调。
• 指标：Counterfactual Faithfulness为ADD、REMOVE、BOTH；Mechanism Quality为C-Sel.、Scope、Dir.（各0–2）及其等权Overall；Pref. Acc.为偏好预测准确率。去偏看RewardHackBench（Overall及Surface、Broken Reasoning、Sycophantic Hacking、Off-topic、Style）、JudgeBias与JudgeBench的Overall，越高越好。
• 评审与改写模型：偏好数据构造的反事实改写用GPT-5.4-mini，W=4。评测时反事实改写与机制质量评审用GPT-5-mini。成对评测为300个未见响应对，每对三个机制。改写质量附录另用GPT-4.1-mini作第二评审。论文未报告重复次数，也未报告评审与人工的一致性。
• 其他辅助模型：附录称GPT-5.5用于汇总全局机制并聚合、过滤候选偏差机制；多样性分析用Qwen3-Embedding-4B。

主结果

Table 1报告三个目标RM上的解释质量。下表取各目标RM上DPO版Qwen3-4B与两个基线，BOTH、Overall与Pref. Acc.均据Table 1。

表格较宽，可左右滑动

目标RM	方法	BOTH	Overall	Pref. Acc.
FsfairX-LLaMA3-RM-v0.1	Contrastive Explanations	21.05	0.75	74.47
FsfairX-LLaMA3-RM-v0.1	GPT-4o	35.57	1.29	74.56
FsfairX-LLaMA3-RM-v0.1	DPO Qwen3-4B	48.44	1.65	91.56
Skywork-Reward-V2-Qwen3-1.7B	Contrastive Explanations	23.10	0.66	72.09
Skywork-Reward-V2-Qwen3-1.7B	GPT-4o	35.00	1.35	79.22
Skywork-Reward-V2-Qwen3-1.7B	DPO Qwen3-4B	41.43	1.54	86.19
RM-Mistral-7B	Contrastive Explanations	19.22	0.71	73.66
RM-Mistral-7B	GPT-4o	38.11	1.31	76.89

表中RM-Mistral-7B的DPO Qwen3-4B为BOTH 42.86、Overall 1.55、Pref. Acc. 86.84（Table 1）。同表中该RM上DPO的最高Pref. Acc.出现在Gemma4-12B（87.95），最高BOTH出现在Qwen3-8B（45.32）。FsfairX与Skywork上，表中DPO三骨干的BOTH、Overall、Pref. Acc.均高于同RM的SFT与两个基线。作者称机制更可靠地按期望方向引起奖励变化，且对比选择性、范围校准和方向描述更好。作者还称，跨目标RM与骨干，DPO在三项指标上均优于SFT。

• SFT并非处处高于GPT-4o：Table 1中，Skywork上三个SFT骨干的Pref. Acc.为60.78、62.79、62.97，低于GPT-4o的79.22；FsfairX上Qwen3-4B与Qwen3-8B的SFT Pref. Acc.为73.56与72.56，低于GPT-4o的74.56，Gemma4-12B SFT为76.44。
• DPO相对SFT的幅度因RM而异：FsfairX上Qwen3-4B的BOTH从32.33到48.44，Pref. Acc.从73.56到91.56；RM-Mistral-7B上Qwen3-4B的BOTH从37.96到42.86，Pref. Acc.从78.47到86.84（Table 1）。
• 定性例子：附录C给出例子，论文称更多例子见附录C。Figure 3对比预定义属性解释与开放文本机制，图中文字包含正确性类属性与具体行为描述。

全局偏好与偏差发现

• 测了什么：RQ2把大量局部机制做语义去重、聚类和抽象，得到跨输入反复出现的全局偏好。Table 2列出RM-Mistral-7B的三条：直接聚焦任务作答、对话亲和框架、按顺序分步拆解。
• 结果：作者称，有的偏好与回答质量改进一致，如更直接回答用户任务或把方案分成清晰步骤；有的与实质质量改进关系较远，如更友好或更贴合用户的对话风格，作者认为可能与sycophancy等hacking行为有关。完整集合与聚类过程在附录E.2。
• 六类hacking机制：对RM-Mistral-7B采样50个响应对，经反事实过滤与聚合得到六条，Table 3给出受控例子：Verbosity padding、Polished prestige style、Contextual mirroring、Scope broadening、Assertive decisiveness、Credibility through quantified uncertainty。作者称，相对长度或信心这类粗属性，这些机制更具体、有方向、可操作。

去偏与改写质量

• 去偏设置：保持chosen不变，用GPT-4o对rejected做最小改写以注入目标偏差机制，再过滤后微调目标RM。General基线使用等量一般偏好数据。
• Table 4：FsfairX上RewardHackBench Overall从Base 70.22、General 74.77到Ours 77.84；JudgeBias从62.59、65.13到70.41；JudgeBench从58.57、59.43到60.29。RM-Mistral-7B上RewardHackBench为Base 70.22、General 76.22、Ours 78.70；JudgeBias为69.04、70.10、74.54；JudgeBench为63.51、61.60、62.18，Ours高于General、低于Base。Skywork上RewardHackBench为76.94、77.56、77.97；JudgeBias为75.77、76.36、76.64；JudgeBench为70.69、71.47、70.29，Ours低于General。分类别上，RM-Mistral-7B的Surface为Base 81.31、General 86.36、Ours 83.33；Skywork的Sycophantic Hacking为Base 79.52、General 76.19、Ours 77.14，Reason.三者均为77.86。作者称定向去偏在三个目标RM上提高RewardHackBench与JudgeBias，并大体保持JudgeBench；相对等量一般偏好数据，收益不能只用多加同样数量的一般偏好数据来解释。
• 改写质量（附录A，Table 5）：目标RM为Skywork-Reward-V2-Qwen3-1.7B，骨干Qwen3-4B，改写模型GPT-5-mini，50个响应对。Evidence-Guided在GPT-5-mini下ADD/REMOVE均分为9.60/9.32，GPT-4.1-mini下为9.49/9.19；Direct Rewrite分别为9.38/7.97与9.44/8.43；Random perturbation分别为3.17/1.82与3.33/4.21。Figure 2标注GPT-5-mini的ADD、REMOVE均值9.60与9.32，以及分数1–10的计数，其中ADD在10分处标99。作者称两种评审下优势并不只属于某一个评审。

其他消融与分析

• 机制多样性（Table 6，附录B）：300个未见对、每对三个机制。Skywork+Qwen3-4B的Exact duplicate、Jaccard≥.50、Char.≥.70、Emb.≥.85为0.0%、0.0%、0.1%、1.0%；FsfairX+Qwen3-8B为0.0%、0.3%、0.2%、1.0%；RM-Mistral-7B+Qwen3-8B为0.0%、0.1%、0.0%、0.8%；Overall为0.0%、0.1%、0.1%、0.9%。作者称几乎看不到机制坍缩，且没有三个机制全部坍到一起的情形。
• SFT对照：Table 1已含仅SFT行；作者称DPO在全部目标RM与骨干上三项指标都高于SFT。
• 去偏对照：Table 4的General行控制额外训练数据量；作者称Ours在RewardHackBench与JudgeBias上高于该基线，JudgeBench大体相当。

作者指出的局限与后续方向

• 改写质量：附录D称，反事实验证依赖改写是否只改目标机制并保持其余内容；改写失败可能把忠实机制判成不忠实，或相反。作者把证据引导改写作为缓解，并在附录A报告改写质量，同时称这仍是流程中的依赖。（附录D）
• 没有人工评估：附录D称，机制质量与偏好预测由LLM评审，论文没有报告人工评估；作者认为自动指标与人工判断的一致性仍需检验。（附录D）
• 未与RATE、SAE对比：附录D称，实验基线是Contrastive Explanations与GPT-4o，没有与RATE的因果估计或稀疏自编码器的表示级分析直接比较；作者称这些路线互补。（附录D）
• 未测跨RM迁移：附录D称，每个解释器针对一个目标RM训练，论文没有评测把一个RM上训练的解释器直接用到另一个RM。（附录D）
• 判别式RM与离线去偏：附录D称，实验集中在判别式RM和离线偏好去偏，没有在生成式奖励模型或在线RL回路中测试。作者计划把框架扩展到生成式RM，并研究机制是否能在在线训练中持续更新。（附录D）
• 代码与权重：Reproducibility Statement称，审稿期间匿名提供代码，并计划在发表后公开代码和模型权重。

实验覆盖范围

• 被测目标RM为FsfairX-LLaMA3-RM-v0.1、Skywork-Reward-V2-Qwen3-1.7B、RM-Mistral-7B共3个；解释器骨干为Qwen3-4B、Qwen3-8B、Gemma4-12B，均为指令微调版（第4.1节、Table 1）。
• 成对解释评测采样300个训练未见响应对，每对生成三个机制；Contrastive Explanations由GPT-4o从预定义属性中选三个（第4.1节）。偏好构造时反事实改写采样次数W=4，模型为GPT-5.4-mini；评测改写与机制质量评审为GPT-5-mini（第4.1节）。
• 去偏评测包括RewardHackBench（含Surface、Broken Reasoning、Sycophantic Hacking、Off-topic、Style）、JudgeBiasBench与JudgeBench，并含等量一般偏好数据的General基线（Table 4）。偏差机制发现对RM-Mistral-7B使用50个响应对（第4.4节）。
• 改写质量在Skywork-Reward-V2-Qwen3-1.7B、Qwen3-4B上比较Random Perturbation、Direct Rewrite与Evidence-Guided，50个响应对，评审为GPT-5-mini与GPT-4.1-mini（附录A、Table 5）。机制多样性覆盖Table 6中的三个目标RM–骨干组合。
• 论文未报告成对评测的重复次数、LLM评审与人工的一致性，以及K_1、K_2、K_3的具体条数；附录D写明未评测跨目标RM迁移，也未与RATE和SAE直接比较。

RewardExplainer针对只输出标量的判别式奖励模型，训练一个可复用的自然语言机制解释器，并把解释接到偏差发现与RM微调上。

• 问题：比较奖励分数看不出哪一种具体回答行为造成分差。预定义高层属性可能过粗，而且每次解释都要重复干预，干预结果没有变成可复用解释器的训练信号，也没有回到RM改进。
• 方法：教师模型先为SFT提供原子、可干预机制。SFT解释器对每个偏好对采样候选，做ADD与REMOVE双向改写并用同一目标RM重打分。两个方向都符合期望的机制作为chosen，未达到BOTH成功的作为rejected，再用DPO更新解释器。之后筛出与实质质量关系较弱的机制，注入被拒绝回答，用成对奖励损失微调原RM。
• 解释结果：Table 1中，FsfairX上DPO版Qwen3-4B的BOTH为48.44%、Overall为1.65、Pref. Acc.为91.56，高于GPT-4o的35.57%、1.29、74.56和Contrastive Explanations的21.05%、0.75、74.47。Skywork与RM-Mistral-7B上，DPO骨干同样高于同表的SFT与两个基线；RM-Mistral-7B上DPO最高Pref. Acc.为Gemma4-12B的87.95。仅SFT时，Skywork上三个骨干的Pref. Acc.低于GPT-4o。
• 去偏结果：Table 4中，FsfairX的RewardHackBench Overall从Base 70.22到Ours 77.84，JudgeBias从62.59到70.41，JudgeBench从58.57到60.29。RM-Mistral-7B的RewardHackBench到78.70、JudgeBias到74.54，但JudgeBench 62.18低于Base的63.51。Skywork提升更小，RewardHackBench到77.97。Ours相对等量一般偏好微调，在RewardHackBench与JudgeBias上更高。
• 作者的结论：作者称，跨多个目标RM和解释器骨干，用反事实奖励反馈做DPO能得到更贴近目标RM观测打分行为的机制；这些开放式机制可用于识别潜在偏差并做定向去偏，在提高对reward hacking的稳健性的同时大体保留一般评价能力。