BiasReducer：面向奖励模型的自适应偏见缓解方法

BiasReducer 是一个只编辑奖励模型线性奖励头的轻量框架，用于缓解奖励模型对长度、自信等表面属性的偏好。它先用 SAE 风格的编码器学习奖励模型对哪些属性敏感，再学习调整奖励头的方向和幅度以降低对每个属性的依赖，最后针对新数据集按属性影响力排序并选择相关编辑。在五个奖励模型上，BiasReducer-M 在三个基准上平均提升 8.3、18.0 和 6.9 个百分点，优于两个基于训练的基线。该增益可迁移到下游，减少不必要的冗长和谄媚，同时保持相近的评判质量。