结果准确率并不足够：对齐奖励模型的推理过程
Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models
AI 导读
生成式奖励模型（GenRM）与 LLM-as-a-Judge 因只优化结果准确率，会出现判断正确但理由错误的欺骗性对齐。论文提出 Rationale Consistency 指标量化推理过程与人类判断的一致性，可检测该问题。结合该指标与结果准确率训练 GenRM，在 RM-Bench 达 87.1%、JudgeBench 达 82%，平均超仅结果基线 5%，用于 RLHF 后在 Arena Hard v2 创意写作任务提升 7%。