自动发现奖励模型偏见

论文提出并研究了自动化发现奖励模型偏见的问题，用 LLM 迭代提出和精炼候选偏见。该方法能复现已知偏见，也发现新偏见，例如开源权重奖励模型 Skywork-V2-8B 常偏好包含冗余空格和幻觉内容的回答。论文称进化式迭代优于扁平 best-of-N 搜索，并通过合成注入偏见验证了流程的召回率。作者希望这项工作推动用自动化可解释性方法改进奖励模型。