研究揭示 LLM 打分器的顺序依赖并提出 OC-SFT 缓解方法

在段落重排、回复排序和多文档问答中，LLM 可在同一提示词内为多个候选打分，但候选顺序变化会改变分数，进而改变阈值保留集合、读者答案或偏好训练数据。研究显示，nDCG@10 相差不超过 0.010 的五个训练打分器在重排后保留集合重叠度仅为 0.66-0.84，且测试的提示词层面改动均无法解决该依赖。作者提出 order-consistency SFT（OC-SFT），通过在权重中惩罚同一候选在不同顺序下分数的不一致来缓解该问题，在三个任务上保持排序质量并领先所有训练打分器的决策稳定性指标，在 12 个基模型上比顺序平均蒸馏更稳定。作者建议此类打分器的比较应报告阈值保留和读者答案，而非仅报告排序质量。代码已发布于 https://github.com/thomsonreuters/presentation-dependence。