忠实还是虚构？LLM 评审中合理化偏差的因果框架
Faithful or Fabricated? A Causal Framework for Rationalization Bias in LLM Judges
AI 导读
研究者提出因果框架检验 LLM 评审的线索不变性，发现标签与安慰剂扰动下评审存在明显的线索锚定式合理化。其提出的 PROOF-BEFORE-PREFERENCE（先锁证据、打分、再排序）缓解方法较基线明显提升线索不变性。框架设计 Blind、Truth、Flip、Placebo、Reveal-After 五种线索干预，以及量化结果锚定与理由锚定的指标，包括标签对齐修辞与解释漂移，并辅以一致性和刻板印象入侵检查。实验使用由传统抽取式模型和 LLM 生成的 1000 条摘要新数据集，作者还用冗长与置信度线索设计锚定攻击，并与结构化思维链提示比较缓解效果。