论文发现 LLM Agent 存在来源偏好，并测试两种缓解路径
Source Preference in the Wild: How LLM Agents Favor Items by Source, and How to Reduce It
AI 导读
一项研究在三个领域、12 个 Agent 模型上考察端到端搜索中的来源偏好，发现每个模型都会偏好某些来源、回避另一些来源，且各模型对哪些来源受偏好大体一致。当来自偏好来源的商品少满足一项要求、而更优商品来自不受偏好来源时，前者被选中的概率约为三分之二，反向情形几乎不会发生。研究还发现，标识来源的信息本身就会影响选择：隐藏来源会削弱偏好，把商品重新标注为偏好来源则提高其被选中率。作者测试了两条成因路径，一是奖励更优商品的训练会让来源成为需求满足度的捷径，二是信息缺失会触发对来源的预设印象；补全缺失信息或用提示词对抗这些预设印象，都能降低来源偏好。