跳到正文
原文
论文追踪· arXiv:2610.30785·本站收录· 原文发表

不可见化作为语言模型概率偏差的来源

AI 导读

研究者在 6600 局双瓮贝叶斯实验中测试 OpenAI 和 Anthropic 的主流模型,发现模型常按报告者的种族描述而非证据本身拒绝评估其报告,把信息当作无价值处理。差距最大时,模型拒绝评估黑人描述报告者的比例达 46%,白人描述为 9%;而当模型真的进行评估时,黑人描述的报告者反而获得略高的信任。这种偏差在比较平均信任度或只看已评估案例的审计中不可见,随推理力度增大,跟随具体词语而非类别(模型对"Black"触发种族考量,对其西班牙语译词 negro 和"Indigenous"则不会),从业者会先试的警告指令反而使其加重。作者还提出一种按多轮揭示的真实结果给模型信任度打分的方案,可降低拒收率偏差,在来自 Anthropic 和 OpenAI 的五个配置中的四个里,最后一轮的种族信任差距降到 0.02 以下。

阅读原文arxiv.org