FairStress：更深入地评测 LLM 决策中的公平性

Ai2 发布 FairStress 基准，用于评测 LLM 在招聘、贷款、医疗等高风险决策中的群体公平性，不仅看最终选择，还测量模型在对抗前缀下改变决策的难易程度。基准包含 29 个领域的 300 个双候选人场景，扩展为超过 1300 万个测试用例，并提供 5 万条的 FairStress-Core 子集。在 15 个模型上，身份信息越明确行为越不对称：隐含身份时放弃正确答案的平均差距为 6.9 个百分点，显式标签时为 9.3 个百分点；Claude Opus 5 和 GPT-5.5 在无客观更优选项时约 60–65% 选择少数族裔编码候选人。测试的九种去偏方法大多未能可靠减少不对称，一种激活引导方法把 Qwen2.5-7B-Instruct 的明确决策准确率从 98% 降到 47%。