Hannah Li 研究:用户适应为何扭曲 LLM 基准与 A/B 测试
Why User Adaptation Distorts LLM Benchmarks — CASRAI
AI 导读
哥伦比亚商学院研究者 Hannah Li 于 2026 年 11 月 12 日发布预印本(arXiv:2611.17239v1),证明用户适应使离线基准与线上 A/B 测试度量不同的统计量,导致排名反转。用户收到高质量回答会升级到更难任务,收到无用回答则降低难度或离开,使 A/B 测试的均值差估计混入任务难度变化。两轮邮件写作实验显示,M1 在各任务层级上都不低于 M0,常规任务双方 90% 可用、困难任务 70% 对 30%,但其 80% 的用户升级到困难任务,两轮平均成功率 81.10% 低于 M0 的 86.65%,线上 A/B 测试因此选中能力更弱的 M0。研究还证明轮间依赖会放大估计方差,并解释了奖励作弊与新奇效应,模型可不提升核心能力而靠引导用户提出更简单的提示词抬高聚合指标。作者建议评测团队报告任务分层准确率、提示词构成变化与用户任务升级轨迹等联合指标。
相关论文