跳到正文
原文

衡量真正重要的东西:大语言模型基准的构念效度

Measuring what Matters: Construct Validity in Large Language Model Benchmarks

arXiv· arXiv:2511.04703· NeurIPS 2025· Andrew M. Bean, Ryan Othniel Kearns, Angelika Romanou, Franziska Sofia Hafner, Harry Mayne, Jan Batzner, Negar Foroutan, Chris Schmitz, Karolina Korgul, Hunar Batra, Oishi Deb, Emma Beharry, Cornelius Emde, Thomas Foster, Anna Gausen, María Grandury, Simeng Han, Valentin Hofmann, Lujain Ibrahim, Hazel Kim, Hannah Rose Kirk, Fangru Lin, Gabrielle Kaili-May Liu, Lennart Luettgau, Jabez Magomere, Jonathan Rystrøm, Anna Sotnikova, Yushi Yang, Yilun Zhao, Adel Bibi, Antoine Bosselut, Ronald Clark, Arman Cohan, Jakob Foerster, Yarin Gal, Scott A. Hale, Inioluwa Deborah Raji, Christopher Summerfield, Philip H. S. Torr, Cozmin Ududec, Luc Rocher, Adam Mahdi·本站收录· 19 天前· 原文发表评测
AI 导读

一个由29名专家评审参与的研究团队系统审查了来自顶级自然语言处理与机器学习会议的445个大语言模型基准,发现其在被测现象、任务和评分指标上存在削弱结论效度的模式。研究指出,可靠测量“安全”“鲁棒性”等抽象现象需要强构念效度(construct validity),即测量指标真正代表现象中重要的部分,这类评测对部署前识别模型的安全与鲁棒性问题很关键。针对这些缺陷,论文提出八条关键建议和详细的可操作指南,供研究者和从业者开发大语言模型基准时参考。

阅读原文NeurIPS 2025