Tampered ML：评估 LLM 对机器学习研究的判断力
Tampered ML: Evaluating LLM Judgment of Machine Learning Research
AI 导读
研究者推出 Tampered ML 基准，用 1,858 对实验提案测量 LLM 甄别机器学习方法缺陷的能力，前沿模型成绩高于随机但远未可靠。研究动机是自动化部分对齐研究，这要求系统在识别提案缺陷、判断实验能否支持其结论等难以监督的任务上可靠表现。基准中每对题目由一篇已发表机器学习论文重构的实验提案，和一个仅做最小改动、引入特定方法缺陷的反事实版本组成，模型需在两种呈现顺序下选出方法上更严谨的提案。人工验证估计 86% 的题目有效（95% CI：81-91%）。Opus 5 准确率为 77.9%；模型对呈现顺序高度敏感，并偏好看起来更具体、透明或常规的有缺陷设计。