我们能信任 LLM 判断研究想法是否新颖吗？

Ai2 发布 Old Ideas, Novel Problems 研究及配套基准、数据与代码，考察 LLM 评委判断科研想法新颖性的可靠性。基准从 ICLR 2026 同行评审中挖掘审稿人对原创性的讨论，构建 154 个高新颖性和 145 个低新颖性的人类研究想法，另让简单生成器产出 154 个 AI 想法组成人机配对评测，测试了 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6 六种评委模型。在人机配对评测中，GPT-5.4 仅因提示词改动准确率就从 93.5% 跌至 40.9%，低于随机水平；同一改动也让 Claude Opus 4.6 在人类想法数据集上波动 21 个百分点。