旧想法，新问题：基于 LLM 的新颖性评估的不稳定性

作者对基于 LLM 的新颖性评判做了一项系统性受控研究，发现仅提示词措辞的小改动就能让同一对想法的新颖性判断翻转一半以上，成对准确率变动超过 50 个百分点。研究从 OpenReview 自动挖掘评审明确肯定或质疑论文原创性的段落，只保留在其研究领域极端上意见一致的投稿，再与普通 LLM 生成的想法配对。在六种评判模型上，只告诉评判器评审认为其中一个想法新颖、另一个不新颖，就能改变它对过半相同想法对的判断，偶尔把准确率压到随机水平以下；同样的改动对一个评判器有帮助，对另一个有害。检索和更大的推理预算帮助有限，两个专门构建的新颖性评估器反而不如最便宜的提示基线。作者据此对自动化构思系统所报告的新颖性提升提出质疑。