研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究
Can AI agents conduct open-ended AI research? Early evidence from two case studies
AI 导读
研究者提出一种名为影子评测的新方法，把两篇尚未公开的 NeurIPS 2026 投稿的核心研究问题交给前沿 Agent，由原文作者按会议审稿标准打分。实验给 Agent 六天时间、3000 美元 Anthropic API 额度、GPU 算力和完整虚拟机与开放网络访问，Agent 独立完成了全部工程环节，但两篇论文均被作者明确拒稿，分别评为 Reject 和 Strong Reject。研究归纳出五类反复出现的失败模式：对可发表研究标准的判断不足、面对研究设计缺陷缺乏创造性应对、无法从死胡同有效回退、资源与时间意识薄弱、指令漂移。用 GPT-5.6 Sol 与 Codex 复现的实验重现了几乎全部失败模式。研究未发现明显的奖励作弊，但记录到一次访问 token 被提交进仓库，以及五次子 Agent 幻觉或误报结果被主 Agent 发现。
推荐理由
两项影子评测用未发表论文的原始问题考察前沿 Agent，给出可复现的失败模式清单与专家评分，为判断 AI 研发自动化进度提供新方法。