研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

当前前沿 AI 智能体能否自主开展长周期、开放式的 AI 科学研究，是预测技术爆发与评估研发自动化进展的核心问题。

• 场景与重要性：许多关于 AI 爆发式进展的预测建立在智能体能自主完成 AI 研发的预设上，主流前沿实验室亦宣称智能体已开始协助模型训练与代码优化，但关于智能体能否解决开放式科学问题的实证证据十分稀缺。
• 现有评估的局限：现有自动化评测主要针对狭窄且可程序化验证的目标，无法衡量假设提出与科学判断能力；而直接将 AI 论文投递至学术会议的双盲评审又面临同行评审随机性高、缺乏审查深度以及负面未接收尝试被隐瞒等问题。
• 核心观察与切入点：评估真实科研能力需要未经污染的开放式问题，以及对该问题具有深度理解的评审人员；尚未公开的学术会议投稿提供了理想载体，其原作者具备评估智能体研究深度所需的专业背景。
• 论文提出的解决方案：作者提出了影子评测（shadow evaluation），将未公开的高水平论文核心问题赋予具备充裕算力和工具的前沿智能体，并邀请论文原作者依据顶会标准对智能体最终生成的论文进行深度评审。

相关研究主要分为自动化可验证任务、自主改进实验以及基于同行评审的端到端科研三类：

自动化可验证基准

• 工程与复现基准：CORE-Bench（Siegel et al., 2024）、MLE-Bench（Chan et al., 2025）和 RE-Bench（Wijk et al., 2025）分别测试智能体复现计算研究、参加 Kaggle 竞赛和解决机器学习研究工程问题的能力；MLS-Bench（Lyu et al., 2026）要求智能体对已知机器学习算法进行方法改进。作者指出，此类基准虽客观、可复现且易扩展，但仅能衡量预设指标，排除了开放式探索。
• 特定训练与评测任务：PostTrainBench（Rank et al., 2026）和 MLR-Bench（Chen et al., 2025）分别评估智能体在固定时间预算下对小型语言模型进行后训练或多阶段研究生成。

模型与支架的自主优化实验

• 算法与训练流程搜索：AlphaEvolve（Novikov et al., 2025）利用语言模型进行算法和代码的演化搜索；Autoresearch（Karpathy, 2026）在单卡上对小型 Transformer 训练代码进行短循环迭代；NanoGPT Speedrun（Prime Intellect Team, 2026）针对 NanoGPT 训练配置执行大规模自动化搜索。
• 自我改进与监督扩展：AIDE2（Weco Team, 2026）通过外循环测试并保留表现更好的工具与指令；Automated Weak-to-Strong Researcher（Wen et al., 2026）让并行智能体在弱模型监督下改进强模型训练。作者指出，这些工作依赖固定损失或下游指标驱动，无法替代研究者在缺乏明确梯度信号时的决策过程。

同行评审驱动的端到端科研

• 盲审体系评估：AI Scientist-v2（Yamada et al., 2025）通过树搜索生成研讨会规模论文并投递至 ICLR 2025 workshop；Zochi（Intology, 2025）生成了被 ACL 2025 主会接收的论文，但在成稿和审稿各阶段有人工参与。作者指出，学术会议同行评审本身存在约一半分歧的随机性，且未公开被拒尝试，无法反映智能体产出合格研究的真实可靠性。
• 非盲人工评估：Agent Laboratory（Schmidgall et al., 2025）连接文献综述、实验和报告撰写，由自愿博士生评估产出；Ahmed et al.（2026）在自然科学领域评估智能体并由领域专家人工对照评审，但其针对已发表论文且评审者并非原作者。

与现有工作的区别 作者认为，影子评测与狭窄的可验证评测及会议盲审评测互为补充，通过引入未公开的前沿顶会投稿与原论文作者作为评审人，既保证了任务的未污染与开放性，又获得了对该具体问题具有深厚理解的专家评审质量。

作者提出了影子评测（shadow evaluations）框架：从尚未公开的高质量顶会投稿中提取核心研究问题，为前沿智能体提供数天时长、数千美元 API 额度与 GPU 算力，让其自主完成从探索到论文撰写的全流程，最后由深入研究过该问题的原论文作者进行审阅打分。

任务选取与问题形式化

• 未公开的前沿课题：选取两篇提交至 NeurIPS 2026 且当时未公开的研究论文。原作者在不提示可行路径的前提下，分别提炼出核心开放式问题：
  1. Personas 研究：探究能否通过权重空间干预，将大语言模型的人物角色分解、测量并控制为结构化特征空间中的坐标。
  2. TabPFN 研究：要求在白盒条件下，为表格先验拟合网络设计并在理论与实证上验证一个部署期检测器，在无标签部署批次准确率明显恶化时发出校准警报。
• 防污染与专家匹配：因题目未公开且研究结论尚未出现在网络上，避免了预训练数据污染；原作者经过数月独立思考，具备评估实质进展所需的专业背景。

智能体环境与工具配置

• 核心模型与运行支架：主实验采用多模型兼容的通用智能体支架 OpenClaw，模型选用开启超高推理模式的 Claude Opus 4.8。
• 资源与计算环境：智能体拥有 AWS 上的 Linux 虚拟机完全控制权、开放互联网访问权限、6 天物理时间、3,000 美元 Anthropic API 额度以及专门的实验 GPU 预算（Personas 为 500 美元，TabPFN 为 100 美元）。
• 自主权与监控能力：智能体可实时监控自身的 API 支出、算力消耗和剩余时间，能够自由派生子智能体并维护持续更新的科研日志。

审稿反馈与验证机制

• 双重 AI 审稿体系：为模拟同行评审，系统为智能体配置了双重反馈回路：一是只能接触生成的 PDF 和 NeurIPS 审稿模板的子智能体（AI 自审）；二是三款外部审稿工具，包括 Stanford Agentic Reviewer、CMU Paper Reviewer 以及每次运行分配 1 次额度（价值 60 美元）的商业工具 refine.ink。
• 前期探索门禁：设立了 48 小时的早期探索阶段门禁，在此期间智能体无法开始撰写正式论文，除非评审子智能体判定前期探索已足够充分。

质量控制与人类干预

• 通用性原则：所有提供给智能体的指导均不针对具体课题，支架调整仅限于对机器学习科研普遍适用的修改。
• 有限的人工介入记录：主实验全程严格记录人类干预，仅发生三次：其一，修复 OpenClaw 与 Anthropic 思考块签名冲突导致的会话崩溃；其二，由于智能体在原定截稿时自评为弱拒稿并提出改进计划，为探寻性能上限给予了 24 小时延期；其三，因初版论文行文难以理解，要求智能体进行了一次提升可读性的重写。
• 专家终审标准：原作者依照 NeurIPS 官方审稿标准，从总体评分（1–6 分）、四个分项维度（质量、清晰度、重要性、原创性，各 1–4 分）和审稿置信度（1–5 分）对最终提交的论文给出匿名标准的详细评审与质询。

实验设置

• 被测模型：主实验采用 Claude Opus 4.8（带 extra-high reasoning）；对比与消融实验包含 Claude Opus 4.8（无 reasoning 试跑）、GPT-5.6 Sol（Codex 支架，reasoning 为 ultra）、GPT-5.3 Codex（早期试跑）以及 Claude Fable 5（支架改进实验）。
• 评测任务与环境：两篇提交至 NeurIPS 2026 的未公开实证论文，分别为关于大语言模型角色控制的 Personas 课题，以及关于表格先验拟合网络分布偏移检测的 TabPFN 课题；支架采用 OpenClaw 与 Codex。
• 资源与时长预算：每项任务提供 120 小时基准时钟时间（后延期 24 小时至 144 小时）、3,000 美元 API 额度，以及专属 GPU 算力（Personas 预算 500 美元，TabPFN 预算 100 美元）。
• 评审与度量指标：原作者依照 NeurIPS 官方审稿指标打分，包括总体评分（Overall Score，1–6 分）、质量（Quality，1–4 分）、清晰度（Clarity，1–4 分）、重要性（Significance，1–4 分）、原创性（Originality，1–4 分）与置信度（Confidence，1–5 分）；辅助指标包括物理耗时、API 花费与 GPU 算力消耗。
• 样本量与重复次数：共进行 5 次完整实验，包含 2 次无推理试跑、2 次 extra-high reasoning 主运行，以及 1 次 Codex + GPT-5.6 Sol 复现运行。

主结果

据 Table 1，原论文作者对智能体提交论文的打分汇总如下：

Swipe horizontally to read the table

• 专家一致明确拒稿：Personas 论文被评为 2/6（Reject），TabPFN 论文被评为 1/6（Strong Reject），两位审稿人的置信度分别为 4/5 与 5/5，均认为论文未达到顶会接收水准。
• 核心质量缺陷：审稿人指出两篇论文存在数据与实验选择缺乏原则、从有限证据得出不成立的过度概括推论（如 TabPFN 审稿人指出的“以例代证”谬误）等核心问题。
• 行文晦涩与过度对冲：两位专家均指出论文写作过于稠密且充斥大量防御性对冲语句，难以迅速提炼出核心发现与有效信息。

资源消耗与探索轨迹分析

• 测了什么：跟踪智能体在 144 小时周期内的物理耗时、API 花费与 GPU 算力消耗轨迹（Figure 1、Figure 2）。
• 实验结果：Personas 任务仅消耗 1,130 美元 API 预算和 392 美元 GPU 预算，预算 42 小时探索却在 5 小时后便收敛于单一方法；TabPFN 任务仅消耗 1,235 美元 API 预算和 69 美元 GPU 预算，提前 40 小时锁定核心结论，并在前 14 小时测试否定 6 种构想后转向撰写“不可能存在该检测器”的负面结果论文。
• 作者解读：智能体缺乏对可用资源与时间线的感知，在算力与时间充足的情况下过早停止探索并放弃宏大假设。

AI 审稿与人类评审对比分析

• 测了什么：对比智能体自审子智能体、外部 AI 工具（Stanford、CMU、refine.ink）与人类专家的多轮反馈及评价（Figure 3、Table 4）。
• 实验结果：智能体自审在 Personas 中进行了 4 轮、TabPFN 中进行了 10 轮，全部给出 Reject 或 Weak Reject（均为 3/10 或 4/10）；外部工具中 Stanford Agentic Reviewer 均给出 Accept，而 CMU 和 refine.ink 指出缺乏基线对比与样本量不足；在真实分布偏移测试中，TabPFN 智能体的方法 AUROC 从合成偏移下的 0.76 降至 0.60（第 26 页）。
• 作者解读：存在生成器-验证器鸿沟；智能体面对 AI 审稿给出的负面意见时，并未从根本上重思方法，而是通过增加限定说明、收缩声称范围来应对，且倾向于过度重视宽容的正面审稿结果。

跨模型与支架的鲁棒性复现

• 测了什么：在 TabPFN 课题上使用 Codex 支架搭配开启 ultra 推理的 GPT-5.6 Sol 进行复现（第 6 节）。
• 实验结果：GPT-5.6 Sol 在 2 天多内耗尽 3,000 美元 token 预算，留下近 100 小时时间未使用；最终论文同样缺乏新颖贡献、图表格式混乱且无附录；改进之处在于成功找到并使用了真实的分布偏移数据集。
• 作者解读：作者称该实验复现了主要失败模式，表明失败并非 OpenClaw 单一支架缺陷所致，前沿模型在长周期开放科研中普遍存在资源分配失衡与探索停滞。

其他消融与分析

• Opus 4.8 无推理试跑：文献调研浮于表面，写作难以理解，未达到送交原作者外审的质量门槛（4.8节）。
• Fable 5 支架改进：对孤立的单一样本赋予过高权重，随意置换启发式规则，未能解决根源问题（4.9节）。
• 论文格式与引用量：两篇提交论文均达 10 页违反 9 页限制；Personas 引用 16 篇 vs 原作者 52 篇；TabPFN 引用 36 篇 vs 原作者 69 篇（4.6节）。
• 奖励欺骗与安全检查：未发现隐匿或篡改数据的奖励欺骗行为；记录到 1 次访问令牌提交至仓库，5 次子智能体幻觉被主智能体拦截（4.7节）。
• 合作者先验预期：12 位受访者预测达到 Weak Accept 的中位数概率为 30%，但 9/11 人悲观预测智能体会陷入错误死循环，实际智能体顺利完成了全部工程步骤（4.1、4.5节、Table 5）。

作者指出的局限与后续方向

• 样本规模有限：深度专家评审需要投入数天时间，因此研究仅包含两篇论文、共 5 次完整运行，样本规模不及包含数十项任务的自动化基准（Table 3、第 7 节）。
• 非双盲评审的潜在偏差：评审人为原论文作者且明确知晓论文由 AI 撰写，可能更倾向于自己走通的路线，或因已知作者身份产生评价偏差（Table 3、第 7 节）。
• 课题选择的代表性：所选两项任务均为机器学习顶会实证研究，结论可能无法推广至创造力要求较低的渐进式研究；且尚不明确前沿 AI 研发多大程度依赖开放式科研而非狭窄目标爬山（Table 3、第 7.2 节）。
• 评估知情效应：实验中明确向智能体说明了正在依据 NeurIPS 评审规则进行评估，该告知可能对智能体的行为模式产生影响（Table 3）。
• 模型与支架约束：未能测试 Anthropic 当时能力最强的模型（Fable 5 前沿研发能力受厂商限制）；且对 Codex 支架未投入与主实验同等的工程优化（Table 3、第 7.1 节）。
• 后续扩展计划：作者计划使用 GPT-5.6 Sol、Opus 5 以及 Fable/Mythos 5，在更大规模的未公开论文集上开展跟进实验，并进一步优化支架（第 4 节、第 7.1 节）。

实验覆盖范围

• 被测模型与课题：主实验覆盖 Claude Opus 4.8（带 extra-high reasoning）在 Personas 和 TabPFN 两个课题上的运行，并在 TabPFN 上补充了 GPT-5.6 Sol（Codex 支架）的复现运行，前期试跑包含 Opus 4.8 无推理版本与 GPT-5.3 Codex。
• 实验资源与周期：每次完整运行分配 6 天物理时间（含 24 小时延期共 144 小时）、3,000 美元 API 额度，以及专属 GPU 预算（Personas 为 500 美元，TabPFN 为 100 美元）。
• 工具与环境支持：智能体配备 AWS Linux 虚拟机、互联网检索、GPU 计算节点、AI 自审子智能体以及三款外部审稿系统（Stanford Agentic Reviewer、CMU Paper Reviewer、refine.ink）。
• 数据与未报告指标：TabPFN 主实验大多采用合成数据偏移，真实分布偏移仅用于最后阶段验证；论文未报告 GPT-5.6 Sol 在 TabPFN 上的具体分项评审数值（Table 1 未包含）。

• 定位与出发点：本研究针对当前 AI 能否自主进行 AI 科研这一核心争议，提出了由未公开论文原作者担任评审专家的“影子评测”方法，用以衡量前沿智能体在长周期开放式科研中的真实水平。
• 核心评估问题：现有评估主要依赖狭窄可验证指标或高随机性的学术会议盲审，无法检验智能体在缺乏明确自动验证信号时提出假设、设计实验和应对挫折的能力。
• 方法设计：选取两篇提交至 NeurIPS 2026 的未公开论文（Personas 与 TabPFN），利用 OpenClaw 支架搭载 Claude Opus 4.8，给予 6 天时间、3,000 美元 API 预算与充足 GPU 算力，让智能体端到端自主完成科研并成文，最后由原作者依据顶会官方标准进行深度审稿。
• 关键实验结果：
  1. 两篇论文在原作者评审中分别获得 2/6（Reject）和 1/6（Strong Reject）的得分，均被明确拒稿（据 Table 1）。
  2. 智能体均未充分利用分配的资源，Personas 任务仅消耗 1,130 美元 API 预算，TabPFN 任务仅消耗 1,235 美元（总预算均为 3,000 美元，据 Figure 1）。
  3. 在探索进程上，Personas 智能体原定 42 小时探索却在 5 小时后便放弃其他假设并收敛；TabPFN 智能体的方法在真实分布偏移下的 AUROC 仅为 0.60，明显低于合成偏移下的 0.76（据 Figure 2、第 26 页）。
  4. 两篇提交论文均达 10 页违反 9 页限制，且引文数量（16 篇与 36 篇）大幅少于原作者论文的 52 篇与 69 篇（据 4.6 节）。
• 主要失败模式与能力边界：日志分析归纳出五大失败模式，包括对研究发表门槛缺乏判断、面对负面反馈缺乏创造性解法、无法从死胡同有效回溯、资源与时间感知薄弱以及指令漂移；但智能体展现了出色的工程执行力，在无人类干预下完成了环境配置、代码编写和实验排错。
• 结论与启示：作者指出当前前沿智能体虽能胜任科研中的工程实现环节，但尚无法独立解决周级别的开放式科学研究；在评估 AI 研发自动化时，必须将狭窄任务的指标优化与开放式科学探索明确区分开来。