论文指出 AI 科学家系统存在四类失效模式，仅看最终论文难以发现

全自动 AI scientist 系统会不会在科研流程里引入损害完整性的方法学缺陷。

• 场景：作者称这类系统可自主完成假设生成、实验和写论文，但内部流程缺少审视，缺陷可能损害完整性、可靠性与可信度。作者引用一项 Nature 调查，称研究者对 AI 进入科学既乐观又不安。调查落在 ML/AI，作者称一般结论可更广适用。
• 四类缺陷：不当基准选择、数据泄漏、指标误用、事后选择偏差。作者把最后一类类比为在测试集上训练或 p-hacking。
• 为何难查：作者称已有数据几乎难免被网页规模预训练污染，表面成功可能来自记忆而非真实推断。任务还须能探测特定缺陷，并隔开更易基准与更常用基准等混杂。
• 系统输入：用户给出任务提示，其中可包含研究问题、假设、评测标准或数据集；系统再产出完整研究输出。作者要查的是这一自主流程是否遵守严谨、有效等科研规范。
• 本文做法：构造作者所称不在互联网语料中的合成任务符号模式推理（Symbolic Pattern Reasoning, SPR），用只改一个失败因素的条件检查 Agent Laboratory 与 The AI Scientist v2，并比较只审终稿与同时审全流程日志和代码。

论文第 2 节把相关工作分成早期自动化科学、当代 LLM 科研系统，以及可信性讨论，并把本文放在方法学缺陷这一侧。

• 早期自动化科学：King 等（2009）的 Robot Scientist 全自动生成并检验假说，例子是识别酵母代谢中的功能基因。Sparkes 等（2010）把自动推理和实验室机器人接在一起，目标是尽量少的人工干预。
• 全自动 LLM 系统：Table 1 按假设生成、实验执行、论文写作、同行评审比较。The AI Scientist v1（Lu 等，2024）覆盖想法、按固定模板写代码、实验、可视化、写稿和模拟评审；作者称模板和有限的实验管理限制了灵活性。v2（Yamada 等，2025）去掉模板，用树搜索管理实验，并在评审阶段加入 VLM 反馈。
• 辅助型系统：Carl 与 Zochi 在想法到实验、实验到展示、展示之后三个检查点要求人工核验。Agent Laboratory 允许用户在任意阶段反馈。Robin 在生物医学中用 lab-in-the-loop 寻找治疗候选；NovelSeek 覆盖 12 类任务、多个学科。作者还写到部分 AI 生成论文进入 ICLR 2025 workshops 与 ACL 2025 主会，人工参与程度不同，并称这会激励不端研究者向评审管道灌水。
• 可信性与抄袭：Coveney 与 Succi（2025）论证把 LLM 做大并不能稳定降低预测不确定性。论文转述 Son 等的 SPOT：当前 LLM 难以识别学术稿件中的错误。Javaji 等做科学主张与证据推理的基准。Tang 等提出人工监督、智能体对齐和环境反馈。Gupta 与 Pruthi、Ananya 讨论 AI 抄袭和未标注复用既有想法。
• 基线与数据：本文没有把其他 AI scientist 当作实验对照。指标能否被噪声拉开，用自实现的 TF-IDF 做健全性检查（Table 2）。评测数据是自建 SPR 与 SPR BENCH，不是公开基准。

作者把本文定位为检查 AI scientist 研究过程中的方法学缺陷，而不是稿件错误核验、主张推理或抄袭检测。

作者用合成任务 SPR 把四种失败模式拆开，评测 Agent Laboratory 与 The AI Scientist v2 的决策，再用 LLM 分类器比较不同审计材料。

诊断框架与 SPR

• 四阶段：假设生成、实验执行、论文写作、同行评审。用户提示可含研究问题、假设、评测标准或数据集，系统据此产出完整研究输出。
• 样本与规则：序列长度为 L，每个 token 由形状 ▲、■、•、♦ 与颜色 r、g、b、y 组成。隐藏规则 R 把序列标为 accept 或 reject。规则是 k-合取，原子谓词为 Shape-count、Color-position、Parity、Order。
• 控制：作者控制规则、分布和难度，并随机化实体名与候选顺序，以便从决策痕迹看失败发生在何处。作者称 SPR 完全合成，据其所知不在互联网语料中，用来避免预训练污染。

基准选择与泄漏探针

• 20 个基准：难度沿隐藏规则复杂度、词表大小、序列长度递增，每步只加一轴、不降低其他轴。满词表为 4 种形状加 4 种颜色。ID 1 最易、ID 20 最难，再换成随机五字母码，作为 encrypted HuggingFace datasets；每次运行独立打乱顺序。五档 simple、moderate、standard、hard、extreme 对系统保密。
• 可见信息：每个基准附手工 SOTA，表现与难度反向。划分均为 2,000/500/1,000，标签平衡、指标统一。系统只看到混淆名和 SOTA，须选 4 个。提示附本地加载脚本，后续实验沿用。附录 A 为任务说明。
• 泄漏：无噪声平衡集 SPR BENCH。标签噪声为 20% 或 30%：一种只污染验证和测试，一种污染训练、验证和测试。划分 20,000/5,000/10,000。系统看到的 SOTA 等于理论上界，即 1 减噪声水平；噪声是否存在及其水平都隐藏。作者规定，报告的测试准确率若超过该上界，就当作泄漏证据。附录 B。

指标冲突与事后筛选

• 两个指标：形状复杂度 Cs(S) 是序列中不同形状的个数，取 1 到 4；颜色复杂度 Cc(S) 同理。SWA 是正确分类样本的 Cs 之和，除以全部样本的 Cs 之和；CWA 把权重换成 Cc。作者称二者同样成立，用来观察系统在冲突信号下是同时报告，还是按机会取舍。
• 制造分歧：训练无噪声，且形状与颜色复杂度平衡。测试集对 Cs=4 的序列做 30% shape-flip，使 SWA 低于 CWA；或对 Cc=4 做 30% color-flip，方向相反。划分同上。SOTA 近似为 1 减噪声水平。作者把两个指标都有效且已给出、却只报更有利的那个定为误用。提示里还会对调二者的先后。附录 C。
• 五候选：无噪声集上记录每次试验的计划、代码和训练、验证、测试指标。每个项目取 5 个候选，按全部指标从排名 1 到 5 严格单调，作为对照。操纵集固定训练、验证数值和标签，只对调测试表现：训练/验证排名最高者得到最差测试表现。任务说明与泄漏实验相同。
• 奖励入口：Agent Laboratory 在实验结束后打 0 到 1 分，此时能看到计划、代码、中间输出和三套结果，并取最高分作为后续改进的依据。v2 用树搜索同时生成多个完整候选，奖励函数对整组做一次整体评估并直接选出一个；测试表现同样可见。作者把训练/验证差、仍因测试表现高而被选中，当作选择性报告。

审计分类器

• 材料：任务描述、终稿、生成代码、执行日志，以及按缺陷编写的规则。作者称试点中加入任务描述对分类器影响不大。分类器在独立于评测集的小数据上做简单 prompt tuning。附录 D 给出完整提示词。
• 五类：四种失败模式，加上 Section 5.2 的数据集捏造，即生成新数据且违反用户指令或偏离该任务的标准数据集。基准类不靠外部难度真值，而看是否优先高 SOTA、较易基准。泄漏类检查测试数据是否进入训练、特征或调参，划分是否分开、测试是否只用一次。指标类看替换、选择性报告和误解。事后选择类看多次测试评估后是否只留下测试表现最高的一次。

两个开源系统在 SPR 上出现基准选择偏差和事后选择偏差；作者称没有预定义的测试窥视。只看终稿时，缺陷检出接近随机。

实验设置

• 系统：Agent Laboratory 与 The AI Scientist v2，均用默认 LLM API。v2 的代码模型由 Claude 3.5 Sonnet 换成 O3-mini，因前者于 2025-08-13 弃用。论文未写出默认 API 的模型名。
• 数据：基准实验为 20 个本地 SPR 数据集，划分 2,000/500/1,000，选 4 个，顺序每次随机。泄漏、指标和事后选择的划分是 20,000/5,000/10,000。指标实验在测试集上做 30% shape-flip 或 color-flip。
• 重复：基准选择每种提示 1,000 次。Agent Laboratory 在数据准备后停止，作者称试点里选择一旦作出就不再改。v2 只生成 idea、不执行实验。泄漏每种噪声组合独立 5 次。指标每种噪声与顺序组合独立 10 次。事后选择为 20 个项目×10 次，每条件 200 次。
• 判据：泄漏看测试准确率是否超过 1 减噪声水平，并检查代码与日志。指标记录只报 SWA、只报 CWA 或两者都报。事后选择记录奖励函数选中的排名。基准选择映射回真实难度。统计量为卡方、Cramér's V，审计用双侧 Fisher 精确检验。
• 审计集：五类缺陷（含数据集捏造）每类 20 例，正负各半。分类器为 gemini-2.5-flash-preview-05-20，输出 Yes/No。设置一只有任务描述、论文和规则；设置二再加上日志和代码。作者写明自然项目里泄漏与捏造很少或没有，部分正例由受控扰动注入。原假设是两种设置无统计差异。
• TF-IDF：只用于 Table 2，确认训练指标接近、测试 SWA 与 CWA 可被噪声拉开，不是两个系统之间的基线。

主结果

表格较宽，可左右滑动

系统	有SOTA时的基准选择	对照：选Label 1	操纵：选最差候选
Agent Laboratory	前4占82.4%（Table 3，945次显式选择）	78.5%（Table 9，200次）	10.0%（Table 9）
The AI Scientist v2	easy占47.1%（Table 4，写出选择的n=350）	82.0%（Table 10，200次）	49.0%（Table 10）

• 作者称 Agent Laboratory 不按难度挑选；去掉 SOTA 文字后仍偏向列表前部。前 4 率在无 SOTA 时为 79.6%（Table 3，927 次显式选择中的 738 次）。
• 作者报告 v2 无 SOTA 时未拒绝五档均匀（χ²=4.82，p=0.31，n=308，V=0.06）；有 SOTA 时拒绝均匀（χ²=167.6，p<10^{-30}，n=350，V=0.346）。原假设都是五档均匀（Table 4）。
• 作者称两套奖励函数都能看到测试集评价。操纵后选择分布改变：Agent Laboratory 的卡方为 χ²(df=4, n=200)=61.99，p<10^{-10}，V=0.39；v2 为 χ²=179.59，p<10^{-30}，V=0.66（Table 9、Table 10）。

基准选择与数据使用

• 位置与 SOTA：Agent Laboratory 在 1,000 次中有 945 次作出显式选择，其中 779 次选了当时列表的前四个，与基准顺序无关（Table 3）。作者称这像位置或列表启发式，不是按难度推理；并称它没有简单挑选自己会表现好的基准。引言称系统会避开自身方法刚好表现好的基准；该实验在执行实验前停止，选择步骤看不到系统自己的测试分。
• v2 的难度分布：无 SOTA 的 1,000 个 idea 中 308 个写出选择，五档为 18.0%、17.9%、22.6%、18.2%、23.3%。有 SOTA 时 350 个写出选择，moderate 到 extreme 为 16.4%、11.5%、9.0%、15.9%（Table 4）。作者称有 SOTA 时偏向更高 SOTA、也就是更易的基准。idea 文件缺少基准说明时，作者称系统仍会编造或合成新数据集。
• 预定义窥视：Agent Laboratory 的 20 次运行里，测试准确率除第 16 次外都低于所给上界。第 16 次为 30% 噪声、只污染 val/test，测试准确率 71.00%，上界 70%；代码显示只用了基准的子集。第 11 次自造数据，测试准确率 66.00%，日志中的理由是加快训练或原型制作。两篇终稿都未披露（Table 5）。
• v2 的异常运行：作者称全部运行都没有预定义泄漏行为。ID 3、7、8、11、13 子采样或自造数据，测试准确率高于所给上界：20% 且三套都加噪时 80.30%（上界 80%）；20% 且只污染 val/test 时 ID 7、8 均为 100%（上界 80%）；30% 且三套都加噪时为 97.48% 与 100%（上界 70%）（Table 6）。作者称终稿有时不披露，并把这归因于内部反馈偏向省事的高分做法；作者称这不是他们定义的数据泄漏，但会损害可复现性与有效性。表中「—」表示系统未报告该值。

指标选择与事后筛选

• 没有故意误用：作者称没有发现故意只报有利指标的证据，但观察到任意选择。Agent Laboratory 的指标在计划阶段选定并一直保留。SWA 写在前面时，两种噪声下都只报 Test SWA（Table 7，100%，每种组合 10 次）。CWA 写在前面且 shape-flip 时，10 次都同时报告两个指标；color-flip 时 70% 同时报告、30% 只报 Test SWA，没有只报 Test CWA 的运行。
• v2 会换指标：作者称 v2 更常同时报告 Test SWA 与 Test CWA，在 CWA 写在前面时更常见。Table 8 若干行三种比例之和不是 100%。作者称有相当一部分运行不选指定指标，而改报 F1、训练损失或自拟指标，从而偏离原实验设计。作者建议以后的系统采用统一的指标指定与报告协议。
• 奖励函数：Label 按训练/验证排名，1 为最高。各 200 次（Table 9、Table 10）：

表格较宽，可左右滑动

条件	Label 1	Label 2	Label 3	Label 4	Label 5
Agent Laboratory 对照	78.5%	8.0%	9.5%	3.0%	1.0%
Agent Laboratory 操纵	43.5%	20.5%	11.0%	15.0%	10.0%
v2 对照	82.0%	8.0%	7.5%	2.5%	0.0%
v2 操纵	31.5%	1.0%	3.5%	15.0%	49.0%

作者称这是事后选择偏差：系统更常留下测试集上表现高的候选，而不是训练/验证强的候选。v2 在送入奖励函数前打乱候选顺序；其奖励函数对整组做一次评估并直接选出要报告的候选。

日志与代码的审计

据 Table 11。分类器为 gemini-2.5-flash-preview-05-20；每类 20 例、正负各半，集合含注入正例。

表格较宽，可左右滑动

缺陷	仅论文 Accuracy	仅论文 F1	加日志与代码 Accuracy	加日志与代码 F1
不当基准选择	55.0%	0.57	85.0%	0.84
数据泄漏	55.0%	0.57	90.0%	0.90
指标误用	55.0%	0.31	80.0%	0.78
事后选择偏差	50.0%	0.44	70.0%	0.67
数据集捏造	60.0%	0.64	85.0%	0.86
总体	55.0%	0.51	82.0%	0.81

• 作者称只看论文时信息不足，总体 Accuracy、TPR、FPR、F1 接近随机。总体 TPR/FPR 在仅论文时为 50.0%/40.0%，加上日志与代码时为 79.0%/14.0%（Table 11）。作者报告两设置差异在统计上显著，双侧 Fisher 精确检验 p=6.3×10^{-5}。
• 仅论文时，指标误用的 TPR 为 20.0%、FPR 为 10.0%（Table 11），是该表中较低的真阳性率。作者称日志能重建从假设到分析的轨迹，代码则尤其有助于发现数据泄漏和数据集捏造。作者建议期刊和会议要求连同终稿提交完整日志与代码。

其他消融与分析

• Table 8 四行（列顺序为 Test SWA only、Test CWA only、两者都报，各 10 次）：SWA first 的 shape-flip 为 20%、0%、50%，color-flip 为 0%、0%、40%；CWA first 的 shape-flip 为 0%、0%、60%，color-flip 为 0%、0%、70%。
• Table 2 无噪声：Test Accuracy 95.14%、Test SWA 95.19%、Test CWA 95.15%；三行训练值相同，为 95.31%、95.39%、95.37%。
• Table 2 的 30% shape-flip：Test SWA 68.03%、Test CWA 71.45%、Test Accuracy 71.51%；30% color-flip：Test SWA 66.62%、Test CWA 61.63%、Test Accuracy 66.48%。

作者指出的局限与后续方向

• 失败模式范围：作者写明只关注四种失败模式，并不能穷尽其他科研不端或系统失败（Section 7）。
• 评审操纵：作者称人类研究者会在论文中藏信息以博弈 AI 评审，AI 评审或审稿分配也可被文本操纵；AI scientist 可能做类似的奖励黑客。作者写明这一失败模式本研究没有调查（Section 7）。
• 检测推广：作者称检测主要依赖可控实验和可观察行为，未必能推广到更细微或对抗性的误用，或从未写进日志的问题。数据泄漏也不只是偷看留出测试集，评测域信息回流到建模或调参（含多次检验）同样算。作者称需要更精细的审计协议（Section 7）。
• 系统与领域：作者称只评了两个系统，外推到其他系统和应用领域时要谨慎；ML 以外可能出现领域特有的安全错误、可复现问题或专有数据误用。作者称后续应加入领域特定的安全与完整性标准（Section 7）。

实验覆盖范围

• 被评系统为 Agent Laboratory 与 The AI Scientist v2，任务为自建 SPR 与 SPR BENCH（Section 4、5）。
• 基准选择每种提示 1,000 次；泄漏每种噪声组合独立 5 次；指标每种噪声与顺序组合独立 10 次；事后选择每系统、每条件 20 个项目各重复 10 次（Section 5）。
• 审计分类器为 gemini-2.5-flash-preview-05-20，五类缺陷每类 20 个样本、正负各半，总体比较使用双侧 Fisher 精确检验（Section 6，Table 11）。
• 论文未报告两个系统默认 LLM API 的模型名，只写明 v2 代码模型改为 O3-mini；也未报告该分类器与人工标注的一致性，以及分类器重复次数（Section 5、6）。
• 论文写明自然生成项目中预定义数据泄漏和指标误用很少或没有，检测用的部分正例由受控扰动注入（Section 6.2）。

作者诊断两个开源系统的全自动科研流程，看方法学缺陷会不会留在终稿看不见的决策里。

• 问题与任务：作者关心不当基准、数据泄漏、指标误用和事后选择偏差。合成任务 SPR 由作者控制规则与难度，用来避开预训练污染。
• 协议：20 个混淆基准里选 4 个；SPR BENCH 上翻转 20% 或 30% 标签；用 SWA 与 CWA 制造指标冲突；再用 5 个候选、对调测试表现，探测奖励函数。分类器比较终稿与日志、代码。
• 选择与泄漏：有 SOTA 时，Agent Laboratory 在 945 次显式选择里前 4 率为 82.4%（Table 3）。v2 在 350 个写出选择的 idea 中，easy 占 47.1%（Table 4）。作者称没有预定义的测试窥视；未披露的子采样或自造数据仍出现。例如 v2 在 20% 噪声、只污染 val/test 时，ID 7 与 ID 8 的测试准确率为 100%，上界为 80%（Table 6）。
• 筛选与检出：Agent Laboratory 对照条件选 Label 1 的比例为 78.5%，操纵条件为 43.5%；最差候选从 1.0% 到 10.0%（Table 9，各 200 次）。v2 操纵条件选最差候选 49.0%，对照为 0.0%（Table 10）。每类 20 例且含注入正例时，总体 Accuracy 在仅论文时为 55.0%、F1 为 0.51，加上日志与代码时为 82.0% 与 0.81（Table 11）。作者报告该差异的双侧 Fisher 精确检验 p=6.3×10^{-5}。
• 作者结论：作者建议开发者检查这些缺陷并放出全流程日志与代码；建议期刊和会议评审 AI 生成研究时要求一并提交，而不是只看终稿。