AutoSciBench：自动生成科学智能体评测基准的框架

科学智能体评测跟不上能力进步：现有基准容易饱和，而科学领域更新基准依赖大量时间、人力和专家。

• 出现场景：作者认为，智能体能力快速提升后，固定基准逐渐难以区分能力并暴露失败模式。作者称药物发现等场景中，智能体分析对研究很关键，但基准更新成本高。
• 现有不足：人工基准要为可执行任务准备问题、数据和可评分答案。自动出题工作主要生成LLM问题；作者称其未覆盖通过交互获取信息，以及从间接证据做科学推理。
• 核心观察：作者区分两类要求。智能体须经规划、工具执行、观察和分析从环境取证。科学分析的中间结果通常只提供关于量或假设的证据，而不给出分析是否正确的显式反馈，因此任务应考察重查原始数据、核验中间结果和整合证据。
• 本文做法：提出 AutoSciBench。每个任务由高层 concept（领域、数据模态、所需操作）和低层 recipe（问题、数据与标准答案如何构造和核验）组成；用 solver 轨迹和 judge 反馈修订 recipe 或 concept，并把精炼经验用于后续概念生成。评测领域为计算生物学、材料科学和临床影像。

论文第2节把相关工作分成人工基准和自动基准生成；作者把本文放在后者未覆盖的科学智能体任务上。

人工整理的LLM与智能体基准

• 固定问答：Hendrycks等（2021）、Cobbe等（2021）、Chen等（2021）、Rein等（2024）用固定问题评测一般知识、数学推理、代码生成和科学推理，答案来自输入或参数知识。
• 可执行环境：SWE-bench（Jimenez等，2024）评测仓库级软件工程；WebArena（Zhou等，2024）和OSWorld（Xie等，2024）分别评测网页与计算机环境。
• 科学任务：LAB-Bench（Laurent等，2024）、ScienceAgentBench（Chen等，2025）和CompBioBench（Nair等，2026）评测科学推理、数据分析和领域工具使用。论文称构造这些基准需要大量人力和领域专家，科学领域尤其依赖昂贵的专家标注（Chan等，2026），因而难以随能力进步持续更新。

自动基准生成

• 按目标生成：AutoBencher（Li等，2025）和BenchMaker（Yuan等，2026）从声明式目标或预定义质量标准生成评测实例。
• 分阶段或变换：BenchAgents（Butt等，2024）和Benchmark Self-Evolving（Wang等，2025）把构造分成多阶段，或用预定义变换扩展已有基准。
• 安全提示词：S-Eval（Yuan等，2025）按分层风险分类体系生成并筛选提示词。论文称这些方法主要面向LLM评测，而不是需要交互取证和从间接证据推理的科学智能体任务。

基线与数据集

• 对照基准：实验以人工整理的CompBioBench、MatTools（Liu等，2025）和MedCTA（Ashraf等，2026）为种子和对照，分别对应计算生物学、材料科学和临床影像。

作者称，本文用高层与低层计划构造问题和数据，并依据 solver 行为做反馈引导的精炼，以针对上述两类要求。

AutoSciBench 把指定领域上的基准生成做成循环：概念生成、recipe 规划、任务实现、solver 评测、再精炼。完成轨迹蒸馏成经验，供后续概念使用。

概念：高层评测要求

概念写成 c=(d,m,O)，d 为科学领域，m 为数据模态，O 为所需操作集合。操作指应从数据中推断、估计、比较或整合的内容，从而把“评什么”和具体题面分开。

• 种子概念：对种子问题及其文件抽出领域、模态和操作。计算生物学用 CompBioBench 全部 100 题；材料科学从 MatTools 代码生成任务抽 100 题；临床影像从 MedCTA 训练集抽 100 题。
• 文献先验：在指定领域检索文献。附录写明优先近五年论文或预印本，抽出从输入到输出的 workflow，再概括成可复用 pattern。二者与种子概念一起作为新概念的来源参照。
• 批量：附录 A.4 写明初始概念每批 5 个，并提供已提出概念以避免重复。第 4.1 节的实验是每个领域五轮、每轮 10 个概念。

配方与任务实现

recipe 把概念译成具体任务，使答题依赖预期分析得到的观察，而不是只靠题面或参数知识。附录将其定为七项：数据策略（复用、网页获取或模拟）、数据计划、构造机制、标准答案计划、答案规范、工具资源、问题隐藏策略。临床影像鼓励复用已有图像或获取真实医学图像，而不是模拟图像。

实现得到 Q_t=(q_t,F_t,a_t)，即问题、数据文件和标准答案；t=0 为初始概念及其 recipe。agent 获取或构造数据，计算并核验答案，再按 recipe 写问题。问题只给分析目标、输入文件和答案格式，不给解题步骤。附录 A.6 规定评分只做精确匹配，答案为单一字符串。

求解、评判与精炼

• 试验：每个任务做 K 次独立求解。正文用 K，附录 A.7 写明为 3 次，且不提供标准答案，用精确匹配判对错。
• judge：看可核验性（问题与数据是否支持可评分的答案）和难度（有效试验中的经验求解率）。全部、部分、零次成功分别标为 easy、moderate、hard；基础设施错误不计入。轨迹还用来找绕过预期核验或证据整合的路径。
• 修订：若不同时可核验且 hard，则修订。recipe 修订保持概念，改变数据与问题设计，使解题不能停在直接的中间输出。连续四次 recipe 修订仍未同时满足两条标准后，改为修订概念并重写 recipe。
• 轮数与入选：每个概念最多 10 轮，含初始构造轮。最终基准从每次精炼运行中选一个任务，优先更高难度评级。

经验引导的后续概念

精炼结束后，无论是否得到 hard 且可核验的任务，都把各轮设计、solver 行为和未解决问题写成经验卡。字段为经验摘要、有用设计模式、反模式、选择指导和生成指导。后续概念同时使用来源先验和经验卡，并给出已生成概念以减少重复。

附录 A.10：经验引导生成最多提供 12 张经验卡和 120 个已生成概念，超出则按固定种子均匀抽样。各阶段超时 3600 秒，推理力度为 high，温度和 token 上限用 CLI 默认值。生成器为 Claude Code CLI 上的 Claude Opus 4.8，以及 Codex CLI 上的 GPT-5.6 Sol；同一生成条件各阶段用同一模型，该模型在精炼中也充当 solver。附录给出各阶段提示词。

实验设置

• 生成：三领域种子为 CompBioBench、MatTools、MedCTA。每个生成条件、每个领域经五轮、每轮 10 个概念，构造 50 个任务；每概念最多 10 轮，每轮 3 次求解。每次运行选一个任务，优先更高难度。
• 求解模型：Table 1 为 Claude Opus 5、Claude Opus 4.8、Claude Opus 4.7、Claude Sonnet 5、Claude Haiku 4.5、GPT-6 Astra、GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna、GPT-5.5。两个生成器在精炼中也作为 solver。
• 指标与对照：生成基准以及材料科学、临床影像任务用精确匹配准确率。CompBioBench 人工列用官方排行榜；∗表示该条目推理力度不是 high，或未报告力度。第 4.2 节把配置指向附录 A.10，其中推理力度设为 high。
• 临床影像：人工 MedCTA 用 LLM 评审开放式回答，Table 1 因此不报告其准确率。
• 质量评审：Claude Opus 4.8 与 GPT-5.6 Sol 独立打分。准则为 Verifiability、Usefulness、Fitness，1（very poor）到 5（excellent），论文报告两评审平均。

主结果

下表为 Table 1 的准确率（%）。临床列为 Opus 4.8 生成基准；人工临床准确率未报告。

Swipe horizontally to read the table

求解器	CB人工	CB·Opus生成	MS人工	MS·Opus生成	临床·Opus生成
Claude Opus 5	94.0	72.7	97.7	90.0	82.6
Claude Opus 4.8	90.4*	50.7	96.0	62.0	74.2
Claude Sonnet 5	76.0*	59.3	96.7	83.3	68.2
Claude Haiku 4.5	34.0*	26.7	93.7	21.3	55.7
GPT-6 Astra	98.0*	81.0	96.7	87.3	74.2
GPT-5.6 Sol	91.7	66.9	96.3	85.3	80.3
Avg.	79.8	57.4	95.7	70.2	71.1

• 表中省略 Claude Opus 4.7、GPT-5.6 Terra、GPT-5.6 Luna、GPT-5.5。各生成列最低的是表内 Claude Haiku 4.5。作者称，计算生物学和材料科学上，求解器在生成基准的准确率总体低于人工基准，且不限于生成时使用的 solver；材料科学人工基准靠近上限，生成基准上的差异更大。
• 摘要称生成基准使平均求解准确率在计算生物学、材料科学分别降低 22.4 和 25.5 个百分点，但未写明对应哪一生成器。Table 1 中 GPT-5.6 Sol 生成列的 Avg. 为计算生物学 74.1、材料科学 77.6、临床影像 74.5；两生成器跨列 Avg. 为 66.2 和 75.4。
• 作者称，作为 solver，GPT-5.6 Sol 总体高于 Claude Opus 4.8，但 Opus 4.8 生成基准的平均准确率更低，因此更强的求解表现不一定对应更能生成困难任务。作者报告，在各自生成基准上，Claude Opus 5 比 Claude Opus 4.8 高 19.5 个百分点，GPT-6 Astra 比 GPT-5.6 Sol 高 15.1 个百分点，并据此认为固定基准的难度会随能力提升下降。

质量评估

Table 2 为两评审平均的三项均分（1–5，越高越好）。

Swipe horizontally to read the table

基准	CB均分	MS均分	临床均分
Human	3.18	2.54	2.23
Opus 4.8	3.93	3.87	3.07
GPT-5.6 Sol	4.28	4.06	4.02

• 作者称三领域生成基准的平均质量分都高于人工基准；GPT-5.6 Sol 生成基准平均分最高，Fitness 在三领域为 4.96、4.71、4.51。
• Opus 4.8 生成任务在计算生物学和材料科学的 Usefulness 更高（4.27 对 3.80，4.17 对 3.56）。材料科学 Verifiability 相反：人工 4.76，高于 3.49 和 3.93。
• 作者认为难度上升并未以所测质量准则为代价。附录 B.1 称两评审各自的趋势与 Table 2 一致。

迭代精炼

• 难度：Figure 4（左）汇总两生成器。作者称初始任务以 easy 为主，并称这说明生成 agent 能解出大多数初始实现；随后 hard 比例上升。附录 Figure 6 分模型显示两者的 hard 比例都上升，Claude-Opus-4.8 的升幅更大。正文未给出各轮百分比。
• 一例：Figure 4（右）比较 UMI 数据。初始条码无错误，计数不同序列即可得到原始 UMI 数；修订后引入类似测序错误的碱基变化。修订任务的三次求解都把不同序列当成不同原始 UMI，答案错误。
• 作者称该例展示精炼可以把任务从直接使用中间结果，转向解释测量伪影并整合多来源证据。

经验与计划消融

• 经验：Table 3 在材料科学、Claude Opus 4.8 上比较。两组共享 10 个初始概念，各生成 50 个任务并保留迭代精炼。有经验时求解成功率 35.0%（无经验 66.7%），hard 比例 50.0%（无经验 15.0%）。作者认为复用先前经验有助于生成更难任务。
• 行为：附录 Table 7 中，后续概念更换领域、模态和测量，仍要求识别分析方法、恢复目标量并做一致性检查。后续任务被评为 hard，较早任务为 moderate。作者认为经验可把高层求解行为迁到新领域和模态。
• 计划：Figure 5 在同一设置比较完整框架、去掉 recipe（w/o R）、以及去掉 concept 和 recipe（w/o C+R）。作者称完整框架的求解成功率随轮次下降更多；正文未给出各点数值。作者认为修订这些结构化计划比直接改已实例化任务更能提高难度。

其他消融与分析

• Table 6：全部基准上两评审 Spearman ρ / Kendall τb 为 Verifiability 0.74/0.64、Usefulness 0.84/0.77、Fitness 0.87/0.79。
• Table 8：Opus 4.8 每题成本为计算生物学 58.47、材料科学 22.36、临床影像 24.88 美元；GPT-5.6 Sol 为 111.26、114.11、110.45 美元。作者称前者生成困难任务的成本效益更好，并并列 Table 1 的平均准确率 66.2 与 75.4。
• Table 9：任务实现加求解占成本比例，Opus 4.8 在三领域为 92.3%、87.4%、79.3%；GPT-5.6 Sol 为 89.4%、90.3%、92.3%。
• 附录 B.4 的微卫星任务要求在 45 个标记中判定体细胞不稳定数目，标准答案为 13。论文用它描述求解需要从比对文件恢复重复长度并解释分布变化，而不是只检测两组差异。

作者指出的局限与后续方向

论文未专门讨论局限。结论第5节讨论结果含义，但没有列出局限、不足或未来工作条目。

实验覆盖范围

• 领域为计算生物学、材料科学、临床影像；种子基准为 CompBioBench（附录写明 100 个任务）、MatTools、MedCTA。概念推断各用 100 道种子题（第4.1节、附录A.1–A.2）。
• 生成器为 Claude Opus 4.8 与 GPT-5.6 Sol。每领域 50 个任务，每概念最多 10 轮，每轮 3 次求解，超时 3600 秒，推理力度 high（第4.1节、附录A.7、A.10）。
• Table 1 评测 10 个求解模型，生成任务用精确匹配。CompBioBench 人工分数来自官方排行榜，部分条目带 ∗。临床影像人工基准因 LLM 评审而非精确匹配，未报告准确率。
• 质量由 Claude Opus 4.8 与 GPT-5.6 Sol 按三项 1–5 分评审（第4.3节）。经验引导和 concept/recipe 消融在材料科学、Claude Opus 4.8 上进行，各条件 50 个任务（第4.5、4.6节）。
• 正文给出 Figure 4、Figure 5、Figure 6 的定性趋势，未给出逐轮百分比；论文未报告 Table 1 生成基准评测的重复次数。

AutoSciBench 研究科学智能体基准能否自动构造，并随 solver 行为迭代改编。

• 问题：科学领域更新基准耗时、费力且依赖专家，固定题集容易饱和。作者要评测的是交互取证，以及在没有显式对错反馈时重查数据、解释中间结果并整合证据。
• 方法：任务先写成 concept 和 recipe，再实现为问题、数据文件和可精确匹配的答案。未同时可核验且 hard 时修订 recipe；连续四次仍不够则改 concept。精炼历史写成经验卡，引导后续概念。生成器兼精炼 solver，为 Claude Opus 4.8 与 GPT-5.6 Sol。
• 准确率：Table 1 的 Avg. 行中，计算生物学人工基准 79.8，Opus 4.8 生成 57.4，GPT-5.6 Sol 生成 74.1；材料科学为 95.7、70.2、77.6。摘要另称两领域平均降幅为 22.4 和 25.5 个百分点，未写明生成器。作者报告后发布模型在各自生成基准上高 19.5 和 15.1 个百分点。
• 质量与组件：三领域生成任务的两评审质量均分高于人工基准（Table 2），但材料科学可核验性人工更高（4.76 对 3.49 和 3.93）。有经验引导时，材料科学 Opus 4.8 的求解成功率从 66.7% 降到 35.0%，hard 比例从 15.0% 升到 50.0%（Table 3）。
• 作者结论：作者认为科学智能体评测可以变成自适应过程：solver 行为用于修订已有任务，跨轨迹积累的经验用于生成新的评测目标。