BIABench：评测 AI 智能体在真实生物图像分析任务上的表现

没有基准评测智能体能否从原始生物图像做到已发表研究的定量终点。

• 场景：作者认为生物成像分析是实验室把图像变成定量测量的核心步骤，但计数、追踪等常规分析依赖稀缺的专业软件和编程能力。LLM 智能体已能规划并调用工具，早期工作也开始接入既有生物成像软件，但它们能否可靠地从原始图像做到生物学结论仍不清楚。
• 现有不足：单步基准（核分割、细胞追踪、in-silico labeling、图像质控）适合比模型精度，不覆盖去噪、拼接之后的共定位、追踪、特征与统计。智能体基准多评问答、编程和计算机使用；含生物图像的工作要么只测多模态视觉推理，要么让智能体在已有基准上训练模型再评留出集预测。两者都停在单步框架。
• 两个困难：图像常太大或结构太复杂，不能直接作为上下文，智能体必须通过计算、专用软件和渲染视图来检查与处理数据。任务是开放解的端到端分析，而不是预定义预测，智能体要自己选定策略并交出研究所要的科学输出。
• 核心做法：作者提出 BIABench，从已发表研究重建 16 个任务，保留科学问题、成像数据和作为 ground truth 的报告输出。每个提交有 outcome score（用领域标准指标比对输出文件）和 process score（VLM 按专家量表评方法选择与质控）。
• 作者的定位：同一套配方可把新研究收进基准。作者称贡献还包括：覆盖十一类分析子任务和 2D、3D、time-lapse 的端到端基准；以及跨通用与生物专用智能体、多种语言模型和两种指令详细程度的实证评测，把与专家水平的差距放在数据复杂度、可靠性和自检上。

通用智能体基准

• SWE-bench、GAIA、AgentBench：分别用仓库测试套件评补丁、用可核验短答案评助手任务、在多种环境中探测工具使用。
• τ-bench / τ2-bench、OSWorld、Terminal-Bench、BrowseComp、MLE-bench、StartupBench：把“按执行后状态打分”扩到策略约束的工具–用户交互、真实操作系统、容器终端、持续网页浏览、相对 Kaggle 排行榜的机器学习工程，以及商业 AI 服务中的职业工作流。作者从这条线取两点：任务由必须产出的文件定义；由于 harness 对成功率的影响可以和模型一样大，所有智能体走同一接口，从文件系统回收输出，并把各厂商的命令行工具视为与模型混杂的 harness。
• 与本文的差别：作者称差别在对象和任务设计。每个任务来自已发表生物学研究，按生物学家的问法提出，并在真实显微镜数据上对研究本身报告的量打分（Dice、Jaccard、Cell Tracking Challenge 的 TRA、Kolmogorov–Smirnov 统计量、Pearson 相关）。

生物领域的智能体

• AI co-scientist、Virtual Lab：前者用多智能体的生成–辩论–演化提出并改进生物医学假说；后者编排语言模型“科学家”团队，设计了经实验验证的 SARS-CoV-2 nanobody。
• Biomni、STELLA：面向分析回路，检索工具、写代码并运行分析。作者称 Biomni 的动作发现覆盖 25 个领域，其 harness 在基于文本的生物医学问题上比裸模型高 6 到 12 分，并有湿实验案例；其作者把图像输入列为后续方向。STELLA 是自演化的同类系统。
• 直接做生物成像的智能体：napari 中的 Omega 边对话边分割与定量；Agentic-J 和 CopilotJ 用自然语言驱动 ImageJ/Fiji；GenCellAgent 在 Cellpose、micro-SAM 等之间路由做细胞分割；BioImage.IO Chatbot 连接模型库并运行工具；LSM-Copilot 把可跨宿主智能体运行的显微技能打包。BIABench 从中选取受测的生物专用智能体，并加入通用编程智能体，覆盖三类接口：Python 工具调用的 Biomni、三个命令行编程智能体（Claude Code、Codex、DeepSeek Harness），以及操作 Fiji/ImageJ 的 CopilotJ 和 Agentic-J。

单步生物成像基准与算法

• 2018 Data Science Bowl、Cell Tracking Challenge、in-silico labeling 集合、AutoQC-Bench：分别评跨实验的核分割、分割与追踪、由透射光预测荧光，以及高通量显微质控。作者称这些资源评的是单步上的具体模型，若干 BIABench 任务使用了这类数据；BIABench 在研究终点上给整个分析周期打分，过程量表覆盖从读入原始数据到报告的各阶段。
• Cellpose、StarDist、Fiji 与 TrackMate：作者称它们是智能体被期望编排的、带 ground truth 的成熟方法，各自作为单一算法在策划数据集上被评测。

生物医学智能体基准

• LAB-Bench 及其后续、BixBench、MicroVQA：分别给生物学研究问题评分、用 ground-truth 答案评判开放式计算生物学分析、探测显微专家的视觉推理与假说生成。另有工作给端到端生物信息学流水线的输出文件对照专家参考打分，但仍无显微任务。
• BixBench3：把已发表组学研究拆成中间数据产物，智能体在研究目标、方法指导和原始数据下再生这些产物，用 identifier F1 和 Lin’s concordance 程序化评分，通过阈值用专家评分校准。作者称前沿模型在同一 harness 下复现了不到一半的产物；链条变长、数据变大时分数下降；最好的模型属于较便宜的一类；低分尝试的特征是过早终止、重试循环和占位输出。作者称 BIABench 与它一样对照研究自身结果给交付物打分，显微镜上再次出现“结果与花费的努力无关、随维度崩溃、运行以完成声明结束”。差别是 BixBench3 规定方法以便产物可匹配，其作者指出因此不测该跑哪种分析；BIABench 的简要指令是生物学家的描述，工具选择（含 GUI）计入评分。BixBench3 在单一 harness 下每任务一次运行，BIABench 同时变化 harness 和模型，每个配置–任务对重复三次。
• ReX-MLE、BioXArena、BioML-bench：让智能体在已有医学与生物医学成像数据集上训练模型，对留出集预测打分。BiomniBench 用经过验证的 LLM 评审、按专家序数量表给生物医学数据分析的整条轨迹打分，并报告 harness 带来的分数变化大于一代模型。作者称它是过程层面的互补：分数完全来自评审，任务是表格组学、编程 harness；BIABench 用对 ground truth 的确定性指标排名，过程分单独报告并测量了与人工的一致性，任务是要实际执行的显微测量，并额外覆盖 GUI 和领域专用智能体。作者转述 BiomniBench 提出最终答案匹配的两种失败：正确答案可能来自记忆或偶然，以及合理的替代分析会因不同于参考而被判错。作者认为在成像中第二种较弱，因为交付物描述的是样品而不是实现，不同有效流水线的输出可以对着共同的 mask 和 track 打分；第一种由单独的过程分以及禁止检索来源论文的指令处理。函数级的 LLM 代码生成则以单元测试被评过。作者称此前没有工作问：必须自己选工具并跑完整流水线的智能体，能否在真实显微上报告正确的物理量。

基线与基准

• 基线方法：受测的是六个智能体本身（Claude Code、Codex、DeepSeek Harness、Biomni、CopilotJ、Agentic-J），而不是一组传统分割或追踪算法；Cellpose、StarDist、Fiji/TrackMate 被作者视为智能体可以调用的工具。
• 基准/数据集：任务重建自已发表研究并使用其开放数据；文中点名的来源包括 BBBC014（NF-κB 任务无逐孔参考）以及 Cell Tracking Challenge 一类数据。完整出处在 Appendix A、Table A1 和 Table A2。

作者把 BIABench 放在“对照研究终点的确定性指标，外加单独报告的过程分”上，并称它同时变化 harness、模型和指令，且每组重复三次。

整体思路是把已发表研究收成可核验任务：智能体只看到原始图像和生物学家指令，ground truth 不给它；BIABench 对必须交付的文件算 outcome score，再用视觉–语言模型按专家量表给过程打 process score。排名只用 outcome。

任务从研究里怎么切出来

• 来源与规模：16 个任务，每个继承该研究的测量目标和 ground truth。构建时把研究拆成原始数据、原作者的分析流水线和结论所依赖的量，再把指令写成生物学家对该量的请求。数据均为开放许可，按原条款随基准再分发。输入合计 13.9 GB（Fig. 1c）。
• 覆盖：十一类子任务为 segmentation、feature extraction、statistical plotting、spot detection、colocalization、tracking、classification、filament extraction、denoising、multi-tile mosaic stitching、visualization。模态包括 fluorescence widefield、confocal、spinning-disk、light-sheet、phase contrast、DIC、SMLM、AiryScan 和 H&E。样品来自六个源生物，从细菌到人；结构从单分子到细胞单层。难度：Easy 是单子任务或标准二维流水线；Medium 仍是二维但需要专门方法（单分子定位、光流或细丝提取）；多数 Hard 组合多个子任务，少数难在单一但要求高的子任务，例如 800 帧 time-lapse 上的细菌追踪。
• 机器可读规格：每个任务一个 YAML，声明模态、维度、时间模式、子任务、精确输出格式、评分指标和来源登记号。子任务矩阵在 Table A1，输出文件与指标在 Table A2，出处在 Appendix A。工具选择留给智能体，可用 Cellpose、StarDist 或 Fiji 加 TrackMate。
• 两种指令：brief 用生物学家口吻描述实验和要的测量，计算指导很少；detailed 由生物成像专家依据来源研究的方法写成协议，另外勾勒推荐流水线（预处理、建议的检测器与分割器、参数提示），实现仍由智能体决定。两者都规定精确输出格式，并禁止检索来源论文或其报告数值，也禁止通过文件名或元数据识别该研究；一般方法文献和软件文档允许。Appendix B 给出一个任务的两份完整指令和共享页脚。

智能体怎么接进同一环境

• 接口：每个智能体一个 wrapper，把渲染后的任务指令交给该智能体的原生调用，并收集标准化提交目录。输入目录只读，输出目录可写。没有任务指令以外的系统提示词。网络不限制；除 Codex 外每个智能体都有网页搜索。对全部存档轨迹的审计中，网络只用于软件包和模型权重下载，另有两次运行用于软件文档。
• 时限与失败：墙钟预算 4 小时；多数模型交换实验用 2 小时（Appendix C）。到时由外部隔离子进程终止进程组，按终止前已写文件打分。各智能体原生的逐步、逐工具策略视为受测对象的一部分。turn 和 tool call 次数只作诊断，因为定义不一致。
• 三类共六个：LLM 工具调用并执行 Python 的 Biomni；命令行编程智能体 Claude Code、Codex、DeepSeek Harness，经 OpenRouter 的 Anthropic 或 OpenAI 兼容端点指向研究所用模型，从而可以更换 harness 后面的模型；操作 Fiji/ImageJ 的 GUI 智能体 CopilotJ 和 Agentic-J。napari 或模型库类系统可经同一接口加入。调用方式、token 解析和内部限制在 Appendix C。

两个分数怎么定义

• outcome：任务专用指标对 ground truth 计算后映射到 [0, 1]。分割用 Dice；追踪用 Cell Tracking Challenge 的 SEG 和 TRA；斑点检测用 F1 和定位误差；共定位用复现的显著性模式与条件差异方向，或共定位起始时间的分布；动力学和特征提取用分布或排序正确性（Kolmogorov–Smirnov 统计量，或派生量的相对误差）。NF-κB 转位任务因 BBBC014 没有逐孔参考，按提交表的剂量–反应性质打分（Appendix D）。缺输出文件为 0。有 ground-truth 文件的任务上，重放 ground truth 约为 1.0。
• 结束状态：每次运行记为 delivered、no deliverable、crashed，或被提供者安全过滤拒绝（Table 1）。已交付但分数低于 0.1 的，再按结束语是否声称完成划分（Table 2）。
• process：按流水线阶段（load → preprocess → segment/detect → measure → statistics → visualize → report）做严重度加权量表，评的是分析和报告方式，与最终数字无关。评审对每条判 pass、fail 或 unknown；分数是“能够判定的条目中通过者的严重度加权比例”。unknown 不进分母，因为留下的证据取决于 harness，例如 GUI 智能体不留代码。不可判定条目的比例单独作为可审计性。没有必需输出文件时，只要留下代码、图或报告，仍可有过程分；没有任何可判定条目则没有过程分。
• 评审与校验：基准固定一个评审，Claude Sonnet 5。二十次运行覆盖全部六个智能体和 16 个任务，由一位细胞生物学专家在抹掉评审决定的盲化目录上逐条复核（1,273 条；专家判定 1,085，跳过 188）。双方都判定的 922 条上，一致率 87%（Cohen’s κ = 0.67，95% CI 0.61–0.73）。评审把专家判失败的条目中 27% 判成通过，把专家判通过的 7% 判成失败，通过率上净宽松两个百分点。Fig. 5b 的分节里，input understanding 的 κ = 0.87 最高，tool choice 的 κ = 0.47 最低。另两个候选评审 Claude Opus 5 与 Gemini 3.1 Pro 在同批运行上 κ 为 0.66 和 0.67。运行级上，由专家标签算出的过程分与评审的相关为 r = 0.54，与 outcome 的相关为 r = −0.03（Section 5.3）。量表、评审提示词和完整一致性表在 Appendix E。

实验配置与统计约定

• 分离 harness 与模型：16 个任务，每配置三次运行。先固定模型为 GPT-5.6 Sol，评全部六个智能体；再固定 harness，在 DeepSeek Harness 上换 Opus 5、Kimi K2.6、GLM-5.1、V4-Pro、V4-Flash，在 Claude Code 上换 Opus 5 和 Kimi K2.6，因此 DeepSeek Harness 跑了六个模型、Claude Code 跑了三个。最后在 DeepSeek Harness 上用详细指令重测 GPT-5.6 Sol 和 V4-Flash。
• 不可用组合：GLM-5.1 和 V4-Flash 在 Claude Code 下因间歇性空 API 响应被误记为已结束回合而失败，重复测试确认该模式后，这些组合不计入分数。DeepSeek Harness 加 V4-Flash 加详细指令时，伤口愈合任务有九次运行因请求超过提供者多图调用的图像尺寸上限而以 harness 错误结束，被排除并重跑到有三次计分运行为止。
• 重试：基础设施失败（容器启动错误或调度器抢占）重试一次，第二次仍因同一原因失败则从该智能体的总体统计中排除。崩溃、超时、空提交不重试，按观察到的结果计分。安全过滤拦截的运行不进 outcome 均值；其余运行包括崩溃和超时都保留。SARS-CoV-2 任务上，Codex 被内容策略拒绝消息直接停下；Claude Code 的三次运行在数个回合后以 API 网关空响应突然结束。该失败模式未出现在 Claude Code 的其他 141 次运行中，作者将其归为 API 级安全拒绝。
• 成本与汇总：每个任务一块 GPU。有推理或 “thinking” 控制的智能体把 effort 固定在一个声明过的档位。成本对 Claude Code 各配置和 DeepSeek-V4-Pro 用提供者逐请求账单求和；其余配置用计量 token 乘以研究当时的公开单价，缓存输入按缓存价。缺失的用量信号标为不可用，不把缺失当成零。墙钟时间是每个智能体都有的量。智能体 token 与评审 token 分开计。outcome 按智能体–任务对的三次运行均值，再按任务平均；同时给跨任务标准差，以及交付了必需输出文件的运行比例。运行时间、token 和工具调用用计分运行的中位数。

实验设置

• 任务：BIABench 的 16 个任务，难度分 Easy、Medium、Hard。每个配置–任务对三次独立运行。输入数据合计 13.9 GB。
• 智能体：通用编程 Claude Code、Codex、DeepSeek Harness；生物向 Biomni、CopilotJ、Agentic-J。主比较把六个都接在 GPT-5.6 Sol 上。
• 换模型：DeepSeek Harness 上为 GPT-5.6 Sol、Opus 5、Kimi K2.6、GLM-5.1、V4-Pro、V4-Flash；Claude Code 上为 GPT-5.6 Sol、Opus 5、Kimi K2.6。GLM-5.1 与 V4-Flash 在 Claude Code 上的组合被省略。详细指令只在 DeepSeek Harness 的 V4-Flash 和 GPT-5.6 Sol 上重测。
• 指标：outcome 为对 ground truth 的任务指标映射到 [0, 1]；process 为 Claude Sonnet 5 的严重度加权通过率。Table 1 还报告 D/N/C/R（交付、无交付物、崩溃、安全拒绝）、墙钟中位数、输入/输出 token 中位数和每运行美元成本。Table 2 把能力拆成交付、理解（Input、Tools 的量表通过率）、定量（Segm. 与汇总的 Quant.）、维度（11 个 2D 与 time-lapse 任务相对 5 个 3D/5D 任务的 outcome 均值），以及 process 与 outcome 的 Pearson r（仅 outcome > 0.05 的运行）和低分完成声明。
• 评审校验：一位细胞生物学专家盲评 20 次运行、1,273 条量表项。安全过滤拦截不进 outcome 均值。Fig. 2 中每个任务格子是 n = 3 的均值；Fig. 2e 的过程–结果散点为 n = 282 次计分运行。
• Fig. 2b 的配置数：作者称成本–分数图包含 13 个 harness–模型配置，即六个智能体接 GPT-5.6 Sol，再加上 Claude Code 与 DeepSeek Harness 上的其他模型。

主结果

同一模型 GPT-5.6 Sol、三次运行均值的 outcome（Fig. 2a；配置级均值见 Table 1）。R 为安全过滤拦截，不进均值。

表格较宽，可左右滑动

任务（难度）	Claude Code	Codex	DeepSeek H.	Biomni	Agentic-J	CopilotJ
NF-κB（Easy）	0.95	0.96	0.63	0.86	0.77	0.96
HeLa 核/质分割（Easy）	0.86	0.83	0.87	0.81	0.84	0.80
H&E 核分割（Easy）	0.77	0.78	0.78	0.75	0.76	0.66
IF 细胞计数（Easy）	0.85	0.84	0.64	0.69	0.63	0.56
DNA-PAINT SMLM（Medium）	0.76	0.77	0.74	0.75	0.65	0.59
伤口愈合 kymograph（Medium）	0.69	0.76	0.71	0.72	0.59	0.63
小胶质细胞动态（Medium）	0.70	0.70	0.71	0.59	0.64	0.33
微管分割（Medium）	0.54	0.56	0.59	0.43	0.49	0.51
3D 斑马鱼细胞分割（Hard）	0.78	0.77	0.78	0.75	0.66	0.80
SARS-CoV-2/高尔基共定位（Hard）	R	R	0.69	0.69	0.66	0.61
相差细菌追踪（Hard）	0.92	0.96	0.78	0.64	0.61	0.01
4D 拼贴（Hard）	0.75	0.44	0.55	0.33	0.44	0.62
3D LSFM 脑血管分割（Hard）	0.52	0.50	0.56	0.47	0.49	0.41
DNA 修复灶共定位（Hard）	0.43	0.51	0.08	0.52	0.47	0.46
5D 核孔定量（Hard）	0.12	0.18	0.19	0.13	0.16	0.09
3D 致癌点状定量（Hard）	0.04	0.05	0.05	0.00	0.00	0.00
跨任务均值	0.65	0.64	0.58	0.57	0.55	0.50

• 作者的解读：任务之间的 outcome 差异大于智能体之间的差异（Fig. 2a、Fig. 3b）。在 NF-κB、HeLa 核/质分割和细胞计数上，最好的智能体为 0.85–0.96，每个智能体至少 0.56。加上第三维或时间轴的任务包含最难的那些：核孔组装动力学降到 0.19，三维点状定量降到 0.05（Table 2 的概括；逐任务数字见 Fig. 2a）。
• 生物专用并不占优：作者称通用智能体在 16 个任务中的 14 个上取得或并列最高均值，在细菌追踪上高出生物专用智能体最多 0.32（Fig. 4）；五个三维任务上生物专用智能体的差距为 −0.13 到 +0.02。作者认为部分生物成像专用智能体主要为人在回路而设计，自主运行时出现这一结果是预期之中的。
• 安全过滤：Claude Code 和 Codex 在 SARS-CoV-2 高尔基共定位上被提供者安全过滤挡住（Fig. 2a 标 R；Table 1 中两者 D/N/C/R 均为 45/0/0/3）。

模型、成本与指令

• 换模型的幅度和换 harness 接近：GPT-5.6 Sol 上六个 harness 的均值 outcome 为 0.50–0.65；DeepSeek Harness 上六个模型几乎落在同一区间（Fig. 2b、Table 3）。Opus 5 把 DeepSeek Harness 提高 0.07（Table 1：GPT-5.6 Sol 为 0.58 ± 0.25，Opus 5 为 0.65 ± 0.26），但几乎不改变 Claude Code（GPT-5.6 Sol 0.65 ± 0.27，Opus 5 0.63 ± 0.24）。作者据此强调 harness 与模型的搭配：一个 harness 可能主要为其特定模型设计。
• 更贵不等于更准：作者称最经济的 DeepSeek-V4-Flash 达到最强配置分数的 80%，成本为其 2%；从 Codex 沿 Pareto 前沿上移，花费五倍只多 0.01。Table 1 中 V4-Flash 在 DeepSeek Harness 上为 0.52 ± 0.25、每运行 0.09 美元；同表 Claude Code + GPT-5.6 Sol 为 0.65、4.75 美元（账单），Codex + GPT-5.6 Sol 为 0.64、0.87 美元。
• 详细指令几乎不改均值：把 brief 换成专家依据来源研究写的详细协议后，DeepSeek Harness 上 V4-Flash 的任务均值变化为 +0.01，GPT-5.6 Sol 上小于 0.01；任务级绝对变化的均值分别为 0.21 和 0.11（Fig. 2c）。在 V4-Flash 上，详细指令把细菌追踪从 0.32 升到 0.94。Table 2 中该两组的 2D outcome 仍为 0.63 与 0.69，3D/5D 为 0.31 与 0.37。作者的问题是更强模型或更细的指令能否补救复杂任务上的失败；均值层面作者报告几乎不变。

可靠性、过程分与失败形态

• 重复之间的起伏大于智能体之间的差距：Fig. 2d 对每个智能体画出 16 个任务上的均值，以及每任务三次运行中的最差与最好。摘要称分数在同一智能体的重复运行之间的变化大于不同智能体之间的变化。Table 2 里，已交付但 outcome < 0.1 的运行中，不少以声称完成收尾：Claude Code + GPT-5.6 Sol 为 4/4，Codex 为 3/3，DeepSeek H. + V4-Pro 为 9/9；Agentic-J 为 0/3，CopilotJ 为 0/8。破折号表示没有已交付且低于 0.1 的运行。
• 过程分不能代替真值：Fig. 2e 在 n = 282 次运行上把 process 对 outcome 作图。阴影区是 process ≥ 0.5 且 outcome ≤ 0.3。各智能体在全部运行上的 Pearson r，以及排除 outcome ≤ 0.05 之后的 r，图注写为：Claude Code +0.32/+0.33，Codex −0.15/−0.05，DeepSeek H. +0.17/+0.15，Biomni +0.54/+0.34，Agentic-J +0.06/−0.23，CopilotJ +0.46/+0.11。专家标签的过程分与 outcome 的 r = −0.03。摘要称没有 ground truth 时，无法凭过程分或所花时间把一次正确运行和一次错误运行分开。
• 三条存档失败：Case 1，CopilotJ 做三维致癌点状定量（process 0.71，outcome 0.00）：报告称 1,609 个核、27/27 张处理完，交付表只有 266 个核（每栈 2–23，中位 10），参考为 2,062（中位 85）；条件顺序与参考相反。Case 2，Codex 在同一任务（process 0.87，outcome 0.02）：排序指标 1.0，逐图计数与参考 r = 0.85，但野生型核的平均点状数为 1.2，参考为 36，幅度差一个三十倍；作者称检测器只收下孤立小滴，丢掉了贡献大部分参考计数的密集团。Case 3，DeepSeek Harness 做 NF-κB（process 0.80，outcome 0，无必需输出）：186 秒写出 211 行流水线后以将来时声称还会继续，harness 正常退出，所需逐孔汇总从未写出；评审读脚本后认为方法合理。

其他消融与分析

• 维度分层（Table 2，GPT-5.6 Sol）：2D 与 time-lapse（11 个任务）的 outcome 均值为 Claude Code 0.75、Codex 0.77、DeepSeek H. 0.66、Biomni 0.68、Agentic-J 0.65、CopilotJ 0.56；五个 3D/5D 任务为 0.44、0.39、0.42、0.34、0.35、0.38。
• 量表分节通过率（Table 2，同一模型）：Input 为 0.89–0.96，Tools 为 Codex 0.94 至 DeepSeek H. 0.63，Segm. 为 0.73–0.85，Quant. 为 0.64–0.83（Agentic-J 的 Quant. 为 0.83，高于其 outcome 均值）。
• 交付与超时（Table 2）：GPT-5.6 Sol 上六个智能体的 Delivered 为 96%–100%，Timed out 为 0%–4%。Claude Code + Kimi K2.6 的 Delivered 为 85%、Timed out 为 21%，outcome 均值 0.52 �� 0.31（Table 1）。
• 耗时与 token（Table 1，中位数）：GPT-5.6 Sol 上 CopilotJ 7.3 分钟、245/18.1（×10³）token、0.38 美元；Agentic-J 31.7 分钟、2946/88.2、3.01 美元；Claude Code 11.4 分钟、994/10.7、4.75 美元（账单）。DeepSeek H. + Opus 5 为 22.0 分钟、4.53 美元、outcome 0.65 ± 0.26。
• 详细指令下的工具分（Table 2）：V4-Flash 的 Tools 从 brief 设置的 0.58 降到详细指令的 0.48；GPT-5.6 Sol 从 0.63 降到 0.56。Input 仍为 0.89。
• 评审一致性：922 条双判一致率 87%，κ = 0.67；分节最高 input understanding κ = 0.87，最低 tool choice κ = 0.47。候选评审 Opus 5 与 Gemini 3.1 Pro 的 κ 为 0.66 和 0.67。运行级专家过程分与评审过程分 r = 0.54。

作者指出的局限与后续方向

• 与专家水平的差距仍在：作者在贡献列表中把剩余差距定位在数据复杂度、可靠性和自检（Introduction）。摘要写：加入第三维或时间轴的部分任务上没有智能体高于 0.19；生物专用、更强模型和详细专家指令都没有补上这一差距；重复运行之间的分数变化大于不同智能体之间的变化；没有 ground truth 时，过程分或耗时都分不出正确运行和错误运行。
• 过程分的已知偏差：作者在 Section 3.3 写，评审模型带有模型特异的偏差，因此基准固定 Claude Sonnet 5，并把与专家的一致性随每个过程分一起报告。在双方都判定的条目上，该评审通过了专家判失败条目的 27%，未通过专家判通过条目的 7%，通过率净宽松两个百分点；tool choice 的 κ = 0.47，低于 input understanding 的 0.87。运行级上专家过程分与 outcome 的 r = −0.03。
• GUI 与证据不完整：过程分把 unknown 排除出分母，作者写这是因为一次运行留下的证据取决于 harness，GUI 智能体不留代码（Section 3.3）。不可判定条目比例被单独作为可审计性，而不是并进分数。
• 安全过滤使部分配置不可比：SARS-CoV-2 任务上 Codex 被内容策略拒绝，Claude Code 的三次运行被作者归为 API 级安全拒绝，这些运行不进 outcome 均值（Section 4.2、Fig. 2a）。另有 harness–模型组合因空 API 响应无法计分而被省略（Section 4.1）。
• 作者计划开放使用：摘要写基准连同数据和代码开放发布，提供一个可核验的框架，用来评测并最终训练能做可靠、长程生物成像分析的智能体。这是作者对用途的陈述，不是已完成的训练结果。
• 论文未在独立的 Limitations 节逐条列举更多限制；上面各条是摘要、引言和评分、实验设置里明确写出的边界。

实验覆盖范围

• 任务与数据：16 个重建任务、十一类子任务、2D/3D/time-lapse，模态从 H&E 到 SMLM，六个源生物，输入合计 13.9 GB（Fig. 1，Section 3.1）。每个任务有 brief 与 detailed 两级指令；详细指令的重测只做了 DeepSeek Harness 上的 V4-Flash 和 GPT-5.6 Sol（Section 4.1）。
• 智能体与模型：六个智能体、三类接口，主表全部接 GPT-5.6 Sol。模型交换覆盖 Opus 5、Kimi K2.6、GLM-5.1、V4-Pro、V4-Flash，以及 Claude Code 上的 Opus 5 和 Kimi K2.6。Fig. 2b 为 13 个 harness–模型配置。GLM-5.1 与 V4-Flash 未在 Claude Code 下计分。
• 重复与时限：每个计分的配置–任务对三次运行。墙钟预算 4 小时，多数模型交换会话为 2 小时（Section 3.2、Appendix C）。基础设施失败最多重试一次；智能体自身的崩溃、超时和空提交不重试。
• 评分与人工：outcome 用各任务的领域指标；process 固定评审为 Claude Sonnet 5。人工核对为一位细胞生物学专家、20 次运行、1,273 条量表项，其中 922 条双方都作了判定。另两个候选评审只在这批评审校验运行上比较，没有替换主实验的评审。
• 论文未报告的量：turn 与 tool call 只记为诊断，因为各智能体定义不同，正文不用它们作主比较（Section 3.2）。缺失的 token 信号标为不可用。过程分与 outcome 的相关按运行计算；作者没有报告用过程分或耗时做正确/错误分类器的准确率，只报告相关以及“没有真值就分不出”。

BIABench 评测自主智能体能否把真实生物成像研究从原始图像做到已发表的定量终点。

• 问题：单步模型基准和现有智能体基准都不覆盖这条完整回路。图像往往不能直接放进上下文，解法又是开放的，智能体必须自己选工具，包括 GUI 软件，并交出研究要的文件。
• 做法：16 个任务来自已发表研究，配简要与详细两级指令，并禁止检索来源论文。六个智能体经同一接口运行，分编程、工具调用和 Fiji/ImageJ 三类。outcome 把 Dice、TRA、F1、分布指标等映射到 0–1；process 由固定的 Claude Sonnet 5 按严重度加权量表打分，排名只用 outcome。一位专家在 922 条双判条目上与该评审的一致率为 87%（κ = 0.67）。
• 主结果：GPT-5.6 Sol 上，跨任务均值从 Claude Code 的 0.65 ± 0.27 到 CopilotJ 的 0.50 ± 0.28（Table 1）。NF-κB、HeLa 分割和细胞计数上最好成绩为 0.85–0.96；5D 核孔定量上六个智能体为 0.09–0.19，三维致癌点状定量为 0.00–0.05（Fig. 2a）。通用智能体在 14/16 个任务上最高或并列，细菌追踪上最多高出 0.32。
• 换模型和换指令：DeepSeek Harness 上六个模型的均值区间与六个 harness 接近。Opus 5 使 DeepSeek Harness 从 0.58 升到 0.65，Claude Code 从 0.65 变为 0.63。V4-Flash 的详细指令把细菌追踪从 0.32 升到 0.94，但任务均值只 +0.01；GPT-5.6 Sol 上均值变化小于 0.01。
• 作者的结论：生物专用、更强模型和详细专家指令都没有填上高维与时间轴任务上的缺口。同一智能体三次运行之间的起伏大于智能体之间的差距。过程分可以很高而 outcome 接近 0，专家过程分与 outcome 的相关为 −0.03；没有 ground truth 时，过程分和耗时都不足以分辨对错。作者把该基准当作评测、并最终训练长程生物成像智能体的可核验框架。