BioSecBench-Surveillance：面向病原体基因组监测 AI 智能体的可验证基准

智能体能否只凭原始测序数据与监测情境，选出并完成正确的病原基因组监测分析。

• 场景：作者称基因组监测能识别病原、分辨传播，并达到培养或抗原方法常常缺乏的分辨率；数据只有经过分析才服务于准备，而分析仍由专家驱动、难以扩展。作者认为准备上的瓶颈正从生成数据转向解释数据。
• 选择为何关键：分析人员须按病原、检测方法、采样情境和获取约束，选择参考、数据库、过滤、组装或比对、谱系与分型、丰度方法和阈值。作者称废水测序曾发现临床测序之前或之外的隐匿SARS-CoV-2传播，并在疫苗衍生脊灰与麻痹病例关联后触发调查和疫苗应对；两例都取决于从混合环境背景中分离真实信号，并对照合适的参考与对照。
• 现有评测：作者称这类评测由SWE-bench推广，看的是代码改动能否通过可执行测试，而不是静态问答。近期生物学评测延伸到表观遗传和治疗学工作流，但作者称都不覆盖病原监测核心任务；与本文最接近的一项只测能否从公共序列库检索记录。
• 本文提出：BioSecBench-Surveillance，100项评测、七类任务。每项只给人类分析人员会有的数据与情境，不提及正确流程，再对结构化答案做确定性评分。作者称它评的不是是否跑了分析，而是是否跑了正确的分析。

相关讨论在引言，论文没有独立的Related Work。

• 基因组监测：Gardy与Loman（2018）、Armstrong等（2019）被引来支持基因组监测服务于公共卫生和准备；WHO（2022）对应大流行与流行病潜力病原的全球基因组监测策略；Afolayan等（2021）对应基因组病原监测中的数据瓶颈。Karthikeyan等（2022）与Ryerson等（2022）被引为废水测序的例子：前者涉及临床测序之前或之外的隐匿SARS-CoV-2传播，后者涉及疫苗衍生脊灰与麻痹病例关联后触发的调查和疫苗应对。作者用这些工作交代分析选择的后果，没有把它们当作方法基线。
• 执行式智能体评测：SWE-bench（Jimenez等，2024）用可执行测试给智能体对真实GitHub issue的代码改动打分，而不是静态问答。作者称这种评测由此被推广，并认为病原监测适合它，因为要评的是是否跑了正确的分析，而不只是是否跑了分析。
• 生物学工作流评测：EpiBench（Muralidharan等，2026）评智能体做表观基因组分析；TxBench-PP（Le等，2026）评小分子临床前药理上的智能体表现。作者称它们给智能体真实工作流快照，并对结构化回答做确定性评分，但都不覆盖病原监测核心任务。Nasri等（2026）被作者称为与本文最接近的一项，只测智能体能否从公共序列数据库检索相关记录。
• 拒答评测：Wintermute等（2026）评双用途生物学设定中的校准拒答和安全有用性。作者认为把本基准与这种拒答评测搭配，可以防范靠拒答抬高通过率的模型；本实验没有用它作基线。

基线与数据：没有外部智能体方法基线。被比较的是十六组model–harness，基准是BioSecBench-Surveillance的100项评测。

作者将本文定位为只提供人类分析人员会有的上下文和文件，并用确定性终点评分衡量监测分析选择；作者称现有生物学评测没有覆盖这些核心任务。

整体做法是把真实生物监测流程冻结在决策之前，建成BioSecBench-Surveillance：不提示正确流程，只对最终结构化答案做确定性评分。

评测单元

• 决策快照：每项评测围绕一个经验决策。任务写明目标决策和所需回答，但不提及正确流程。输入是原始或近原始测序数据，以及有用的参考文件。
• 智能体要做的事：自行决定跑哪种分析，用哪些工具、数据库、参考和阈值，再返回结构化答案。中间的参考、阈值、过滤和对照选择不单独评分，只评最终答案。
• 定义文件：每项是一个定义文件，含任务提示、评分器、元数据标签、结构化笔记和输入数据指针，这些文件是基准的source of truth。笔记记录选题理由、可能的最优流程等信息，纳入前由领域专家内部同行评审。

任务、数据与真值

• 七类：变异检测（谱系、进化枝或种内序列变化）；分类学分类（组成与丰度）；AMR表征（耐药基因或突变）；来源追踪（宿主、来源或起源）；毒素与毒力表征；遗传工程表征（序列证据是否与工程或样品构建一致）；异常检测（无预设目标的异常分类单元、丰度或超出背景的信号）。
• 构成：100项，六种样本类型。引言写短读长与长读长；Figure 1另有hybrid。还按核酸靶标（DNA、RNA、total nucleic acid）和检测类型（shotgun与targeted/amplicon/capture）分解。条数见第4问。
• 数据与真值：输入为FASTQ、组装contig或比对后的reads，来自NCBI SRA，或为编码已知真值而构建的模拟reads。识别性元数据被去除，真值不放入提示词。真值用金标准流程或文献建立；作者称只要尝试了大体正确的流程，真值设计为对工具变化稳健。论文未报告真实与模拟数据各有多少项。
• 去除标识的理由：作者称若留下文件名、序列头或登录号，智能体常常能直接点名生物并给出预期答案，而不跑分析。论文未报告该现象的次数。

确定性评分

• 字段检查：数值字段用相对、绝对、最小或最大容差；集合字段要求标签重叠超过一个Jaccard阈值；类别字段用精确或归一化匹配、选择题或按键字典比较。容差按每项评测设定，依据生物学和真值推导方式，记在笔记中。论文未给出统一数值阈值。
• 通过规则：多字段按显式规则组合，例如all-of要求每个字段都通过。一次运行只有全部必需检查通过才算通过。缺字段、非法JSON、不符合schema、评分器无法解析，都算失败。

运行与结局

• 配置：一个模型加一个inference harness（Claude Code、PI或Codex），负责工具、文件访问、提示词与轮次结构。作者把模型与工具架当作独立轴，因为同一模型在能力与拒答上表现不同。
• 沙箱：在LatchBio上使用相同容器，预装组装器、比对器、分类学分类器、变异调用器，以及AMR与毒力数据库。6个CPU核、34 GiB内存、512 GiB磁盘、6小时墙钟上限。允许联网，以便运行时再取参考或数据库。工具架记录完整原始轨迹。
• 重复与指标：每组配置对每项评测跑3次。结局互斥为correct、incorrect、refused。endpoint pass rate是correct占correct与incorrect之和的比例，排除拒答，再对每项评测的通过率取平均。超时且无答案的少见运行计入incorrect；作者称专家用正确方法能在时限内完成，故超时表示走了错误或低效路径。区间是以evaluation为抽样单位的95% Student-t区间。

实验设置

• 十六组配置：Opus 4.8、4.7、4.6与Sonnet 4.6各配Claude Code和PI；GPT-5.5、GPT-5.4各配Codex和PI；Gemini 3.5 Flash、Gemini 3.1 Pro仅PI；Grok 4.3、Grok 4.20（Figure 2写作Grok 4.20 Reasoning）仅PI。Methods与Figure 2列出的就是这十六组。
• 100项评测：类别n（Figure 3）为来源追踪12、分类学分类16、AMR 15、变异检测23、毒素与毒力12、遗传工程12、异常检测10。样本：临床23、分离株34、废水31（Figure 3）；农业5、空气5、水2（Figure 1）。测序：短读长80、长读长15（Figure 3），hybrid 5（Figure 1）。核酸：RNA 33、DNA 64（Figure 3），total NA 3（Figure 1）。检测：shotgun 85、targeted 15（Figure 3）。
• 规模：每配置每项3次。Methods称约4,800次运行；摘要报告3,962次可评分尝试。论文未报告超时次数。摘要只为Opus 4.8/PI的区间注明83 evaluations，未说明该数与100的关系。
• 指标：endpoint pass rate，即可评分尝试（未拒答）中的正确比例，再对评测取平均。Figure 2A把每次尝试分为correct、incorrect或refused；incorrect含错误答案、超时或不可评分的答案。
• 评审：确定性字段检查，不是LLM评审。论文未报告人工复评一致性。区间为95% Student-t，抽样单位是evaluation（Methods；Figure 2、3图注写作95% t intervals）。
• 基线：没有外部方法基线，比较的是上述十六组。

主结果

表格较宽，可左右滑动

配置	endpoint pass rate	95% CI	拒答占全部尝试
Opus 4.8 / PI	50.2%（摘要；Figure 2B为50%）	40.1–60.3（83 evaluations）	19%（Figure 2A）
GPT-5.5 / Codex	50.2%（摘要；图为50%）	40.8–59.6（摘要未给evaluations数）	8%
Opus 4.7 / PI	49.6%（摘要；图为50%）	40.0–59.2	25%
Sonnet 4.6 / PI	48.6%（摘要；图为49%）	38.9–58.3	18%
Gemini 3.1 Pro / PI	45%（Figure 2B）	未报告	7%
GPT-5.4 / PI	38%（Figure 2B）	未报告	27%
Grok 4.3 / PI	16%（Figure 2B）	未报告	正文称从不拒答
Grok 4.20 Reasoning / PI	14%（Figure 2B）	未报告	正文称从不拒答

表外八组的Figure 2B终点通过率为：Gemini 3.5 Flash/PI 47%，Opus 4.6/Claude Code 47%，Opus 4.6/PI 46%，GPT-5.5/PI 45%，Opus 4.7/Claude Code 44%，Sonnet 4.6/Claude Code 44%，GPT-5.4/Codex 41%，Opus 4.8/Claude Code 39%。最差的两组已列入表中。

• 作者称没有配置超过大约一半；十六组约从14%到50%，平均41%。只有两个xAI配置明显分开并落后，Anthropic、OpenAI与Google的配置在38%到50%相互重叠。
• 拒答从完全没有到近三分之一（Figure 2A）。作者称OpenAI在PI下拒答27%至29%，同一批任务在Codex下为8%至9%；Anthropic为18%至31%，Google为7%至15%，xAI从不拒答。

属性分解

• 测了什么：Figure 3把每项评测先收成一个通过率，再对十六组配置平均；n<10的格子省略，误差棒为跨评测的95% t区间，正文未给出区间端点。
• 结果：六类任务在35%–50%，来源追踪50%（n=12）、分类学分类46%（n=16）最高；异常检测20%（n=10），遗传工程35%（n=12）次低。临床45%（n=23）、分离株44%（n=34）、废水37%（n=31）。长读长26%（n=15），短读长41%（n=80）。DNA 39%（n=64），RNA 42%（n=33）。shotgun与targeted在图中均为40%（n=85与15）。
• 作者的解读：难度随任务和读长变化最大，随样本类型和靶标变化最小；shotgun与targeted在正文中被称作无法区分。Figure 3B只显示n≥10的三种样本。

失败模式

• 类别排序：作者称总通过率不同，但类别难度排序大体保守（Figure 4）：异常检测和遗传工程对几乎每个配置都最难。图中并非每行都如此。Grok 4.20 Reasoning/PI的异常检测格为17%，是该行最高；Grok 4.3/PI的异常检测为23%，遗传工程为8%；Gemini 3.5 Flash/PI的遗传工程为61%，与该行来源追踪并列最高，其分类学分类36%低于异常检测38%。Sonnet 4.6/PI的异常检测格为5%。
• 轨迹审查：作者称各提供方的失败签名相同：智能体几乎总是调用已验证工具，而不是自行重写；错误来自参考或数据库、阈值与过滤、归一化，使看似合理的答案落在评分容差外。论文未报告审查条数或编码一致性。
• 解释类错误：作者称异常检测上智能体偏保守，面对低丰度但high-consequence的生物，常常当成环境背景，只是有时标错分类单元。遗传工程上，作者称大多检出了工程但认错类型或位置，较少完全漏检，更少把天然质粒判成工程。论文未给这几类错误的比例。

其他消融与分析

• 同一模型换工具架（均Figure 2B）：GPT-5.5为Codex 50%、PI 45%；Opus 4.8为PI 50%、Claude Code 39%；Opus 4.7为PI 50%、Claude Code 44%；Sonnet 4.6为PI 49%、Claude Code 44%；GPT-5.4为Codex 41%、PI 38%；Opus 4.6为Claude Code 47%、PI 46%。
• 对应拒答（Figure 2A）：GPT-5.5为Codex 8%、PI 29%；Opus 4.8为PI 19%、Claude Code 31%；GPT-5.4为Codex 9%、PI 27%。
• 论文未报告提示词、工具清单、时限或容差的消融，也未报告查询次数或耗时。

作者指出的局限与后续方向

• 分布不均（Discussion）：任务在类别、样本类型和测序技术上分布不均，汇总分数会更重地反映样本多的标签。作者称已全程报告各标签计数，但更大、更均衡的任务集才能让分数被直接阅读。
• 拒答与分母（Discussion）：被拒答的任务没有可评分尝试，会掉出分母，使拒答最多的配置在更少、更不可比的任务上被评分。作者称这提供了一种抬分方式，即拒答最可能失败的任务。所测前沿模型都没有这种模式，但作者认为把本基准与专门的拒答评测搭配，可以防范这样做的模型。
• 单一客观答案（Discussion）：为了确定性评分，基准限于有单一客观答案的任务；真实生物监测里很多分析没有公认方法或答案。作者称这些分析超出了目前能评分的范围，衡量这种开放判断是下一代基准要解决的中心问题。

实验覆盖范围

• 被测为十六组model–harness：Opus 4.8、4.7、4.6与Sonnet 4.6（Claude Code与PI），GPT-5.5与GPT-5.4（Codex与PI），Gemini 3.5 Flash与Gemini 3.1 Pro（PI），Grok 4.3与Grok 4.20（PI）；每项评测每配置3次（Methods）。
• 评测共100项、七类任务、六种样本类型；属性通过率见Figure 3，配置×类别见Figure 4。Figure 3省略n<10的格子，论文未报告这些格的通过率。
• 评分由确定性字段检查完成。论文未报告LLM评审或人工一致性；轨迹审查的说法见Discussion，论文未报告审查条数。
• 摘要给出3,962次可评分尝试；Methods称约4,800次运行。论文未报告各配置的查询次数或墙钟耗时分布，也未报告真实SRA与模拟reads的项数。
• Data availability写明：公开子集包含示例评测的任务提示与描述性元数据；完整评测集按生物安全研究惯例限制访问。

BioSecBench-Surveillance用可验证的终点评分，衡量AI智能体做病原基因组监测时，能否自己选出正确分析。

要解决的问题是：监测数据增加后，分析仍依赖专家，而正确分析取决于参考、数据库、阈值、检测方法和采样情境等交织选择。作者称现有执行式生物学评测没有覆盖这些任务。

做法是把真实流程停在决策之前。100项评测只给人类分析人员会有的原始或近原始数据与情境，不提示正确流程。智能体在预装生信工具、允许联网的相同沙箱中作答，十六组配置各重复3次。答案按数值容差、集合的Jaccard重叠和类别匹配等规则评分，全部必需检查通过才算通过。

• 十六组endpoint pass rate约14%至50%，平均41%（正文，Figure 2B）。Opus 4.8/PI为50.2%（95% CI 40.1–60.3；83 evaluations），与GPT-5.5/Codex的50.2%（95% CI 40.8–59.6）并列（摘要）。Grok 4.20 Reasoning/PI为14%（Figure 2B）。
• 十六组平均后，异常检测20%（n=10），遗传工程表征35%（n=12）；长读长26%（n=15），短读长41%（n=80）（Figure 3）。
• 作者称智能体通常会调用正确工具，错误来自参考、阈值、过滤和归一化；异常检测上偏保守，遗传工程上多是检出工程但认错类型或位置。论文未给这些错误的比例。

作者称没有配置能可靠完成这些任务，差距在于判断。作者把本基准称为隔离并确定性评分这一差距的第一步，并指出没有唯一答案的开放判断仍超出当前能评分的范围。