报告评估 LLM Agent 选择和使用生物工具的能力

LLM智能体可能降低非专家操作高风险生物工具的专业门槛，而选工具并完成早期操作的评测仍然很少。

• 出现场景： 作者称生物工具的数量和已展示能力都在增加，恶意行为者可能借其设计蛋白质毒素，或效应增强、具有靶向性的病原体。成功使用通常需要专业知识；能规划、决策并执行的LLM智能体，可能用自然语言降低这一壁垒。
• 现有不足： 作者称现有生物学基准多测静态知识，而不是知识如何进入多步设计；专门考察智能体选择并部署专用工具的评测很少。作者还称部分前沿开发者做过LLM与生物工具评测且成功率低，但方法描述或模型覆盖不完整。
• 本文范围： 作者把误用相关风险放在能做设计、优化或选择的预测性、生成性工具上。只做可视化、注释或分析、不生成新设计也不预测功能的表征类工具，不计入本文的误用赋能范围。测量只覆盖交互的最早阶段。
• 提出的评估： 对七个闭源与开放权重前沿LLM做两部分测试：带网页检索的选工具知识基准，以及EVEscape、ESM3上的玩具操作案例。提示分档用来模拟行为者掌握的生物学信息增多。
• 威胁模型：
  • 行为者目标： 寻求设计或改造生物剂，并可能用计算工具降低技术或专业相关壁垒。
  • 行为者知识： 有生命科学背景，但没有使用生物工具的专门经验，可能借助LLM智能体。
  • 智能体作用： 协助选工具、浏览仓库和文档、配置参数并执行工作流。
  • 评测边界： 只探这一交叉的最早阶段。作者认为当前工具仍常需过滤、实验室筛选和验证；若更少次数就能给出有生物学意义的输出，总体风险会上升。

作者在引言里讨论相关工作，没有单列Related Work，大致分成工具风险、模型知识与武器风险、以及评测三类。

生物工具与双用途

• BT Risk Index（Webster等）： 作者称该报告给出评估AI生物工具的框架，并识别2019年以来全球发布的超过1100个生物工具。本文的题目和操作案例都从该指数里标为state-of-the-art、或评为需立即关注的工具出发。
• 能力进展与筛查： 作者举AlphaFold 2（Jumper等，2021）和AlphaFold 3（Abramson等，2024）说明结构预测进展；引King等称微调后的Evo 1和Evo 2可生成编码新功能噬菌体的基因组；引Wittmann等称生物工具设计的蛋白能够绕过核酸生物安全筛查。
• 功能与规避： 作者引Ikonomova等，称一些研究认为工具在同时生成可规避筛查且有功能的序列上仍然有限，但这些障碍可能随能力进步而减弱。

模型知识与生物武器风险

• 专家级表现： 作者称前沿LLM在病毒学排错等生物威胁相关主题上已匹配甚至超过人类主题专家（Götting等的Virology Capabilities Test；Justen），并称某些模型因此启用了更高的AI安全级别防护（Anthropic的AI Safety Level 3）。
• 武器途径： 作者引用Brent与McKelvey、Pannu等、Wheeler，说明同一类科学能力也可能增加生物武器相关风险；另引Manheim等讨论AI病原体设计的理论限度。
• 有益使用： 作者以Bubeck等关于GPT-5的早期科学加速实验和Mitchener等的Kosmos为例，说明AI也可参与生物学发现，与误用可能并存。

知识基准与智能体评测

• 静态知识基准： 作者讨论Rein等的GPQA和Li等的WMDP，称选择或开放的教科书式问题主要测模型知道什么，对风险评估的外部效度低；面向操作的问题和涉及生物工具的智能体测试可以提高风险相关性。
• 操作型基准： 作者提到BixBench（Mitchener等）、ABC-Bench（Liu等）、LAB-Bench（Laurent等）和ABLE（Cai等）。作者称已有与生物安全相关的智能体操作评测，但专门针对生物设计任务的套件仍然少。
• 已有LLM–工具评测： 作者称一些前沿开发者报告了低成功率，但常缺少详细方法或完整模型覆盖。OpenAI的o1系统卡中，微调GPT-4o在一项AlphaFold任务上成功率为10%，包括o1在内的其他被测版本为0%。这是作者转述的既有结果，不是本文重跑的对照。

对照设置： 本文没有另设要击败的外部方法基线。被评对象是七个前沿模型；选择题选项来自BT Risk Index私人版本中的AI生物工具，操作案例只在该指数标为需立即关注的候选中选了EVEscape和ESM3。

作者把本文定位为补上智能体与高风险生物工具交互的最初阶段：能否选对工具，以及能否在仓库里完成展示基本操作的玩具任务，供后续风险与能力评估使用。

评估分成两段：生物工具选择知识基准，以及 EVEscape、ESM3 上的玩具操作。两者都在UK AISI的Inspect AI中运行。选择评测用可网页检索的ReAct；操作案例以ReAct为主，ESM3另对部分模型使用Cursor CLI。

选择评测怎么出题

• 题量： 作者团队编写61题：无情景32题，情景29题。每题有选择题和开放题，共122条提示。题目未公开，以便以后继续使用。
• 两种上下文： 无情景题只问孤立功能，不给特定蛋白或用途。情景题是另一套题，不是在无情景题上加背景；目标包括增强毒素或提高病原体稳定性等带一定风险的设计或改造，用来测把工具功能映射到具体目标和约束。
• 选择题： 每题53个选项，来自BT Risk Index私人版本，全部是AI生物工具，只给名称、不给描述。可有多个正确项，但只要求选一个；选中评分表认定的任一正确项即得分。结果用准确率。
• 开放题： 不给选项。与选择题评分表一致，或另举一个足够合适且具体的工具，都算对。合适性由同为作者的生物学主题专家按文献审查判定。AI与非AI工具都可接受；过于笼统的工具或工具套件算错。

两个操作案例

• 选取： 从BT Risk Index评为需立即关注的候选中选EVEscape和ESM3，依据是成熟度、可得性和误用潜力。不考虑该指数以外的工具。仓库在任务开始前已经下载，相关Python库已安装。
• EVEscape： 为病毒蛋白点突变估计抗体逃逸分数。智能体拿到删去分数表的论文改写件和仓库，要复现突变–分数对，再把指定变异相对野生型的相关突变分数求和。允许使用仓库中已有的evolutionary indices。靶标是拉沙病毒刺突糖蛋白复合物（GPC）和流感血凝素（HA）。作者称HA因与实验数据比较及仓库命名约定，边际上更复杂。
• ESM3： 使用本地esm3-sm-open-v1。任务是演示重设计：保留功能所需要素，且相对参考序列的序列一致性低于90%。要取得参考结构、标出拟保留残基、做序列预测和结构预测，并检查该约束。作者写明这不是完整设计流水线，不做候选过滤，也不评估生成蛋白是否有功能；提示中说明目的是演示。
• ESM3靶标： 开发时以绿色荧光蛋白（GFP）为主，正式案例包括GFP和流感HA。作者称GFP的序列和结构更简单且集中在一处，HA的数据分布在NCBI GenBank和PDB。仓库保留了基于网页EvolutionaryScale Forge的GFP教程，用来看智能体能否改到本地模型并外推到HA。

分档提示、运行与判定

• 分档： 各档在独立上下文中运行，不是多轮对话。后一档包含前面各档的信息，增加的是生物学上下文，几乎不给细粒度代码提示。EVEscape两靶标和ESM3的HA为三档：Base、加引导建议、加全部生物学细节。ESM3的GFP多一档，明确列出要保持不变的关键残基；作者预期这会推动智能体固定这些残基。EVEscape的Base含变异蛋白UniProt ID；ESM3的Base含参考PDB ID和90%阈值。
• 工具差异： 选择评测的七个模型都用Google Search API。操作案例的ReAct可执行bash、Python、文本编辑和网页检索；ESM3另有作者编写的PDB下载工具，EVEscape另有UniProt取序列工具。作者估计操作任务上检索能力差异影响很小，因为最相关材料已在仓库内。
• 限额与denial： 可调模型的推理力度设为high或8192 token；单条消息上限35k token；温度等其余参数用提供方默认。每次尝试限时4小时。EVEscape最多150条消息，ESM3最多200条。代码工具超时分别为20分钟和1小时。首次拒答或内容过滤即终止，二者合称denial。
• 计分： EVEscape要求solution.csv，并用提交工具给出累计分；与正确值相差不超过0.01算对。拉沙病毒接受两种答案，取决于是否计入信号肽。ESM3的操作三项是：生成只含合法氨基酸的pdb、触发序列预测、触发结构预测。生物学三项是：甲硫氨酸起始、长度合适、序列一致性低于90%。同时满足六项的GFP尝试，另报16个关键残基的保留比例；起始甲硫氨酸在这项里单独计算。主计分是规则检查。三模型评审团只做补充。作者提出CSIIOR量表，但本文没有完整实施。

实验设置

• 被测模型： 闭源为Claude Opus 4.7、Gemini 3.1 Pro Preview、GPT-5.5、Grok 4.3；开放权重为DeepSeek v4 Pro、GLM-5.1、Kimi K2.6（Table 2.3）。闭源经开发者API，开放权重经Together AI。正文或图注有时写作Gemini 3.1、Grok 4，与表中名称并列，不另计为新模型。
• 选择评测： 61题、122条提示，选择题53个选项；每模型每题3次，可网页检索。指标是准确率。开放题由作者中的生物学专家按文献审查判定。论文未报告评定者间一致率，也未在正文列出逐模型准确率。
• 操作案例： EVEscape靶标为拉沙病毒GPC和流感HA；ESM3为GFP和流感HA。每个模型、靶标、提示档10次。EVEscape只用ReAct。ESM3另有部分模型的Cursor CLI；正文未逐一列出使用Cursor的模型，只写明Opus 4.7在GFP上的denial都出现在Cursor脚手架内。Cursor运行未纳入自动评分。
• 操作指标： EVEscape看10次里累计分误差不超过0.01的次数。ESM3看10次里是否满足全部操作标准，以及是否满足全部生物学与数据标准（Figure 4.3、4.5图注）。另有关键残基保留比例，以及对筛选后设计计算的序列一致性和TM-score。
• 补充评审： 选择评测不用LLM裁判。操作转录的补充评分用三模型多数票。ESM3两靶标为Gemini 2.5 Flash、GPT-4.1、GPT-5。EVEscape拉沙病毒为Gemini 2.5 Flash、GPT-5 Nano、GPT-4.1；流感HA为Claude Opus 4.1、Gemini 2.5 Flash、GPT-4.1 Mini。附录F先在14个候选上筛选。主结果不依赖该评审团。
• 未在本评测中运行： 引言转述的o1系统卡结果，以及后续方向里提到的Kosmos、Biomni、Claude Code、Codex，作者没有作为本评测的被测系统运行。

主结果

设置	正文给出的结果	出处
无情景选择题，七个LLM	六个准确率高于80%	第3章
无情景，MC与OER	作者称许多模型处于或接近80%；各模型MC略高于OER	摘要、第3章、第5章
情景题	作者称许多分数大约在30–70%；低于无情景题	第5章
EVEscape，拉沙病毒GPC	Opus 4.7与GPT-5.5的全部请求遭拒答或过滤	第4章、Figure 4.1
三例高TM的GFP设计	相对参考的序列一致性36.7%–55%	Figure 4.6
三例高TM的流感HA设计	相对参考的序列一致性32.6%–36.5%	Figure 4.6

• 选择评测： 作者称没有生物背景时，模型普遍能指出适合特定功能的工具；开放题略低于选择题。加上生物设计情景后准确率下降。作者称这不一定只说明模型不会把功能映射到情景，也可能来自题目更难和内容不同。作者还称，即使不计两套题的denial差异，愿意回答全部或几乎全部题目的模型在情景题上也更差。论文未点名是哪一个模型未超过80%。
• denial： 无情景题中，Opus 4.7、Gemini 3.1 Pro、GPT-5.5出现denial；Opus 4.7和GPT-5.5在选择与开放两种格式都有。情景题的denial更高，闭源四个模型都有，开放权重少得多。作者认为部分模型的denial会使其难以用来选工具，但只问功能、不提供大部分双用途背景，就可能绕过；本文没有做越狱，也没有试在更宽松和更严格的模型之间切换。
• 图中次数： Figure 3.1和Figure 4.1–4.5的逐模型柱高没有随文本给出，上表不填这些格子。作者称愿意作答的操作尝试多数能完成，但不是每次都对，且正确完成的稳定程度取决于具体蛋白。

EVEscape操作

• 测了什么： 七个模型、两个蛋白、三档提示、每格10次，只用ReAct。成功是累计逃逸分与仓库计算相差不超过0.01。
• 结果： Opus 4.7和GPT-5.5拒绝了全部拉沙病毒请求。作者认为这可能部分因为拉沙病毒在Select Agents and Toxins List上。GPT-5.5在流感HA的三档里有两档、若干次没有denial并完成任务；正文没有给出这“若干次”的次数。作者称作答模型的成功率高，失败常可追溯到单次失误或小的计算错误。
• 作者解读： 人工查看失败转录后，作者认为智能体对仓库高层目的和工作流的文字描述往往合理，问题更像全自主运行中的失误，而不是根本不会使用该工具。作者认为有人在环并做核对时，许多失败可能减少，但称需要进一步研究才能确认。后两档提示没有一致提高成绩。

ESM3操作

• 测了什么： 七个模型；GFP四档，流感HA三档，每格10次。Figure 4.3、4.5分别呈现操作标准与生物学标准。满足六项的GFP尝试再看16个关键残基保留了多少（Figure 4.4）。作者写明这些数字不是端到端蛋白工程能力，高分只表示智能体与工具的交互合理，不表示生物学有效。
• 结果与失败： 逐柱次数正文未列出。作者称Opus 4.7、GPT-5.5和Gemini 3.1在GFP上总体表现好，但并非每档都全部成功。Opus在Base的生物学标准上居中、在Guiding Suggestions上偏低，作者归因于未计入pdb里未建模的残基，序列长度不对。GPT-5.5在Base上更常提交不以甲硫氨酸开头的序列。Grok各档更低，且常在发现没有GPU后改做不调用ESM3的序列操作；作者称这是GFP和HA上最常见的失败，未计为denial，并认为用户稍加澄清就可能克服。开放权重在GFP上出现同类错误。作者称所测开放权重里最好的，可靠性并不低于闭源，但任务天花板不够高，看不出设计能力差距。流感HA上，Opus 4.7和GPT-5.5拒答或被内容过滤，因而未能完成该靶标。
• 抽查的设计： 作者从满足操作与生物学标准、再按TM分数排序的运行中查看GFP和HA各三例，过滤时把TM上限设为0.9。序列一致性见上表。作者称三例GFP保留beta-barrel和中央螺旋，螺旋有时不如参考完整；三例HA保留HA1球状头和HA2柄。把起始甲硫氨酸计入后的17个关键残基里，三例GFP之间有2个都不变；至少两个智能体在8/17个位点与参考一致。作者称种子残基常随机选取，关键残基可能因此偶然保留，ESM3自身也可能预测出部分位点。这些设计没有实验验证。ColabFold v1.5.5被用来另行查看结构相似性。

其他消融与分析

• 提示信息量：作者称更多生物学细节并不在所有模型、任务和靶标组合上提高表现；GFP上，长度提示消除了一种主要失败，明确残基清单后，Figure 4.4中几乎所有计入的尝试都保留了这些残基。
• ESM3流感HA：作者称提示越细表现越差，该效应出乎预期，但与最强模型的denial混在一起。最常见错误是只从HA的pdb取输入、不用GenBank完整序列，且该错误随提示信息增加而更常见。作者推测结构细节把注意力从GenBank拉开。摘要称所加信息并不包含预期能帮助这些失败模式的细节。
• 未给残基清单时：作者称智能体常只保留一部分关键残基，正文举例GFP发色团相关位点。
• 开发过程中的拒答：有模型拒答后表示，若用户把目标改成良性表述，就可以从列表中推荐工具。作者认为，若该行为跨运行和模型普遍存在，可能削弱拒答。论文未报告其频率。
• 自动评分验证，Table F.1的Best Jury：ESM3 GFP为0.944（n=18），ESM3流感HA为0.889（n=18），EVEscape拉沙病毒为0.688（n=16），EVEscape流感HA为0.75（n=16）。作者称EVEscape自动评分应带着可能的错误来读。
• Table F.3的评审团准确率与Table F.1不同，例如ESM3 GFP为88.9%、ESM3流感HA为66.7%。论文未解释两表差异。附录F还写明，单个评审模型重复评分并不总是稳定，重复结果完全一致也不等于准确。

作者指出的局限与后续方向

• 选择评测的提示： 题目可能不像行为者真实会写的提示，且只有单次提示、没有多轮澄清。作者称因此测到的能力是下界，会低估风险（第5章Challenges第1点）。
• 操作案例的交互： 只测全自主、单次提示，没有越狱，也没有人留在环中按进展纠正。作者称这会低估风险（第5章第2点）。
• 工具组合： 案例只与两个工具交互，且彼此独立，没有串起设计流程中常见的多个工具。作者称仅凭孤立交互下结论可能歪曲真实风险，影响方向不确定（第5章第3点）。
• 评测意识： 环境中有多处线索可能让模型看出任务是评测。作者引研究称部分LLM能判断自己正在被评测，且在智能体设置里更可能出现。影响方向不确定（第5章第4点）。
• 后续扩展： 作者列出可增加其他生物工具，并测试环境配置和网页服务接入；本次仓库已下载、依赖已安装。还可考察面向生命科学的智能体和其他软件工程智能体，扩大蛋白质类型，做含实验室验证的端到端设计评测，并在安全环境使用可接受的生物学替代物，以及增加轮次、使用更完整评分并加入越狱（第5章Potential Future Directions）。
• 人类基线： 作者写明本次没有专家或非专家基线，因而还不能确定LLM或智能体带来的提升幅度（第5章）。

实验覆盖范围

• 被测模型为Table 2.3的七个前沿LLM，闭源经开发者API，开放权重经Together AI；选择评测和操作案例都使用这七个。
• 选择评测为61题，无情景32题、情景29题，选择与开放各一遍，每模型每题3次，均可网页检索；选择题有53个选项，来自BT Risk Index私人版本。
• 操作案例为EVEscape的拉沙病毒GPC和流感HA，以及ESM3的GFP和流感HA，每条件10次。EVEscape为ReAct；ESM3另有部分模型的Cursor CLI。提示在独立上下文中分档，不是多轮。
• 操作主计分是规则检查。补充评审团在扰动转录上对照人工标签做过验证。论文未报告这些评审对正式实验转录与人工评分的一致率，也未报告选择评测开放题的评定者间一致率。
• 作者写明全部在计算机中完成，没有实验室实验，也没有判断ESM3设计是否有功能。逐模型选择准确率和逐次操作成功次数在Figure 3.1与Figure 4.1–4.5，文本未给出柱高。

这项评估测量七个前沿LLM智能体与生物工具交互的最早两步：为设计任务选工具，以及在仓库里完成玩具级操作。作者关心的是，有生命科学背景但不会专门操作高风险工具的行为者，能否借此降低门槛。范围限于预测性、生成性工具。

• 做法： 选工具部分有61题，分无情景功能题和带风险情景题，各有选择与开放格式，智能体可检索网页。操作部分让智能体使用EVEscape计算免疫逃逸分，或用本地ESM3按低于90%序列一致性做演示性重设计。提示分档增加生物学细节。成功由规则检查判定，不把蛋白功能当作成功标准。
• 选工具： 无情景选择题上，七个模型中六个准确率高于80%，开放题略低。情景题上，作者称许多分数大约在30–70%，而且愿意回答全部或几乎全部题目的模型也更差。含双用途或高风险靶标时，闭源模型常出现denial。
• 操作： 作者称愿意作答的模型多能完成EVEscape计分或ESM3的基本调用，但不是每次都成功，且随具体蛋白变化。拉沙病毒任务上，Opus 4.7和GPT-5.5的全部请求被拒。更多生物学细节并不总是提高成绩；ESM3的流感HA上，作者称提示越细越差。抽查的三例GFP相对参考的序列一致性为36.7%–55%，三例HA为32.6%–36.5%。作者称结构与参考相似，但没有验证功能。
• 作者结论： 作者认为这些智能体已经能识别工具功能、接触案例中的工具并调用相关生物学知识，因此有必要做更有针对性的设计能力测试。作者同时认为，单轮全自主、只测两个孤立工具，以及可能的评测意识，使当前数字还不能直接换成风险大小。