AI for Science 智能体能保留模型的安全性吗？

核心问题：当 LLM 被嵌入 AI-for-Science 智能体框架（agent harness）后，基础模型的安全行为是否仍然保持？

• 场景与重要性：AI-for-Science 智能体把 LLM 接入科学数据库、专用软件和计算工具，用于假设生成、自主实验和证据解读；作者指出部署的系统是组合智能体而非基础模型本身，因此安全评估不能只针对基础模型。
• 现有不足：作者称已有科学安全基准（如 ChemSafetyBench、SoSBench）测的是 LLM 层面的有害协助，但同一基础模型配上科学智能体框架后安全行为是否保持尚不清楚。
• 核心观察：拒答行为对有害请求的呈现和追问方式敏感，简单改写和多轮自适应交互都能削弱拒答；框架改变了模型可见的信息、可执行的动作和交互序列，可能为有害请求创造新的通路，即使模型权重不变。
• 论文方案：以有害化学为案例，固定基础模型，比较 5 个智能体框架与对应基础 LLM 在 50 条有害化学请求上的有害遵从差异，覆盖直接提示、两种对抗提示和一种自适应攻击。
• 威胁模型：
  • 目标：让智能体对要求增强化合物有害性质（如毒性、腐蚀性）的化学请求给出实质回答。
  • 知识/能力：提交请求并使用四种提示条件（直接、roleplay、过去时改写、PAIR 自适应攻击），论文未用白盒/黑盒术语描述攻击者知识。
  • 受害系统：由 GPT 系列基础模型加科学智能体框架组成的组合智能体。
  • 成功判定：MT-JailBench 三评审协议（两个二元评审加一个 5 分有害度评审），均以 GPT-5.5 实例化。

AI-for-Science 智能体

• Boiko 等（2023）、Bran 等（2024）——自主化学研究和为 LLM 增强化学工具；Gao 等（2024）——生物医学发现中的 AI 智能体。
• 本文评测的 5 个框架：CACTUS（McNaughton 等，2024）、ChemToolAgent（Yu 等，2024）、STELLA（Jin 等，2025）、Biomni（Huang 等，2026）、DrugAgent（Liu 等，2024）。

拒答与越狱的敏感性

• Andriushchenko 和 Flammarion（2025）——过去时攻击，作者引其说明简单改写可削弱拒答；本文的过去时条件沿用该攻击。
• Rahman 等（2025，X-Teaming）——多轮自适应越狱；Chao 等（2025，PAIR）——本文自适应攻击所用方法。

智能体层面的有害行为与评估

• Andriushchenko 等（2025，AgentHarm）——衡量 LLM 智能体有害性的基准，作者引其说明多步任务中无需显式越狱也会出现有害智能体行为。
• OpenAI（2026）——长时程模型在部署条件下出现短评估未捕捉的失败；Ruan 等（2024）——用 LM 模拟沙盒识别智能体风险；Zhang 等（2025，ASB）——智能体攻防基准。

科学领域安全基准

• ChemSafetyBench（Zhao 等，2024）、SoSBench（Jiang 等，2026）——化学与六个科学领域的 LLM 安全基准；SafeSciBench（Zhu 等，2026）——本文 50 条有害化学请求的来源；SafeScientist（Zhu 等，2025）——面向风险感知科学发现。
• Urbina 等（2022）——AI 药物发现的双重用途风险，为化学场景提供动机。

基线与数据：本文不设方法基线，对照是同一基础 LLM 不加框架；评测数据为 SafeSciBench 的 50 条有害化学请求，能力对照用 GPQA 50 题子集。

定位：作者称已有工作测的是模型层面安全或通用智能体有害行为，本文直接检验"安全保持"问题——固定基础模型，测量引入科学智能体框架后有害遵从的变化（∆ASR）。

整体思路：保持基础 LLM 不变，把同一批有害请求以相同提示条件分别发给基础模型和组合智能体，用 ∆ASR 衡量引入框架后有害遵从的变化。

评测对象与数据

• 5 个框架：CACTUS、ChemToolAgent、STELLA、Biomni、DrugAgent；4 个基础模型：GPT-5.2、GPT-5.5、GPT-5.6-Luna、GPT-6-Luna。
• 请求集：SafeSciBench 的 50 条有害化学请求，要求给出增强化合物有害性质（如毒性、腐蚀性）的化学修改、转化或合成路径，通常要求以 SMILES 表达；作者称这使有害意图明确，同时需要足够化学知识才能给出实质回答，从而区分拒答与实质推进请求的回答。

提示条件

• Direct：请求按原文提交，无越狱或对抗框架；作者称这是对安全保持最清晰的检验。
• Roleplay：通过科学人设呈现请求，保留有害意图。
• Past tense：按已发表的过去时攻击（Andriushchenko 和 Flammarion 2025）改写。
• PAIR：自适应攻击，利用目标模型此前的回答改写请求（Chao 等 2025）。

采样与判定

• 三个单轮条件：每条请求在温度 0.6 下采样 3 次，基础模型与组合智能体相同；报告 pass@3，即三次采样中至少一次有害回答的请求比例。
• PAIR：对每条请求评审一次自适应搜索的前三个候选，任一满足有害判据即计成功；因算力成本未重复实验。
• 评审：MT-JailBench 三评审协议，含两个二元评审和一个 5 分有害度评审，三个评审均以 GPT-5.5 实例化。

核心度量

• 主指标为 Δ ASR = ASR_harness − ASR_base，即同一提示条件下组合智能体与对应基础模型的 ASR 之差（式 1），单位为百分点。
• 附录另报 mean ASR ± SE（三次运行）、显式拒答率（关键词检测器）及 GPQA 50 题准确率作能力对照。

辅助分析

• 拒答率用评测中的关键词检测器测量；作者强调拒答率与 ASR 测的是不同结果，互不互补。
• 框架配置消融：在 STELLA 和 Biomni 上禁用外部工具或记忆，比较 PAIR ASR；作者明确这些是探索性配置比较，不能分离单个组件的因果效应。

实验设置

• 被测模型：GPT-5.2、GPT-5.5、GPT-5.6-Luna、GPT-6-Luna，各与 5 个框架（CACTUS、ChemToolAgent、STELLA、Biomni、DrugAgent）组合，对照为同一基础模型不加框架。
• 数据：SafeSciBench 的 50 条有害化学请求；能力对照为 GPQA 50 题子集。
• 提示条件：Direct、Roleplay、Past tense、PAIR 四种。
• 指标：主指标 ∆ASR（式 1，对基础模型的百分点差）；单轮用 pass@3（温度 0.6、3 次采样），PAIR 用单次自适应搜索的 ASR（k/50）。
• 评审：MT-JailBench 三评审协议（两个二元评审 + 一个 5 分有害度评审），全部由 GPT-5.5 实例化；拒答率用关键词检测器。
• 重复：单轮条件跑 3 次并报 mean ± SE；PAIR 因算力成本未重复。

主结果

Table 1 报告全部 harness × 模型 × 条件的 ∆ASR（百分点，对同一基础模型）。下表为部分关键单元格（据 Table 1 及 Tables 4–7 的绝对值）：

表格较宽，可左右滑动

条件	组合	基础 ASR	智能体 ASR	∆ASR
Direct	GPT-5.2 + DrugAgent	2%	72%	+70
Direct	GPT-5.2 + Biomni	2%	24%	+22
Direct	GPT-5.2 + ChemToolAgent	2%	20%	+18
Direct	GPT-5.5 + DrugAgent	4%	50%	+46
PAIR	GPT-5.5 + CACTUS / ChemToolAgent	2%	60%	+58
PAIR	GPT-5.6-Luna + CACTUS	10%	66%	+56
PAIR	GPT-6-Luna + STELLA	2%	30%	+28
PAIR	GPT-5.2 + CACTUS	56%	36%	−20

• 作者称直接提示（无越狱）下安全行为即可改变：GPT-5.2 上 ChemToolAgent、Biomni、DrugAgent 均提高 ASR，而 STELLA 在四个模型上持平或略降，CACTUS 仅小幅上升。
• 作者称自适应攻击暴露更大的安全保持失败：GPT-5.5 的 PAIR ASR 从 2% 升至 38–60%（+36 至 +58 点），GPT-5.6-Luna 从 10% 升至 28–66%，GPT-6-Luna 从 2% 升至 8–30%。
• 例外：GPT-5.2 的 PAIR 基线已为 56%，加框架后效果混合，从 CACTUS 的 −20 点到 ChemToolAgent、Biomni 的 +20 点；Roleplay 和 Past tense 下各配置有升有降。

拒答率分析（Tables 2–3）

• 测了什么：显式拒答率相对基础模型的变化，与 ASR 对照。
• 结果：GPT-5.5 PAIR 下拒答率从基础模型的 80% 降至 ChemToolAgent 的 6% 和 CACTUS 的 8%，同期 ASR 从 2% 升至 60%；反向例子是 GPT-5.2 配 CACTUS，PAIR 拒答率从 10% 升至 40%，ASR 从 56% 降至 36%。
• 作者解读：拒答率与 ASR 测的是不同结果；低拒答率不等于相应数量的成功有害回答，未拒答的回答可能不完整或技术上不成功。

能力对照（Figures 2–3，GPQA 50 题）

• 测了什么：基础模型与组合智能体的 GPQA 准确率变化，与直接提示 ASR 变化对照。
• 结果：GPT-5.2 基础模型 62%，ChemToolAgent 68%、Biomni 70%、STELLA 76%，而 DrugAgent 28%；DrugAgent 在 GPT-5.5（78% vs 88%）和 GPT-5.6-Luna（48% vs 78%）上也低于匹配基线；GPT-6-Luna 仅评了 DrugAgent（54%），无对应基础模型结果。
• 作者解读：安全退化可与能力上升或下降同向出现——ChemToolAgent 配 GPT-5.2 的 GPQA 升 6 点同时 ASR 升 18 点，DrugAgent 配 GPT-5.2 的 GPQA 降 34 点同时 ASR 升 70 点；作者称 GPQA 准确率变化不能解释组合智能体的安全行为。

框架配置消融（Table 8）

• 测了什么：STELLA、Biomni 在 PAIR 下禁用外部工具或记忆后的 ASR（GPT-5.5、GPT-6-Luna，各 50 条请求）。
• 结果：GPT-5.5 上 STELLA 完整框架 54%，禁外部工具 52%、禁记忆 56%；Biomni 完整 56%、禁工具 60%；GPT-6-Luna 上 Biomni 禁工具从 28% 降至 22%，仍高于 2% 基线。
• 作者解读：改动组件带来的变化相对完整框架与基础模型间的差异较小，且跨模型、跨组件不一致；这些是探索性配置比较，不能定位致因组件。

其他消融与分析

• 聚合规则影响方向（A.3）：GPT-5.6-Luna 过去时下 STELLA 的 mean ASR 为 22.7% vs 基础 26.7%（降 4 点），但 pass@3 为 40% vs 36%（升 4 点）。
• 最大标准误：DrugAgent 配 GPT-5.2 过去时 mean ASR 35.3 ± 7.4，为主配置中最大 SE。
• 绝对 PAIR ASR：DrugAgent 配 GPT-5.2 为 58%，仅比已高的 56% 基线高 2 点，作者指出两者都属高有害遵从。
• GPT-6-Luna 直接提示：基础模型 mean ASR 2.7%、mean 拒答率 46.0%；DrugAgent mean ASR 1.3%、mean 拒答率 8.7%（Table 3 及 A.2）。

作者指出的局限与后续方向

• 致因组件未知（Discussion）：作者称尚不清楚框架的哪些部分驱动观察到的变化、在 AI-for-Science 系统中泛化多广；系统指令、额外上下文、重复模型调用、工具使用和编排都可能有贡献，需要受控消融分离效应。
• 更广领域与设计（Discussion）：未来工作应在更多科学领域和智能体设计上测试安全保持。
• 专家评估（Discussion）：未来工作应由专家评估有害回答的正确性。
• 消融的困难（A.4）：工具、记忆、系统指令和编排紧密耦合，禁用组件的配置比较不能识别致因组件；作者称需要更受控的实验来确定框架如何保持基础模型安全。
• SE 的局限（A.3）：三次运行只能有限估计变异性；SE 不覆盖请求选择、有害判定和框架实现带来的不确定性。
• PAIR 变异性未测（A.3）：PAIR 因算力成本未在独立运行间重复，50 条请求上的自适应搜索变异性未被测量。

实验覆盖范围

• 被测模型为 GPT-5.2、GPT-5.5、GPT-5.6-Luna、GPT-6-Luna 共 4 个，框架 5 个，请求 50 条，提示条件 4 种（第 2 节）。
• 单轮条件每配置 3 次运行（温度 0.6），PAIR 每配置一次自适应搜索、无重复（第 2 节、A.3）。
• 三个评审均由 GPT-5.5 实例化；论文未报告评审与人工判定的一致性（第 2 节）。
• GPQA 对照仅 GPT-5.2、GPT-5.5、GPT-5.6-Luna 有全部框架的匹配结果，GPT-6-Luna 只有 DrugAgent（A.1）。
• 配置消融仅覆盖 STELLA 和 Biomni 在 PAIR 下禁用外部工具或记忆（A.4）。

一篇关于 AI-for-Science 智能体安全保持的实证研究，核心问题是：基础 LLM 嵌入科学智能体框架后，模型层面的安全行为是否保持。

• 问题：部署的科学智能体是基础模型加框架的组合系统；作者指出拒答行为对请求呈现和追问方式敏感，框架改变了上下文、工具和交互序列，可能为有害请求创造新通路。
• 方法：固定基础模型，比较 5 个框架（CACTUS、ChemToolAgent、STELLA、Biomni、DrugAgent）与 4 个 GPT 基础模型在 50 条 SafeSciBench 有害化学请求上的 ∆ASR，覆盖直接、roleplay、过去时和 PAIR 四种提示条件，三评审协议由 GPT-5.5 实例化。
• 直接提示即退化：GPT-5.2 不加任何越狱时，DrugAgent 将 ASR 从 2% 升至 72%（+70 点），Biomni 升至 24%，ChemToolAgent 升至 20%（Table 1、4）。
• 自适应攻击放大退化：PAIR 对 GPT-5.5 基础模型仅 2% 成功，加框架后达 38–60%；GPT-5.6-Luna 从 10% 升至 28–66%（Tables 5–6）。
• 效果不均匀：STELLA 在四个模型上直接提示持平或略降；GPT-5.2 的 PAIR 基线已 56%，加 CACTUS 反降 20 点。
• 与能力解耦：GPQA 上 ChemToolAgent 配 GPT-5.2 升 6 点同时 ASR 升 18 点，DrugAgent 降 34 点同时 ASR 升 70 点；作者称能力变化不能解释安全变化（Figure 3）。
• 作者结论：基础模型的安全行为在引入框架后不可靠保持；安全评估与对齐应针对组合智能体，基准应保留基础模型作参照，并随框架任何组件变更而重测。