SciTrace：面向科学发现智能体的轨迹感知安全推理框架

科学智能体的安全检查与产生输出的推理是分开的：上一阶段的风险信号到下一阶段会被丢掉，多次各自可过的工具调用合起来也可能有害。

• 场景：作者认为，能设计实验、调用实验室 API 并起草论文的自主科学智能体，同样可能产出双用途方案、危险合成路径或规模化错误信息。
• 现有不足：作者称 SafeScientist 的四层防御各自运行，并不知道其他阶段的决定。Thinker 标出的危险方向不会传给 Experimenter 或 Writer；单步监控也看不到先取序列、再查耐药信息这类轨迹（引言，Figure 1）。
• 观察：作者把这两种失败记在“安全外置于推理”上：信号停在阶段本地，整条工具轨迹也不是检查对象。
• 做法：提出 SciTrace，在 SafeScientist 流水线上加入 Safety-Intrinsic Reasoning Loop（SIR）与 Compositional Tool-Chain Verifier（CTV），让安全推理进入各阶段，并在执行前检查工具轨迹。
• 威胁模型：
  • 受害系统：Thinker、Experimenter、Writer、Reviewer 四阶段科学发现流水线，可调用外部工具并生成论文类输出（Section 3.1）。
  • 要挡住的结果：双用途、危险合成、错误信息，以及单步可过、合起来有害的工具序列（引言，Section 4.5）。
  • 评测中的对抗输入：query injection、恶意讨论智能体、恶意实验指导者，以及 DAN、Base64、load splitting、DeepInception（Section 4.6–4.7）。
  • 知识：论文未用 white-box、black-box 或 gray-box 描述攻击者能看到什么。

论文第 2 节分三条线讨论；实验对照另列。

LLM 安全

• RLHF 与 Constitutional AI（Bai et al., 2022a, 2022b）：在训练阶段注入有用、无害或宪法式安全偏好。
• LLaMA Guard（Inan et al., 2023）：把输入输出安全检查做成 token 分类，做运行时筛查。
• 红队（Perez et al., 2022; Zou et al., 2023）：用对抗探测找策略违反。作者称这些技术面向短上下文，不处理安全相关上下文跨多次调用累积的多阶段流水线。

LLM 智能体安全

• AGrail（Luo et al., 2025）：用带记忆的 Analyzer-Executor 循环，从过往交互检索并精炼安全检查。
• ToolSafe（Mou et al., 2026）：TS-Guard 评请求有害性、攻击相关性与工具调用安全，TS-Flow 用反馈做纠正。作者称本文把二者改到科学智能体，并用组合风险替换攻击相关性。
• 作者称，据他们所知，此前工作没有明确研究 AI scientist 流水线中结构化的跨阶段安全状态传递。

AI scientist

• AI Scientist（Lu et al., 2024）：用 GPT-4 做端到端自主研究，产出想法、实验和论文草稿。
• 后续系统（Si et al., 2025; Weng et al., 2025; Yuan et al., 2025）：把覆盖扩到文献综合与超参数搜索。Table 1 还列入 CycleResearcher、ResearchTown、AI Co-Scientist、Agent Laboratory；这些行在跨阶段上下文、组合风险、非二元风险、记忆与反馈生成上均为否，科学领域为是。
• SafeScientist（Zhu et al., 2025）：作者称它是首个系统处理 AI scientist 流水线安全的工作，给出四种防御和 SciSafetyBench。本文直接建在其流水线与基准上。

基线与基准

• 基线：Table 2 为 Bare LLM 与完整 SafeScientist；Table 3 另比 AI Scientist、CycleResearcher、ResearchTown、AI Co-Scientist、Agent Laboratory、SafeScientist。
• 基准：SciSafetyBench（Zhu et al., 2025）。

作者把 SciTrace 定位成同时具有跨阶段上下文、组合风险检测、非二元风险、记忆检索、纠正反馈和科学领域六项属性的框架。Table 1 标题称它是表中唯一六项都满足的框架。

SciTrace 不把安全做成输出上的外挂过滤，而是在四阶段科学发现流水线里共享一份累积风险状态：SIR 在阶段转换时联合推理任务与安全，CTV 在工具执行前看整条调用史。

流水线与风险等级

• 四阶段：沿用 SafeScientist。Thinker 做想法与多智能体讨论，Experimenter 做代码与工具，Writer 起草论文，Reviewer 做伦理与科学评审（Section 3.1）。
• 谁做决定：每次阶段转换和工具调用上，SIR 与 CTV 承担主要安全决定。原有分阶段过滤和工具监控只作错误处理回退。
• 五级而非二元：SAFE、LOW-RISK、WARNING、HIGH-RISK、BLOCK。总等级取全部信号的最大值；指定类别对同时出现时再升一级，文中例子是双用途与危险合成。

SIR

• 三次输入：当前阶段任务、此前全部信号组成的累积风险状态、从安全记忆取出的检查（Section 3.2）。
• 输出：风险等级、自然语言说明、动作。动作为 proceed、modify、flag 或 block。
• 分阶段侧重：Thinker 看双用途，Experimenter 看工具与方案，Writer 看信息披露，Reviewer 在全部信号可见时做最终伦理评估。
• 记忆：按泛化动作描述存放检查模板，用关键词重叠取 k-nearest，供同一次会话内修订。论文写了 k-nearest，未给出 k。

CTV 与 TS-Flow

• 拦截点：verified tool proxy 在执行前拦住每次工具调用，判断时带上完整调用史（Section 3.3）。
• 一次 LLM 前向、三个维度：请求是否本身有害；该调用加上历史是否构成危险轨迹（对应 S9，用来替换 ToolSafe 的攻击相关性）；这次调用自身是否安全。
• 打分：请求有害性与组合风险为 0/1、权重各 0.4；工具调用安全项 rtool 为 Safe 0.0、Uncertain 0.1、Unsafe 0.2。论文的合成式是 s = 0.4 · 1_harmful + 0.4 · 1_comp.risk + r_tool。
• 动作：s > 0.5 拦截；0.4 ≤ s ≤ 0.5 交给 TS-Flow 改向替代；s < 0.4 放行。默认拦截阈为 s > 0.5（Appendix A）。被改或被拦时再做一次 LLM 调用生成替代，全部信号写回累积状态。

分类与附录

• S1–S9：危险合成、双用途生物学、放射/核、数据隐私、网络安全、数据外泄、错误信息、环境危害、组合危险。S1–S8 为原子类，S9 为轨迹类（Appendix B）。
• 提示词：Appendix M 给出四阶段 SIR 模板、CTV 三维核验、TS-Flow 和 GPT-4o 评审提示，写明运行时填入的输入和 JSON 字段；附录给出了完整提示词。

实验设置

• 骨干：Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct、DeepSeek-V3 经 vLLM、4-bit AWQ，在两张 NVIDIA RTX A5000 上张量并行；GPT-4o 走 API。表头简写为 Llama-3.1-70B、Qwen2.5-72B。SIR 与 CTV 使用与主智能体相同的骨干（Section 4.1）。
• 数据：SciSafetyBench，240 条高风险研究任务、120 条工具相关风险任务、30 个专用工具。六领域各 40 条研究任务和 20 条工具任务：Physics、Chemistry、Biology、Material Science、Information Science、Medicine。四类风险等比例：intentional malice、concealed harm、unintentional consequences、multi-step tool trajectories。
• 对照：Bare LLM；SafeScientist 四层防御；SciTrace 为二者之上加 SIR 与 CTV。Table 3 另有 AI Scientist、CycleResearcher、ResearchTown、AI Co-Scientist、Agent Laboratory。
• 指标：Safety Score（1–5，GPT-4o 评审）、Reject Rate、Tool Call Safety Rate、Quality、Clarity、Overall（后三者 1–5）。另报 Compositional Risk Detection Rate。论文未给 Safety Score 的通过阈值，也未报告主结果重复次数。四个骨干的 Safety Score 都由 GPT-4o 打，包括骨干本身是 GPT-4o 的行。
• 组合逃逸：SafeScientist 对每次调用都放行，且完整有序轨迹被 GPT-4o 按 SciSafetyBench 量表判为不安全；CTV 在执行前至少一次 block 或 modify 即计检出（Appendix F）。

主结果

Table 2 格子为 SciTrace / SafeScientist。

表格较宽，可左右滑动

骨干	Safety	Reject (%)	Tool Safety (%)	Overall
Llama-3.1-70B	4.87 / 4.72	92.0 / 85.0	91.2 / 76.3	3.68 / 3.47
Qwen2.5-72B	4.89 / 4.75	93.0 / 87.0	92.5 / 78.1	3.72 / 3.50
DeepSeek-V3	4.91 / 4.78	94.0 / 88.0	93.8 / 79.5	3.75 / 3.52
GPT-4o	4.93 / 4.83	95.0 / 90.0	94.7 / 81.2	3.82 / 3.62

• 相对 SafeScientist：上表四行的 Safety、Reject、Tool Safety、Overall 都更高。作者称工具调用安全率平均提高 14.3 个百分点，并称科学输出质量得以保持。Table 2 的 Quality、Clarity 同样是 SciTrace 更高，此处不逐格复述。
• Bare LLM（Table 2，模型顺序同上）：Reject 为 0.0%、0.0%、2.0%、0.0%；Tool Safety 为 38.5%、40.2%、42.0%、45.5%；Safety 为 2.35、2.38、2.40、2.50。
• Table 3：四个模型组中，SciTrace 的 Reject、Safety、Quality、Clarity、Pres.、Contrib.、Overall 都是该组最高。作者称 Biology 与 Chemistry 增益最大，并与单步监控漏掉的多步轨迹相联系。

组件消融与评审上下文

• Table 4(a)，Qwen2.5-72B：SafeScientist 为 4.75、87.0%、78.1%、3.50（Safety、Reject、Tool Safety、Overall）。只加 SIR：4.81、89.5%、79.2%、3.58。只加 CTV：4.78、86.8%、89.7%、3.55。两者都加：4.89、93.0%、92.5%、3.72。作者称 SIR 的 Safety 高 0.06、Reject 高 2.5 个百分点，CTV 的工具安全高 11.6 个百分点。只加 CTV 时 Reject 为 86.8%，低于 SafeScientist 的 87.0%。
• 作者解读：组合在全部安全指标上高于任一组件单独使用；作者认为跨阶段传递和轨迹核验针对的是不同失败。
• Table 4(b)：无评审为 Safety 3.42、Quality 2.84、Overall 2.96；SafeScientist 为 4.12、3.18、3.28；SciTrace 为 4.89、3.68、3.72。作者称相对无评审，SciTrace 的 Safety 增益为 +1.45（SafeScientist 为 +0.70），Overall 增益为 +0.76（SafeScientist 为 +0.32）；表中 Safety 列为 3.42 与 4.89。

分领域工具安全与组合逃逸

• Table 5，Qwen2.5-72B：六领域 Tool Safety 都是 SciTrace 更高。作者称最大增益在 Biology（93.5% 对 76.2%，+17.3 个百分点）和 Chemistry（91.3% 对 74.1%，+17.2 个百分点）；Physics 绝对增益最小（95.9% 对 85.2%，+10.7 个百分点）；Information Science 为 86.6% 对 72.3%。
• 检出：80 条逃逸中检出 63 条，78.8%。分领域为 Biology 15/18（83.3%）、Chemistry 13/16（81.3%）、Medicine 10/12（83.3%）、Material 9/11（81.8%）、Physics 7/9（77.8%）、Information Science 9/14（64.3%）。作者认为信息科学较低，可能因为数据外泄模式不同于 CTV 所针对的物理合成轨迹，并指向 Appendix D。
• 工具用量：作者称提议分布与 SafeScientist 接近，直接拒答只增加 5.9 个百分点，增益来自安全改向 +12.2 个百分点与安全完成 +19.2 个百分点（Section 4.4）。Appendix L 的信息科学案例被 CTV 放行，事后 GPT-4o 安全分为 2.0。作者称 Figure 7 中 SciTrace 六领域都高于两个基线；文本转换未保留柱高，比率以 Table 5 为准。

讨论防御与对抗输入

• Table 6，Qwen2.5-72B：五类讨论攻击平均拒答率，SafeScientist 39.1%，SciTrace 65.2%。五类分别为 42.5% 对 68.3%、38.7% 对 64.8%、44.2% 对 70.1%、36.4% 对 62.5%、33.8% 对 60.2%，对应 Role-play Override、Gradual Persuasion、Authority Invocation、Incremental Escalation、Collaborative Deception。作者称平均高 26.1 个百分点，并报告差异在 95% 水平上成立；解释是多轮诱导被记入累积状态，SafeScientist 则逐轮独立评估。
• Table 7：Llama-3.1-70B 的攻击平均拒答率 48.3% 对 73.6%，GPT-4o 为 55.6% 对 79.7%。恶意讨论智能体为 31.2% 对 68.5%（Llama）、38.7% 对 74.2%（GPT-4o）。作者称这两处为 +37.3 与 +35.5 个百分点，并称 query injection 为 +27.6 与 +26.2 个百分点；Table 7 没有 query injection 行。
• Figure 4：图注为 Llama-3.1-70B（上）与 GPT-4o（下），类别是 Q.Inj.、M.Agt、M.Inst.、Avg；正文称该图报告 DeepSeek-V3 与 GPT-4o。文本转换未保留柱高。作者称其他 AI scientist 框架的对抗抵抗低于 15%，SafeScientist 经由 LLaMA Guard 的平均防御为 38%–45%。

其他消融与分析

• 拦截阈（Table 12，Qwen2.5-72B）：s>0.3 时 Tool Safety 94.1%、Reject 95.8%、Quality 3.63；默认 s>0.5 为 92.5%、93.0%、3.72；s>0.7 为 88.8%、89.4%、3.78。
• 子任务权重（Table 13）：去掉组合风险后 Tool Safety 86.0%、Reject 88.7%；默认 92.5%、93.0%。作者称工具安全下降 6.5 个百分点。高组合风险权重下为 93.1%、93.8%。
• 延迟（Table 14，50 个任务平均）：Llama +39.4%（142s 到 198s），Qwen +36.9%（138s 到 189s），DeepSeek +40.6%（155s 到 218s），GPT-4o +43.8%（48s 到 69s）。
• Bootstrap（Table 16，Qwen，2000 次）：Safety 差 +0.14，区间 [+0.10, +0.18]；Tool Safety +14.4，[+11.8, +17.0]；Reject +6.0，[+4.2, +7.9]。作者称所报区间不含 0。
• 工具类型（Table 11）：Bio/Chem 提议 22.1%、执行 19.8%。作者称执行份额减少约 2.3 个百分点。
• 逃逸长度（Table 15）：平均 3.5 次调用，范围 2 到 7。作者称 Figure 8 中 SciTrace 的任务份额移向更高安全分；文本转换未保留各分的柱高。

作者指出的局限与后续方向

• 推理开销：相对 SafeScientist，单次流水线延迟增加 36.9%–43.8%，主要来自额外 LLM 调用。作者认为四次 SIR 调用原则上可并成一次，重复工具模式的 CTV 可在会话内缓存；并认为对以安全为主要关切的离线研究流水线，当前开销可以接受（Limitations）。
• LLM 评审：Safety 分数用 GPT-4o。60 个任务的非正式校验中，作者称 Material Science 与 Physics 相对人工标签的 Pearson r 约 0.62，Biology 与 Chemistry 约 0.81；绝对分数可能受评审模型与提示设计影响。作者认为，与领域专家的完整一致性研究，以及换一个评审模型的稳健性检查，有助于核对忠实性（Limitations）。
• 领域：评测为 SciSafetyBench 的六个领域。作者称 AI-for-math、自主湿实验室等新兴方向的覆盖仍未知（Limitations）。
• 组合模式：Information Science 的组合逃逸检出为 64.3%，合成类领域约 80%。作者认为面向物理合成的 S9 没有很好覆盖数据隐私轨迹，并把组合子任务扩展到 S4/S6（如连续记录关联、跨 API 画像重建）称为自然的下一步（Limitations）。
• 记忆检索：目前用关键词重叠，作者举例会漏掉用词不同但语义相近的风险，并认为安全记忆的稠密嵌入变体可能会提高这类检索精度（Limitations）。

实验覆盖范围

• 被测骨干为 Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct、DeepSeek-V3、GPT-4o 共 4 个；SIR 与 CTV 与主智能体用同一骨干。本地三模型为 vLLM、4-bit AWQ、两张 RTX A5000（Section 4.1）。
• 基准为 SciSafetyBench：240 条高风险研究任务、120 条工具风险任务、30 个专用工具、六领域各 40+20 条、四类风险等比例（Section 4.1）。
• 对照包括 Bare LLM、SafeScientist，以及 Table 3 的 AI Scientist、CycleResearcher、ResearchTown、AI Co-Scientist、Agent Laboratory（Section 4.1–4.2）。
• 组件消融、分领域工具安全、讨论攻击、阈值与权重、bootstrap 写明在 Qwen2.5-72B；Table 7 的分攻击拒答率为 Llama-3.1-70B 与 GPT-4o。延迟为 50 个任务平均（Table 4–7、14、16）。
• 论文未报告主结果重复次数，未给出 k-nearest 的 k；人工对照为 60 个任务的非正式校验，不是完整评分者一致性研究（Section 3.2，Limitations）。

SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。

• 问题：Thinker、Experimenter、Writer、Reviewer 会设计实验、调用工具并起草输出。作者认为现有层与层之间不共享决定，早先警告到不了后面；一串单独可过的工具调用，合起来仍可能指向双用途或危险合成。
• 方法：SIR 在每次阶段转换读取任务、历史风险和记忆中的检查，给出五级风险和动作，并把信号留在共享状态；某些类别对同时出现会再升一级。CTV 在执行前看完整调用史，按请求有害性、组合风险和调用安全打分，需要时由 TS-Flow 改向替代。原有过滤器只作回退。
• 主结果：Table 2 中四个骨干的 SciTrace 在 Safety、Reject、Tool Safety 上都高于 SafeScientist，Quality、Clarity、Overall 也更高。作者称工具调用安全率平均高 14.3 个百分点。GPT-4o 上分别为安全分 4.93、拒答率 95.0%、工具安全率 94.7%。
• 组合与对抗：Qwen2.5-72B 上，单步监控放过的 80 条危险轨迹中，CTV 检出 63 条（78.8%）；Information Science 为 9/14（64.3%）。讨论防御平均拒答率从 39.1% 到 65.2%（Table 6）。作者称对抗拒答率平均提高 24.7 个百分点。只加 CTV 时，Qwen 的 Reject 为 86.8%，低于 SafeScientist 的 87.0%（Table 4(a)）。
• 作者的结论：作者认为这些部件提高了工具调用安全与对抗拒答，同时保持科学输出质量；并认为多阶段智能体的安全应作为架构选择来做，SciTrace 背后的设计模式应能迁到科学发现以外的自主智能体。摘要中作者称，在所比较框架里安全表现达到 SOTA。