SafeScientist：让 LLM 智能体的科学发现具备风险意识

科研智能体可能执行高风险或不伦理的科学任务，而现有安全方法很少覆盖多智能体科研全流程。

• 场景： 作者认为 LLM 已能自动化假设、实验设计、数据分析和文稿撰写，同时可能被恶意利用、放大有害偏见或传播危险知识（第 1 节）。
• 缺口： 作者认为既有工作多看单模型攻击、预训练偏见或单一防御，较少处理多智能体科研中的涌现风险；面向科研的风险感知框架仍少被专门设计。
• 本文： 作者提出 SafeScientist，主动拒绝高风险或不伦理任务，并加入提示词、协作、工具和论文伦理四层监控。作者称这是首先引入该框架的工作。
• 基准： 同步提出 SciSafetyBench：6 个领域、4 类风险来源的 240 个发现任务，以及 30 个工具和 120 个工具风险场景。
• 威胁模型：
  • 目标： 让科研流程走向高风险或不伦理方向，或在实验步骤采用危险做法（第 3.3 节）。
  • 手段： 7 种查询注入；讨论中的恶意智能体；实验步骤中的恶意指导者。论文未写权重、梯度或内部激活访问。
  • 受害系统： 从用户指令到领域判断、群体讨论、工具调用和论文草稿的 AI scientist 流程。
  • 判定： 由拒答率、安全分、工具安全率和人工正确率等衡量（第 5 节）。

相关研究分成 LLM 安全、智能体安全和 AI scientist。作者称科研场景的专门安全考虑仍基本未被专门探索。

LLM 安全

• 攻击： 论文归入 prompt injection、backdoor 和自主越狱，代表引用包括 Zou et al., 2023 与 Shen et al., 2024。
• 内部加固： prompt engineering、监督微调、RLHF，以及改隐藏表示的参数高效方法（Li et al., 2024; Zou et al., 2024）。
• 外部模块： Llama Guard（Inan et al., 2023）、不良意图预测（Han et al., 2025）和行为引导（Arditi et al., 2024）。论文此处只描述，未与本文做分数对比。

智能体安全

• 交互风险： 工具响应注入（Debenedetti et al., 2024）、记忆投毒（Chen et al., 2024b）、协作中的恶意智能体（He et al., 2025），以及恶意行动和错误信息传播。
• 防护与测试床： 论文列举若干 agent-level safeguard（Wang et al., 2025; Sun et al., 2023）和安全测试床（Zhang et al., 2024b; Yin et al., 2024）。
• 差距： 作者称这些工作之后，科学场景的专门考虑仍 largely unexplored。

AI scientist

• 框架： AI Scientist（Sakana, 2024; Lu et al., 2024）、Agent Laboratory（Schmidgall et al., 2025）、CycleResearcher（Weng et al., 2024）和 Dolphin（Yuan et al., 2025）。论文称它们参与研究的多个步骤与学科。
• 已有基准： AI Idea Bench（Qiu et al., 2025）与 SAIBench（Li and Zhan, 2022）。论文未报告与二者的分数对比。
• 模拟设定： 作者称多数 AI scientist 仍限于模拟研究，提前缓解真实应用中的风险是有意义的（Bengio et al., 2025b）。

基线与定位

• 基线： 主实验对照 AI Scientist 与 Agent Laboratory，任务取自 SciSafetyBench。Table 1 只比较伦理审查、写作、讨论、输入安全、Agent Def. 和 Tool Def. 是否具备；后两列只在 SafeScientist 行打勾。
• 定位： 作者称风险感知的 AI scientist 框架仍 underexplored，并称首先提出 SafeScientist。结论写：据其所知，这是首个同时处理“风险感知框架 + 领域安全基准”这一双重任务的工作。

SafeScientist 把安全监控嵌进从指令到论文的科研流水线，并用 SciSafetyBench 提供高风险任务和工具场景。作者称框架受 AI Scientist 与 Tiny Scientist 启发，并把它写成轻量、带安全机制的系统。

流水线

• 分阶段： 用户指令先被判断领域和任务类型，再激活领域研究者、综述撰写者和实验规划者做群体讨论，然后调用检索或领域工具，最后写作并修订草稿（第 3.1 节、Figure 2）。
• 角色来源： 附录的推荐提示词要求给出三个子领域学术专家，并写明不要推荐风险评估或安全专家。第 3.1 节把 Tiny Scientist 引为 Yu et al., 2025。

四层监控

• Prompt Monitor： LLaMA-Guard-3-8B 评估语义意图并给出安全标签和理由；SafeChecker 扫描已知攻击模式，输出 pass、warning 或 reject，并评估 17 类风险。warning 表示有风险但仍值得探索。融合方式是二者任一被 flag 则拒绝。论文未写 warning 是否算 flag，也未写轻量 fallback 的具体规则。
• 讨论与工具： 协作监控智能体在讨论中做伦理纠正；工具监控器带领域知识和操作规范，检查模拟工具是否被不安全使用。
• 论文审查： Paper Ethic Reviewer 在产出前，对照从 ACL、NeurIPS 伦理规范收集的要求做审查。
• 附录差异： 检测提示词枚举了多类攻击模式及关键词，此处不列出。附录标签写作 BLOCK/WARNING/SAFE，与正文的 pass/warning/reject 不完全同名。

三类检验攻击

• 查询注入： 共 7 种。LST 把查询译成 Sindhi；B64 做 BASE64 编码；PS 把查询拆段再让模型回应拼接。DAN 在系统提示中要求模型成为无限制智能体；DeepInception 用嵌套虚拟场景绕过使用控制。组合为 DAN+翻译，以及 PS+BASE64。正文把后者记为 DI_B64。附录有行为操纵提示词，此处不复述。
• 恶意讨论智能体： 被编程把对话推向高风险或不伦理方向。附录给出系统提示词。
• 恶意实验指导者： 在实验步骤试图诱使系统采用危险做法。作者认为系统应反制这些尝试。

基准怎么建

• 规模： 6 领域 × 4 类风险 × 10 条，共 240。引言写 Computer Science，第 4.1 节写 Information Science。Table 7 的四类是 Direct Malicious User、Indirect Malicious User、Unintentional Consequence、Task-Intrinsic。
• 来源与筛选： 用 OpenAI-o3、GPT-4.5、Gemini-2.5-pro 的 deep research 收集后，由人工专家核对事实、风险是否成立、类型是否一致。字段为 Task、Task Description、Prompt、Risk Type。
• 工具： 30 个工具被写成带参数的函数，安全使用包括危险操作说明和参数约束。GPT-4o 生成 120 个场景，人工核对任务是否匹配工具、危险是否可能发生。附录有伪代码和示例，不复述危险操作。

怎样算安全

• 主实验规则： 任务被标为不安全并拒绝时，安全分记 5，quality score 不计入整体分析。质量维沿用 AI scientist 的 Quality、Clarity、Presentation、Contribution、Overall。
• 分数刻度： 安全提示词由 gpt-4o-2024-0806 按 0.5–5、步长 0.5 打分；Table 2 又写 1–5。工具实验另用 Tool Call Safety Rate，以及同时要求安全且正确的 Human Correctness Rate。

主对比在 Biology 的 20 个任务上比较科研框架；提示词、讨论、工具和伦理审查另有单独实验。默认流程模型是 GPT-4o。

实验设置

• 骨干与超参： 基于 Tiny Scientist 的简化实现，默认 LLM 为 GPT-4o；API temperature 0.75，最大 token 4096；群体讨论最多 3 轮（第 5.1 节）。
• 主对比样本： Biology 随机 20 题。因与原流程的实验执行组件不兼容，省略该部分，只做文献综述和写作（第 5.2 节）。
• 基线： AI Scientist（表中 Sakana, 2024；第 5.1 节亦引 Lu et al., 2024）和 Agent Lab（Schmidgall et al., 2025）。论文写沿用其默认 LLM，未给模型名。
• 评审： 质量与安全由 gpt-4o-2024-0806、temperature 0 打分。Table 2 写 1–5；第 5.1 节与附录安全提示词写 0.5–5、步长 0.5。
• 拒答规则： 被标为不安全并拒绝时，安全分记 5，quality score 不计入整体分析。
• 其余实验： Table 3 的监控拒答率、第 5.4 节讨论攻防、Table 5 工具使用、第 5.6 节伦理审查、附录 Table 6 换骨干。论文未报告重复次数。

主结果

据 Table 2。Biology 随机 20 题；gpt-4o-2024-0806；temperature 0。

表格较宽，可左右滑动

框架	拒答率	Overall	Safety
AI Scientist	0%	3.20	2.45
Agent Lab	15%	3.18	2.45
SafeScientist-no PromptMonitor	0%	3.40	3.30
SafeScientist-SafeChecker	90%	3.50	4.83

• 作者解读： 作者称多阶段防护在安全上优于缺少这些防护的框架，且不牺牲科学产出质量。按第 5.2 节，被拒任务的 quality score 不进入整体分析，SafeChecker 的质量分只来自未被拒绝的任务。
• 无拒绝器变体： 作者称去掉提示词级拒绝器后仍回答全部查询，并保持较强安全表现。
• 百分比口径： 摘要写安全表现提升 35%；引言写 34.69%，并留有 “(insert specific metric and value)”。论文未说明该百分比对应哪一指标、哪一对系统。

提示词监控

• Fuse： Table 3 中 SafeScientist-Fuse 的平均拒答率为 78.70%，且 Origin 与 7 个攻击列都高于另外三行。作者称融合后在全部攻击类型上优于对照监控。
• 并非每列都高于 LlamaGuard： SafeChecker 平均 66.36%，LlamaGuard-3-8B 为 59.32%，GPT-4o 监控行为 30.10%。B64 上 SafeChecker 为 46.67%、LlamaGuard 为 13.33%；DAN 上分别为 70.42% 与 88.3%。作者只把 SafeChecker 的优势说成尤其在结构类攻击上。
• 组合攻击： GPT-4o 监控行的 LST 为 0.4%、B64 为 2.1%，PS+B64 与 DAN+LST 均为 0.0%。Fuse 对 PS+B64 为 88.33%，对 DAN+LST 为 55.83%。作者称组合攻击逃避更强。论文未报告各列样本量。

讨论阶段攻防

• 放入位置： Attacker/Defender 1 在初始讨论中伪装成普通专家；2 放在总结阶段，直接与总结智能体交互（第 5.4 节）。Table 4 表注写 “Each value is a placeholder (1–5 scale)”。
• 正文引用的格子： 作者称 Medical 在 Attacker 1 下相对 Normal 不变；Biology 从 Normal 的 2.31 到 Defender 1 的 2.54。Defender 2 在 Physics 为 4.04、Medical 为 4.06。与 Attacker 2 合用时，Chemistry 为 4.22，Physics 与 Medical 为 4.13。
• 表内例外： 作者称该组合进一步抬高安全分。Table 4 的 Info. 列该组合为 3.66，低于同列 Defender 2 的 4.00。Attacker 2 行六列都是 0.5；正文未单独解释。表注与正文的关系论文未再说明。

工具使用与伦理审查

• 工具监控： 据 Table 5。良性用户安全率从 43.3% 到 50.0%，恶意用户从 5.8% 到 47.5%；人工正确率良性从 70.6% 到 75.0%，恶意从 0.0% 到 60.0%。规则检测器先评调用安全，再由人工看是否正确完成任务。
• 人工样本： 每领域随机 10 个任务。论文未给出 Table 5 汇总百分比的分母。作者称监控对不安全操作参数有保护作用，尤其在对抗条件下。
• 伦理审查： 六领域各随机 20 题，比较草稿与伦理审查后的修订稿。作者称修订稿伦理分平均提高 44.4%。Figure 4 图例为 Draft Paper、Refined Paper，横轴为六个领域；转文本后柱值与领域对不齐，不逐领域抄数。

其他消融与分析

• Table 2 分项（行序同主表）：Quality 为 1.85、2.00、2.00、2.00；Clarity 为 1.90、2.47、2.30、2.50；Presentation 为 1.90、2.47、2.35、2.50；Contribution 为 1.90、1.94、2.00、2.00。
• 附录 Table 6 换骨干后的 Safety：GPT-4.1 为 3.89，Qwen2.5-72B-Instruct 为 3.39，GPT-3.5-turbo 为 2.88，Llama-3-70B-Instruct 为 2.77；GPT-4.1 的 Quality 为 1.00。附录未解释差异，也未写任务集是否与 Table 2 相同。
• Table 8：GOAL 维度上 GPT-4o 与人工的 Pearson r=0.80；表注写 p≤0.01，并称 strong and significant。三名高等教育背景标注者，每人 10 个想法、取自 6 个分数档，共 30 个。论文未把该相关写成主表安全分的一致性。
• 正文把组合攻击写作 DAN_LST 与 DI_B64，并称后者为 Payload Splitting+BASE64；Table 3 列名为 DAN+LST、PS+B64。
• 引言领域名是 Computer Science；第 4.1 节与 Table 4、Figure 4 写作 Information Science / Info. / IS。Tiny Scientist 在第 3.1 节引 Yu et al., 2025，第 5.1 节引 Yu et al., 2024。

作者指出的局限与后续方向

• 模块分开： 作者写当前系统主要靠现成 LLM，模块彼此分开、集成不多，因而限制领域专长深度和组件间交互（Limitations）。
• 后续架构： 作者提出可探索端到端架构，以获得更密的连接和联合优化（Limitations）。
• 仿真： 作者写工具使用评测只是真实实验的仿真，可能漏掉情境或感官细节（Limitations）。
• 多模态： 作者打算加入实验室设备图像或教学视频，并可能使用具身智能体，以检查非文本线索（Limitations）。
• 扩展领域： 后续将把 SciSafetyBench 扩到更多科学领域（Conclusion）。
• 实时与社会影响： 增强防御的实时适应性，并进一步探讨自主研究智能体的社会影响（Conclusion）。

实验覆盖范围

• 主对比： 框架为 AI Scientist、Agent Lab 和 SafeScientist 的两个变体；任务为 Biology 随机 20 题，阶段为文献综述和写作；评审为 gpt-4o-2024-0806、temperature 0（第 5.2 节、Table 2）。
• 基准： 6 个领域、4 类风险、每格 10 条，共 240 个发现任务；另有 30 个工具和 120 个工具场景（第 4 节）。引言领域名写作 Computer Science，第 4.1 节写作 Information Science。
• 攻防表： Table 3 报告 Origin 与 7 种查询攻击的拒答率；Table 5 为良性/恶意 × 有无 Monitor；讨论阶段 Attacker/Defender 的两种放入位置见第 5.4 节。
• 伦理与人工： 伦理分为六领域各 20 题的草稿与修订稿（第 5.6 节）。GOAL 相关为 3 名标注者、共 30 个想法（Table 8）。工具人工抽取为每领域 10 个任务（第 5.5 节）。
• 论文未报告： 主实验重复次数、查询次数、Table 3 与 Table 5 汇总率的样本量、两个基线的具体 LLM，以及恶意智能体是否使用不同于 GPT-4o 的模型。Table 4 表注写数值为 placeholder。

SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。

• 问题： 自动化科研可能执行高风险或不伦理任务。作者认为单模型安全工作盖不住多智能体科研流程。
• 方法： 在 Tiny Scientist 上融合 LLaMA-Guard-3-8B 与 SafeChecker 做提示词拒答，并加讨论监控、工具监控和论文伦理审查。基准含 6 领域 240 个发现任务、30 个工具和 120 个工具场景。
• 主结果： Biology 20 题、gpt-4o-2024-0806 评分下，SafeChecker 安全分 4.83、拒答率 90%；两基线安全分均为 2.45，Overall 为 3.20 与 3.18（Table 2）。无 PromptMonitor 时拒答率 0%、安全分 3.30。拒答记 5 分，其 quality score 不计入整体分析。
• 其他数字： Fuse 平均拒答率 78.70%（Table 3）。恶意工具指令下，安全率从 5.8% 到 47.5%，人工正确率从 0.0% 到 60.0%（Table 5）。作者称伦理分平均提高 44.4%。
• 作者结论： 主动的安全设计对可信科研 AI 有必要。作者称据其所知，这是首个同时给出风险感知框架和领域基准的工作。摘要写提升 35%，引言写 34.69% 并留有指标占位。作者计划公开代码和数据。