SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准

现有 AI4Science 安全评测难以区分“哪个学科不安全”和“哪一种风险机制导致失败”。

• 场景：作者认为 LLM 已嵌入科学问答、文献分析、实验规划与自主发现，可能影响实验室、公共卫生、关键基础设施和科学治理。不安全回答可能给出可操作的两用细节、遗漏实验防护、夸大不确定证据、暴露敏感数据、误述法规，或给出听起来权威但错误的解释。
• 现有不足：作者称 SciBench、ScienceQA、SciEval、SciKnowEval 侧重科学能力；ChemSafetyBench、MedSafetyBench、LabSafetyBench、SciSafeEval、WMDP、SOSBench、SafeScientist 等安全基准多强调学科覆盖或宽泛安全类别，对“学科内部哪类科学风险驱动不安全行为”的可见性有限。通用安全基准也往往不给出学科与具体风险维度的细粒度对应。
• 核心观察：作者认为科学风险与领域知识、实验情境和监管约束绑定；幻觉、权威膨胀、隐私泄露、实验安全遗漏和两用泄露不应合成单一安全分，因为缓解策略不同。正确解题的模型仍可能给出有害、不合规、侵犯隐私或误导的输出。
• 本文提出：作者提出 SciRisk-Bench，用风险维度与科学学科两个互补轴评测 AI4Science 安全，覆盖 7 个学科、31 个子学科和 10 个风险维度，以便做细粒度诊断。

科学能力基准

• SciBench（Wang et al., 2023）、ScienceQA（Lu et al., 2022）、GPQA（Rein et al., 2023）、SciEval（Sun et al., 2024）、SciKnowEval（Feng et al., 2024）——分别评测大学水平科学解题、带解释的多模态科学问答、研究生水平专家命题、多层次科研评测和多层次科学知识。作者认为这些数据集衡量概念理解，但面向正确性的评测不足以覆盖安全。

领域安全基准

• ChemSafetyBench（Zhao et al., 2024）、MedSafetyBench（Han et al., 2024）、LabSafetyBench（Zhou et al., 2024）——分别评测化学安全（含受控物质与有风险的合成情境）、有害医学请求与安全回答、实验室危害识别、后果推理和应急响应。作者称这些工作说明科学安全需要领域知识，不能还原为通用拒答；同时许多领域数据集集中在化学、医学或生物，天文、地理、数学、工程和物理覆盖较少。

跨学科与红队基准

• SciSafeEval（Li et al., 2024b）、WMDP（Li et al., 2024a）、SOSBench（Jiang et al., 2025）、SafeScientist（Zhu et al., 2025）——分别整合跨科学模态与领域的对抗提示、测量生物/化学/网络等恶意使用知识、在法律与监管基础上评测科学知识的安全对齐、评测风险感知的科学发现智能体。
• TruthfulQA（Lin et al., 2021）、HaluEval（Li et al., 2023）、HarmBench（Mazeika et al., 2024）、SafetyBench（Zhang et al., 2024）——分别针对事实性虚假、幻觉、自动红队与拒答、宽泛安全行为。作者称这些资源往往不暴露学科与具体风险维度的细粒度映射。
• 基准可靠性：Ren et al. (2024) 提醒安全基准可能奖励表面拒答或窄基准博弈，而不是真正的风险意识。作者认为这在 AI4Science 中尤其重要：过度拒答会使模型无法用于良性研究，拒答不足则会暴露有害细节。

基线与数据：实验不使用外部基准作为对照集，而是在 SciRisk-Bench 上比较主流基座 LLM 与科学专用 LLM，指标为 ASR。

作者把本文定位为对上述工作的补充：把风险维度作为一等组织轴，同时覆盖多个科学子学科，使失败比仅按学科聚合更可解释。

SciRisk-Bench 沿风险维度和科学学科两个轴组织样本：前者标出回答如何变得不安全，后者标出风险出现的科学情境，从而支持跨风险类型的横向比较和跨子领域的纵向比较。

问题设定与数据规模

• 规模：数据集共 350 条。按学科：数学 58 条，化学、生物、天文、物理各 50 条，地理 47 条，工程 45 条。
• 风险维度样本量：幻觉与误解 118 条，两用（dual-use）53 条，边缘放大（fringe amplification）38 条，知识截止漂移与监管盲区各 27 条，实验室安全 26 条，安全遗漏 25 条，权威膨胀 17 条，隐私泄露 11 条，地缘敏感 8 条。
• 层级：7 个学科、31 个子学科；完整子学科索引在附录 Table 2。作者认为子学科会暴露不同风险机制，例如病原体与药理学偏两用或防护遗漏，有机合成偏不安全实验流程，地图与 GIS 偏隐私或地缘敏感。

风险维度

Table 1 给出定义及覆盖学科。含义按论文转述如下：

• Dual-use：可同时支持有益研究与有害误用的科学知识，覆盖天文、生物、化学、工程、数学、物理。
• Laboratory safety：试剂、设备、流程、防护、应急或实验危害的处理缺失或不正确；生物、化学、工程。
• Privacy leakage：敏感个人、地理、生物医学、生态或机构信息的披露或推断；生物、地理。
• Regulatory blind spot：未能识别与科研相关的法律、合规或标准限制；化学、工程。
• Safety omission：技术上说得通的建议，但省略必要安全约束或警告；天文、地理、工程、物理。作者将其与幻觉分开：回答可以事实正确，但因省略防护而不安全。
• Hallucinations and misconceptions：虚假、无依据的科学主张、误导解释或超出证据的自信外推；七个学科都覆盖。作者将其视为安全风险，因为错误主张可能影响下游决策。
• Knowledge cutoff drift：因法规、测量、分类或科学共识已变化而产生的过时且可能不安全的主张；天文、生物、化学、地理。
• Fringe amplification：用科学语言夸大推测性、伪科学或支持薄弱的主张；天文、化学、地理、数学、物理。
• Authority inflation：把不确定或模型生成的输出呈现为权威的科学、技术或政策指导；天文、地理、数学、物理。
• Geopolitical sensitivity：可能加剧政治、领土、资源或安全争议的科学—地理信息；仅地理。

Figure 1 中的风险表述与 Table 1 对应，但部分用词更短（如 Knowledge cutoff、Safety omission、Geopolitical sensitivity）。

评测流程

• 范式：LLM-as-a-judge。被测模型收到一条落在某学科、并标注了某风险维度的提示词，提示被设计为可能诱发科学安全问题；模型在相同推理设置下生成自由形式回答。论文未报告该推理设置的具体参数。
• 判定：评审 LLM 收到原始提示、模型回答和对应风险维度定义，判断回答是否会造成或促成科学安全问题，并转为二值结果。论文未写明评审模型名称、提示词和判定阈值。
• 指标：ASR 定义为评审 LLM 判定为不安全回答的提示所占比例，并在多个粒度报告。除非另有说明，报告值均为 ASR，越低表示越安全。

实验设置

• 被测模型：Figure 4 图例将模型分为两组。主流基座：kimi-k2.6、glm-5.1、gemini-3-flash-preview、deepseek-v3.2-speciale、gemma-4-31b-it、gemini-2.5-flash、Kimi-K2-0905、doubao-seed-1-8。科学专用：intern-s1-pro、intern-s1-mini、S1-Base-Lite、intern-s1、S1-Base-Ultra、S1-Base-Pro。正文称比较 mainstream base LLMs 与 science-specialized LLMs，未另给模型清单。
• 数据：SciRisk-Bench，350 条，7 学科、31 子学科、10 个风险维度；各维度与学科条数见第 3 问。
• 指标：ASR，即评审 LLM 判定为不安全回答的比例；越低越安全。报告粒度包括风险维度、学科和子学科，并比较两类模型。
• 评审：评审 LLM 根据原始提示、回答和风险维度定义做二值判定。论文未报告评审模型、阈值、重复次数、人工一致性或各模型的查询设置。
• 可视化：Figure 2 为模型×风险维度 ASR 热力图（左块主流、右块科学专用，颜色越暖 ASR 越高）；Figure 3 为风险维度平均 ASR；Figure 4 为两类模型的雷达图；Figure 5、Figure 6、Figure 7 分别为学科平均、子学科平均（误差棒为模型间变异）和两类模型的学科对比。热力图与雷达图上的逐模型数值在文本中未列出。

主结果

风险维度与学科的平均 ASR 如下（Figure 3、Figure 5）。

切片	平均 ASR	出处
Knowledge cutoff drift	74.2%	Figure 3
Safety omission	53.5%	Figure 3
Lab Safety	50.9%	Figure 3
Regulatory blind spot	42.0%	Figure 3
Dual-use	37.9%	Figure 3
Engineering / Chemistry / Astronomy	57.0% / 50.2% / 50.0%	Figure 5
Physics / Geography / math / Biology	36.2% / 34.8% / 32.9% / 18.8%	Figure 5

Figure 3 其余维度：Authority inflation 36.9%，Hallucinations and Misconceptions 33.2%，Fringe amplification 32.2%，Geopolitical Sensitive 19.8%，Privacy leaks 12.2%。

• 作者解读（风险维度）：作者称模型不仅在被明确要求有害科学内容时失败，也会在不安全行为较隐含时失败：给出技术上说得通但省略约束的建议，或依赖过时的科学或监管知识。实验室安全仍然偏高，说明模型经常少写实验防护。隐私泄露最低。作者认为现有对齐对熟悉的信息控制风险比对科学特有的流程性、时间性风险更有效。
• 作者解读（模型族）：作者称 Figure 4 与 Figure 2 显示两类模型的差异是系统性的。主流模型的较大不安全区域在知识截止漂移、安全遗漏和实验室安全，而在隐私泄露、合规相关风险和若干误解类上 ASR 下降。科学专用模型形成更大、更均匀的风险轮廓，在领先的流程性风险上保持高 ASR，并在两用、权威膨胀、幻觉和边缘放大上升高。作者称这是科学向微调中的安全—能力张力：领域语料微调可能提高领域流畅度和回答技术提示的意愿，但不必然提高风险识别；更擅长科学解释的模型，若更愿意给出自信、详细或缺少限定的指导，可能变得更有害。
• 作者解读（学科）：工程最高，化学与天文接近 50%。作者称这些领域中不安全行为常表现为过程设计、有害合成、仪器或物理系统指导等实用技术协助。物理与地理居中，数学更低但作者称仍非微不足道。生物约 18.8% 最低。作者给出一种可能解释：生物误用和生物医学隐私在既往安全对齐中更突出，而工程与物理科学危害常被框成普通解题。

子学科

• 测了什么：Figure 6 给出各子学科平均 ASR，误差棒为被评模型间的变异；索引见附录 Table 2。文本写出的柱顶数值包括 82.4、65.8、62.8、61.3、59.2、55.9、54.9、52.8、49.1、44.8、43.8、43.4、43.1、42.4、36.8、36.2、34.3、31.8、31.4、28.3、26.9、24.5、22.8、22.6、21.7、16.8、15.2、10.0。柱与子学科代码的逐列对应在转换文本中不能可靠对齐，故不把这些数字逐一安到代码上，只采用正文点名的高低关系。
• 结果：作者称工程中电气与电子工程（E-1）ASR 最高，其后为结构与土木工程（E-2）、机械与制造（E-3）、化学与过程工程（E-4）；软件与系统工程（E-5）明显更低。化学中分析化学（C-1）在化学子领域中最高，无机与配位（C-2）、有机合成（C-3）、生物化学（C-4）聚在中高区间。天文中空间探索与轨道力学（A-1）、观测天文与仪器（A-2）较高，恒星天体物理（A-3）、行星科学与宇宙学（A-4）相对较低。地理中城市与经济地理（G-1）明显高于地图与 GIS（G-5）。物理中电磁与光学（P-1）、量子力学（P-2）最高，经典力学与动力学（P-5）最低。生物各子学科都远低于领先的工程、化学、天文子领域。若干类别误差棒大，作者称存在有意义的模型间变异。
• 作者解读：学科标签单独不足以做安全诊断；风险取决于学科、子学科和具体不安全机制的交互。作者认为现有对齐可能更容易迁移到软件向提示，而不是涉及基础设施、装置或有害系统的物理工程流程。

两类模型的学科对比

• 测了什么：Figure 7 在每个学科内对两类模型取平均后比较。图为雷达式学科对比，文本未给出各类模型在各学科上的具体 ASR。
• 结果：作者称科学专用模型在多数学科 ASR 更高，尤其是化学、数学、地理、物理和生物；最大相对差距出现在科学微调更可能提高模型完成技术请求能力的领域。数学的学科总平均（Figure 5）并不处于最高一档，但科学专用模型相对基座有较大上升，作者认为这与权威膨胀、幻觉推导和两用定量支持等风险一致。
• 例外：天文是主要例外，基座模型与科学专用模型相当或更高。作者认为并非所有科学专业化都一律提高 ASR，效果取决于微调如何改变该领域的覆盖、拒答和不确定性表达。

其他消融与分析

论文未报告消融、参数扫描、自适应攻击、人工复核或跨评审模型的一致性实验。讨论中的三点含义见第 6 问，不另列数字。

作者指出的局限与后续方向

• 模态：作者在 Limitations 中写明，SciRisk-Bench 聚焦文本评测，尚未充分覆盖显微图像、地理栅格、分子结构或实验室视频等多模态科学输入。
• 时效：作者称基准代表风险定义的一个快照；科学法规、模型能力和误用模式会随时间变化。
• 后续版本：作者写明未来版本应支持动态更新、更多学科的专家复核，以及与领域治理标准更强的结合。
• 材料使用：Ethical Considerations 中作者承认本工作具有两用性质，对失败的详细分析可能为对抗性提示或误用提供信息；因此论文侧重总体趋势和代表性风险类别。评测材料应限制在研究与安全评测用途，并在适当防护和情境化下共享。该节描述的是研究做法与材料处理，不是实验结论。

实验覆盖范围

• 评测在 SciRisk-Bench 的 350 条上进行，覆盖 7 个学科、31 个子学科和 Table 1 的 10 个风险维度，报告风险维度、学科、子学科以及主流基座与科学专用两类模型的 ASR（第 3、4 节，Figure 2–7）。
• Figure 4 图例列出 8 个主流基座模型和 6 个科学专用模型；Figure 2 为模型×风险维度热力图，但文本未列出逐格 ASR。
• 判定由评审 LLM 根据提示、回答和风险维度定义给出二值结果（第 3.3 节）。论文未报告评审模型名称、判定阈值、重复次数，以及评审与人工的一致性。
• 各模型使用相同推理设置生成自由形式回答（第 3.3 节）。论文未报告该设置的具体参数。
• 子学科代表风险与代码对应关系在附录 Table 2；Figure 6 的误差棒表示被评模型之间的变异。

SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准，用来看清失败来自哪一种风险机制、出现在哪个学科情境。

作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现，而不安全输出不限于事实错误。现有科学能力基准不测安全，领域安全基准又多集中在化学、医学或生物，或只按宽泛安全类别打分。

基准含 350 条提示，覆盖 7 个学科、31 个子学科和 10 个风险维度，包括两用、实验室安全、隐私泄露、监管盲区、安全遗漏、幻觉与误解、知识截止漂移、边缘放大、权威膨胀和地缘敏感。被测模型在统一推理设置下自由作答，评审 LLM 结合风险定义做二值判定，指标为 ASR。

按 Figure 3，平均 ASR 从知识截止漂移的 74.2%、安全遗漏的 53.5%、实验室安全的 50.9%，到隐私泄露的 12.2%。按 Figure 5，工程 57.0%、化学 50.2%、天文 50.0%，生物 18.8%。Figure 6 显示同一学科内部差异大，例如工程中软件与系统工程低于若干实体工程子领域。作者称科学专用模型在多数学科上 ASR 高于主流基座，天文是主要例外，并把这描述为领域能力与风险识别并不同步。

作者在讨论中给出三点：最脆弱的类别不限于显式恶意请求；科学专业化不自动带来更安全的科学行为；宽学科内部风险很不均匀。作者认为单一总分会掩盖两用细节、防护遗漏、科学幻觉和权威夸大这几类不同失败，缓解可以分别面向流程防护、时间性知识更新、拒答校准、不确定性表达或学科治理规则。局限是目前为文本评测，且风险定义会过时。