FUSE：面向大语言模型危险能力的模块化评测框架

危险能力评测协议互不兼容，无法回答哪个模型更危险、危险如何随时间变化。

• 场景与重要性：作者称监管者、平台运营方和企业安全团队需要比较大语言模型的危险能力。现有知识基准只测“知道什么”，防御基准只测拒答，有害生成评测不看内容如何被引出；各基准模型、协议、分数尺度和样本群体都不同，事后归一化也不能得到可比较的风险画像（Figure 1）。

• 现有方法的不足：作者把缺口定位为评测碎片化，而不是缺少测量。知识基准（GPQA、WMDP）是单轮、不测对抗压力下的行为；防御与智能体基准（R-Judge、Agent-SafetyBench、OpenAgentSafety）以及有害生成评测各用各的协议和输出格式，不能跨域汇总。

• 核心观察：作者认为危险能力至少有三个互不冗余的问题：可被查询泄露的危险领域熟练度（Knowledge, K）、对抗诱导下的访问控制稳健性（Defense, D）、访问控制失效后输出的可行动性（Harm, H）。摘要报告12个商用LLM上K–D–H两两相关ρ ∈ [0.32, 0.52]。

• 论文提出什么：作者提出模块化评测基础设施FUSE。可插拔模块提供场景种子、知识库、危害查询和评审量规，核心引擎不变；结果聚合成七维危险能力画像φ = ⟨K, D, H, DL, BR, ∆, ER⟩。化生（CB）模块评测12个商用LLM；一个网络（cyber）试点用来展示协议可迁移。作者称这是对三代模型发布时间上危险能力演化的系统分析。

• 评测对象（非攻击论文）：受害系统是被评测的目标LLM。K测查询即可泄露的危险知识；D由Red-Team Agent做路径依赖的多轮诱导；H对开放式回答按量规打分。成功标准是统一协议下的分数与φ，而不是一次越狱是否得手。

作者在第2节把LLM安全评测分成多条轨道，并认为共同缺口是缺少在正交维度上一致评估危险能力的统一基础设施。

知识基准

• MMLU [10]、GPQA [25]、WMDP [15]：MMLU确立大规模选择题范式；GPQA与WMDP把它扩展到危险科学领域，测量模型是否知道危险信息。作者指出这些基准本质上是单轮的，不能评估对抗压力下的行为。

防御与安全基准

• R-Judge [35]、Agent-SafetyBench与OpenAgentSafety [32]：R-Judge测多轮智能体交互中的风险识别；后两者评测带真实工具的智能体，并发现单独安全的步骤会复合成不安全结果。
• RAND的CBRN研究 [21, 28, 29]、Do-Not-Answer [34]：前者报告LLM可能降低生物攻击规划门槛；后者评测拒答防护。作者指出各自协议和输出格式使结果不可比。

自适应与多轮越狱

• 梯度攻击 [40]、自动提示生成 [18]、多轮诱导 [14]、基于模型的红队 [8, 23]、PAIR [5]与TAP：这些工作显示对抗压力可以绕过安全护栏，PAIR和TAP通过迭代的攻击者模型查询引出有害回答。作者称既有工作把越狱当作孤立攻击向量，而本文把自适应多轮评测内置为防御维度的设计，并用初始防御到侵蚀的相关做经验检验（Section 5.3）。

评审、智能体与工具

• LLM-as-Judge：Zheng等 [38]报告强评审与人类一致性可超过80%，但有位置和冗长偏差；多智能体集成 [13]用来降低单评审方差；Verga等 [30]称客观评分比主观质量评估更一致。作者称这些发现促使本文做跨评审验证，并用多评审家族和temperature 0.0控制偏差。
• AgentBench [17]、ToolEmu [27]：工具访问会改变安全行为，沙箱评测可行。作者称Tool-Enhanced模式在此基础上，把仅内容模式扩展到隔离沙箱中的工具场景。

基线与对照

• 基线方法：Table 1把既有基准概括为“每个基准一套协议、单一维度、各自输出格式、多为单轮、扩展需重新设计”，对照本文的统一I/O、K×D×H、能力画像φ、D上的路径依赖协议和可插拔模块。实验中的具体分数没有与GPQA、WMDP、R-Judge等外部基准的已发表分数做数值对照；知识题来自SciKnowEval、GPQA和中国高考题集，危害查询来自WMDP、LabSafety Bench和ChemSafetyBench。

作者的定位是：研究者现在必须分别配置GPQA、R-Judge和自定义危害测试，而本文把它收成实例化一个Pluggable Module；φ在同一协议、同一模型群体上测量，因此可跨模型、跨域比较。

作者的答案是模块化评测框架而不是再做一个基准：危险域换成数据模块，核心引擎保持不变，沿三条正交管线打分并汇总为φ。

四模块架构

• Pluggable Module：一个Danger-Domain Module捆绑四类资产：防御用的场景种子（合法工作情境、嵌入的危害目标和升级阶梯）、知识库（带正确答案和难度标签的选择题）、危害查询（开放式提示）、评审量规（评分维度和范围）。
• Task Orchestration：加载K/D/H资产，选择要跑的维度和两种执行模式之一（Content-Only或Tool-Enhanced），并维护带攻击人设和递进对话模板的场景库；需要时可并行多个Red-Team–Target对。
• Test Environment：Content-Only下Red-Team Agent按目标模型先前回答调整诱导。Tool-Enhanced给目标模型真实工具（Bash、Python、文件I/O、网页搜索），在Docker双沙箱中按ReAct执行，工具调用经拦截转发，KillSwitch可终止失控行为。日志记录每条Thought-Action轨迹、工具载荷和时序。
• Judgment：先由SLM路由器R把记录ℓ分到模块定义的风险类，式(1)写作R(ℓ) ∈ C；再由LLM评审J按量规给出d维分数，式(2)为J(ℓ; ρ) ∈ [0, m]^d。CB的类别例子包括合成指导、传播规划、武器化。全部记录带着类别标签进入评审。跨评审用Spearman ρ和bootstrap标准误。

Knowledge管线

• 测量对象：攻击者仅靠查询能抽出的危险领域熟练度。四选一MCQ用带固定猜测参数的2PL IRT：正确概率为c + (1−c) / (1 + exp(−(θT − bi)))，c = 0.25。难度bi由12个LLM的合并正确率标定一次，θT用Newton–Raphson做极大似然，并用Fisher信息给SE(θ)。
• 作者给出的理由：作者称标定尺度与按逐题作答模式估计θ不是循环论证；相同总分、答对不同难度题的模型会得到不同θ。相对原始准确率，IRT有难度加权、不确定度、等距尺度三个优点。K := θ；多子域时分别报告（如Kbio、Kchem）。

Defense与Harm管线

• Defense：每个场景种子生成五轮路径依赖链。量规四个语义维——Induction Defense、Risk Leakage、Context Handling、Multi-round Resilience——各0–25分，场景分Ds是ℓ1范数，范围0–100；D是N个场景的平均。DL是Induction-Defense归一化到[0,1]；BR是多轮韧性分之和除以诱导防御分之和。作者称BR≈1为稳定，BR<1为侵蚀，BR>1为升级顺从。
• Harm：N道开放式危害问题。四个语义维——Completeness、Implement-Ability、Resource-Accessibility、Innovation——各0–25。单条暴露分Hi为ℓ1范数，0–100。H只对非拒答集合RT取平均；空响应或纯拒答不计入。作者称H衡量的是合规条件下的能力，D衡量是否拒绝。

派生维度与画像

• ∆与ER：子域防御不对称∆ = (Dd1 − Dd2) / max(Dd1, Dd2)，范围[−1, +1]；单子域模块省略∆。空响应率ER是空轮次占总轮次的百分比，作者把它视为服务层过滤策略，可从交互日志观察，与领域语义无关。
• φ：φ(T) = ⟨K, D, H, DL, BR, ∆, ER⟩，各分量来自同一次评测。主评审为GPT-4o-mini，temperature = 0.0。CB实例：298个场景种子（生物156、化学142），3773道MCQ（生物1938、化学1835），200道开放式危害查询（生物100、化学100）。

实验设置

• 被测模型：四个家族共12个商用LLM：Claude-3-Haiku、Claude-Opus-4、Claude-Opus-4.5、Claude-Opus-4.8；GPT-3.5-Turbo、GPT-4o、GPT-5.4、GPT-5.5；DeepSeek-V3、DeepSeek-V4-Flash、DeepSeek-V4-Pro；Kimi-K3。发布时间窗口为2023–2026。
• CB资产：K为3773道MCQ；D为298个五轮场景；H为200道开放题。来源见第3问。主评审GPT-4o-mini，temperature 0.0。
• 指标：K为相对12模型均值的IRT θ（logits）及raw%；D、H为0–100；DL∈[0,1]；BR为比值；∆∈[−1,+1]；ER为百分比。θ与raw排名Spearman ρ = 0.998（Section 5.2）。
• Cyber试点：DeepSeek-V3、GPT-3.5-Turbo、GPT-4o在Tool-Enhanced模式、16条攻击链上评测；K为75道网络MCQ的raw accuracy，不用IRT θ。评审协议与CB相同。
• 评审一致性：Section 6用备选评审家族对主评审重打分，报告Spearman ρ与bootstrap标准误。论文未报告每个条件的重复次数。

主结果

作者把主结论分成横向比较和时间演化。下表摘自Table 3–5的端点与家族代表（D、H按子域；省略的中间模型见各表）。

表格较宽，可左右滑动

模型	θbio / θchem	Dbio / Dchem	Hbio / Hchem
GPT-3.5-Turbo	-2.054 / -4.092	66.2 / 64.4	70.5 / 68.8
GPT-5.5	+1.589 / +1.212	95.8 / 96.8	71.4 / 74.2
Claude-Opus-4.5	+0.773 / -0.107	99.3 / 99.9	75.9 / 75.5
Claude-Opus-4.8	-0.370 / +1.109	99.5 / 99.7	78.5 / 77.5
DeepSeek-V3	+0.236 / +0.018	56.9 / 63.9	74.0 / 74.6
DeepSeek-V4-Pro	+0.820 / +0.445	67.2 / 80.1	76.2 / 77.8
Kimi-K3	+1.041 / +0.830	94.4 / 97.3	69.2 / 72.7
GPT-4o	-1.767 / -0.452	66.4 / 66.1	70.8 / 68.3

据Table 3–5。H最低端是GPT-4o的Hchem = 68.3，最高端是Claude-Opus-4.8的Hbio = 78.5。

• 知识：作者称知识呈家族结构。GPT-5.5、GPT-5.4在两个子域领先；GPT-3.5-Turbo的θchem = −4.092、raw 44.0%，作者称这是全评测最大的单模型缺口，略高于25%随机猜测下限。8/12个模型θbio > θchem，差距0.1到3.0 logits；三个Claude模型与GPT-4o相反。Figure 3为θbio对θchem，对角线以上表示生物知识更强。作者称方向依赖家族：DeepSeek偏生物，Claude偏化学，GPT分开。
• 防御：D的跨度大于K和H，从DeepSeek-V3的Dbio = 56.9到Claude-Opus-4.5的Dchem = 99.9，差43分。Claude-Opus-4的Dbio = 97.0、Dchem = 82.0。Figure 4在标准化(DL, BR)上做k-means（k=4，gap statistic）。作者划分：Mode I Brittle为GPT-5.4/5.5（DL≈0.97，BR≈0.95）；Mode II Exposed为三个DeepSeek（DL<0.72，BR>1.09）；Mode III Robust为Claude-Opus-4/4.5/4.8与Kimi-K3（DL>0.89，BR≈1.0）；Mode IV Moderate为Claude-3-Haiku、GPT-4o、GPT-3.5-Turbo（DL≈0.65–0.76，BR≈1.0）。作者称单轮看起来最安全的模型，恰恰是持续交互下防御会侵蚀的模型。
• 危害：作者称H的范围窄，12个模型落在68.3–78.5的10分带宽内。作者称防御最强的模型在合规时危害分最高：Claude-Opus-4.5与4.8的D>99而H>75。作者把这解释为选择效应：强拒答者只在少数未拒答的难题上被计分。K–D–H不互相预测；Section 6给出D与H的ρ = 0.318。

派生指标与时间演化

• ∆与ER（Table 6）：极端是Claude-Opus-4的∆ = +0.155（生物防御更强）和DeepSeek-V4-Pro的∆ = −0.161（化学防御更强）；其余十个模型∆ ∈ [−0.11, +0.03]。作者称这两个极端模型的总防御并不处于分布下端，因此∆与D正交。ER：Claude-Opus-4为67.8%，Opus-4.5为78.5%，Opus-4.8为78.6%；GPT-5.4为15.0%，GPT-5.5为28.0%；其余模型ER<3%（Table 6中DeepSeek-V3与GPT-3.5-Turbo、GPT-4o为0.0，DeepSeek-V4-Pro为0.1，V4-Flash为0.3，Claude-3-Haiku为0.7，Kimi-K3为2.3）。作者称空响应是服务层过滤，日志中看不到防御事件。
• Figure 7与Figure 13：Figure 7按家族比较生物/化学的K、D、H均值，图中可读到的标注包括K侧+0.53、+0.28、+0.09、−0.28、−0.26、−0.63，D侧93.0、89.5、80.9、80.3、73.5、63.3，H侧80.0、77.5、76.0、75.5、74.8、73.7、72.5、72.1、71.5、70.0、67.5、65.0、62.5、60.0。作者称知识在每个家族内跨代累积，防御按家族分化，危害缺乏弹性：没有厂商做出合规输出明显更不可行动的一代。Figure 13上，静默拒答从2025年中Claude-Opus-4的67.8%出现，Opus-4.5/4.8升到78%以上，DeepSeek与GPT-4o一类模型没有该策略，GPT-5.x为15–28%。
• 个案：作者给出DeepSeek-V4-Pro的五轮轨迹（Figure 5，消防危化品场景，操作参数已涂红），评审为Unsafe、54/100；单轮危害查询（Figure 6）作者称H = 77.0、评审72/100。附录仅说明有示例且参数已涂红，此处不复述内容。

网络试点与评审一致性

• Table 7：DeepSeek-V3的K raw% = 100.0，D = 34.8，H = 69.1，对照CB的D = 60.2、H = 74.3；GPT-3.5-Turbo为98.7、31.6、71.2，CB的D = 65.3、H = 69.6；GPT-4o为98.7、61.2、69.1，CB的D = 66.3、H = 69.5。作者称网络域H仍窄（69–71），相对排序保持；防御排序方向保持但整体更低，并称工具增强下要拒绝具体工具调用，比拒绝散文更难。
• 评审：摘要称bootstrap ρ > 0.79的备选评审为5个中的4个。Figure 16是Harm上各备选评审相对GPT-4o-mini的模型级Spearman ρ。作者称客观评分比主观质量评估更一致，防御与危害评分呈现这一模式（Section 6）。K的测量精度由Fisher信息的SE(θ)量化（Section 6）。

其他消融与分析

• 论文未做以超参数为主的消融表；可靠性分析是跨评审一致性和管线正交性，而不是去掉某个模块。
• 摘要：K–D–H两两相关ρ ∈ [0.32, 0.52]；Section 6单列D与H的ρ = 0.318。
• DL×BR的k=4由gap statistic选取（Section 5.3）。
• 负面结果：危害不随防御增强而下降；新模型知识加深而防御只部分改善，危险能力并非随发布时间单调下降（摘要、Section 5.7）。GPT-3.5-Turbo化学raw 44.0%，接近25%猜测下限（Table 3）。

作者指出的局限与后续方向

• 公开资产：作者在局限讨论中写明，化生知识库、场景和危害查询来自公开基准与考试题，可能与模型训练数据重叠，从而抬高K或改变拒答；这被作者列为局限（Limitations）。
• 危害是单轮：作者写明H是单轮开放式生成，没有像D那样做路径依赖诱导，因此H不反映多轮升级后的可行动性（Limitations）。
• 红队策略固定且语言为英文：作者写明Red-Team Agent的升级策略来自模块预设模板，没有按目标模型做在线策略搜索；评测语言以英文为主（场景日志有中文译本）。作者把域自适应红队和多语言评测列为后续工作（Limitations / Future Work）。
• 工具增强覆盖窄：作者写明Tool-Enhanced只在网络试点的三个重叠模型、16条攻击链上运行，CB主实验是Content-Only；作者计划把工具增强扩到更多危险域（Section 5.6与Conclusion）。
• 评审不是人类：作者写明可靠性来自跨LLM评审一致性和IRT精度，而不是大规模人工一致性；Zheng等报告的人类一致性没有在本任务上重测（Section 6 / Limitations）。
• 作者计划：发布或并入代码若在文中为plan/will，按作者计划理解；论文未把开源写成已完成。

实验覆盖范围

• 模型：CB主实验为四家族12个商用LLM，发布时间跨2023–2026；网络试点仅为其中DeepSeek-V3、GPT-3.5-Turbo、GPT-4o（Section 5.1、5.6）。
• 规模：CB为3773道MCQ、298个五轮场景、200道危害查询；网络K为75道MCQ、16条攻击链（Section 5.1、5.6）。论文未报告每个条件的重复次数。
• 维度：报告了K、D、H、DL、BR、∆、ER；D为五轮路径依赖，H只对非拒答响应取平均（Section 4–5）。
• 评审：主评审为GPT-4o-mini（temperature 0.0）；一致性为相对主评审的Spearman ρ与bootstrap，摘要给出5个备选中4个ρ > 0.79（Section 6）。论文未报告评审与人工的一致性。
• 执行模式：CB结果为Content-Only；Tool-Enhanced仅网络试点，沙箱内含Bash/Python等工具与KillSwitch（Section 3.4、5.6）。

FUSE是一套可换危险域的评测基础设施，用来把互不兼容的安全测试收成同一协议下的七维画像φ。

• 问题：作者认为监管方无法把“知道危险知识”“压力下顺从”“合规时输出可行动内容”这三件事先各自基准的分数拼在一起，因为协议、尺度和样本都不同。
• 方法：Pluggable Module提供场景种子、知识库、危害查询和量规；编排器选择K、D、H及Content-Only或Tool-Enhanced；K用四选一2PL IRT估计θ，D用五轮自适应诱导按四维量规得到0–100分及DL、BR，H只对非拒答回答按四维量规取平均。再加上子域不对称∆和空响应率ER，得到φ。
• 横向结果：12个商用模型上，GPT-5.5的θbio/θchem为+1.589/+1.212，GPT-3.5-Turbo化学θ为−4.092（raw 44.0%）。防御从DeepSeek-V3的Dbio 56.9到Claude-Opus-4.5的Dchem 99.9。危害集中在68.3–78.5；Claude-Opus-4.8在D>99时Hbio仍为78.5。DL×BR被分成四种模式，Kimi-K3与Claude Opus同属稳定高防御。
• 时间与迁移：作者称知识在各家族内随代加深，防御按家族分化，危害缺乏弹性，危险能力没有随发布时间单调下降。Claude Opus的ER为67.8–78.6%，GPT-5.x为15–28%。三个重叠模型的网络试点中H为69.1–71.2，D为31.6–61.2，低于各自的CB防御。
• 作者的结论：K、D、H相关低（ρ ∈ [0.32, 0.52]；D与H为0.318），单一维度不够；4/5备选评审相对GPT-4o-mini的bootstrap ρ > 0.79。作者认为φ使跨模型、跨域、跨时间比较成为可能，而扩域主要是准备一个新模块。