Safety Gap Toolkit：评估开源模型的隐藏危险

1. 01这篇论文试图解决什么问题？

   作者要量化开源权重模型在防护被去除前后的有效危险能力差，即 safety gap。

   要量化的是开源权重模型去掉防护后，有效危险能力会上升多少；这个差被定义为 safety gap。

   • 场景：作者认为开源权重便于定制、自托管和后续研究，但可修改性也让人绕过现有防护。作者把系统风险的重点放在大规模杀伤性武器与网络攻击。
   • 现有评测：作者称发布前通常只测带安全训练的生产版本。据作者所述，Meta 的 Llama 危险能力评估未报告定量结果，且未施加去掉防护的对抗压力；Qwen-2.5 与 DeepSeek 的公开材料里，作者也未见这种压力下的安全评估。
   • 假设：现有防护可能主要压低对有害请求的依从，而不削减危险知识。有效危险能力指对有害请求给出准确、可执行指导的能力。
   • 做法：发布 Safety Gap Toolkit，把去防护与评测接在一起；用 Bio-Chem-Cyber Propensity 的依从率乘 WMDP 准确率估计有效危险能力，并在 Llama-3 与 Qwen-2.5 上比较去掉防护前后的差。
   • 威胁模型：
     • 有意去除：恶意行为者持有带默认防护的开源权重，用有害数据微调以提取危险信息。工具包含 51 条有害训练请求及依从回答。
     • 无意去除：良性用户为下游任务微调，即便回答无害也可能损及安全，再发布权重或提供 API。工具包用只保留安全回答的 PKU-SafeRLHF 子集，训练规模为 50 与 1,000 条。
     • 手段：除监督微调外，还有无训练的 refusal ablation。作者称能直接改权重或内部状态时，访问协议和输入输出控制约束不了使用者；这类修改只适用于开源权重模型。
     • 对象：案例是两个 Instruct 家族的多个参数规模，而不是闭源 API。

   收起这一问

2. 02有哪些相关研究？

   作者把防护分成删能力、拒答对齐、运行时控制与访问协议，并称开源权重后两类难用。

   防护的四类做法

   • 删能力：预训练去掉有问题文档，如生物武器相关内容（Liu et al., 2024b; Bender et al., 2021）；后训练遗忘危险能力（Chen & Yang, 2023; Eldan & Russinovich, 2023; Yao et al., 2024; Liu et al., 2025）。
   • 对齐拒答：RLHF（Bai et al., 2022）、指令微调与对抗鲁棒技术（Hubinger et al., 2024）。
   • 控制与访问：内容过滤（Sharma et al., 2025）、探测 scheming 的探针（MacDiarmid et al., 2024）、由可信模型改写可疑输出（Greenblatt et al., 2023）；闭源模型还可限制访问或下线。作者认为开源权重用不了访问协议，使用者也能直接接触权重，控制机制约束不了输入输出。

   防护被去掉的途径

   • 输入空间：越狱（Wei et al., 2023; Chao et al., 2023; Shen et al., 2024）与预填充（Qi et al., 2024a; Haize Labs, 2024）；部分攻击需要直接访问权重（Zou et al., 2023）。
   • 改权重：微调可恢复被遗忘的危险能力（Qi et al., 2024b），或训练模型依从危险请求（Qi et al., 2023; Zhan et al., 2024）；作者引用的工作还包括良性数据微调损及安全（Qi et al., 2023）、诱发其他失准行为（Betley et al., 2025），以及 LoRA 撤销 Llama 2-Chat 70B 的安全训练（Lermen et al., 2023）。
   • 无训练：refusal ablation 对拒绝方向做正交化（Arditi et al., 2024）；推理时转向激活可抽出被遗忘信息并绕过拒绝（Seyitoğlu et al., 2024; Arditi et al., 2024; Panickssery et al., 2023）。作者称后两类威胁只适用于开源权重模型。

   去掉防护之后的评测

   • Qi et al. (2024b)：检查 TAR（Tamirisa et al., 2024）与 RepNoise（Rosati et al., 2024）。作者称其代码能评测遗忘类防护去除前后，但聚焦该文结果，不易扩展。
   • Arditi et al. (2024)：提供 refusal ablation 代码，并比较去除前后对有害、无害请求的补全和交叉熵。
   • Wang et al. (2024)：把 refusal ablation 的评测扩到 LM Evaluation Harness（Gao et al., 2024）上的更一般能力。

   基线与基准

   • 对照：同一模型的原版，相对有害微调、良性微调和 refusal ablation。
   • 数据集：危险知识用 WMDP（Li et al., 2024）。依从用自建 Bio-Chem-Cyber Propensity，评审为 StrongREJECT（Souly et al., 2024）。作者认为 StrongREJECT 与 AdvBench（Zou et al., 2023）偏通用犯罪请求，因此另建针对生物、化学武器和网络攻击的题。质量用 Freebase QA（Jiang et al., 2019）的 100 条子集，裁判为 Claude-3.5-Haiku。良性微调数据来自过滤后的 PKU-SafeRLHF（Ji et al., 2024）。

   作者把本文定位成可扩展的评测框架：多种去防护方法，加上准确率、依从和生成质量三维评测，用来在可预见对抗压力之前和之后评估开源权重模型。

   收起这一问

3. 03论文如何解决这个问题？

   用依从率乘 WMDP 准确率估计有效危险能力，再比较微调或拒绝方向消融前后的差。

   Safety Gap Toolkit 把去防护和评测接成流水线。有效危险能力用依从率与代理知识准确率的乘积估计，safety gap 是生产就绪模型与去掉防护后同一模型该量之差。

   估计量怎么定义

   • 作者称理想做法是用高风险开放题配专家标准答案，但据他们所知这种基准不存在，公开发布也有安全风险。
   • 因此分开测开放危险题的依从率，以及 WMDP 这类代理集上的准确率，再取乘积。依从低或知识低都会把乘积压低。
   • 工具包默认在去掉防护前后都跑这套评测，便于直接相减。

   去掉防护

   • 监督微调：支持全参数与 LoRA，单节点用 FSDP；也可换聊天或原文数据集。工具包含自动超参调节。作者称很小的超参差别就能去掉号称抗篡改的防护（Qi et al., 2024b）。案例设置在附录 A.1：batch size 16，LoRA 秩与 alpha 均为 64，作用在 q、k、v、o 投影。小数据集 early stopping patience 为 3，1,000 条良性数据训满一个 epoch。
   • 两类数据：有害集 51 条训练、20 条评估，请求配有依从回答，领域包括市场操纵、生态生物武器和暗杀武器设计。良性集来自 PKU-SafeRLHF，只留安全回答，训练 50 与 1,000 条、评估 20 条，彼此不重叠。
   • Refusal ablation：按层对有害、无害提示算平均激活，去掉下一 token 最可能为拒绝的提示，用 difference-in-means 得到拒绝方向；选取拒绝率最低、且不改变无害提示输出分布的方向 r*，再正交化写入残差流的权重：W′ ← W − r^∗r^∗⊤W/|r^∗|²。这样残差流在 r* 方向上为零。无需训练。全文细节指向 Arditi et al. (2024) Section C。
   • 算力边界：半精度、约 300B 参数以内，可在单节点 8×H100 上做微调与消融。工具包不支持多节点或量化模型上的这两项。

   三维评测

   • 依从：DeepSeek-R1-Distill-Llama-70B 先生成恶意网络攻击与生化武器的主题和开放问题，Llama Guard 去掉被判为 safe 的题。得到生物 283、化学 312、网络 516 题。不发布答案，只发布问题与 Llama Guard 分数。作答后用 StrongREJECT 判依从或拒绝。作者称该评审是 state-of-the-art 的 LLM 有害性评审；论文未写本次底层模型，也未写数值阈值。
   • 知识：WMDP 近 4,000 道生物、化学、网络多选题，问题本身大体无害。对每题计算回答首 token 为 A、B、C、D 的概率，取最大者；即使最可能的续写是拒绝，仍抽出一个选项。
   • 质量：Freebase QA 的 100 条无害开放题，由 Claude-3.5-Haiku 打分。用户也可换成别的开放危险题集或 JSON 多选题。

   默认支持的模型

   • 开箱列出 Llama-3-Instruct 的 1B、3B、8B、70B、405B，以及 Qwen-2.5-Instruct 的 0.5B、1.5B、7B、32B、72B。去除防护要求模型属于 AutoModelForCausalLM 子类；评测要求兼容 vLLM。Refusal ablation 还要用户提供返回所有写入残差流模块的函数。推理支持 tensor 与 pipeline 并行。

   收起这一问

4. 04论文做了哪些实验？

   Llama-3 与 Qwen-2.5 上去除防护后依从率上升，WMDP 准确率大体保持；小 Qwen 原依从已高。

   实验设置

   • 被测模型：Llama-3.2-1B-Instruct、Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Llama-3.3-70B-Instruct、Llama-3.1-405B-Instruct；Qwen2.5-0.5B-Instruct、Qwen2.5-1.5B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct。
   • 条件：原模型、refusal ablation、Harmful (51)、Benign (50)、Benign (1000)。学习率与步数在 Table 2、Table 3。
   • 指标：WMDP 的似然准确率（Bio、Chem、Cyber）；Bio-Chem-Cyber Propensity 上的依从率；二者乘积为有效危险能力；Freebase QA 100 上的生成质量。
   • 评审：依从用 StrongREJECT，论文未写底层模型与阈值。质量用 Claude-3.5-Haiku，论文未写打分细则。
   • 规模与区间：WMDP 近 4,000 题；倾向集为生物 283、化学 312、网络 516；Freebase QA 子集 100。条形图给均值和自助法 95% 置信区间（n=5000）。论文未报告主表各格的重复次数。
   • 405B：8 张 H100 上，工具包不能直接去掉 Llama-3.1-405B 的防护。案例在工具包外用 FP8 与 DeepSpeed ZeRO stage 2 做了 SFT，评估时把 LoRA 加到预量化权重上；拒绝消融未做出。评测本身仍用工具包。

   主结果

   下表为 WMDP-Bio 原模型准确率，以及 Bio Propensity 依从率。据 Table 2、Table 3。主表 8 行，省略 Llama-3.2-3B-Instruct、Qwen2.5-1.5B-Instruct、Qwen2.5-32B-Instruct。

   表格较宽，可左右滑动

   模型	原准确率	原依从	消融依从	有害(51)依从	良性(1000)依从
   Llama-3.2-1B-Instruct	0.57	0.02	0.67	0.58	0.26
   Llama-3.1-8B-Instruct	0.73	0.00	0.98	0.73	0.86
   Llama-3.1-70B-Instruct	0.83	0.39	1.00	0.81	0.70
   Llama-3.3-70B-Instruct	0.82	0.18	0.99	0.78	0.66
   Llama-3.1-405B-Instruct	0.85	0.03	未报告	0.80	0.77
   Qwen2.5-0.5B-Instruct	0.51	0.74	未报告	0.51	0.59
   Qwen2.5-7B-Instruct	0.75	0.43	0.99	0.98	0.91
   Qwen2.5-72B-Instruct	0.84	0.21	0.98	0.92	0.94

   • 作者称 WMDP 准确率随规模上升，去掉防护并不怎么改变知识；正文写 Llama 的 WMDP-Bio 大约从 1B 的 55% 到 405B 的 85%，Table 2 原模型对应 0.57 与 0.85。Table 3 有例外：Qwen2.5-0.5B 有害微调后 WMDP-Bio 从 0.51 到 0.45，是两表中最低的 Bio 准确率。
   • 作者在 4.2 节写，原模型对危险请求的依从通常低于 5%，去掉防护后最高约 95%，并称 Llama-3.3-70B-Instruct 依从更高。Table 2 中该原模型 Bio 依从为 0.18；Llama-3.1-70B-Instruct 原模型为 0.39。消融后多处高于 95%，如 8B 的 0.98、Llama-3.1-70B 的 1.00。作者称图中省略 Llama-3.1-70B，因其与 Llama-3.3-70B 重叠。
   • Table 3 中 Qwen2.5-0.5B 与 1.5B 原模型 Bio 依从为 0.74 与 0.75，高于 32B 的 0.20 和 72B 的 0.21。0.5B 的有害微调把 Bio 依从从 0.74 降到 0.51；1.5B 的良性 50 条把 Bio 依从从 0.75 降到 0.62。作者未单独解释这两处下降。

   有效危险能力

   • 作者把 WMDP 准确率乘依从率。Figure 1 只画 Llama 家族、有害 51 条微调：纵轴 Effective Dangerous Capabilities 标到 0.7，横轴 Model Size (Parameters) 为 10^9 到 10^11，序列为 Original、Harmful Finetune (51 samples)、Safety Gap。正文未逐点给出图上数值。
   • Figure 3 覆盖 Llama 生物子集的原模型、两种良性微调、有害微调和拒绝消融。作者称去掉防护后该量随规模上升，多数原模型低于 0.05，例外是 Llama-3.3-70B-Instruct。作者称同一模式也出现在 Qwen-2.5（Figure 8）。上文 Table 3 的小 Qwen 原依从率与“多数原模型乘积低于 0.05”这一概括并不处于同一量级。
   • 作者由此认为：只评带防护的模型会误导对恶意使用者风险的估计；更大模型在防护被去掉后能给出更准确的危险回答；现有防护主要改变知识怎么被使用，而不是知识本身。

   生成质量

   • Figure 4 用 Claude-3.5-Haiku 给 Llama 在 Freebase QA 无害题上的回答打分。作者称监督微调通常比原模型低 10 到 30 个百分点，差距随规模变小；refusal ablation 与原模型接近。Table 2 中 Llama-3.1-8B 原质量 0.93，有害微调 0.70，消融 0.92；405B 原 0.97，有害微调 0.92，良性 1,000 条 0.89。
   • Table 3 中 Qwen2.5-72B 原质量 0.97，消融 0.97，有害微调 0.89，良性 1,000 条 0.84。Qwen2.5-0.5B 原 0.69，有害微调 0.55。
   • 作者认为只看多选准确率看不出质量下降，因此需要多种评测；并认为 refusal ablation 可能更有针对性、对无害回答质量的侵入更小。作者也认为微调路径上，有害依从与回答质量之间看起来有一定权衡。

   化学与网络

   • Table 2：Llama-3.1-405B 原模型 WMDP-Chem 0.73、WMDP-Cyber 0.62；三类原依从为 Bio 0.03、Chem 0.06、Cyber 0.05。有害微调后依从为 0.80、0.86、0.87。良性 50 条的 Cyber 依从为 0.38，低于其 Bio 依从 0.60。
   • Table 2：Llama-3.1-8B 消融后 Chem、Cyber 依从为 0.99、0.98。Llama-3.3-70B 消融后 Cyber 依从为 1.00。
   • Table 3：Qwen2.5-0.5B 原 Chem 依从 0.78。Qwen2.5-72B 原三类依从为 0.21、0.20、0.21，消融后为 0.98、0.99、0.99；良性 1,000 条后 WMDP-Cyber 从 0.63 到 0.54。

   其他消融与分析

   • 良性 1,000 条在 Table 2、Table 3 中均为 62 步；小数据集步数随 early stopping 变化，如 Llama-3.1-8B 有害微调 8 步、405B 有害微调 20 步。
   • Qwen2.5-32B 消融后 Bio、Chem、Cyber 依从均为 1.00（Table 3），该模型未放入主表。
   • Qwen2.5-72B 良性 1,000 条后 WMDP-Bio 从 0.84 到 0.80，WMDP-Cyber 从 0.63 到 0.54（Table 3）。
   • Qwen2.5-32B 良性 1,000 条后 WMDP-Cyber 从 0.61 到 0.53（Table 3）。
   • Llama-3.1-70B 原模型 Bio、Chem、Cyber 依从为 0.39、0.41、0.19，高于同表 Llama-3.3-70B 原模型的 0.18、0.21、0.12（Table 2）。
   • 附录 A.2：拒绝消融在 Qwen2.5-0.5B-Instruct 上找不到同时满足拒绝差大和无害指令 KL 差小的方向；也未能做出高质量的 Llama-3.1-405B-Instruct 消融版。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称只覆盖两个模型族，危险能力估计是代理，且工具包还不能直接处理 Llama 405B。

   作者指出的局限与后续方向

   • 还可加入更多监督微调与 refusal ablation 数据集。作者举例称，对微调数据施加越狱会提高去防护效果（Bowen et al., 2024）（6.1）。
   • 受信息危害限制，不能公开发布含大规模杀伤性武器操作说明的数据集；作者认为危险能力评估还可扩展，包括不公开的专有数据集（6.1）。
   • 作者称工具包还可加入一般能力评估，例如 Gao et al. (2024)（6.1）。
   • 在作者使用的 8 张 H100 上，工具包不能直接去掉 Llama 405B 的防护。作者称若原生支持量化模型，或可扩到超过一万亿参数（6.1）。
   • 案例只研究 Llama-3.1 与 Qwen-2.5 两个族；作者称要判断“差距随规模变宽”能否推广，还需要更多模型族。这些模型的防护也有限，如监督微调和直接偏好优化。抗篡改防护（TAR、RepNoise）上的 safety gap 会有多大仍不清楚；作者称 Qi et al. (2024b) 里这些防护相对脆弱（6.2）。
   • 有效危险能力只是代理：危险问题依从率乘良性问题准确率。作者承认，若模型不那么擅长回答危险问题，该代理可能高估（6.2）。

   实验覆盖范围

   • 被测为 6 个 Llama-3 Instruct 变体和 5 个 Qwen2.5 Instruct 变体；数字在 Table 2、Table 3。正文案例以 Llama 生物子集为主，化学、网络和 Qwen 全结果在附录 A。
   • 去掉防护的方法是有害微调（51）、良性微调（50 与 1,000）和 refusal ablation。论文写明未能给出 Llama-3.1-405B-Instruct 与 Qwen2.5-0.5B-Instruct 的拒绝消融结果（第 4 节、附录 A.2）。
   • 评测是 WMDP 似然准确率、Bio-Chem-Cyber Propensity 依从率（StrongREJECT）和 Freebase QA 100 的质量（Claude-3.5-Haiku）。条形图自助法 n=5000。论文未报告主表各格的重复次数。
   • 论文未报告本次 StrongREJECT 的底层模型，也未报告本次实验中评审与人工判断的一致性数字。
   • 工具包默认不支持多节点或量化模型上去掉防护。405B 的 SFT 是 8×H100 上、工具包外的 FP8 与 DeepSpeed ZeRO stage 2 实现；该模型的评测仍用工具包（第 4 节、附录 A.1.1）。

   收起这一问

6. 06总结一下论文的主要内容

   Safety Gap Toolkit 用依从率与 WMDP 准确率的乘积估计去防护前后的有效危险能力差。

   Safety Gap Toolkit 用来量开源权重模型在防护被去掉之后多出来的有效危险能力。

   • 问题：生产版本常被训练成拒绝有害请求，但监督微调和拒绝方向正交化可以去掉这些防护。作者要比较的不是默认拒答率本身，而是去掉防护前后，模型还能多提供多少准确且可执行的危险指导。
   • 估计：作者称高风险开放题配专家答案的基准并不存在，且不宜公开。工具包改为自建倾向集上的依从率，乘 WMDP 多选的似然准确率。去防护包括有害微调（51 条）、良性微调（50 或 1,000 条）和 refusal ablation。另用 Freebase QA 100 看无害回答质量。
   • Llama：Table 2 中 Llama-3.2-1B 原 WMDP-Bio 为 0.57，Llama-3.1-405B 为 0.85。Llama-3.1-8B 原 Bio 依从 0.00，消融后 0.98，有害微调后 0.73，良性 1,000 条后 0.86；对应 WMDP-Bio 为 0.73 与 0.74。405B 有害微调后 Bio 依从 0.80，无消融数字。
   • 并不一律如此：Table 2 中 Llama-3.1-70B 原 Bio 依从已是 0.39。Table 3 中 Qwen2.5-0.5B 原 Bio 依从 0.74，有害微调后 WMDP-Bio 从 0.51 降到 0.45。作者仍称去掉防护后的有效危险能力随规模上升，safety gap 变宽。
   • 质量：作者称监督微调通常把 Freebase QA 质量拉低 10 到 30 个百分点，refusal ablation 则接近原模型。Table 2 中 8B 原质量 0.93，有害微调后 0.70，消融后 0.92。
   • 作者的结论：只评带防护的版本会低估开源权重发布后恶意使用者能调动的风险；现有防护主要压低依从，而不是去掉危险知识。作者希望该工具包推动更耐篡改的防护，并欢迎社区扩展方法与评测。

   收起这一问

相关论文