从对抗视角审视 AI 安全中的机器遗忘

1. 01这篇论文试图解决什么问题？

   作者质疑安全遗忘是否真从权重中删除危险知识，并用白盒攻击检验其与安全微调的本质区别。

   核心问题：机器遗忘（unlearning）是真正从 LLM 权重中移除了危险知识，还是像拒答式安全训练一样只是把知识“遮蔽”起来。

   • 问题场景：LLM 预训练语料含危险信息，安全微调可被越狱绕过；RMU 等遗忘方法号称能把危险知识基准上的准确率降到随机水平，但已有工作发现知识仍可被恢复。
   • 现有不足（按论文说法）：作者认为已有评测多为 black-box，只验证输出中无法提取知识，与“从权重中删除”的目标不匹配，可能给出误导性的成功结论；RMU 原论文报告 GCG 等白盒越狱对其无效。
   • 核心假设：作者提出，只要存在至少一种方法——不更新权重、或用与目标知识几乎无互信息的数据更新权重——就能恢复可观准确率，那么从安全角度看遗忘就不算成功。
   • 论文贡献：作者称这是对面向安全的遗忘方法的首次全面 white-box 评测，将 RMU、NPO 与 DPO 安全训练基线对比，并提出多种自适应恢复方法。
   • 威胁模型：
     • 攻击者目标：从遗忘后的模型中恢复 WMDP 所测的危险知识（生物、网络安全），用 WMDP 准确率衡量。
     • 知识：white-box 访问遗忘后模型；并假设可访问遗忘前的原始模型，或通过微调获得等价模型。
     • 能力：可修改模型权重、在推理时干预激活空间、优化输入提示词。
     • 受害系统：经 RMU、NPO 遗忘或 DPO 安全训练的 Zephyr-7B-β；作者指出 RMU 原设定只假设 black-box 访问，白盒设定比其威胁模型更强。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四组：安全训练与越狱、LLM 遗忘、遗忘鲁棒性评测，以及三篇同期工作。

   安全训练与越狱

   • DPO（Rafailov et al., 2024）与 PPO（Ouyang et al., 2022）：训练模型拒答危险问题；Zou et al. (2024b) 的 circuit breakers 用表示工程将不想要概念的方向正交化。
   • 越狱方法：仅提示词策略（Shah et al., 2023；Huang et al., 2023）、白盒优化提示词（Zou et al., 2023 的 GCG；Andriushchenko et al., 2024）、消融模型激活（Arditi et al., 2024，发现拒答由激活空间单一方向介导）。

   LLM 遗忘

   • 遗忘的黄金标准（Cao and Yang, 2015；Bourtoule et al., 2021）：使模型与在删除目标数据后重训的模型不可区分。
   • RMU（Li et al., 2024）：面向安全的遗忘方法，随 WMDP 基准一起提出，是本文主要评测对象；NPO（Zhang et al., 2024）是通用遗忘算法，作者将其改造用于危险知识移除。
   • 作者指出该领域缺乏标准化指标：各基准评测标准不一，从困惑度、多选题准确率到前缀注入后的 ROUGE 不等。

   遗忘鲁棒性评测

   • Lynch et al. (2024)：通过探测内部表示，可从原始和遗忘模型中以可比比率提取知识。
   • RMU 原论文（Li et al., 2024）与 Hu et al. (2024)：发现微调可轻易撤销遗忘保护。
   • Gonen and Goldberg (2019)（词嵌入去偏）与 Sharma et al. (2024)（扩散模型遗忘）：作者引它们说明细致评测和白盒方法的重要性。

   同期工作

   • Deeb and Roger (2024)：RMU 等三种方法对使用遗忘分布数据的微调攻击不鲁棒；作者认为这支持本文结论。
   • Doshi and Stickland (2024)：用 few-shot 等 black-box 技术测试 RMU 与 LLMU，恢复了中等程度知识；作者称自己在白盒设定下恢复了大部分知识。
   • Che et al. (2024)：测试 8 种能力移除技术对现成攻击的敏感性；作者称本文与之的区别在于强调对抗评测的自适应性。

   基线与基准：本文以 DPO 为安全训练基线，基准为 WMDP（生物 1,273 题、网络安全 1,987 题）和 MMLU。作者定位本文与上述工作的区别为：提出不改权重或仅用小样本的白盒提取方法，并强调自适应评测。

   收起这一问

3. 03论文如何解决这个问题？

   作者用六类白盒知识恢复方法攻击 RMU、NPO 和 DPO，检验遗忘后知识是否仍存于权重。

   整体思路：在 white-box 设定下，对遗忘模型施加一组从表示工程到提示词优化的恢复方法；除微调外均不修改权重，以此判断知识是否仍保存在权重中。

   问题设定与评测方式

   • 遗忘设定：遗忘依赖 forget 集（待移除领域，如增强大流行病原体）与 retain 集（需保留知识，如普通生物学），数据来自 WMDP 的生物与网络安全语料。
   • 成功判定：用 WMDP 多选题准确率衡量危险知识；为探测拒答下的潜在知识，直接取 A/B/C/D 中概率最高的选项作为回答。MMLU 衡量通用能力。
   • 被保护模型：RMU 用公开 checkpoint（Zephyr-7B-β 在 WMDP 与 WikiText 上微调）；NPO（含 retain loss 的 NPO+RT 变体）与 DPO 由作者在 WMDP 上自行微调。偏好数据用 GPT-4 从语料生成问题，危险问题以 80 条拒答串之一为 chosen、正确选项为 rejected；训练数据按 forget/retain/OpenAssistant 50:25:25 混合。

   Finetuning

   • 设计：用 LoRA 在三类数据上微调遗忘模型：forget 集、retain 集（与 forget 集不相交）、WikiText（与危险知识重叠小），样本量从 5 到 1000。
   • 理由（论文给出）：retain 集与 WikiText 与目标知识互信息低，模型无法从中获得新知识，若准确率恢复则说明知识原本就在权重中。

   Orthogonalization

   • 设计：对每个 transformer block 分别计算“遗忘方向”：收集原始模型与遗忘模型在 forget 偏好数据上各 block 的输出，用 difference in means 求方向，推理时逐层移除该方向。
   • 无原始模型变体：用遗忘模型在 WikiText 和 MMLU 验证集上的表示作为良性表示做差分（附录 E.3）；计算前剔除 z-score 大于 3 的离群 token。

   Logit Lens

   • 设计：将每个 transformer block 输出的残差流表示投影到词表，取 A/B/C/D 中概率最高者作答，逐层评估；附录 G.3 还评估 attention 输出、中间表示和 MLP 输出的投影。

   Enhanced GCG

   • 设计：基于 FLRT 改造，优化通用对抗前缀而非后缀，目标是让模型一开始就不识别出危险知识（RMU 一旦检测到危险上下文会向残差流持续注入噪声）；对提示词中靠前 token 的损失赋更大权重。
   • 关键参数：在 6 道原始模型答对、遗忘模型答错的 WMDP 题上优化；以 Zephyr-7B-β 为“恶意模型”计算表示匹配损失，取生成的前 10 个 token 为 ttarget、后 25 个为 tmatch；对抗串最短 100 token；对 RMU 使用其被遗忘的 5、6、7 层表示，权重从 2 到 1 线性递减。

   Set difference pruning

   • 设计：复现 Wei et al. (2024b)：用 SNIP 分数在 WMDP forget 集上衡量神经元对危险知识的重要性、在 MMLU 上衡量效用分数，取集合差找出只贡献于危险知识的神经元并剪除。
   • 附录方法：附录 H 另提出针对 RMU 的自适应字符扰动（按 token 与遗忘方向的余弦相似度贪心插入扰动），附录 E.1 的 Table 4 汇总各方法所需资源（是否需原始模型、forget 集、权重或激活访问）。

   收起这一问

4. 04论文做了哪些实验？

   在 WMDP-Bio 上六类方法均恢复大部分知识：RMU 方向消融达 64.7%，超过无保护基线 64.4%。

   实验设置

   • 被测模型：Zephyr-7B-β（无保护基线）、Zephyr_RMU（公开 checkpoint）、作者自训的 NPO 与 DPO 版 Zephyr-7B-β；附录 H 另测 Mixtral-8x7B-Instruct_RMU。
   • 基准：WMDP-Bio（1,273 道多选题）、WMDP-Cyber（1,987 道）、MMLU（57 个任务）；主结果报告 WMDP-Bio，作者称因 WMDP-Cyber 上原始与遗忘模型差距小、结果更易波动（附录 F）。
   • 指标：整基准整体准确率；附录用 perplexity 分析生成质量。
   • 方法变体：Logit Lens 报所有层中最好一层；Finetuning 报 forget 集 5 条样本的最好结果（Table 1 注）。
   • 重复与评审：准确率为选项概率 argmax，无 LLM 评审；论文未报告多次重复或置信区间（附录 H 扰动实验除外，报 95% 置信区间）。

   主结果

   据 Table 1（WMDP-Bio 与 MMLU 准确率，%）：

   表格较宽，可左右滑动

   方法	无保护	RMU	NPO	DPO
   默认解码	64.4	29.9	29.5	27.9
   Logit Lens	66.2	31.8	38.6	48.2
   Finetuning	-	62.4	47.4	57.3
   Orthogonalization	-	64.7	45.1	50.7
   Enhanced GCG	-	53.9	46.0	49.0
   Pruning	-	54.0	40.4	50.4

   • 作者认为，遗忘方法与安全训练一样可被同类技术撤销，知识主要是被遮蔽而非删除。
   • 作者称 NPO 在多数攻击下准确率低于 RMU 和 DPO，显示出“深度遗忘”的迹象，但其 MMLU 下降更大（默认解码时 NPO 为 52.1，RMU 为 57.1）。
   • Logit Lens 是唯一对 RMU 基本无效的方法：作者称 RMU 把 Logit Lens 准确率降到接近随机水平，而 DPO 仍达 48.2%，说明遗忘更能从残差流中移除知识。

   微调样本量实验（Figure 2）

   • 测了什么：LoRA 微调时样本量（5–1000）与数据集（forget/retain/WikiText）对 WMDP-Bio 准确率的影响。
   • 结果：retain 集仅 10 条样本即恢复大部分能力：NPO 52.7%、DPO 57.0%、RMU 61.6%，MMLU 下降不到 2 个百分点；1000 条 retain 样本在三种方法上完全恢复；forget 集 5 条样本对 RMU 几乎恢复到原始水平。
   • 作者解读：安全训练与遗忘都能被无关数据的微调撤销，作者认为这暗示遗忘也通过浅层特征表达，且知识恢复速度不成比例地快。

   方向消融的补充实验（附录 F.3，Table 7）

   • 测了什么：不用原始模型、改用遗忘模型在 WikiText 或 MMLU 验证集上的良性表示计算遗忘方向。
   • 结果（WMDP-Bio）：RMU 用 mmlu 方向达 54.6、wikitext 方向 52.5，均低于用原始模型表示的 64.9；NPO 用 wikitext 方向 49.4，高于用原始模型的 45.7；DPO 用 mmlu 与原始模型方向均为 56.1。
   • 作者解读：不访问原始模型也能恢复相当部分知识；对 RMU 只消融第 7 层方向仍恢复 56.7%，只消融被遗忘的 5、6、7 层即可恢复全部知识。

   针对 RMU 的自适应扰动（附录 H）

   • 测了什么：按 token 与第 7 层遗忘方向的余弦相似度贪心插入字符扰动，直到所有 token 相似度低于阈值。
   • 结果：阈值 0.5 时 Zephyr_RMU 与无保护基线在 WMDP-Bio 上仅差 2.2 个百分点；扰动后的提示词对 DPO、NPO 也能提升恢复；迁移到 Mixtral-8x7B-Instruct_RMU 上准确率最高提升 29%（Figure 12）。RMU 对原始模型生成的回答的 perplexity 从无条件时的约 1600 倍降到扰动后的约 16 倍（Table 12）。
   • 作者解读：作者称 RMU 对关键词敏感、以 heavy-side 函数方式注入噪声（附录 J：含“virulence”的提示词中第 23 个 token 起余弦相似度超过 0.8），扰动可绕过检测。

   其他消融与分析

   • Pruning 关键神经元比例：NPO 2.0%、RMU 0.9%、DPO 2.4% 的权重；剪除后 WMDP 准确率各方法至少升 10 个百分点。
   • 单层方向消融：NPO 与 DPO 只在单层消融时最高 38（第 15 层），低于逐层消融；作者称各层都能在一定程度上检测危险输入。
   • 第一主成分作消融方向：RMU 在 chat template 下恢复 53.7%，无 chat template 时仅 34.1%；对 NPO、DPO 不提升 WMDP-Bio 且 MMLU 降约 10 个百分点。
   • WMDP-Cyber（Table 6）：恢复幅度更小，如 RMU 微调 41.7（基线 27.7）；NPO 全层消融导致灾难性遗忘（MMLU 25.6），仅消融第 15 层方向时 WMDP-Cyber 35.0、MMLU 55.4。
   • Chat template 敏感性（Table 9）：DPO 训练是否用 chat template 会使 WMDP-Bio 在两种评测环境间大幅波动（如 Checkpoint 1：有模板 28.7、无模板 46.8）；对抗前缀在两种环境间差距最高达 20 个百分点。
   • Perplexity 分析（附录 I）：24 个对抗前缀中，准确率低于 0.4 时低 perplexity 与高准确率相关，但准确率最高的前缀 perplexity 并非最低；作者认为这质疑了以关键词匹配或自动评审判定越狱质量的做法。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出 NPO 实现损害通用能力等不足，并提出结合表示工程与梯度上升等改进方向。

   作者指出的局限与后续方向

   • NPO 实现的代价（Discussion）：作者称当前 NPO 实现仍导致 MMLU 和通用能力更大下降。
   • 后续方向一（Discussion）：未来工作可研究将表示工程与梯度上升结合，以增强现有遗忘方法。
   • 对 RMU 策略的评价与替代（Discussion）：作者称 RMU 的噪声注入策略对开源模型不充分，认为正交化有害知识方向是更有前景的做法，并提醒基于噪声的遗忘在 GCG 评测下可能产生误导性偏好的结果。
   • 其他可能方向（Discussion）：作者提到 Hong et al. (2024) 提出的精确定位并修改知识向量的方法可能有效。
   • 对 TAR 的评价（Discussion）：作者称同期工作 TAR 能防住部分微调攻击，但对另一些攻击无影响。
   • ECO 分析为初步性质（附录 A.2）：对 ECO 检测器的潜在绕过只是初步分析和红队草拟，未做实验。

   实验覆盖范围

   • 被测基座模型为 Zephyr-7B-β 一个；RMU 用公开 checkpoint，NPO、DPO 为作者自训；附录 H 另在 Mixtral-8x7B-Instruct_RMU 上做了扰动迁移实验。
   • 主结果集中在 WMDP-Bio；WMDP-Cyber 结果在附录 F，作者称该基准上原始与遗忘模型差距小、结果更易波动。
   • 知识恢复方法覆盖六类：Finetuning、Orthogonalization、Logit Lens、Enhanced GCG、Pruning，以及附录 H 的扰动（仅针对 RMU 设计）。
   • 偏好数据由 GPT-4 与 gpt-4o-mini-2024-07-18 生成，每个语料 10,000 条样本；DPO/NPO 训练超参数经有限搜索（附录 D，Table 2）。
   • 论文未报告主实验的重复次数与统计显著性检验；Enhanced GCG 的优化预算（迭代次数、查询次数）未在正文给出。

   收起这一问

6. 06总结一下论文的主要内容

   白盒评测显示 RMU、NPO 与 DPO 一样可被多种方法恢复危险知识，作者认为遗忘主要是遮蔽而非删除。

   这是一篇对面向 AI 安全的机器遗忘方法的白盒对抗评测论文，比较 RMU、NPO 与 DPO 安全训练基线。

   • 问题：遗忘号称从权重中彻底移除危险知识，作者质疑它与拒答式安全训练是否有本质区别，并提出判定标准：若不更新权重、或用与目标知识几乎无互信息的数据更新权重即可恢复可观 WMDP 准确率，则遗忘不算成功。
   • 方法：在 white-box 设定（可改权重、干预激活、可访问原始模型）下施加六类恢复方法：小样本 LoRA 微调、逐层方向消融、Logit Lens、针对遗忘改造的 Enhanced GCG 前缀优化、set difference pruning，以及针对 RMU 的自适应字符扰动。
   • 主结果（WMDP-Bio，Table 1）：RMU 基线 29.9%，经方向消融达 64.7%（超过无保护基线 64.4%）、forget 集 5 条样本微调达 62.4%、Enhanced GCG 达 53.9%、剪枝 0.9% 权重达 54.0%；NPO 与 DPO 同样被各类方法部分恢复。
   • 微调实验（Figure 2）：retain 集仅 10 条无关样本即将 RMU 恢复到 61.6%、DPO 57.0%、NPO 52.7%，MMLU 下降不到 2 个百分点。
   • 例外：Logit Lens 对 RMU 接近随机水平，作者称遗忘确实更能从残差流移除知识；NPO 在多数攻击下恢复最少，作者认为其显示出深度遗忘迹象，但通用能力代价更大。
   • 作者结论：现有遗忘方法主要是遮蔽知识而非删除，与安全训练有共同局限；black-box 评测不足以判定遗忘是否成功，需要自适应的白盒评测。

   收起这一问

相关论文