跳到正文
原文

蒸馏让 LLM 遗忘更稳健

Distillation Robustifies Unlearning

arXiv· arXiv:2506.06278· NeurIPS 2025· Bruce W. Lee, Addie Foote, Alex Infanger, Leni Shor, Harish Kamath, Jacob Goldman-Wetzler, Bryce Woodworth, Alex Cloud, Alexander Matt TurnerML Alignment & Theory Scholars; University of Pennsylvania; Massachusetts Institute of Technology; Brown University本站收录· 2026-10-14· 原文发表入选 防御精选关注度38

论文速读

防御

据论文 PDF 整理（Gemini 生成），以原文为准

作者将完成消除的模型蒸馏至加噪副本或新网络中，发现蒸馏可传递目标行为并遗留潜在能力，提升抵御微调重学习的抗性。

威胁模型攻击者目标是通过在遗忘集上进行微调（relearning attack）恢复受害模型中已被抑制的不良或危险能力；攻击者拥有在遗忘集或其变体上进行梯度微调的访问权限，可采用多种学习率、数据格式和序列长度进行最坏情况攻击；受害系统为经过消除算法处理或经过 UNDO 加固的语言模型。

问题
现有大语言模型机器消除方法易受微调等重学习攻击逆转，即使模型输出行为与理想消除模型完全一致，参数空间仍残留潜在有害能力，面临部署安全风险。
方法
作者提出将消除后的模型输出作为教师蒸馏至新网络或加噪副本（UNDO），利用参数扰动与蒸馏恢复行为，阻断未在输出中显式展现的潜在能力迁移。
实验与结果
在合成语言与算术任务中，UNDO在相同微调攻击下重学习速度接近从头数据过滤模型；在WMDP基准上，UNDO提高了抵御多种微调对抗方案的抗性。
局限与可以继续做的
蒸馏计算成本高于基于微调的消除方法；WMDP蒸馏仅用0.015%预训练语料规模导致MMLU平均下降4.88%；且要求消除前具备较好的保留与遗忘权衡。
实验设置Gemma-2-0.1B、Gemma-2-0.3B 等 · FineWeb-Edu、FineWeb2 等 · Cross-Entropy Loss、Accuracy 等
被测模型
Gemma-2-0.1BGemma-2-0.3BGemma-2-2B
基准
FineWeb-EduFineWeb2Synthetic arithmetic datasetWMDPMMLUTOFUWikitext
指标
Cross-Entropy LossAccuracyKL DivergenceForget QA ProbForget Truth RatioModel UtilityMIA MinK
AI 导读和推荐理由arXiv 论文《Distillation Robustifies Unlearning》提出，把已遗忘模型的输出蒸馏进随机初始化的学生模型，能明显增强遗忘对重学习攻击的抵抗力。作者先表明，即使把参考模型训练到与理想遗忘模型（oracle）行为一致，微调后它仍会快速重新学会被遗忘能力，说明对齐行为不足以实现稳健遗忘。据此他们提出 UNDO，先给遗忘模型权重加噪再蒸馏，在算力与鲁棒性之间形成可调权衡。论文称最强设置下 UNDO 的鲁棒性可媲美从头重训加完美数据过滤，而算力仅为后者的 60-80%，且只需标注 0.01% 的预训练数据。在语言、算术任务以及 WMDP 基准上，它比 GradDiff、MaxEnt、RMU、SAM、RepNoise 等方法更抗重学习。

arXiv 论文《Distillation Robustifies Unlearning》提出，把已遗忘模型的输出蒸馏进随机初始化的学生模型，能明显增强遗忘对重学习攻击的抵抗力。作者先表明，即使把参考模型训练到与理想遗忘模型（oracle）行为一致，微调后它仍会快速重新学会被遗忘能力，说明对齐行为不足以实现稳健遗忘。据此他们提出 UNDO，先给遗忘模型权重加噪再蒸馏，在算力与鲁棒性之间形成可调权衡。论文称最强设置下 UNDO 的鲁棒性可媲美从头重训加完美数据过滤，而算力仅为后者的 60-80%，且只需标注 0.01% 的预训练数据。在语言、算术任务以及 WMDP 基准上，它比 GradDiff、MaxEnt、RMU、SAM、RepNoise 等方法更抗重学习。

推荐理由论文显示把已遗忘模型的输出蒸馏进随机初始化学生能提升对重学习攻击的抵抗力，为稳健移除危险能力提供了可复用方法。

相关热点

0 个事件 · 1 条新闻提到

提到这篇论文的新闻

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者称当前大语言模型机器消除仅产生表面行为抑制，易受微调等重学习攻击逆转，亟需实现具备鲁棒性的能力移除。

    大语言模型机器消除（Machine Unlearning）方法易受微调攻击逆转、无法稳固移除潜在危险能力的问题。

    • 问题场景与重要性：大语言模型在海量未充分过滤的数据上预训练时会习得有害能力（如网络武器研发相关知识），后训练对齐（如 RLHF）仅能抑制常见输入下的有害输出，底层能力依然完好，可能被恶意攻击诱导。
    • 现有方法的不足：作者称现有的机器消除方法本质上是行为抑制而非真正删除能力，攻击者只需对消除后的模型进行少量步数的微调即可恢复被消除的能力。
    • 核心观察与假设：作者观察到，即便使模型输出行为与从未接触有害数据的理想 Oracle 模型完全一致，模型依然保留可在微调下快速恢复的潜在能力；将消除后模型的输出蒸馏至新网络则能仅迁移所需行为并遗留潜在能力。
    • 论文提出的方案：作者提出了 Unlearn-and-Distill 与 UNDO（Unlearn-Noise-Distill-on-Outputs）框架，通过消除、参数加噪与输出蒸馏三步流程，在计算成本与消除鲁棒性之间建立可调节的权衡。
    • 威胁模型：
      • 攻击目标：通过对抗性重新学习攻击（relearning attack），恢复受害模型中已被抑制的不良或危险能力。
      • 攻击者知识：论文设定为黑盒或灰盒式的重学习微调，攻击者无需获取消除过程中的内部反演梯度，拥有对遗忘集或相关分布数据的访问权。
      • 攻击者能力：攻击者可对受害模型在遗忘集上执行多个不同学习率的梯度微调，采用不同数据格式（如问答对）、不同序列长度以及先加噪后微调等策略实施最坏情况攻击。
      • 受害系统：部署前经过机器消除算法（如 GradDiff、MaxEnt、RMU）处理或经过 UNDO 蒸馏加固的大语言模型。

  2. 有哪些相关研究？

    相关研究涵盖经典与大模型消除、消除脆弱性评估及鲁棒消除防御，作者称本文通过蒸馏加噪打破原有参数空间的潜在能力留存。

    大模型消除研究聚焦于行为近似与脆弱性评估，现有鲁棒方案多局限于原模型参数空间的局部优化。

    经典与大模型机器消除

    • 精确与近似消除：Cao and Yang [10]（2015）提出机器消除概念以模拟未训练被遗忘数据的模型；Bourtoule 等 [8]（2021）研究了精确消除，但作者指出其在大模型上因规模与非凸性而难以适用；Maini 等 [50]（2024）、Jang 等 [35]（2023）与 Yao 等 [89]（2023）将大模型消除转化为在遗忘集上最大化预测损失或对齐分布的优化问题。

    消除脆弱性与重新学习评估

    • 微调恢复与表征残留：Lo 等 [47]（2024）、Hu 等 [33]（2025）、Lynch 等 [49]（2024）与 Deeb and Roger [18]（2024）指出消除后模型在少量微调步数下即可恢复被抑制的能力；Zhang 等 [92]（2024）指出权重量化攻击亦可利用数值不稳定性诱发消除失效。

    抗重学习的鲁棒防御方案

    • 平坦度与噪声表征优化：Fan 等 [23]（2025）引入 SAM 寻找平坦损失区域以降低模型对微调的敏感度；Rosati 等 [61]（2024）提出 RepNoise 在表征层注入噪声；Dong 等 [19]（2024）提出 UNDIAL 自我蒸馏方法，作者指出其区别在于未采用全局参数损坏技术；Chundawat 等 [15]（2023）探索了通过无能教师引导遗忘的学生-教师框架。

    基线方法与评测基准

    • 实验对比基线与基准：论文选取的基线方法包括 GradDiff [50]、MaxEnt [44]、RMU [42]、SAM [23]、RepNoise [61] 与 UNDIAL [19]；评测基准涵盖基于 FineWeb 和 FineWeb2 构建的合成语言数据集、合成四则运算数据集、大规模杀伤性武器代理基准 WMDP（WMDP-Bio、WMDP-Cyber）[42] 以及 TOFU 基准 [50]。

    与本文的区别：作者称，以往方法主要在已习得有害知识的原参数空间中进行局部修改或行为抑制，因而容易残留潜在能力踪迹；本文则通过将消除后的模型输出作为教师蒸馏至新初始化或全局扰动的参数空间中，把蒸馏机制转化为阻断潜在知识传递的过滤器。

  3. 论文如何解决这个问题？

    作者提出 UNDO 框架，先对模型进行行为消除，再通过全局参数扰动损坏模型，最后在未标注预训练数据上蒸馏恢复保留能力。

    作者提出了 Unlearn-and-Distill 以及泛化框架 UNDO（Unlearn-Noise-Distill-on-Outputs），其核心思路是通过消除方法压制模型行为输出，随后引入全局参数损坏，最后将消除模型的输出蒸馏至受损网络中，实现计算成本与鲁棒性的平衡。

    行为消除阶段（Unlearn）

    • 教师模型构建：以具备双重能力（保留与遗忘）的预训练模型为基础，采用标准消除算法生成行为受抑的教师模型。
    • 消除算法与目标：
      • 梯度差分（GradDiff）采用目标函数 ℒ(θ) = −ℒforget(θ) + ℒretain(θ)，其中两项均为交叉熵损失，旨在推开遗忘样本预测概率并维持保留能力。
      • 最大熵方法（MaxEnt）最小化均匀分布 KL 散度与保留集交叉熵损失之和，使模型在遗忘任务上的输出呈现最大不确定性。
      • 表征误导方法（RMU）在中间层使用均方误差（MSE）将遗忘样本的激活向量推向随机方向，同时保持保留样本的激活相似性。

    参数损坏阶段（Noise）

    • 受控参数扰动：为了在完全重初始化的高计算成本与原参数空间低鲁棒性之间取得平衡，作者设计了扰动更新公式： θperturbed = (1 − α)θsuppressed + αβ N 该式通过混合系数 alpha 与噪声缩放因子 beta，将抑制后的模型参数与采样噪声进行凸组合加权以全局损坏网络。
    • 扰动机制细节：噪声矩阵 N 对二维权重张量采用 Xavier 初始化采样，一维偏置张量置零；当 alpha=1 且 beta=1 时等价于全网络随机初始化，当 beta=0 时等价于参数收缩（shrink）。

    输出蒸馏阶段（Distill）

    • 前向 KL 散度蒸馏：以行为受抑的教师模型为目标，在未标注预训练数据上利用前向 KL 散度对损坏的学生模型进行蒸馏，促使学生模型恢复保留能力。
    • 停止条件与数据配比：蒸馏持续进行直至学生模型在保留集上达到教师模型表现的至少 95%，或完成整个预训练数据的一个完整轮次（epoch），以先到者为准。语言任务中保留与遗忘数据混合比例设为 1:1，算术任务中设为 1:3。

    后训练消除扩展

    • 基座模型替代：针对在后训练阶段习得的有害行为，作者指出若预训练阶段未接触过相关数据，可直接使用未经后训练的原始基座模型作为蒸馏目标网络，无需从头随机初始化。

  4. 论文做了哪些实验？

    论文在合成语言、合成算术、WMDP及TOFU基准上评测了微调攻击与量化攻击，对比了6种消除基线与从头过滤重训练。

    实验设置

    • 被测模型：Gemma-2-0.1B（100M 参数，用于语言任务）、Gemma-2-0.3B（300M 参数，用于算术任务）、Gemma-2-2B（用于 WMDP 基准与 TOFU 实验）、Phi-1.5（用于 TOFU 实验）。
    • 评测数据集与规模：语言任务采用 FineWeb-Edu（英文保留）与 FineWeb2（韩文遗忘），各采样 1000 万行，验证集各 50 万 token；算术任务包含 100 万道四则运算题目（加减保留、乘除遗忘），训练集包含 50 万道算术题，验证集各 50 万道；WMDP 包含 Bio 与 Cyber 领域（使用全量评估集，保留评估采用 MMLU 40% 子集）；TOFU 包含 200 位虚构作者的问答对。
    • 对比基线：GradDiff、MaxEnt、RMU、SAM、RepNoise、UNDIAL，以及从头完全过滤重训练的黄金标准（Data Filtering）。
    • 指标定义：语言任务评估交叉熵损失（CE Loss，保留集与遗忘集）；算术与 WMDP 任务评估准确率（Accuracy）；TOFU 评估遗忘问答概率（Forget QA Prob）、真实率（Forget Truth Ratio）与模型效用（Model Utility）。
    • 评审与攻击方式：微调攻击在遗忘集上训练至多 500 步，在 10 个对数间隔学习率（1e-3 至 1e-6）中进行网格搜索选取最坏情况下的最佳攻击表现；WMDP 上使用 0-shot 提示评测遗忘，5-shot 提示评测 MMLU 保留准确率；论文未采用外部 LLM 判定打分。
    • 重复次数与硬件设置：WMDP 实验使用 4 个随机种子取均值；参数分析实验报告 5 个随机种子的中位数与误差棒；实验在多张 H200 与 A100 GPU 上运行。

    主结果

    在 TOFU 基准上针对 Gemma-2-2B 进行 INT4 权重量化攻击的评测结果如下：

    表格较宽，可左右滑动

    方法与变体精度Forget Q&A ProbForget Truth RatioModel Utility
    GradDiff (未蒸馏)FP160.0000.0000.495
    GradDiff (未蒸馏)INT40.0080.1850.242
    GradDiff + DistilledFP160.0000.0010.442
    GradDiff + DistilledINT40.0030.0170.391

    （注：数据出自 Table 14，被测模型为 Gemma-2-2B，指标越低代表遗忘效果越好）

    • 量化攻击下的遗忘指标：作者报告在 INT4 量化下，未蒸馏的 GradDiff 其 Forget Truth Ratio 上升至 0.185，而经蒸馏的 GradDiff+Distilled 仅为 0.017（据 Table 14）。
    • 模型效用保留：作者称蒸馏模型在量化攻击下维持了更好的效用（0.391 对比 0.242，据 Table 14）。
    • 表征层面的机制解释：作者认为该结果支持了蒸馏作为能力过滤器的假设，学生网络从未在参数空间中拥有遗忘知识，因而缺乏量化可利用的数值不稳定潜在结构。

    预训练任务上的重学习鲁棒性与 Pareto 前沿

    • 测了什么：在合成语言和合成算术任务上，对比未蒸馏消除（GradDiff、MaxEnt、RMU）、加噪蒸馏方法 UNDO、其他鲁棒基线（SAM、RepNoise、UNDIAL）以及从头过滤重训练的黄金标准在 500 步微调重学习下的表现。
    • 结果：在语言任务中，UNDO 随扰动参数 alpha 从 0.1 增加至 0.8 时重学习阻力增加，在较强设置下重学习轨迹接近从头过滤数据重训练的黄金标准（据 Figure 4、Figure 5）；在 500 步高计算量攻击下，UNDO 扩展了保留表现与遗忘抗性的 Pareto 前沿（据 Figure 7）。
    • 作者的解读：作者称常规消除方法在微调压力下会迅速退化，而 UNDO 建立的 Pareto 前沿更接近完全重新训练的黄金标准，且无需大规模数据标注。

    真实基准 WMDP 上的抗微调防御评测

    • 测了什么：在 Gemma-2-2B 上针对 WMDP-Bio 与 WMDP-Cyber 领域评测 MaxEnt 和 RMU 结合 UNDO（alpha=0.25, beta=0）在 7 种涵盖不同数据混合、问答格式与提示长度的对抗微调方案下的表现。
    • 结果：UNDO 在 4 个随机种子平均下对 WMDP-Bio 和 WMDP-Cyber 均提高了抵抗微调重学习的抗性（据 Figure 8）；在 MMLU 保留评测中，UNDO 模型平均低 4.88%（第 6 节），Table 13 显示随 alpha 增大至 0.6 时重训练后 MMLU 降至 0.25。
    • 作者的解读：作者称 UNDO 在 WMDP-Bio 上处于 Pareto 前沿，在 WMDP-Cyber 上具有竞争力，但在该任务上未像合成任务那样明显超越基线前沿，作者推测原因在于计算资源受限导致蒸馏语料仅占原预训练规模的 0.015%。

    参数扰动与计算量权衡分析

    • 测了什么：在语言与算术任务中固定 beta=0.1 扫描 alpha（0.1 至 0.8），以及固定 alpha 扫描 beta（0.05 至 1.0），记录恢复至教师保留表现 95% 所需的蒸馏步数及重学习曲线（据 Figure 5、Figure 6）。
    • 结果：alpha 的变化对鲁棒性产生明显主导影响，beta 的取值影响较平缓；alpha=0.1 时恢复保留能力需 1 步蒸馏，alpha=0.7 时需 300 至 500 步（据 Figure 6(e)）。
    • 作者的解读：作者认为全局损坏程度是决定计算需求与鲁棒性的核心驱动力，使用者可通过调节扰动系数实现计算成本与安全鲁棒性的连续权衡。

    其他消融与分析

    • 语言任务 MaxEnt 学习率扫描：lr 为 8e-5 时保留 CE Loss 为 4.9895，遗忘 CE Loss 为 12.3808（附录 B.1）。
    • 算术任务 MaxEnt 学习率扫描：lr 为 9e-5 时保留准确率为 0.795，遗忘准确率为 0.0125（附录 B.1）。
    • 算术任务 RMU 学习率扫描：lr 为 8e-6 时保留准确率为 0.615，遗忘准确率为 0.0675（附录 B.1）。
    • 扰动参数 beta 对蒸馏步数的影响：在 alpha=0.5 下，beta 为 0.05、0.1、0.5、1.0 时均需 200 步蒸馏（Figure 6(e)）。
    • WMDP 噪声系数 alpha 对 MMLU 的影响：alpha 为 0 时为 0.55，0.25 时为 0.49，0.35 时为 0.37，0.6 时为 0.25（Table 13）。

    负面结果与例外

    • 在算术领域中 RMU 结合蒸馏的重学习抗性提升幅度小于 MaxEnt，作者称原因在于 RMU 初始的保留-遗忘权衡较差（保留准确率仅 62%，遗忘准确率 6.8%，而 MaxEnt 为 80% 和 1.3%，第 5 页与附录 B.1）。
    • 在 WMDP 设置下，UNDO 使得 Gemma-2-2B 的 MMLU 平均下降 4.88%，未能如合成任务般拉开与基线的 Pareto 前沿，作者推测是由于仅在 3 亿 token（占原预训练语料 0.015%）上进行蒸馏欠训练所致（第 9 页、第 29 页）。

  5. 有什么可以进一步探索的点？

    作者指出蒸馏计算开销大、在 WMDP 上产生 4.88% 的 MMLU 下降，且噪声采样与基于激活的蒸馏仍待探索。

    作者指出的局限与后续方向

    • 下游保留表现下降：在 Gemma-2-2B 的 WMDP 实验中，UNDO 模型在 MMLU 基准上的平均得分下降了 4.88%（第 6 节 Limitations）。
    • 真实基准权衡未拉开：在 WMDP 设定下，其他方法达到了相似的保留与遗忘权衡，UNDO 未能像合成任务那样超越基线 Pareto 前沿，作者推测原因在于蒸馏训练不足，蒸馏数据仅占原预训练语料规模的 0.015%（第 6 节 Limitations 与附录 D.2.7）。
    • 计算成本显著高于微调消除：相比基于微调的传统消除方法，蒸馏过程需要消耗多得多的计算资源（第 6 节 Limitations）。
    • 噪声采样多样性待探索：参数扰动目前主要采用 Xavier 初始化采样，作者指出其他随机噪声采样方法有待进一步探索（第 5 节）。
    • 预训练潜在踪迹难以完全排除：针对预训练未见数据构建理想评估集存在挑战，因为模型在预训练中已见过词表中所有 token，单纯的关键词或语义匹配难以确保完全不存在潜在踪迹（附录 F）。
    • 蒸馏形式与调度探索：作者在前期探索了加噪调度器以及基于激活状态而非输出 logit 的蒸馏机制，这些方向在未来可进一步研究（附录 G）。

    实验覆盖范围

    • 被测模型覆盖 Gemma-2-0.1B、Gemma-2-0.3B、Gemma-2-2B 与 Phi-1.5 共 4 个模型架构（第 3、6 节及附录 A、F）。
    • 评测任务覆盖合成语言（英韩）、合成四则运算、WMDP（WMDP-Bio 与 WMDP-Cyber）以及虚构人物问答基准 TOFU（第 3、6 节及附录 F）。
    • 对抗性攻击评测包含 10 个学习率扫描的最坏情况微调攻击（至多 500 步）、7 种数据与格式组合的重学习变体，以及 INT4 权重量化攻击（第 3、6 节及附录 D.2.5、F.2）。
    • 对比基准方法涵盖 GradDiff、MaxEnt、RMU、SAM、RepNoise 和 UNDIAL 共 6 种消除算法，以及从头过滤数据重训练对照（第 4、6 节）。
    • 论文未报告消除和蒸馏在非英文主流语言推理能力上的评测数据，也未报告外部 LLM 或人工评估的一致性分数。

  6. 总结一下论文的主要内容

    作者称蒸馏能阻断有害潜在能力转移，提出 UNDO 框架以加噪与蒸馏平衡算力与鲁棒性，使消除模型更难被微调逆转。

    该研究针对大语言模型机器消除防御难以抵御微调重学习攻击的缺陷，提出了通过加噪与输出蒸馏实现稳固能力移除的 UNDO 框架。

    • 问题核心：常规消除技术在参数微调或量化扰动下极易恢复被消除的能力，作者发现即便模型输出完全拟合未学过有害数据的 Oracle 教师，网络内部仍潜藏危险知识。
    • 方法设计：作者构建了先行为抑制、再全局参数加噪（结合系数 alpha 与噪声尺度 beta）、最后在无标注语料上向前向 KL 散度蒸馏的 UNDO 流程，将蒸馏转化为过滤潜在能力的屏障。
    • 关键定量结果：
      1. 在语言和算术合成任务中，UNDO 随着扰动参数增大表现出更强的抗重学习性能，重学习曲线接近从头过滤数据重训练（据 Figure 4、Figure 5）。
      2. 在 WMDP 基准评测中，Gemma-2-2B 应用 UNDO（alpha=0.25, beta=0）提升了针对 7 种对抗微调配置的抵抗能力，MMLU 保持在 0.49（原始模型为 0.55，平均下降 4.88%，据 Table 13 与第 6 节）。
      3. 在 TOFU 虚构问答基准的 INT4 量化攻击下，GradDiff 经蒸馏后的 Forget Truth Ratio 为 0.017，而未蒸馏模型为 0.185（据 Table 14）。
    • 结论与启示：作者认为模型“展现的行为”与“潜在拥有的能力”存在本质脱节；蒸馏能够阻断未显式激活的潜在表征迁移，为大模型工业化部署提供了一条将常规模型压缩流程转化为安全防护屏障的实用路径。

相关论文

共同使用 TOFU
再看 3 篇
共同使用 TOFU
共同使用 Wikitext
阅读原文NeurIPS 2025