遗忘并不等于删除：探究大语言模型机器遗忘的可逆性

1. 01这篇论文试图解决什么问题？

   作者称任务级指标难以区分真实知识消除与表面抑制，并提出针对大模型遗忘可逆性的表示层分析框架。

   这篇论文试图探究大语言模型机器遗忘后知识是否被真正消除，以及任务级评估指标能否反映遗忘的可逆性与破坏性。

   • 应用场景与重要性：大模型对训练数据的记忆容易引发生存敏感隐私、版权侵权或输出有害文本的风险；机器遗忘旨在算法层面消除指定数据的影响而无需重新训练全量模型。
   • 现有评估的局限：现有研究通常依赖遗忘集准确率、困惑度等任务级指标；作者指出此类指标容易造成误导，表面上的性能衰退可能仅代表信息被暂时抑制，微小的后续微调即可恢复原状。
   • 核心观察与假设：作者假设任务级崩溃并不等效于内部知识消除，遗忘算法和超参数的变动会在模型内部表征层引发性质各异的动态漂移。
   • 论文的主要方案：作者提出了表示层分析诊断工具箱（涵盖PCA相似度与位移、CKA、Fisher信息及平均PCA距离），从可逆性与灾难性两维度建立了四分类遗忘机制，并采用受限重学习协议作为探测知识留存的经验探针。
   • 恢复攻击设定（Threat Model）：
     • 攻击目标：恢复已被消除或抑制的目标遗忘集 Df 知识。
     • 攻击者知识与能力：无法访问原始预训练全量语料，仅通过在受限规模（严格匹配遗忘集大小 |Df|）的数据上进行轻量微调（重学习）、提示词攻击、越狱或低比特量化尝试恢复知识。
     • 受害系统：经过单次或持续遗忘算法处理后的开源大语言模型。

   收起这一问

2. 02有哪些相关研究？

   作者梳理了单次遗忘、持续遗忘及恢复评测研究，指出既有工作多聚焦行为表现，缺乏内部表征层面的机制剖析。

   作者在引言与相关工作中系统梳理了三类相关研究，并明确了对比基线与基准数据集：

   单次遗忘方法（Single-Shot Unlearning）

   • 基于梯度的目标函数：Yao等（2024）研究了梯度上升（GA）以及带有保留集交叉熵（GA+GD）或KL散度（GA+KL）正则化的变体；作者指出单纯梯度上升往往伴随较大的效用下降。
   • 权重归因与偏好优化：Jia等（2024）提出WAGLE（GA+GD+WAGLE），通过权重归因选择性更新重要参数以平衡遗忘与效用；Zhang等（2024）提出负向偏好优化（NPO）惩罚遗忘集拟合；Li等（2025a）提出模型编辑方法AlphaEdit，作者指出其在顺序请求下的性质尚缺乏探索；Liu等（2024）提出提示词操纵方法，作者指出其属于无参数更新的浅层遗忘。

   持续遗忘方法（Continual Unlearning）

   • 持续请求下的误差累积：Barez等（2025）、Shi等（2025）与Gao等（2025）研究了序列化到达的遗忘请求，指出单次方法的朴素扩展会引起误差累积，导致保留集与遗忘集同时崩溃。
   • 参数解耦与模块化防御：Hu等（2022）采用基于LoRA的正交更新缓解退化；Wuerkaixi等（2025）提出ALKN框架，通过参数级干预与自适应模块对抗累积衰减。

   遗忘评测与脆弱性分析（Unlearning Evaluations）

   • 行为评测与记忆探针：Yao等（2024）与Li等（2024b）使用准确率与困惑度作为通用评测；Lee等（2024）提出逐字记忆探针，作者指出其难以反映语义层面的知识留存。
   • 鲁棒性与恢复手段：Lo等（2024）与Lynch等（2024）评估了轻量微调重学习；Patil等（2024）与Liu等（2023）测试了提示词与越狱攻击；Zhang等（2025）发现低比特量化会恢复遗忘知识；Rezaei等（2025）提出RESTOR评估参数状态恢复；Hu等（2025）与Yang等（2026）探讨了良性数据微调对模型的唤醒效应。

   基线方法与基准数据集

   • 对比基线：核心评估包括GA、GA+GD、GA+KL、NPO、NPO+KL与随机标签（RLabel），拓展评测包含RMU、UnDIAL、AltPO、PDU以及GA+GD+WAGLE。

   • 基准数据集：简单任务采用arXiv摘要与GitHub代码；复杂任务采用NuminaMath-1.5；下游通用效用采用CommonsenseQA、GSM8K与MATH；分布外测试采用TOFU与繁体中文语料。

   • 本文定位：作者指出以往研究大多将可逆性与灾难性遗忘视为外部行为层面的现象，缺乏内部结构视角的机理分析；本文首次从表示层几何与参数敏感度出发，对遗忘可逆性机制进行了系统性分析。

   收起这一问

3. 03论文如何解决这个问题？

   作者构建了结合PCA漂移、CKA和Fisher信息的表示层工具箱与受限重学习协议，从微扰机理形式化区分四种遗忘机制。

   作者提出了一个统一的表示层分析框架，结合四种特征与参数诊断工具以及受限重学习协议，从内部机理探究遗忘的可逆性。

   四分类遗忘机制的形式化定义

   • 两维度解耦：作者将遗忘后的模型状态沿保留集损伤程度（灾难性）与重学习后遗忘集恢复程度（可逆性）进行二维解耦。
   • 四种具体机制：
     1. 可逆灾难性遗忘：遗忘集与保留集性能均崩溃，但可通过重学习恢复；
     2. 可逆非灾难性遗忘：仅目标遗忘集性能下降，保留集完好，但遗忘内容容易被重学习恢复；
     3. 不可逆灾难性遗忘：遗忘集与保留集性能永久崩溃，重学习无法恢复；
     4. 不可逆非灾难性遗忘：理想状态，目标遗忘集知识被持久抹除且保留集不受损害。
   • 机制判定表达式：设 Δ_u(T) = E(θ₀, T) − E(θ_u, T) 为遗忘后性能下降幅度，Δ_r(T) = E(θ₀, T) − E(θ_r, T) 为重学习后与初始性能的差距。当 Δ_u(T_r) ≈ 0 且 Δ_r(T_f) ≫ 0 时，对应理想的不可逆非灾难性遗忘。

   表示层多维诊断工具箱

   • PCA 相似度与位移（PCA Similarity & Shift）：在各隐藏层提取未学习与重学习模型的激活矩阵，计算主成分方向的一阶余弦相似度（表征全局对齐），并投影到初始模型前两个主成分平面上计算二维均值坐标（表征局部平移漂移）。
   • 平均 PCA 距离（Mean PCA Distance）：为将表征漂移压缩为单一标量指标，作者定义跨层平均欧氏距离：

   PCA dist = 1/L ∑_i=1^L √((PC1Δ(i))² + (PC2^upd(i) − PC2^orig(i))²)，该指标量化了各层激活在主成分平面上的平移漂移均值。

   • 居中核对齐（CKA）：计算线性居中核对齐系数，比较遗忘前后的激活 Gram 矩阵，取值范围在 0 到 1 之间，用于衡量激活子空间的重合程度。
   • 经验 Fisher 信息矩阵（FIM）：估计经验 Fisher 信息的对角线元素，通过参数梯度平方的均值分布及其谱迁移，刻画遗忘对局部损失曲面平坦度与参数敏感度的改变。

   受限重学习协议

   • 受限预算设计：为严格区分重学习与全量重训，重学习仅对未学习模型进行轻量微调，严格限制训练样本量与遗忘集大小 |Df| 相同，且不接触原始预训练语料。
   • 三类数据来源对比：
     1. 遗忘集本身（模拟最恶劣恢复条件）；
     2. 领域对齐的保留集子集（反映分布内信号恢复）；
     3. 完全不相关的分布外数据（检验无关数据是否会产生唤醒效应）。
   • 优化与超参数配置：优化器采用 AdamW，使用带有 10% 热身并衰减至峰值 10% 的余弦退火调度，权重衰减为 0.1，梯度裁剪阈值为 1.0。

   微扰理论模型推导

   • 低阶与高阶微扰展开：作者将各层更新建模为前馈网络的逐层微扰复合，指出在小学习率或少量请求下，网络主要由低阶微扰主导，高层对数几率受影响而深层表征几何结构保持完好，导致性能下降但高度可逆。
   • 跨层累积破坏：大学习率或大量累积请求会导致微扰通过高阶交互跨层传播，引发子空间断裂与损失曲面平坦化，导致不可逆崩溃。

   收起这一问

4. 04论文做了哪些实验？

   在7款开源模型与多类任务的实验中，作者称经典指标常掩盖可逆性，而平均PCA距离能预警不可逆崩溃。

   实验设置

   • 被测模型：测试了 Yi-6B、Qwen-2.5-7B、Qwen2.5-3B、Qwen3-8B-Base、Qwen3-14B、Llama-3-8B 与 Llama-3-8B-Instruct 共 7 款开源模型。
   • 评测任务与数据集：简单任务使用 arXiv 摘要与 GitHub 代码；复杂任务使用 NuminaMath-1.5；保留集下游基准包括 CommonsenseQA（CSQA）、GSM8K 与 MATH；分布测试包含 TOFU 与繁体中文语料 taide-bench。
   • 对比算法：主要评测 GA、GA+GD、GA+KL、NPO、NPO+KL、RLabel，并拓展评测 RMU、UnDIAL、AltPO、PDU 及 GA+GD+WAGLE。
   • 指标定义：遗忘集准确率（F.Acc）、保留集准确率（R.Acc）、遗忘/保留困惑度（F.Ppl/R.Ppl）、MIA AUC（min-k%-prob）、PCA 相似度与位移、平均 PCA 距离、线性 CKA 及 FIM 对角谱。
   • 评测协议与样本量：不涉及 LLM 评审打分；重学习预算严格匹配遗忘集大小；Table 4 中四次随机种子运行并报告 95% 置信区间。
   • 硬件环境：所有实验均在 NVIDIA H100 GPU 上执行。

   主结果

   表格较宽，可左右滑动

   设置与方法	遗忘后 F.Acc (%)	遗忘后 R.Acc (%)	重学习后 F.Acc (%)	重学习后 R.Acc (%)	遗忘后 MIA (%)	重学习后 MIA (%)
   Original 基准	78.9	65.5	78.9	65.5	70.8	70.8
   GA (LR=3e-5, N=100)	0.0	0.0	2.1	1.8	26.1	74.5
   GA (LR=5e-6, N=100)	9.1	6.2	80.0	64.9	23.2	68.0
   GA (LR=3e-6, N=100)	16.8	14.4	80.8	65.2	25.2	68.6
   GA+GD (LR=3e-5, N=100)	9.7	2.3	2.2	2.6	16.8	68.1
   NPO (LR=3e-5, N=100)	37.8	37.9	57.0	45.6	60.1	70.0
   RLabel (LR=3e-5, N=100)	0.0	0.0	4.3	2.8	65.1	69.5

   (据 Table 3，Yi-6B 简单任务持续遗忘与全量遗忘集重学习评测结果)

   • 可逆灾难性遗忘表现：在适度学习率下（如 GA 在 LR=3e-6, N=100），遗忘后 F.Acc 降至 16.8%、R.Acc 降至 14.4%，但重学习后 F.Acc 恢复至 80.8%、R.Acc 恢复至 65.2%，作者指出这说明表面崩溃未破坏内部表征。
   • 不可逆灾难性遗忘表现：在激进超参数下（如 GA 在 LR=3e-5, N=100），遗忘后各项指标趋于 0，重学习后 F.Acc 仅 2.1%、R.Acc 仅 1.8%，平均 PCA 距离达 104.58（Table 4），表明表征发生不可逆瓦解。
   • 重学习超越初始基准：在温和设置中，重学习后的 F.Acc 超过了初始基准（如 GA 在 LR=3e-6, N=100 重学习后达 80.8%，高于初始 78.9%），作者认为遗忘过程起到了对比正则化作用。

   替代恢复策略的有效性对比

   • 测试设置：在 Yi-6B（GA, LR=6e-6, N=100）上评估 Int4 量化、5-shot 上下文提示、提示词改写攻击、越狱攻击与重学习的恢复效果对比（Table 11）。
   • 实验结果：遗忘后 F.Acc 为 0.00%、平均 PCA 距离为 31.66；量化攻击后 F.Acc 为 0.00%（PCA 距离 32.21），5-shot 提示后为 0.01%（PCA 距离 30.83），提示词攻击为 0.03%（PCA 距离 29.14），越狱攻击为 0.03%（PCA 距离 30.04）；而重学习微调使 F.Acc 恢复至 78.21%（PCA 距离降至 1.04）（Table 11）。
   • 作者解读：作者指出一旦模型进入可逆灾难性机制，不更新参数或仅施加轻度扰动的推理期干预均无法唤醒表征，必须通过显式参数更新方可恢复知识。

   重学习数据源与样本效率分析

   • 测试设置：在 Yi-6B 上测试遗忘集、保留集与无关数据，分别以 10%、30%、60% 和 100% 的预算进行重学习恢复（Table 12）。
   • 实验结果：仅用 10% 遗忘集重学习，F.Acc 即恢复至 67.28%（PCA 距离降至 8.49）；而 10% 保留集或无关数据重学习后，F.Acc 分别仅为 0.05% 与 0.02%（PCA 距离分别为 30.57 与 31.02）；即使使用 100% 无关数据重学习，F.Acc 仅达到 65.66%（Table 12）。
   • 作者解读：作者指出不同数据源的恢复效率存在明确层级，遗忘集样本效率最高，而保留集或无关数据的恢复过程显著缓慢。

   探究不可逆非灾难性遗忘的边界

   • 测试设置：使用具有参数选择性更新特性的 GA+GD+WAGLE 方法，结合受限的保留集或无关数据重学习（Table 5、Table 14）。
   • 实验结果：在 Yi-6B 上（LR=4e-5, N=50），使用无关数据重学习后，遗忘集 F.Acc 从 27.8% 仅微增至 31.5%（PCA 距离保持在 24.56），而保留集 R.Acc 维持在 53.5%（PCA 距离仅 8.12）（Table 5）；在 Qwen3-8B-Base 和 Llama-3-8B 上亦观察到相似趋势（Table 14）。
   • 作者解读：作者称该条件呈现了一种看似不可逆且非灾难性的遗忘情形，但指出在不损害保留效用前提下实现持久知识消除仍是开放挑战。

   其他消融与分析

   • 复杂数学任务（Qwen-2.5-7B, GA, LR=5e-6, N=6）：遗忘后 MATH 为 0.0%、GSM8K 为 0.0%，重学习后 MATH 恢复至 9.3%、GSM8K 恢复至 77.8%（Table 7）。
   • 单步遗忘（Yi-6B, GA, LR=3e-6）：遗忘后 F.Acc 降至 65.4%、R.Acc 降至 54.0%，重学习后 F.Acc 恢复至 76.6%、R.Acc 恢复至 65.2%（Table 2）。
   • 跨语言与 TOFU 评测（Yi-6B, GA, LR=3e-6）：繁体中文重学习后遗忘集 PCA 距离从 17.12 降至 4.98；TOFU 重学习后 PCA 距离从 0.51 降至 0.27（Table 13）。
   • 拓展遗忘算法（Yi-6B, LR=3e-5）：UnDIAL 重学习后 F.Acc 达到 61.3%（PCA 距离 8.80），AltPO 重学习后 F.Acc 达到 52.4%（PCA 距离 14.90），表征保持能力优于 GA（Table 15）。
   • 基于概率的 MIA 失效现象：激进持续遗忘下（Yi-6B, GA, LR=3e-5, N=100），MIA AUC 在遗忘后降至 26.1%，重学习后反弹至 74.5%（Table 3）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出该框架未在超大模型与生产管线中验证且缺乏形式化隐私保证，未来需拓展更广泛的表示分析工具与阈值设定。

   作者指出的局限与后续方向

   • 模型与场景规模：实验仅测试了数款开源大模型及部分任务与遗忘方法；尽管诊断框架具有模型通用性，但在超大模型和生产规模管线上的实证验证仍有待开展（Appendix A.1）。
   • 隐私保证的形式化缺失：受限重学习协议与所选指标能清晰反映表征漂移，但并不详尽，且无法提供形式化的隐私保证（Appendix A.1）。
   • 表示分析工具的广度：研究主要依赖 PCA 相似度、PCA 位移、CKA 和 Fisher 信息四种工具；引入如基于相关性的 SVCCA 等更广泛的分析工具是未来工作的重要方向（Appendix A.1）。
   • 判定阈值量化的开放性：精确界定遗忘机制（可逆与不可逆、灾难性与非灾难性）的具体数值阈值并不简单，因为这些阈值受到遗忘方法和任务复杂度的影响（Section 5.4）。
   • 模型家族超参数敏感性：达到可比行为机制时不同模型家族表现出超参数敏感性差异；探索这种敏感性如何决定可逆与不可逆的边界有助于指导稳定持久的遗忘算法设计（Section 5.4）。

   实验覆盖范围

   • 被测模型范围：实验覆盖 Yi-6B、Qwen-2.5-7B、Qwen2.5-3B、Qwen3-8B-Base、Qwen3-14B、Llama-3-8B 与 Llama-3-8B-Instruct 共 7 款开源模型（Section 3.1、3.2、Table 8-10）。
   • 任务与基准范围：包含 arXiv 摘要、GitHub 代码、NuminaMath-1.5、CommonsenseQA、GSM8K、MATH，以及 TOFU 和繁体中文语料 taide-bench（Section 3.1、Appendix A.5）。
   • 遗忘方法范围：包含 GA、GA+GD、GA+KL、NPO、NPO+KL、RLabel、GA+GD+WAGLE、RMU、UnDIAL、AltPO 与 PDU 共 11 种方法（Section 3.1、Table 5、Table 15）。
   • 重学习评测条件：样本量严格匹配遗忘集大小，测试了遗忘集（10%至100%）、保留集与无关数据；单步学习率涵盖 3e-6 至 6e-6，持续遗忘包含 6 至 100 个请求及 3e-6 至 6e-5 的学习率（Section 3.1、Appendix A.4.2）。
   • 未报告信息陈述：论文在报告任务级指标时未报告统计检验的 p 值，且未提供关于训练语料样本条数的具体统计信息（Table 2-4）。

   收起这一问

6. 06总结一下论文的主要内容

   作者称大模型遗忘评估中任务级指标存在误导性，提出表示层诊断工具与四分类机制以实现更可信的遗忘评测。

   • 论文定位：本文针对大语言模型机器遗忘开展了表示层可逆性研究，探讨表面任务级指标下降与内部知识持久消除之间的脱节问题。
   • 试图解决的问题：现有遗忘评估普遍依赖准确率和困惑度等任务级指标，但模型在表现出遗忘后往往可通过少量微调恢复知识；传统评估难以区分真实的知识消除与表面的临时抑制。
   • 核心方法设计：作者提出了包含 PCA 相似度与位移、线性 CKA、经验 Fisher 信息及平均 PCA 距离的表示层诊断工具箱，按“可逆性”与“灾难性”两维度构建了四分类遗忘机制，并设计了预算受限的重学习协议作为检验表征留存的探针。
   • 主要实验发现：
     1. 在 Yi-6B 简单任务单次遗忘中，GA 使遗忘准确率降至 65.4%，但微调重学习即可恢复至 76.6%（Table 2），各层 CKA 接近 1.0，证实单步遗忘多为可逆的非灾难性抑制；
     2. 在持续遗忘中，适度参数（GA, LR=3e-6, N=100）下遗忘准确率降至 16.8% 但重学习可恢复至 80.8%（Table 3），而激进参数（LR=3e-5, N=100）下重学习准确率仅为 2.1% 且平均 PCA 距离升至 104.58（Table 4），标志着向不可逆灾难性崩溃转变；
     3. 替代恢复手段在可逆灾难性机制下失效，Int4 量化与 5-shot 提示后遗忘准确率仍为 0.00% 与 0.01%（Table 11）；而在重学习中仅需 10% 遗忘集样本即可恢复 67.28% 准确率（Table 12）；
     4. GA+GD+WAGLE 配合无关数据重学习在 Yi-6B 上观察到了遗忘准确率持续压低在 31.5% 且保留准确率维持在 53.5% 的看似不可逆且非灾难性遗忘情形（Table 5）。
   • 作者结论与启示：作者指出单靠任务级指标无法可靠判定遗忘有效性，微小的输出层微扰即可掩盖完好的内部表征；建议未来的遗忘评测应结合任务指标、受限重学习探测与表示层几何分析以实现更可信的评估。

   收起这一问

相关论文