将遗忘与效用解耦:基于正交零空间投影的轻量级 LLM 遗忘
Disentangling Forgetting from Utility: Lightweight LLM Unlearning via Orthogonal Null-Space Projection
作者提出 UUE/UUE-L,把 LLM 遗忘改写为保留知识左零空间约束下的无目标编辑,在 TOFU 与 WMDP 上报告优于基线的遗忘—效用平衡。
- LLM 会记忆并复现隐私或有害内容,需要遗忘机制;作者称主流微调式遗忘难以兼顾计算效率与通用效用,定向遗忘还可能只学到表面拒答。
- 提出 UUE:在选定 Transformer 块的 FFN 后插入适配器,把更新约束到保留集表示的近似左零空间,并用把遗忘集表示推向对跖点的凸目标求闭式解;UUE-L 改用 LoRA 低秩迭代优化。
- 在 TOFU(Phi-1.5B、LLaMA-2-7B)与 WMDP(Phi-1.5B、Zephyr-7B 等)上,作者报告 UUE/UUE-L 的 FQ 与 ROUGE-L Forget 优于基线,WMDP 上遗忘—效用平衡优于 GA、NPO、RMU,MIA AUC 最高 0.6372。
- 作者指出 MIA 对成员/非成员样本构造敏感、仅作辅助诊断,且目标是知识移除而非形式化隐私保证;实验覆盖 5 个模型与 TOFU、WMDP 两个基准,论文未报告统计显著性检验与多次重复。
- 威胁模型
- 防御方场景:模型拥有者持有已训练 LLM,需在指定遗忘集 DF 上执行 untargeted unlearning(不预设替代回答),同时保持在近似保留集 DR 上的效用;骨干参数冻结,仅更新插入的适配器。
- 被测模型
- Phi-1.5BLLaMA-2-7BZephyr-7BLlama-3-8B-InstructYi-34B-Chat
- 基准
- TOFUWMDPMMLUWikiText
- 指标
- Forget Quality (FQ)Model Utility (MU)ROUGE-L Forget/RetainWMDP accuracyMMLU accuracyMIA AUCruntime
研究者提出UUE框架,将LLM遗忘重构为可控模型编辑,在极小干扰通用能力的前提下删除隐私或危险知识。方法将参数更新投影到保留知识的正交左零空间,以凸目标的闭式解把遗忘集嵌入推向对跖点,经可插拔适配器(含低秩变体UUE-L)部署,不改冻结主干。在TOFU和WMDP基准上,UUE与UUE-L的遗忘效果显著优于现有方法。
深度解读
这篇论文试图解决什么问题?
作者要解决 LLM 遗忘中"忘掉指定知识"与"保住通用效用"难以兼顾的问题,提出编辑式框架 UUE。
核心问题:如何让 LLM 删除指定知识(隐私或有害内容)的同时,不损害模型的通用效用。
- 场景与动机:作者称 LLM 在训练中会记忆并复现隐私、敏感或非法内容(如金融问答模型记住客户账户信息),因此需要在指定遗忘数据上执行遗忘,同时保留对无关内容的回答能力。
- 现有方法的不足:作者认为主流的微调式遗忘方法存在两个问题——计算低效,以及因知识在参数中纠缠而导致通用效用意外下降(CH-1);参数保持类方法(护栏、提示工程)易部署但不安全,遗忘知识在对抗查询下仍可被提取。
- 核心观察:作者把遗忘重新表述为可控模型编辑——将参数更新引导到保留知识表示的左零空间,可以以可控、最小的干扰移除不期望的知识;定向遗忘把遗忘集表示拉向单一拒答目标,可能带来分布扭曲并只学到表面抑制(Figure 1(a))。
- 论文提出的方法:UUE 框架——在选定 Transformer 块的 FFN 后插入轻量可插拔适配器(骨干冻结),用无目标编辑目标把遗忘集表示推向其对跖点,并用保留集表示导出的零空间投影约束更新;另有低秩变体 UUE-L。
- 威胁模型:
- 目标:获得遗忘模型 θu,使其遗忘遗忘集 DF 对应的知识、保持在保留集 DR 上的表现,理想情况下逼近仅用 DR 从头重训的模型。
- 设定:untargeted unlearning——不预设替代回答(区别于强制输出固定拒答的 targeted unlearning)。
- 防御方能力:可访问 DF 与近似保留集(由与 DF 语义相关的邻近数据和 WikiText 等通用领域数据组成),可在选定层插入适配器并收集 FFN 输出表示。
- 受害系统:已训练好的 LLM(实验中骨干参数冻结,仅适配器可更新)。
有哪些相关研究?
论文把相关工作分为非 LLM 遗忘、参数保持型与参数更新型 LLM 遗忘三组,并以 GA、RMU 等 8 种方法为基线。
非 LLM 的机器遗忘
- 早期精确遗忘工作(Bourtoule 等 [9–11])通过划分数据子集、分别训练子模型再集成来实现;近期工作用 Hessian/Fisher 信息矩阵 [12–15] 或微调 [16–18] 做近似遗忘。论文指出这些方法因 LLM 的参数规模和训练语料规模而不适用于 LLM。
参数保持型 LLM 遗忘
- 护栏类方法 [19, 20] 用关键词匹配、OOD 检测等抑制与遗忘数据相关的输入输出;提示工程类方法 [6, 21–23] 通过前置构造提示词引导模型避开不期望输出。论文指出,由于模型本身未改变,遗忘相关知识在对抗查询下可能仍可访问。
参数更新型 LLM 遗忘
- 损失设计类:对数似然类方法惩罚对遗忘数据的响应 [24–26]、奖励保留数据表现 [27] 或强制拒答 [28, 29];熵增强类方法最大化遗忘数据输出熵 [30] 或最小化与均匀分布的散度 [31];知识蒸馏类方法用参考模型引导微调 [32–34]。
- 三个交叉方向:控制遗忘—保留干扰(如调节梯度方向 [4]、按遗忘/保留影响选择更新位置 [35]);借鉴知识编辑(AlphaEdit 把编辑投影到保留知识的零空间 [7],Editing as Unlearning 把拒答或空回答作为遗忘目标 [36]);参数高效方法(LoKU 用 Fisher 信息初始化 LoRA [37],ReGLU 用保留表示几何初始化 LoRA 并把输出正则到保留子空间的正交补 [38])。
基线与基准
- 对比基线:GA、GradDiff、IDK、DPO、NPO、ME+GD、FLAT、RMU,以及论文自构的 UU-Naive;WMDP 上因数据形式限制不含 DPO、IDK、FLAT、U-Trivial。基准为 TOFU 与 WMDP,效用用 MMLU 评估。
本文定位:作者称这些工作共同凸显一个挑战——如何在不预设替代回答的前提下构造有效遗忘更新,同时限制对保留知识的干扰且不改动预训练骨干;UUE 通过遗忘条件化编辑目标与作用于可拆卸适配器的零空间约束更新来回应这一挑战。
论文如何解决这个问题?
UUE 把遗忘写成保留集左零空间约束下的凸编辑问题:适配器更新有闭式解,UUE-L 用 LoRA 低秩交替优化。
整体思路:把 LLM 遗忘重写为零空间引导的模型编辑——在选定 Transformer 块的 FFN 后插入适配器,先把遗忘集表示"加固"到原答案方向再以其对跖点为编辑目标,同时把更新约束在保留集表示的近似左零空间内,使更新对保留知识的干扰有上界。
问题设定
- 模型 p(·|x; θ),遗忘集 DF ⊆ D,保留集 DR = D \ DF;目标是 θu 逼近仅用 DR 重训的模型 θr。
- 实际中完整 DR 常不可得,论文仿照 TOFU 协议构造近似保留集:与 DF 语义相关的邻近数据(TOFU 用虚构作者样本、WMDP 用良性学术文本)加通用领域数据(WikiText)。
轻量遗忘适配器
- 依据 FFN 存储事实与语义知识、适配器可作为知识模块化载体的已有结论 [40–44],在选定块的 FFN 之后插入适配器:对 FFN 输出 h 施加 a = U h,U 初始化为单位阵 I,插入初始不改变计算。
- 编辑存储在 U 而非 FFN 权重中,移除适配器即恢复原块计算;遗忘期间骨干冻结,仅更新所选适配器。
零空间投影
- 收集遗忘集与保留集在所选层的 FFN 输出,构成表示矩阵 HF 与 HR;优化目标为 Δ U = argmin Lf + |Δ Ũ HR|2,即遗忘损失加保留表示偏移惩罚。
- 由 Proposition IV.1,HR 的左零空间等于其 Gram 矩阵 HR HR⊤ 的零空间,故对 d×d Gram 矩阵做 EVD,取特征值低于阈值 γ 的特征向量张成近似零空间,投影矩阵 N = W2 W2⊤。
- 约束更新为 ∆U N 时有界 |(Δ U N)HR|F ≤ √γ|Δ U N|F:保留侧保护是近似的、由 γ 控制;γ 越小保护越紧但可编辑方向越少。
无目标编辑目标与闭式解
- 朴素做法直接最大化编辑后遗忘表示与目标表示的距离,目标无下界;UUE 改为凸二次目标 Lf−UUE = |(U+Δ U)HF + AF|2,把遗忘表示"拉"向对跖点 −AF。
- 目标表示构造:对每个遗忘 token 表示加残差,用梯度下降优化该残差以提高原答案的似然(骨干与适配器固定),得到 ai = U hi + δh*i,再以 −ai 为表示空间目标;该目标不预设替代回答。
- 在 E = EN 约束与 λ1 正则下目标严格凸,闭式解为 ∆U_UUE = −(U HF + AF)HF⊤ N (HF HF⊤ N + λ1 I)^(−1),可通过对称正定线性系统求解,无需显式求逆;构造好目标表示后适配器更新无需迭代优化。
UUE-L 低秩变体
- 把更新参数化为 ∆U = QP N(Q ∈ R^{d×r}、P ∈ R^{r×d},r ≪ d),每层可训练参数从 d² 降到 2dr;目标为正则项系数 λ2 的低秩版本。
- 用交替梯度下降优化 Q 与 P:P 初始化为 N (0,1)、Q 初始化为 0,迭代至收敛或达到最大迭代数 T。
- 计算代价:每层构造 Gram 矩阵 O(d²nr)、EVD O(d³);UUE 的闭式更新为 O(d²nf) 加 O(d³) 线性求解,UUE-L 以迭代优化替代求解;两个变体都需承担投影与目标构造开销。
论文做了哪些实验?
在 TOFU 与 WMDP 上对比 8 种基线,作者报告 UUE/UUE-L 遗忘更强且效用保持更好,并做了敏感性、消融、MIA 与耗时分析。
实验设置
- 被测模型:TOFU 用 TOFU 发布的 Phi-1.5B 与 LLaMA-2-7B(均在完整 TOFU 上微调过);WMDP 用预训练 Phi-1.5B 与 Zephyr-7B,补充实验用 Llama-3-8B-Instruct 与 Yi-34B-Chat(仅对比 RMU)。
- 基准:TOFU(200 个合成作者传记、每个 20 条 QA,forget01/05/10 对应遗忘 1%/5%/10% 作者);WMDP(WMDP-Bio、WMDP-Cyber、WMDP-Chem 三个子集,遗忘集为 WMDP 提供的领域文档,保留集为 WikiText)。
- 基线:GA、GradDiff、IDK、DPO、NPO、ME+GD、FLAT、RMU,及论文自构的 UU-Naive(带零空间投影的朴素目标)。
- 指标:TOFU 报告 FQ(与重训模型输出分布的 KS 检验 p 值)、MU(9 个子指标的调和平均)、ROUGE-L Forget/Retain;WMDP 报告 WMDP 准确率(理想值约 25%,即随机猜测)与 MMLU 准确率。
- 实现细节:适配器插入中间层(Phi-1.5B 第 10–15 层,LLaMA-2-7B 与 Zephyr-7B 第 12–18 层);UUE-L 的 LoRA 设置在 Phi-1.5B 上为 r=16、α=32、dropout 0.05,在 LLaMA-2-7B 与 Zephyr-7B 上为 r=32、α=64、dropout 0.05;超参数网格搜索;硬件为两张 NVIDIA A800。
- 评审方式:指标均为自动计算(ROUGE-L、KS 检验、QA 准确率),论文未使用 LLM 评审;论文未报告重复次数。
主结果
据 Table I(TOFU forget01/05)与 Table II(WMDP):
表格较宽,可左右滑动
模型 任务 方法 FQ ↑ MU ↑ R-F ↓ R-R ↑ Phi-1.5B forget01 UUE 0.0541 0.5204 0.3178 0.9228 Phi-1.5B forget01 UUE-L 0.0415 0.5287 0.3985 0.9235 Phi-1.5B forget01 RMU 0.0030 0.4999 0.9031 0.9235 LLaMA-2-7B forget01 UUE 0.0268 0.6135 0.4562 0.9109 LLaMA-2-7B forget01 UUE-L 0.0198 0.6146 0.4486 0.9220 Phi-1.5B forget05 UUE 2.61E-07 0.5002 0.3967 0.9116 LLaMA-2-7B forget05 UUE-L 6.24E-08 0.5865 0.5030 0.8842 WMDP(Table II,WMDP-Avg. ↓ / MMLU ↑):Phi-1.5B 上 UUE 为 0.3440 / 0.4160、UUE-L 为 0.3553 / 0.4125、RMU 为 0.3869 / 0.4100、NPO 为 0.4073 / 0.4090;Zephyr-7B 上 UUE 为 0.3539 / 0.4870、UUE-L 为 0.3446 / 0.4925、RMU 为 0.3564 / 0.4240。原模型分别为 0.4332 / 0.4390 与 0.5449 / 0.6078。
- 作者称 UUE/UUE-L 在两个任务上 FQ 更高且 ROUGE-L Forget 更低,遗忘改善在 Phi-1.5B 上尤为明显;forget05 整体更难,多数方法 FQ 低于 0.01。
- 作者称 GA 与 ME+GD 把 WMDP 准确率压到接近随机猜测,但同时大幅拉低 MMLU,说明低 WMDP 准确率本身不足以证明选择性遗忘;UUE/UUE-L 在降低 WMDP 准确率的同时保留了更多 MMLU 表现。
- 作者称 UUE 与 UUE-L 的相对优劣取决于模型:Phi-1.5B 上 UUE 遗忘略强,Zephyr-7B 上 UUE-L 两项指标略好,未建立随规模增大的一致优势。
更大模型上的 WMDP 补充实验
- 测了什么:Llama-3-8B-Instruct 与 Yi-34B-Chat 上的 WMDP 遗忘,仅与 RMU 对比(Table III)。
- 结果:Llama-3-8B 上 UUE 的 WMDP-Bio/Cyber 为 0.316/0.229(RMU 为 0.469/0.283),MMLU 0.590(RMU 0.572,原模型 0.631);Yi-34B-Chat 上 UUE 为 0.452/0.274(RMU 为 0.512/0.290),MMLU 0.710(RMU 0.706,原模型 0.726)。
- 作者称 UUE 在两个模型上 WMDP 准确率更低、MMLU 略高,但 MMLU 仍低于原模型。
成员推理攻击(MIA)
- 测了什么:TOFU forget01、Phi-1.5B 上用 Min-k% Prob 的 MIA AUC,AUC 越高表示遗忘样本越像非成员(Table V)。
- 结果:UUE 的 AUC 为 0.6372,UUE-L 为 0.6154,RMU 为 0.6127,原模型为 0.4391;作者称所有遗忘方法相对原模型都提高了 AUC。
- 作者强调 MIA 仅作辅助诊断:先前研究显示其对成员/非成员样本的构造与分布敏感,且本文目标是知识移除与效用保持,而非形式化隐私保证。
执行时间
- 测了什么:TOFU forget01、Phi-1.5B 上相同硬件下的端到端运行时间(Figure 4)。
- 结果:UUE 为 179.17 s(零空间 EVD 94.69 s + 目标表示计算 74.57 s + 适配器更新 9.91 s),UUE-L 为 174.82 s,基线中 FLAT 208.03 s、ME+GD 215.42 s、GradDiff 217.96 s、DPO 258.77 s、NPO 349.56 s、RMU 393.17 s。
- 作者称闭式更新仅占总耗时的 5.5%,瓶颈在子空间构造与目标表示计算,这解释了 UUE-L 相对 UUE 的运行时间差异不大。
其他消融与分析
- 正则强度 λ1、λ2(Figure 2,TOFU forget05、Phi-1.5B):正则增强时 MU 与 R-R 上升、R-F 升高(遗忘变弱),过弱则效用下降;所选取值在图中以虚线标出。
- 零空间阈值 γ(Table IV,TOFU forget01、Phi-1.5B):γ=0.001 时 FQ 0.0423、R-F 0.3321;γ=0.1 时 FQ 0.0540 但 MU 降至 0.5039、R-R 降至 0.9081;默认 γ=0.01。
- 编辑层范围(Table IV):早期层 L1–6 的 FQ 0.0289、MU 0.4581、R-R 0.6717;晚期层 L18–23 的 FQ 0.0063、R-F 0.6552;中间层 L10–15 最均衡。
- 零空间投影消融(Figure 3(a)):去掉投影(N 置为单位阵)的 UUE-w-N 与 UUE-L-w-N 的 MU 与 R-R 下降,FQ 也下降;作者称投影对约束破坏性更新必要。
- 保留集覆盖(Figure 3(b)):减少 WikiText 样本量时 MU 与 R-R 在样本量过小时开始恶化,R-F 几乎不变;作者称中等规模保留集即可近似保留子空间。
- 案例研究(Table VI):NPO 多次复现接近原文的答案,U-Trivial 输出重复短语或泛化拒答;作者称 UUE 未复现超出问题本身信息的答案,但部分回答不完整或不连贯,仅说明遗忘行为、不能证明回答质量。
有什么可以进一步探索的点?
作者明确写出的局限集中在 MIA 诊断的可靠性与无形式化隐私保证;实验覆盖 5 个模型、2 个基准。
作者指出的局限与后续方向
- MIA 仅作辅助诊断:作者在第 V-G 节指出,先前研究表明 LLM 的 MIA 表现对成员与非成员样本的构造和分布敏感,限制了它作为独立遗忘度量手段的可靠性。
- 无形式化隐私保证:作者在第 V-G 节指出,本文主要目标是知识移除与效用保持,而非建立形式化隐私保证。
- 保留集覆盖的影响:作者在第 V-F 节指出,有限保留集只能近似模型编码的知识,过于稀疏的覆盖会削弱这种近似并降低效用保持,保持足够的保留集代表性是重要的。
- 案例研究的证据边界:作者在第 V-H 节指出,部分 UUE 回答不完整或不连贯,这些示例展示遗忘行为但不能证明回答质量。
- 论文未设专门的 Limitations 或 Future Work 小节,以上均出自实验分析小节中作者自己标注的边界性陈述。
实验覆盖范围
- 被测模型共 5 个:TOFU 上为 Phi-1.5B、LLaMA-2-7B;WMDP 上为 Phi-1.5B、Zephyr-7B,补充实验为 Llama-3-8B-Instruct、Yi-34B-Chat(仅对比 RMU)。
- 基准为 TOFU(forget01、forget05 两个任务级别)与 WMDP(Bio、Cyber 子集),效用评估用 MMLU;TOFU 的 forget10 级别在论文中定义但未报告结果。
- 敏感性、消融、MIA 与耗时实验均只在 TOFU forget01 或 forget05、Phi-1.5B 单一设置下进行(Figure 2、Figure 3、Table IV、Table V、Figure 4)。
- 论文未报告任何实验的重复次数、随机种子或统计显著性检验;MIA 实验未报告成员/非成员样本量。
- WMDP 上 DPO、IDK、FLAT、U-Trivial 因需要对话式遗忘数据而不适用,论文据此未纳入这些基线。
总结一下论文的主要内容
UUE 用保留集零空间投影加无目标编辑目标做 LLM 遗忘,在 TOFU/WMDP 上报告了优于基线的遗忘—效用平衡。
一篇 LLM 机器遗忘方法论文:把遗忘从"微调惩罚"重新表述为受控模型编辑,目标是删掉指定知识同时把对通用能力的干扰约束在可证明的界内。
- 问题:作者称微调式遗忘计算低效且因知识纠缠损害效用;定向遗忘把表示拉向固定拒答目标,可能只学到表面抑制。
- 方法:UUE 在选定中间层 FFN 后插入恒等初始化的适配器(骨干冻结、可插拔移除);先用梯度下降构造强化原答案的遗忘集表示,再以其对跖点为目标的凸二次目标求适配器更新的闭式解,更新被约束在保留集 Gram 矩阵特征值低于阈值 γ 的方向张成的近似左零空间内,保留表示偏移有 √γ 上界;UUE-L 把更新改为 LoRA 低秩分解并交替优化。
- TOFU 结果(Table I):Phi-1.5B forget01 上 UUE 的 FQ 0.0541、ROUGE-L Forget 0.3178,基线 RMU 分别为 0.0030、0.9031;LLaMA-2-7B forget01 上 UUE-L 的 MU 0.6146 为全表最高之一。
- WMDP 结果(Table II):Zephyr-7B 上 UUE-L 的 WMDP-Avg. 0.3446、MMLU 0.4925,对比 RMU 的 0.3564/0.4240;GA 虽把 WMDP 压到 0.2453 但 MMLU 只剩 0.2431,作者据此指出低 WMDP 准确率不等于选择性遗忘。
- 补充证据:MIA AUC 上 UUE 为 0.6372(Table V,作者强调仅作辅助诊断);TOFU forget01 耗时 UUE 179.17 s、RMU 393.17 s(Figure 4),瓶颈在零空间构造与目标表示计算。
- 作者结论:在受评模型上,UUE/UUE-L 在 TOFU 上改善遗忘、在 WMDP 上给出有竞争力的遗忘—效用折中;作者同时承认 MIA 的局限、无形式化隐私保证,且部分案例回答不完整、不能证明生成质量。