跳到正文
原文

通过正交投影在大语言模型持续遗忘中保持效用

Preserving Utility in Continual LLM Unlearning via Orthogonal Projections

arXiv:越狱、提示注入、投毒与防御· arXiv:2610.40483· Juan Belieni, Ana Carolina Erthal, Eliezer de Souza da Silva, Diego MesquitaSchool of Applied Mathematics, Getulio Vargas Foundation; University of Coimbra, CISUC/LASI, DEI本站收录· 20 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 COP,把每次遗忘更新投影到历史遗忘集激活子空间的正交补上;作者称在 TOFU 和 RWKU 上保住效用且不削弱遗忘。

问题
持续遗忘中删除请求依次到达,作者称现有 LLM 遗忘方法在顺序请求下遗忘与效用都会衰减,因为后续更新会干扰先前删除。
方法
作者提出 Continual Orthogonal Projection(COP):缓存各层历史遗忘集输入激活的低秩基,把每次梯度更新投影到其正交补,声称一阶上不与先前删除干扰,且不改动原遗忘目标。
实验与结果
在 TOFU(1B/3B)和 RWKU(3B)上,作者报告 COP 变体从第 3 个请求起效用在 TOFU 上均高于基目标,并阻止 GA、IDK 的效用崩塌;O3 在 TOFU 上遗忘弱,ALKN 效用崩塌。
局限与可以继续做的
作者指出保护是近似的:压缩、AdamW、未投影的 embedding 与归一化参数都放松了定理条件;评测只用单种子、5 个请求、最大 3B 模型,未包含重学习或提取攻击。
实验设置Llama-3.2-1B-Instruct、Llama-3.2-3B-Instruct · TOFU、RWKU · FR、FP 等
被测模型
Llama-3.2-1B-InstructLlama-3.2-3B-Instruct
基准
TOFURWKU
指标
FRFPESEMMU
AI 导读研究者提出持续正交投影(COP),一种梯度投影方案,使大语言模型在连续多次遗忘请求下保持效用而不削弱遗忘效果。现有遗忘方法大多不适合迭代式删除,连续删除会因各次更新相互干扰,导致遗忘效果和模型效用急剧衰退。COP 将每次更新限制在由先前遗忘集缓存的激活子空间的正交补空间内,可证明保证与先前删除一阶不干扰;每层只需存储低秩基,不需要过去的梯度或之前的遗忘集,可插入通过可微损失梯度步骤更新模型的遗忘方法而不修改其目标。在 TOFU 和 RWKU 标准遗忘基准上的实验显示,COP 在连续请求下保持效用、避免标准目标崩溃,遗忘效果优于持续遗忘专用基线。

研究者提出持续正交投影(COP),一种梯度投影方案,使大语言模型在连续多次遗忘请求下保持效用而不削弱遗忘效果。现有遗忘方法大多不适合迭代式删除,连续删除会因各次更新相互干扰,导致遗忘效果和模型效用急剧衰退。COP 将每次更新限制在由先前遗忘集缓存的激活子空间的正交补空间内,可证明保证与先前删除一阶不干扰;每层只需存储低秩基,不需要过去的梯度或之前的遗忘集,可插入通过可微损失梯度步骤更新模型的遗忘方法而不修改其目标。在 TOFU 和 RWKU 标准遗忘基准上的实验显示,COP 在连续请求下保持效用、避免标准目标崩溃,遗忘效果优于持续遗忘专用基线。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    持续遗忘中后续更新会干扰先前删除,作者提出 COP 在保住效用的同时不削弱遗忘。

    核心问题:持续 LLM 遗忘(continual unlearning)中,顺序到达的删除请求会相互干扰,导致遗忘效果和模型效用随请求累积而衰减。

    • 问题场景:部署中的模型会持续收到删除请求,每次删除必须保留先前删除的效果,且不能访问先前请求针对的数据,同时防止效用损失累积(作者称)。
    • 现有方法的不足:作者称 GA、NPO、SimNPO 等基于梯度的遗忘目标为孤立请求设计,顺序应用时后续更新会撤销先前删除或加剧效用侵蚀;持续遗忘专用方法 O3 依赖推理时的 OOD 检测器、目标信息仍可从基座权重恢复,ALKN 只分离参数而未分离效果,作者实验中两者都未能同时保住遗忘与效用。
    • 核心观察:作者把持续遗忘形式化为带约束的顺序 ERM 问题,要求每次更新不把先前遗忘目标推离其已到达的值;利用梯度的逐层分解,该约束可在低维输入激活空间中以正交条件执行,无需存储历史梯度。
    • 论文提出:Continual Orthogonal Projection(COP),一个梯度投影插件,把每次更新投影到历史遗忘集缓存激活子空间的正交补上;只存每层一个低秩基,不改遗忘目标,可接入任何基于可微损失的遗忘方法。
    • 设置假设:每步 k 收到遗忘集 Fk,步骤 k 不可访问先前遗忘集数据;可访问固定的 retain set R 作为应保持知识的代理。
  2. 有哪些相关研究?

    相关工作分四组:LLM 遗忘目标、持续遗忘、持续学习中的梯度投影、遗忘中的投影方法。

    LLM 遗忘目标

    • GA(Jang et al., 2023)——最大化遗忘集上的 next-token 损失;论文指出其损失无界、会侵蚀通用效用。
    • NPO(Zhang et al., 2024)——把 DPO 适配到只有拒绝响应的情形;SimNPO(Fan et al., 2025)去掉参考模型、用长度归一化对数似然;IDK(Maini et al., 2024)——训练模型用拒答回应遗忘查询。
    • 其他路线:映射到通用替代答案(Eldan and Russinovich, 2023)、扰动内部表示(Li et al., 2024)、减去任务向量(Ilharco et al., 2023)。

    持续遗忘

    • O3(Gao et al., 2025)——冻结基座、在共享 LoRA adapter 中训练所有删除,推理时由 OOD 检测器决定 adapter 强度;论文指出其行为依赖检测误差,目标信息仍可从基座权重恢复。
    • ALKN(Wuerkaixi et al., 2025)——任务向量取反加梯度掩码,让各请求修改不同参数子集;论文指出分离参数不等于分离效果。
    • FIT(Xu et al., 2026)——过滤冗余请求并按重要性选择算法与目标层;CURaTE(Bae et al., 2026)——不改权重,由句子嵌入器拒答相似查询,目标信息仍留在参数中。

    持续学习中的梯度投影

    • OGD(Farajtabar et al., 2020)——把新梯度投影到与历史任务存储梯度正交的方向。
    • GPM(Saha et al., 2021)——为每层存历史任务输入激活的低秩基并正交投影;作者称 COP 沿用 GPM 的激活空间投影,但子空间来自历史遗忘集,保护的是先前遗忘目标到达的值。

    遗忘中的投影方法

    • PGU(Hoang et al., 2024)与 UNSC(Chen et al., 2024)——在图像分类器上把遗忘更新投影到保留数据激活的零空间,只保护单次请求内的保留数据。
    • GU(Zhou et al., 2025)——在 LLM 中把更新投影到与 retain 梯度正交的方向,保护 retain set 而非先前删除;FG-OrIU(Feng et al., 2025)与 Lee et al. (2026)——跨请求投影,但分别在视觉模型和文生图扩散模型上。

    基线与基准:对比基线为 O3 和 ALKN,基目标为 GA、NPO、SimNPO、IDK;基准为 TOFU 和 RWKU。作者定位 COP 的区别:面向 LLM 持续遗忘、通过缓存激活子空间保护先前遗忘集本身、且不改动遗忘目标。

  3. 论文如何解决这个问题?

    COP 把每次更新投影到历史遗忘集激活子空间的正交补,一阶上保持先前遗忘目标不变。

    整体思路:把持续遗忘形式化为带约束的顺序 ERM,用一阶近似把"不干扰先前删除"转化为对更新方向的线性约束,再利用逐层梯度分解,把约束落到缓存的输入激活子空间上,得到 Continual Orthogonal Projection(COP)。

    问题形式化

    • 第 k 步的遗忘目标为 LFk(θ) = 1/(|Fk|) ∑(p,c)∈ Fk ℓ(θ; p, c),ℓ 为任意可微遗忘损失;总损失 Lk = LFk + λLRk,λ ≥ 0 控制遗忘-保留权衡。
    • 锚定约束:要求每个先前遗忘目标 LFi 保持在 θi 时取值的容差 ϵi 内(两个方向都不许漂移),即约束 |LFi(θ) − LFi(θi)| ≤ ϵi;增大 LFi 会部分撤销删除,减小则过度遗忘并损害效用。
    • 一阶泰勒展开把约束线性化为 −ϵi − ai ≤ ⟨giF, ∆θ⟩ ≤ ϵi − ai;齐次条件 ⟨giF, ∆θ⟩ = 0 使漂移一阶不变,但不能纠正已累积的漂移。

    从参数空间到激活空间

    • 线性层梯度分解为 ∇W L = δx⊤,遗忘集梯度为各样本 δi(z)xi(z)⊤ 的均值(Eq. 1);⟨GFi, ∆W⟩ 只依赖 ∆W 对输入 xi(z) 的作用。
    • 充分条件:若对所有 x ∈ Xi 有 ∆W x = 0(激活置零),则 ⟨GFi, ∆W⟩ = 0;该条件比原约束更强——对每个样本、任意可微损失都成立,因此可用输入激活空间的低秩基编码,无需参数空间梯度。

    投影规则与基构造

    • 设 Vk−1 为张成受保护子空间 Sk−1 的正交基,投影器 Pk−1 = Vk−1Vk−1⊤;投影梯度为 G̃k = Gk(I − Pk−1),更新 W ← W − ηG̃k;投影包含 forget 与 retain 两部分的完整梯度,retain 损失只在与先前删除正交的方向上修复效用。
    • 基构造:第 k 步训练后在 θk 下收集 Fk 的层输入激活 Ak,先对当前基预投影得 (I − Pk−1)Ak,取保留比例 τ ∈ (0,1] 平方 Frobenius 范数的主左奇异向量、每层每请求最多 rmax 个,与 Vk−1 拼接后 QR 正交化,得到嵌套子空间 Sk−1 ⊆ Sk。
    • Theorem 1:若所有可训练参数都是线性权重、子空间嵌套、每次更新满足 ∆WVn−1 = 0,则被覆盖样本的输出对任意步长保持不变(fθk(z) = fθi(z));作者同时指出三个前提:Adam 类优化器下投影须作用于最终步、embedding/归一化/偏置需冻结、受保护样本的每层输入都落在子空间内,实践中第三条只近似成立。

    复杂度与容量

    • 每层只存基 Vk(r × din 项),内存随秩线性增长而非请求数;投影按 Gk − (GkVk−1)Vk−1⊤ 计算,每次更新多两次矩阵乘,每请求额外一次前向、一次 SVD 和一次 QR。
    • 容量:k 个请求后 r ≤ min(din, k·rmax);子空间张满整层输入空间后该层无法再更新;若当前遗忘集激活已在 Sk−1 内,投影梯度在该层消失。τ 与 rmax 控制增长,代价是被丢弃方向不再受保护。

    评测方式

    • 遗忘指标:FR、FP、EM、ES(TOFU 报 FR/ES/EM,RWKU 报 FR/FP/EM),第 k 个请求后在迄今所有请求的并集上计算;效用指标 MU 为各基准特定效用量的调和平均;定义见附录 B。
  4. 论文做了哪些实验?

    在 TOFU(1B/3B)与 RWKU(3B)上,COP 变体保住效用且遗忘与基目标相当;O3、ALKN 各有短板。

    实验设置

    • 被测模型:Llama-3.2-1B-Instruct 与 Llama-3.2-3B-Instruct(TOFU,用 Dorna et al. (2025) 在全量数据上微调的 checkpoint);RWKU 只用 Llama-3.2-3B-Instruct,不再微调。
    • 基准与请求划分:TOFU forget05 拆成 T = 5 个请求,每个 2 位作者、40 条问答,retain95 作 R;RWKU 用 level 2 探针,随机抽 20 位真实人物分 5 组(每组 4 人),其余 180 人的探针作 R。
    • 基线与变体:四个基目标 GA、NPO、SimNPO、IDK 各配 COP 变体(主表 rmax = 256);持续遗忘基线 O3、ALKN;每个方法按最佳遗忘-效用权衡调参(附录 C)。
    • 指标:TOFU 报 FR↓、ES↓、EM↓、MU↑;RWKU 报 FR↓、FP↓、EM↓、MU↑;第 k 个请求后遗忘指标在迄今所有请求并集上计算。
    • 训练细节:全模型 bfloat16 训练,每请求 10 epoch(TOFU 约 20 步),AdamW(weight decay 0.01),有效 batch 32,retain NLL 权重 λ = 1;每个 COP 运行与对应基目标同种子、同学习率、同数据、同预算,仅差投影。
    • 重复次数:每个网格点只跑一次,seed 0(附录 C);RWKU 的 20 位遗忘人物用固定种子抽取,对所有方法相同。

    主结果

    TOFU 第 5 个请求后的结果(据 Table 1、Table 2;MU 越高越好,FR/ES/EM 越低越好):

    表格较宽,可左右滑动

    方法1B: FR1B: EM1B: MU3B: FR3B: EM3B: MU
    Original0.830.970.5990.930.990.667
    GA0.170.300.1590.070.120.224
    GA+COP0.340.630.4610.380.710.566
    NPO0.320.630.4960.210.520.456
    NPO+COP0.300.560.5320.330.560.571
    SimNPO0.360.650.4630.360.660.554
    SimNPO+COP0.370.690.5170.380.710.600
    IDK0.020.490.0370.030.550.056
    IDK+COP0.100.590.4650.040.670.477
    O30.300.840.5760.340.910.639
    ALKN0.020.060.0040.040.170.040
    • 作者称从第 3 个请求起,1B 上每个 COP 变体的 MU 都高于其基目标;3B 上 SimNPO、IDK 每个请求都改善,GA 从第 2 个请求起、NPO 从第 3 个请求起。
    • 作者称 base GA 与 IDK 的低 FR 是效用崩塌的副产品而非有效遗忘;O3 效用最高但遗忘弱(EM 接近原模型,3B 上每步 EM 高于 0.9);ALKN 的遗忘指标随效用一起崩塌。
    • 例外:3B 上 NPO+COP 的 FR 高于 base NPO(0.33 对 0.21),作者称这是用遗忘换更高效用;1B 上 NPO+COP 的 FR 反而更低(0.30 对 0.32)。

    RWKU 结果

    • 测了什么:真实人物知识的持续遗忘,知识来自预训练(Table 3、Figure 3)。
    • 结果:第 5 个请求后,GA+COP 的 MU 为 0.485(base GA 0.366,且 base GA 在第 4 个请求 MU 一度为 0.004);SimNPO+COP 0.720(base 0.620);IDK+COP 0.569(base 0.559);NPO+COP 0.605(base 0.603),但 NPO+COP 的 FR 为 0.04、EM 为 0.20,低于 base NPO 的 0.12 与 0.30。
    • 作者解读:COP 在预训练知识上仍稳住效用;NPO 呈现不同权衡——COP 版遗忘更多而最终效用相同。O3 在 RWKU 上遗忘有效但 MU 降到 0.062,ALKN 保留较多目标知识且效用低(MU 0.156)。作者还指出多数运行及所有 COP 变体的 MU 略高于原模型,原因是 retain 损失在 R 上计算而 MU 部分在同一分布上评测。

    秩上限消融(附录 D)

    • 测了什么:TOFU 1B 上 rmax ∈ {16, 64, 256} 对最终 MU 与 ES 的影响(Figure 4)。
    • 结果:作者称所有方法的最终 MU 随 rmax 增大而上升,GA、IDK 上升幅度大,NPO、SimNPO 较缓;ES 在各秩下几乎不变且远低于原模型。
    • 作者解读:在所测范围内增大 rmax 提升效用且不损害遗忘,主要代价是存基的内存。

    其他消融与分析

    • Figure 2(TOFU 1B 效用轨迹):第 1 个请求后各基目标与 COP 变体效用相近(无先前删除可保护),从第 2 个请求起分化,基目标逐步下降、COP 变体缓慢下降。
    • Figure 3(RWKU 3B 效用轨迹):作者称 COP 下效用随请求累积保持稳定,基目标波动或退化。
    • 超参搜索(附录 C):学习率 {1,2,5}×10⁻⁵;TOFU 上 COP 另搜 τ ∈ {0.90, 0.95, 0.99},RWKU 固定 τ = 0.99;TOFU 按 CRFS(MU 与 forget quality 的调和平均)选配置,RWKU 按 MU 与 1−EM 的调和平均选。
    • 论文未报告统计显著性检验;全部结果为单种子单次运行。
  5. 有什么可以进一步探索的点?

    作者列出保护近似性、容量增长、评测规模等局限,并明确不应视为认证删除机制。

    作者指出的局限与后续方向

    • 保护是近似的(Limitations):COP 只对激活落在缓存子空间内的输入精确保持先前遗忘损失,且要求更新被投影、所有可训练参数都是线性权重;实际运行中压缩每请求最多保留 rmax 个方向、AdamW 与 weight decay 在投影之后作用、embedding 与归一化增益未投影,因此观察到的保护是近似的。
    • 容量随请求增长(Limitations):受保护子空间随每个请求增大,限制了固定秩能支持的请求流长度。
    • 评测规模(Limitations):评测使用单种子、5 个请求、最大 3B 参数的模型,遗忘指标基于训练探针。
    • 未测攻击(Limitations):评测未包含重学习(relearning)或提取攻击(extraction attacks)。
    • 合规与滥用(Limitations):作者称 COP 不应被视为认证删除机制,也不足以单独满足法律或监管合规;遗忘方法是 dual-use,同一过程可能移除安全相关知识或压制合法信息。

    实验覆盖范围

    • 被测模型为 Llama-3.2-1B-Instruct 与 Llama-3.2-3B-Instruct 共 2 个;RWKU 只用 3B。
    • 基目标为 GA、NPO、SimNPO、IDK 共 4 个,持续遗忘基线为 O3、ALKN 共 2 个。
    • 请求流长度为 T = 5;TOFU 每请求 40 条问答,RWKU 每请求 4 位人物。
    • 每个超参网格点运行一次(seed 0),论文未报告多种子重复或方差。
    • 主表固定 rmax = 256;秩消融只覆盖 {16, 64, 256} 三档、仅在 TOFU 1B 上进行(附录 D)。
  6. 总结一下论文的主要内容

    COP 通过激活子空间正交投影防止持续遗忘中的相互干扰,作者称在两个基准上保住效用且不削弱遗忘。

    一篇关于持续 LLM 遗忘的方法论文:删除请求顺序到达时,后续更新会撤销先前删除或累积效用损失,作者把这一问题形式化为带约束的顺序 ERM,并提出 Continual Orthogonal Projection(COP)。

    • 方法:缓存各线性层历史遗忘集输入激活的低秩基(每请求最多 rmax = 256 个新方向),把每次完整梯度更新(含 retain 项)投影到该子空间的正交补;作者证明在理想条件下被保护样本的输出对任意步长精确不变(Theorem 1),且不改动遗忘目标、不需要历史数据或推理时分类器。
    • 结果(TOFU,forget05,5 个请求):1B 上第 5 个请求后 GA+COP 的 MU 为 0.461(base GA 0.159),IDK+COP 为 0.465(base IDK 0.037);作者称从第 3 个请求起每个 COP 变体效用都高于基目标(Table 1、Table 2)。
    • 结果(RWKU,3B):SimNPO+COP 第 5 个请求后 MU 为 0.720(base 0.620);NPO+COP 遗忘更多(FR 0.04 对 base 0.12)而最终效用相同(Table 3)。
    • 持续基线对比:O3 在 TOFU 上效用最高但遗忘弱(3B 上 EM 每步高于 0.9),在 RWKU 上遗忘有效但 MU 降到 0.062;ALKN 在两个基准上效用都崩塌(TOFU 1B 最终 MU 0.004)。
    • 作者结论:COP 在不增加推理成本的前提下,为面对持续删除请求的部署模型提供了实用选择;同时作者强调保护是近似的,评测仅覆盖单种子、5 个请求、最大 3B 模型,未测重学习或提取攻击,不应视为认证删除机制。

相关论文

共同使用 RWKU
共同使用 TOFU
再看 3 篇
共同使用 TOFU
阅读原文arxiv.org