LEAF-OPD:通过 on-policy 蒸馏从特权上下文学习遗忘
LEAF-OPD: Learning to Forget from Privileged Contexts via On-Policy Distillation
作者提出 LEAF-OPD,用带特权上下文的冻结教师对学生轨迹做 token 级蒸馏实现 LLM 遗忘;在 RWKU 上 Forget Quality 比次优方法低 34%。
- LLM unlearning 要在删除目标知识的同时保住模型效用。作者认为现有方法多只教模型"不要答什么",没有显式教它"应该怎么答",RLVR 类方法又有额外采样开销。
- LEAF-OPD 分两阶段:先用 Supervision Signal(SS)评估带特权上下文的教师监督强度,不足时用轻量 SFT 强化;再把该冻结教师在学生自生成轨迹上的 token 级分布蒸馏给无上下文的学生,遗忘与保留数据分别用不同蒸馏目标。
- 在 TOFU、RWKU、MUSE-News 三个基准上评测。作者报告 TOFU 上 FQ、MU、F-RL 均为被测方法中最好,F-RL 为 0.0027;RWKU 上平均 FQ 比次优方法低 34%;MUSE-News 上满足全部三条判定标准且 KnowMemr 最高。
- 作者指出 MUSE 上 KnowMem 表现相对较弱,可能源于只用文本续写数据训练。实验覆盖 3 个模型、3 个基准;论文未报告训练重复次数与方差,代码和数据为计划发布。
- 被测模型
- Llama2-7BQwen3-8BLlama3-8B-Instruct
- 基准
- TOFURWKUMUSE-News
- 指标
- Forget Quality (FQ)Model Utility (MU)Forget ROUGE-L (F-RL)Retain ROUGE-L (R-RL)Retain Quality (RQ)VerbMemKnowMemSupervision Signal (SS)
研究者提出 LLM 遗忘方法 LEAF-OPD,由冻结的教师模型对学生自生成的回答做 token 级监督:在遗忘数据上教师借助特权上下文(指示不泄露遗忘目标)引导遗忘,在保留数据上不用特权上下文以维持模型能力,学生两种情形下都不接触特权上下文,学会如何回应应被遗忘的知识。针对教师监督常只覆盖学生轨迹开头几个 token 的问题,论文提出 Supervision Signal(SS)指标衡量纠正监督强度,并用轻量 SFT 强化教师的上下文条件拒答行为。在 TOFU、RWKU、MUSE-News 三个基准上,LEAF-OPD 在 TOFU 取得最优 Forget Quality、Model Utility 与 Forget ROUGE-L,在 RWKU 上 Forget Quality 比第二名方法高 34%,同时保持有竞争力的保留性能。
深度解读
这篇论文试图解决什么问题?
作者认为现有 LLM 遗忘方法只压制目标知识而不教模型如何应答,提出用特权上下文蒸馏来显式教学。
核心问题:如何在删除 LLM 目标知识的同时保住效用,并显式教模型遇到该知识时应该怎么回应,而不只是压制它。
- 问题场景:LLM 训练语料中包含隐私信息、版权内容和潜在危险知识,作者称这催生了 LLM unlearning——选择性移除 forget 数据中的知识,同时尽量保留模型效用。
- 现有方法的不足(按论文说法):GA 类方法持续把模型推离原分布,会损害效用;加 retain 数据的方法只约束"不该答什么",没有教"该答什么";RLVR 类方法(RULE、ReRULE)需要额外响应采样,计算开销大;training-free 方法(如 GUARD)不改参数,作者称这引出"知识是真被移除还是仅在推理时被压制"的疑问。
- 核心观察:training-free 方法的有效性说明,只要上下文引导得当,LLM 就能生成安全回应;因此可以把"特权上下文下的遗忘行为"通过 On-Policy Self-Distillation(OPSD)内化进无上下文的模型参数。
- 论文提出:LEAF-OPD 算法——冻结教师在特权上下文下对学生的在线轨迹做 token 级监督;并提出 Supervision Signal(SS)指标衡量教师监督强度,监督弱时用轻量 SFT 把"坏教师"变成"好教师"。
- 方法定位:这不是攻击或防御论文,不涉及威胁模型;它针对的是模型拥有方主动移除知识的训练场景,教师和学生由同一方控制。
有哪些相关研究?
相关工作分 LLM unlearning 与 on-policy/context 蒸馏两组,本文把 OPSD 范式扩展到遗忘任务。
LLM Unlearning(参数更新类)
- GA(Yao & Xu, 2024):直接最大化 forget 数据损失;论文指出它会持续推离原分布、损害效用。NPO(Zhang et al., 2024a)引入参考模型,SimNPO(Fan et al., 2026)去掉这一依赖。
- FLAT(Wang et al., 2025)与 SGA(Pang et al., 2025):分别引入 f-divergence 损失调整和标签平滑。
- RULE 与 ReRULE(Zhang et al., 2025; Pang et al., 2026):通过 RLVR 学习拒答行为;论文指出这类方法需要额外响应采样,计算开销大。
LLM Unlearning(training-free 类)
- GUARD(Deng et al., 2025):不改参数、在生成时压制目标知识;论文指出这引出知识是否真被移除的疑问。
On-Policy 与 Context Distillation
- Context distillation(Snell et al., 2022):把额外上下文诱导出的行为内化进模型。
- MiniLLM(Gu et al., 2024)与 GKD(Agarwal et al., 2024 等):前者研究 reverse-KL 蒸馏,后者在学生生成的序列上训练以减少训练-推理失配。
- OPSD、OPCD 等(Zhao et al., 2026; Ye et al., 2026; Penaloza et al., 2026):利用特权信息监督学生、内化上下文条件行为;本文直接扩展 OPSD 的范式。
基线与基准:实验对比 GA、GD、KL、LLMU、SGA、PO、DPO-RT、NPO/NPO-RT、SimNPO、FLAT、RULE、ReRULE、Task Vectors、WHP、ICUL、Prompt-based Unlearning 等基线,使用 TOFU、RWKU、MUSE-News 三个基准。
作者将本文定位为:把 OPSD 扩展到 LLM unlearning,与现有方法的区别在于通过 token 级监督把上下文条件的遗忘行为蒸馏进参数,且不需要任务特定的奖励函数。
论文如何解决这个问题?
两阶段:先用 SS 指标评估并强化特权上下文教师,再把教师的 token 级分布在线蒸馏给无上下文的学生。
整体思路:把"带特权上下文会拒答"的教师行为,通过 on-policy token 级蒸馏转移给"无上下文"的学生,遗忘数据和保留数据分别用两个蒸馏目标。LEAF-OPD 的流程见 Figure 2。
问题形式化
- 给定 forget 数据集 Df 和 retain 数据集 Dr,目标是把原模型 π0 改为 πθ,使其不再表现 Df 中的知识,同时尽量保住 Dr 上的效用。
- 通用目标为最小化遗忘项与保留项的加权和:minθ Lforget(θ; Df) + λ Lretain(θ; Dr),不同方法对两项的实例化不同。
阶段 1:找到好教师(Supervision Signal)
- 用原学生 π0 生成的、包含目标知识的事实轨迹,比较同一教师在有、无特权上下文下对每个 token 的 log 概率之差 ∆t;∆t 为负表示上下文压制了该 token,即提供了纠正性监督。
- 定义 Supervision Signal:SS(Δ, s, e) = −1/(e−s+1)∑t=se Δt,衡量区间 [s, e] 上监督的平均强度,越高表示对事实轨迹的反对越强。
- 两个特化指标:SS1 覆盖整条轨迹,衡量整体强度;SS0.5 覆盖轨迹后半段,衡量监督的持续性。
- 判定标准:当 forget 训练数据上 SS1 与 SS0.5 的均值都超过 1 时视为好教师;不足时对教师做轻量 SFT 强化其在特权上下文下的拒答行为。SFT 数据量:TOFU 20 条、RWKU 240 条合成样本,MUSE 从 2,666 条源记录中抽 100 条(Table 8)。
阶段 2:从特权教师做 on-policy 自蒸馏
- 教师 π⟨T⟩ 冻结,学生 π⟨S⟩ 更新;学生先在线生成轨迹,教师再沿该轨迹逐 token 提供监督。阶段 1 得到的教师同时作为学生的初始策略。
- 遗忘目标:对 forget 样本,教师额外看到规定遗忘行为的特权上下文 cf,最小化教师分布与学生分布在每个 token 上的 KL 散度(Lf)。
- 保留目标:对 retain 样本,同一冻结教师不带上下文作为保留教师,约束学生保持教师的 token 分布(Lr),以保住效用。
- 与 OPSD 的区别:增加了阶段 1 的教师评估与强化,以及阶段 2 对 forget/retain 数据的分离蒸馏目标。
实现细节(附录 C.2)
- 学生用 LoRA 适配器(rank 64、scaling 128)训练,教师冻结;优化器 AdamW、BF16 精度。
- TOFU:阶段 1 SFT 3 epoch、lr 1×10⁻⁴;阶段 2 蒸馏 1 epoch,forget 数据过采样 45 倍。RWKU:阶段 2 训 2 epoch、lr 5×10⁻⁵。MUSE-News:阶段 1 训教师 LoRA(rank 16)并合并,一半 forget 样本前置最多 20 个真实续写 token;阶段 2 训 3 epoch,并构造 2,727 条续写-前缀对。
- KL 方向:主实验用 reverse KL(β=1),附录 B 从梯度结构讨论 forward 与 reverse KL 的差异。
论文做了哪些实验?
在 TOFU、RWKU、MUSE-News 上对比十余种基线,并做 KL 方向、教师质量、保留监督等消融。
实验设置
- 被测模型:TOFU 用 Llama2-7B 和 Qwen3-8B;RWKU 用 Llama3-8B-Instruct;MUSE-News 用 MUSE 提供的原始 checkpoint(Llama-2-7B)。
- 基准与规模:TOFU 含 200 个虚构作者、每人 20 条问答,主实验用 forget01 划分(1% 作者为 forget 集);RWKU 含 200 个名人和 13,131 条多层级探针;MUSE-News 为新闻文章遗忘。
- RWKU 训练数据:RWKU 是 zero-shot 基准、不提供训练集,作者用 GPT-5.6-Luna 为每个目标实体生成 forget 和 retain 训练数据。
- 指标:TOFU 报告 FQ(KS 检验 p 值,越高越好)、MU(越高越好)、F-RL(越低越好)、R-RL(越高越好);RWKU 的 FQ 用 FB/QA/AA 三类探针的 ROUGE-L recall(越低越好),RQ 用邻近实体的 FB/QA 探针(越高越好);MUSE 报告 VerbMemf、KnowMemf(越低越好)与 KnowMemr(越高越好)。
- 基线:GA、GD、KL、LLMU、SGA、PO、DPO-RT、NPO/NPO-RT、SimNPO、FLAT、RULE、ReRULE、Task Vectors、WHP、ICUL、Prompt-based Unlearning;RWKU 另加 GDR/KLR 正则变体。
- 其他:training-free 基线(ICUL、Prompt-based)在 oracle routing 下评测,即假设能完美区分 forget 与 retain 查询;论文未报告训练重复次数。
主结果
TOFU(forget01,据 Table 1):
表格较宽,可左右滑动
方法 Llama2-7B FQ↑ MU↑ F-RL↓ R-RL↑ Qwen3-8B FQ↑ MU↑ F-RL↓ R-RL↑ Original LLM 4.4883e-06 0.6239 0.9851 0.9818 0.0068 0.6346 0.9326 0.9135 Retained LLM 1.0000 0.6267 0.4080 0.9833 1.0000 0.6470 0.3856 0.8965 GA 0.0068 0.5990 0.4817 0.9204 0.0541 0.4367 0.5279 0.5407 NPO-RT 0.0030 0.5994 0.5049 0.9270 0.0541 0.4399 0.5458 0.5442 FLAT (Pearson) 0.0030 0.6304 0.4825 0.9284 0.0541 0.4693 0.4860 0.5447 ICUL 0.0005 0.6239 0.4772 0.9818 0.0541 0.6346 0.4619 0.9135 LEAF-OPD 0.0143 0.6892 0.0027 0.9382 0.0971 0.6422 0.0027 0.6756 RWKU(Llama3-8B-Instruct,据 Table 2,FQ 越低越好、RQ 越高越好):
表格较宽,可左右滑动
方法 FQ FB FQ QA FQ AA FQ All RQ FB RQ QA RQ All Original 85.6 70.3 74.7 76.9 93.1 82.0 87.6 GA 72.0 64.6 68.5 68.4 85.0 74.7 79.8 NPO 46.6 39.0 35.3 40.3 79.2 70.9 75.1 SimNPO 42.1 36.1 42.2 40.1 82.8 70.3 76.5 RULE(GRPO) 28.0 16.8 38.3 27.7 76.2 71.3 73.7 ReRULE(GRPO) 26.5 13.1 33.2 24.2 79.5 68.8 74.1 LEAF-OPD 13.1 5.9 29.2 16.0 79.3 75.0 77.1 - 作者称 LEAF-OPD 在 TOFU 两个模型上 FQ、MU、F-RL 均为被测遗忘方法中最好,F-RL 仅 0.0027;R-RL 超过所有参数更新基线,但低于 training-free 方法——作者指出后者受益于能完美区分 forget/retain 查询的分类器,而 LEAF-OPD 不需要。
- 作者称 RWKU 上 LEAF-OPD 平均 FQ 比次优的 ReRULE 低 34%,平均 RQ 高于 RULE 和 ReRULE、排在所有被测方法的前 50%。
MUSE-News 结果
- 测了什么:Llama2-7B 上的新闻遗忘,判定标准为 VerbMemf 与 KnowMemf 均不超过 Retained LLM、KnowMemr 非零(Table 3)。
- 结果:LEAF-OPD 满足全部三条标准(VerbMemf 5.2、KnowMemf 25.6、KnowMemr 32.5);在满足标准的方法中 KnowMemr 最高,比次优的 FLAT(31.8)高 0.7。GA 与 NPO 的 KnowMemr 为 0.0,不满足标准。
- 作者解读:LEAF-OPD 在 QA 类的 KnowMem 指标上相对续写类的 VerbMem 表现较弱,作者认为这可能归因于 MUSE 上只使用文本续写数据做遗忘。
消融(TOFU,Table 4)
- KL 方向:好教师下 forward(β=0)与 reverse(β=1)KL 都有效;坏教师下 forward KL 的 F-RL 明显更低(Llama2-7B 上 0.0392 对 0.7356),但仍不及好教师。作者把 forward KL 的相对优势归因于其梯度结构能利用少数 token 位置的稀疏监督(附录 B)。
- 去掉保留监督:LEAF-OPDβ=1,no-retain 在两个模型上 MU 下降;Qwen3-8B 上 FQ 升至 0.5786 但 MU 降到 0.0166,作者称这伴随效用近乎完全崩塌。
- 只对第一个 token 做 KL:两个 first-token-only 变体表现都差(Llama2-7B 上 F-RL 分别为 0.9168 和 0.4488),作者称这不能解决坏教师的弱监督问题。
其他消融与分析
- 运行时间(Table 6,Qwen3-8B):LEAF-OPD 20 分钟,长于 GA(5)、NPO(8)、FLAT(10)等微调基线;作者称相比 RLVR 类方法,阶段 2 每个提示词只需 1 次 rollout 而非 n 次,但未在表中给出 RULE 的耗时数字。
- 只做阶段 1 SFT(Table 7,Llama2-7B):好教师单独使用时 F-RL 为 0.9323,远高于完整 LEAF-OPD 的 0.0027;作者称效果主要来自完整框架而非阶段 1 SFT 本身。
- SS 指标(Figure 4):作者称轻量 SFT 在三个基准的 forget 训练数据上同时提升坏教师的 SS1 与 SS0.5;图中 (c) 给出了各基准上 SFT 前后的 SS 均值。
- TOFU Forget05/Forget10(附录 D,Table 9,Llama2-7B):LEAF-OPD 的 MU 为 0.6726/0.6773、R-RL 为 0.9480/0.9363,但 FQ 低于 NPO(Forget05 上 NPO 为 0.3281,LEAF-OPD 为 9.590×10⁻¹⁰)。
有什么可以进一步探索的点?
作者指出 MUSE 上 KnowMem 偏弱可能源于训练数据形式,并称 SS 指标或可用于更广的蒸馏框架。
作者指出的局限与后续方向
- MUSE 上 KnowMem 相对偏弱:作者写道 LEAF-OPD 在 QA 类 KnowMem 指标上相对 VerbMem 表现不够理想,认为这可能归因于 MUSE 上只用文本续写数据做遗忘(第 5.4 节)。
- SS 指标的适用范围:作者称 SS 在本文中用于评估 LEAF-OPD 的教师监督强度,但该指标可能适用于更广的、旨在遗忘或改变目标行为模式的 on-policy 蒸馏框架(第 1 节贡献部分)。
- 代码与数据发布:作者计划在论文被接收后公开代码和数据(Reproducibility Statement),目前尚未发布。
实验覆盖范围
- 被测模型为 Llama2-7B、Qwen3-8B、Llama3-8B-Instruct 共 3 个;基准为 TOFU(主实验 forget01,附录补 forget05/forget10)、RWKU、MUSE-News 共 3 个。
- RWKU 的 forget/retain 训练数据由 GPT-5.6-Luna 生成(该基准本身不提供训练集);轻量 SFT 数据为合成样本,TOFU 20 条、RWKU 240 条、MUSE 100 条(Table 8)。
- 评测指标以 ROUGE-L、KS 检验 p 值和记忆度指标为主,未使用 LLM 评审打分;training-free 基线在假设完美区分 forget/retain 查询的 oracle routing 设置下评测。
- 论文未报告各实验的重复次数、随机种子数量和结果的方差或置信区间。
- 运行时间对比(Table 6)只覆盖 Qwen3-8B 上的 9 个方法,未包含 RULE/ReRULE 等 RLVR 方法的耗时数字。
总结一下论文的主要内容
LEAF-OPD 把特权上下文教师的遗忘行为在线蒸馏进学生参数,在三个遗忘基准上取得有竞争力的遗忘-效用权衡。
一篇 LLM unlearning 训练方法论文,针对"只压制知识、不教模型如何应答"的问题。
- 问题:作者认为 GA 类方法损害效用,retain 正则只约束"不该答什么",RLVR 类方法采样开销大,training-free 方法是否真移除知识存疑。
- 方法:LEAF-OPD 分两阶段。阶段 1 用 Supervision Signal(SS1 与 SS0.5)衡量带特权上下文的教师在学生轨迹上的 token 级监督强度,不足时用轻量 SFT 强化;阶段 2 冻结教师,沿学生在线生成的轨迹做 token 级 KL 蒸馏,forget 数据用带上下文的教师、retain 数据用不带上下文的同一教师,学生始终看不到上下文。
- TOFU 结果:Llama2-7B 与 Qwen3-8B 上 FQ、MU、F-RL 均为被测遗忘方法中最好,两个模型 F-RL 都是 0.0027,Llama2-7B 上 MU 0.6892(Table 1)。
- RWKU 结果:Llama3-8B-Instruct 上平均 FQ 为 16.0,作者称比次优的 ReRULE 低 34%,平均 RQ 77.1 高于 RULE 和 ReRULE(Table 2)。
- MUSE-News 结果:满足全部三条判定标准,KnowMemr 32.5 为满足标准方法中最高(Table 3);作者指出其 KnowMem 相对 VerbMem 偏弱,可能源于只用文本续写数据。
- 消融要点:坏教师下 forward KL 优于 reverse KL 但仍不及好教师;去掉 retain 侧监督会大幅降低 MU;只对第一个 token 蒸馏效果差;只做阶段 1 SFT 时 F-RL 高达 0.9323,作者称效果来自完整框架。
- 作者结论:特权上下文监督加 on-policy token 级蒸馏是 LLM 遗忘的有效途径,能在多个被测设置下减少目标知识的复现并保持有竞争力的效用。