跳到正文
原文

LEAF-OPD:通过 on-policy 蒸馏从特权上下文学习遗忘

LEAF-OPD: Learning to Forget from Privileged Contexts via On-Policy Distillation

arXiv:其他 AI 安全论文· arXiv:2611.20674· Zirui Pang, Zhijie Deng, Yuancheng Wang, Qihan Yu, Xin Li, Jiaheng Wei, Zixin ZhongThe Hong Kong University of Science and Technology (Guangzhou); The Chinese University of Hong Kong, Shenzhen本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 LEAF-OPD,用带特权上下文的冻结教师对学生轨迹做 token 级蒸馏实现 LLM 遗忘;在 RWKU 上 Forget Quality 比次优方法低 34%。

问题
LLM unlearning 要在删除目标知识的同时保住模型效用。作者认为现有方法多只教模型"不要答什么",没有显式教它"应该怎么答",RLVR 类方法又有额外采样开销。
方法
LEAF-OPD 分两阶段:先用 Supervision Signal(SS)评估带特权上下文的教师监督强度,不足时用轻量 SFT 强化;再把该冻结教师在学生自生成轨迹上的 token 级分布蒸馏给无上下文的学生,遗忘与保留数据分别用不同蒸馏目标。
实验与结果
在 TOFU、RWKU、MUSE-News 三个基准上评测。作者报告 TOFU 上 FQ、MU、F-RL 均为被测方法中最好,F-RL 为 0.0027;RWKU 上平均 FQ 比次优方法低 34%;MUSE-News 上满足全部三条判定标准且 KnowMemr 最高。
局限与可以继续做的
作者指出 MUSE 上 KnowMem 表现相对较弱,可能源于只用文本续写数据训练。实验覆盖 3 个模型、3 个基准;论文未报告训练重复次数与方差,代码和数据为计划发布。
实验设置Llama2-7B、Qwen3-8B 等 · TOFU、RWKU 等 · Forget Quality (FQ)、Model Utility (MU) 等
被测模型
Llama2-7BQwen3-8BLlama3-8B-Instruct
基准
TOFURWKUMUSE-News
指标
Forget Quality (FQ)Model Utility (MU)Forget ROUGE-L (F-RL)Retain ROUGE-L (R-RL)Retain Quality (RQ)VerbMemKnowMemSupervision Signal (SS)
AI 导读研究者提出 LLM 遗忘方法 LEAF-OPD,由冻结的教师模型对学生自生成的回答做 token 级监督:在遗忘数据上教师借助特权上下文(指示不泄露遗忘目标)引导遗忘,在保留数据上不用特权上下文以维持模型能力,学生两种情形下都不接触特权上下文,学会如何回应应被遗忘的知识。针对教师监督常只覆盖学生轨迹开头几个 token 的问题,论文提出 Supervision Signal(SS)指标衡量纠正监督强度,并用轻量 SFT 强化教师的上下文条件拒答行为。在 TOFU、RWKU、MUSE-News 三个基准上,LEAF-OPD 在 TOFU 取得最优 Forget Quality、Model Utility 与 Forget ROUGE-L,在 RWKU 上 Forget Quality 比第二名方法高 34%,同时保持有竞争力的保留性能。

研究者提出 LLM 遗忘方法 LEAF-OPD,由冻结的教师模型对学生自生成的回答做 token 级监督:在遗忘数据上教师借助特权上下文(指示不泄露遗忘目标)引导遗忘,在保留数据上不用特权上下文以维持模型能力,学生两种情形下都不接触特权上下文,学会如何回应应被遗忘的知识。针对教师监督常只覆盖学生轨迹开头几个 token 的问题,论文提出 Supervision Signal(SS)指标衡量纠正监督强度,并用轻量 SFT 强化教师的上下文条件拒答行为。在 TOFU、RWKU、MUSE-News 三个基准上,LEAF-OPD 在 TOFU 取得最优 Forget Quality、Model Utility 与 Forget ROUGE-L,在 RWKU 上 Forget Quality 比第二名方法高 34%,同时保持有竞争力的保留性能。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者认为现有 LLM 遗忘方法只压制目标知识而不教模型如何应答,提出用特权上下文蒸馏来显式教学。

    核心问题:如何在删除 LLM 目标知识的同时保住效用,并显式教模型遇到该知识时应该怎么回应,而不只是压制它。

    • 问题场景:LLM 训练语料中包含隐私信息、版权内容和潜在危险知识,作者称这催生了 LLM unlearning——选择性移除 forget 数据中的知识,同时尽量保留模型效用。
    • 现有方法的不足(按论文说法):GA 类方法持续把模型推离原分布,会损害效用;加 retain 数据的方法只约束"不该答什么",没有教"该答什么";RLVR 类方法(RULE、ReRULE)需要额外响应采样,计算开销大;training-free 方法(如 GUARD)不改参数,作者称这引出"知识是真被移除还是仅在推理时被压制"的疑问。
    • 核心观察:training-free 方法的有效性说明,只要上下文引导得当,LLM 就能生成安全回应;因此可以把"特权上下文下的遗忘行为"通过 On-Policy Self-Distillation(OPSD)内化进无上下文的模型参数。
    • 论文提出:LEAF-OPD 算法——冻结教师在特权上下文下对学生的在线轨迹做 token 级监督;并提出 Supervision Signal(SS)指标衡量教师监督强度,监督弱时用轻量 SFT 把"坏教师"变成"好教师"。
    • 方法定位:这不是攻击或防御论文,不涉及威胁模型;它针对的是模型拥有方主动移除知识的训练场景,教师和学生由同一方控制。
  2. 有哪些相关研究?

    相关工作分 LLM unlearning 与 on-policy/context 蒸馏两组,本文把 OPSD 范式扩展到遗忘任务。

    LLM Unlearning(参数更新类)

    • GA(Yao & Xu, 2024):直接最大化 forget 数据损失;论文指出它会持续推离原分布、损害效用。NPO(Zhang et al., 2024a)引入参考模型,SimNPO(Fan et al., 2026)去掉这一依赖。
    • FLAT(Wang et al., 2025)与 SGA(Pang et al., 2025):分别引入 f-divergence 损失调整和标签平滑。
    • RULE 与 ReRULE(Zhang et al., 2025; Pang et al., 2026):通过 RLVR 学习拒答行为;论文指出这类方法需要额外响应采样,计算开销大。

    LLM Unlearning(training-free 类)

    • GUARD(Deng et al., 2025):不改参数、在生成时压制目标知识;论文指出这引出知识是否真被移除的疑问。

    On-Policy 与 Context Distillation

    • Context distillation(Snell et al., 2022):把额外上下文诱导出的行为内化进模型。
    • MiniLLM(Gu et al., 2024)与 GKD(Agarwal et al., 2024 等):前者研究 reverse-KL 蒸馏,后者在学生生成的序列上训练以减少训练-推理失配。
    • OPSD、OPCD 等(Zhao et al., 2026; Ye et al., 2026; Penaloza et al., 2026):利用特权信息监督学生、内化上下文条件行为;本文直接扩展 OPSD 的范式。

    基线与基准:实验对比 GA、GD、KL、LLMU、SGA、PO、DPO-RT、NPO/NPO-RT、SimNPO、FLAT、RULE、ReRULE、Task Vectors、WHP、ICUL、Prompt-based Unlearning 等基线,使用 TOFU、RWKU、MUSE-News 三个基准。

    作者将本文定位为:把 OPSD 扩展到 LLM unlearning,与现有方法的区别在于通过 token 级监督把上下文条件的遗忘行为蒸馏进参数,且不需要任务特定的奖励函数。

  3. 论文如何解决这个问题?

    两阶段:先用 SS 指标评估并强化特权上下文教师,再把教师的 token 级分布在线蒸馏给无上下文的学生。

    整体思路:把"带特权上下文会拒答"的教师行为,通过 on-policy token 级蒸馏转移给"无上下文"的学生,遗忘数据和保留数据分别用两个蒸馏目标。LEAF-OPD 的流程见 Figure 2。

    问题形式化

    • 给定 forget 数据集 Df 和 retain 数据集 Dr,目标是把原模型 π0 改为 πθ,使其不再表现 Df 中的知识,同时尽量保住 Dr 上的效用。
    • 通用目标为最小化遗忘项与保留项的加权和:minθ Lforget(θ; Df) + λ Lretain(θ; Dr),不同方法对两项的实例化不同。

    阶段 1:找到好教师(Supervision Signal)

    • 用原学生 π0 生成的、包含目标知识的事实轨迹,比较同一教师在有、无特权上下文下对每个 token 的 log 概率之差 ∆t;∆t 为负表示上下文压制了该 token,即提供了纠正性监督。
    • 定义 Supervision Signal:SS(Δ, s, e) = −1/(e−s+1)∑t=se Δt,衡量区间 [s, e] 上监督的平均强度,越高表示对事实轨迹的反对越强。
    • 两个特化指标:SS1 覆盖整条轨迹,衡量整体强度;SS0.5 覆盖轨迹后半段,衡量监督的持续性。
    • 判定标准:当 forget 训练数据上 SS1 与 SS0.5 的均值都超过 1 时视为好教师;不足时对教师做轻量 SFT 强化其在特权上下文下的拒答行为。SFT 数据量:TOFU 20 条、RWKU 240 条合成样本,MUSE 从 2,666 条源记录中抽 100 条(Table 8)。

    阶段 2:从特权教师做 on-policy 自蒸馏

    • 教师 π⟨T⟩ 冻结,学生 π⟨S⟩ 更新;学生先在线生成轨迹,教师再沿该轨迹逐 token 提供监督。阶段 1 得到的教师同时作为学生的初始策略。
    • 遗忘目标:对 forget 样本,教师额外看到规定遗忘行为的特权上下文 cf,最小化教师分布与学生分布在每个 token 上的 KL 散度(Lf)。
    • 保留目标:对 retain 样本,同一冻结教师不带上下文作为保留教师,约束学生保持教师的 token 分布(Lr),以保住效用。
    • 与 OPSD 的区别:增加了阶段 1 的教师评估与强化,以及阶段 2 对 forget/retain 数据的分离蒸馏目标。

    实现细节(附录 C.2)

    • 学生用 LoRA 适配器(rank 64、scaling 128)训练,教师冻结;优化器 AdamW、BF16 精度。
    • TOFU:阶段 1 SFT 3 epoch、lr 1×10⁻⁴;阶段 2 蒸馏 1 epoch,forget 数据过采样 45 倍。RWKU:阶段 2 训 2 epoch、lr 5×10⁻⁵。MUSE-News:阶段 1 训教师 LoRA(rank 16)并合并,一半 forget 样本前置最多 20 个真实续写 token;阶段 2 训 3 epoch,并构造 2,727 条续写-前缀对。
    • KL 方向:主实验用 reverse KL(β=1),附录 B 从梯度结构讨论 forward 与 reverse KL 的差异。
  4. 论文做了哪些实验?

    在 TOFU、RWKU、MUSE-News 上对比十余种基线,并做 KL 方向、教师质量、保留监督等消融。

    实验设置

    • 被测模型:TOFU 用 Llama2-7B 和 Qwen3-8B;RWKU 用 Llama3-8B-Instruct;MUSE-News 用 MUSE 提供的原始 checkpoint(Llama-2-7B)。
    • 基准与规模:TOFU 含 200 个虚构作者、每人 20 条问答,主实验用 forget01 划分(1% 作者为 forget 集);RWKU 含 200 个名人和 13,131 条多层级探针;MUSE-News 为新闻文章遗忘。
    • RWKU 训练数据:RWKU 是 zero-shot 基准、不提供训练集,作者用 GPT-5.6-Luna 为每个目标实体生成 forget 和 retain 训练数据。
    • 指标:TOFU 报告 FQ(KS 检验 p 值,越高越好)、MU(越高越好)、F-RL(越低越好)、R-RL(越高越好);RWKU 的 FQ 用 FB/QA/AA 三类探针的 ROUGE-L recall(越低越好),RQ 用邻近实体的 FB/QA 探针(越高越好);MUSE 报告 VerbMemf、KnowMemf(越低越好)与 KnowMemr(越高越好)。
    • 基线:GA、GD、KL、LLMU、SGA、PO、DPO-RT、NPO/NPO-RT、SimNPO、FLAT、RULE、ReRULE、Task Vectors、WHP、ICUL、Prompt-based Unlearning;RWKU 另加 GDR/KLR 正则变体。
    • 其他:training-free 基线(ICUL、Prompt-based)在 oracle routing 下评测,即假设能完美区分 forget 与 retain 查询;论文未报告训练重复次数。

    主结果

    TOFU(forget01,据 Table 1):

    表格较宽,可左右滑动

    方法Llama2-7B FQ↑MU↑F-RL↓R-RL↑Qwen3-8B FQ↑MU↑F-RL↓R-RL↑
    Original LLM4.4883e-060.62390.98510.98180.00680.63460.93260.9135
    Retained LLM1.00000.62670.40800.98331.00000.64700.38560.8965
    GA0.00680.59900.48170.92040.05410.43670.52790.5407
    NPO-RT0.00300.59940.50490.92700.05410.43990.54580.5442
    FLAT (Pearson)0.00300.63040.48250.92840.05410.46930.48600.5447
    ICUL0.00050.62390.47720.98180.05410.63460.46190.9135
    LEAF-OPD0.01430.68920.00270.93820.09710.64220.00270.6756

    RWKU(Llama3-8B-Instruct,据 Table 2,FQ 越低越好、RQ 越高越好):

    表格较宽,可左右滑动

    方法FQ FBFQ QAFQ AAFQ AllRQ FBRQ QARQ All
    Original85.670.374.776.993.182.087.6
    GA72.064.668.568.485.074.779.8
    NPO46.639.035.340.379.270.975.1
    SimNPO42.136.142.240.182.870.376.5
    RULE(GRPO)28.016.838.327.776.271.373.7
    ReRULE(GRPO)26.513.133.224.279.568.874.1
    LEAF-OPD13.15.929.216.079.375.077.1
    • 作者称 LEAF-OPD 在 TOFU 两个模型上 FQ、MU、F-RL 均为被测遗忘方法中最好,F-RL 仅 0.0027;R-RL 超过所有参数更新基线,但低于 training-free 方法——作者指出后者受益于能完美区分 forget/retain 查询的分类器,而 LEAF-OPD 不需要。
    • 作者称 RWKU 上 LEAF-OPD 平均 FQ 比次优的 ReRULE 低 34%,平均 RQ 高于 RULE 和 ReRULE、排在所有被测方法的前 50%。

    MUSE-News 结果

    • 测了什么:Llama2-7B 上的新闻遗忘,判定标准为 VerbMemf 与 KnowMemf 均不超过 Retained LLM、KnowMemr 非零(Table 3)。
    • 结果:LEAF-OPD 满足全部三条标准(VerbMemf 5.2、KnowMemf 25.6、KnowMemr 32.5);在满足标准的方法中 KnowMemr 最高,比次优的 FLAT(31.8)高 0.7。GA 与 NPO 的 KnowMemr 为 0.0,不满足标准。
    • 作者解读:LEAF-OPD 在 QA 类的 KnowMem 指标上相对续写类的 VerbMem 表现较弱,作者认为这可能归因于 MUSE 上只使用文本续写数据做遗忘。

    消融(TOFU,Table 4)

    • KL 方向:好教师下 forward(β=0)与 reverse(β=1)KL 都有效;坏教师下 forward KL 的 F-RL 明显更低(Llama2-7B 上 0.0392 对 0.7356),但仍不及好教师。作者把 forward KL 的相对优势归因于其梯度结构能利用少数 token 位置的稀疏监督(附录 B)。
    • 去掉保留监督:LEAF-OPDβ=1,no-retain 在两个模型上 MU 下降;Qwen3-8B 上 FQ 升至 0.5786 但 MU 降到 0.0166,作者称这伴随效用近乎完全崩塌。
    • 只对第一个 token 做 KL:两个 first-token-only 变体表现都差(Llama2-7B 上 F-RL 分别为 0.9168 和 0.4488),作者称这不能解决坏教师的弱监督问题。

    其他消融与分析

    • 运行时间(Table 6,Qwen3-8B):LEAF-OPD 20 分钟,长于 GA(5)、NPO(8)、FLAT(10)等微调基线;作者称相比 RLVR 类方法,阶段 2 每个提示词只需 1 次 rollout 而非 n 次,但未在表中给出 RULE 的耗时数字。
    • 只做阶段 1 SFT(Table 7,Llama2-7B):好教师单独使用时 F-RL 为 0.9323,远高于完整 LEAF-OPD 的 0.0027;作者称效果主要来自完整框架而非阶段 1 SFT 本身。
    • SS 指标(Figure 4):作者称轻量 SFT 在三个基准的 forget 训练数据上同时提升坏教师的 SS1 与 SS0.5;图中 (c) 给出了各基准上 SFT 前后的 SS 均值。
    • TOFU Forget05/Forget10(附录 D,Table 9,Llama2-7B):LEAF-OPD 的 MU 为 0.6726/0.6773、R-RL 为 0.9480/0.9363,但 FQ 低于 NPO(Forget05 上 NPO 为 0.3281,LEAF-OPD 为 9.590×10⁻¹⁰)。
  5. 有什么可以进一步探索的点?

    作者指出 MUSE 上 KnowMem 偏弱可能源于训练数据形式,并称 SS 指标或可用于更广的蒸馏框架。

    作者指出的局限与后续方向

    • MUSE 上 KnowMem 相对偏弱:作者写道 LEAF-OPD 在 QA 类 KnowMem 指标上相对 VerbMem 表现不够理想,认为这可能归因于 MUSE 上只用文本续写数据做遗忘(第 5.4 节)。
    • SS 指标的适用范围:作者称 SS 在本文中用于评估 LEAF-OPD 的教师监督强度,但该指标可能适用于更广的、旨在遗忘或改变目标行为模式的 on-policy 蒸馏框架(第 1 节贡献部分)。
    • 代码与数据发布:作者计划在论文被接收后公开代码和数据(Reproducibility Statement),目前尚未发布。

    实验覆盖范围

    • 被测模型为 Llama2-7B、Qwen3-8B、Llama3-8B-Instruct 共 3 个;基准为 TOFU(主实验 forget01,附录补 forget05/forget10)、RWKU、MUSE-News 共 3 个。
    • RWKU 的 forget/retain 训练数据由 GPT-5.6-Luna 生成(该基准本身不提供训练集);轻量 SFT 数据为合成样本,TOFU 20 条、RWKU 240 条、MUSE 100 条(Table 8)。
    • 评测指标以 ROUGE-L、KS 检验 p 值和记忆度指标为主,未使用 LLM 评审打分;training-free 基线在假设完美区分 forget/retain 查询的 oracle routing 设置下评测。
    • 论文未报告各实验的重复次数、随机种子数量和结果的方差或置信区间。
    • 运行时间对比(Table 6)只覆盖 Qwen3-8B 上的 9 个方法,未包含 RULE/ReRULE 等 RLVR 方法的耗时数字。
  6. 总结一下论文的主要内容

    LEAF-OPD 把特权上下文教师的遗忘行为在线蒸馏进学生参数,在三个遗忘基准上取得有竞争力的遗忘-效用权衡。

    一篇 LLM unlearning 训练方法论文,针对"只压制知识、不教模型如何应答"的问题。

    • 问题:作者认为 GA 类方法损害效用,retain 正则只约束"不该答什么",RLVR 类方法采样开销大,training-free 方法是否真移除知识存疑。
    • 方法:LEAF-OPD 分两阶段。阶段 1 用 Supervision Signal(SS1 与 SS0.5)衡量带特权上下文的教师在学生轨迹上的 token 级监督强度,不足时用轻量 SFT 强化;阶段 2 冻结教师,沿学生在线生成的轨迹做 token 级 KL 蒸馏,forget 数据用带上下文的教师、retain 数据用不带上下文的同一教师,学生始终看不到上下文。
    • TOFU 结果:Llama2-7B 与 Qwen3-8B 上 FQ、MU、F-RL 均为被测遗忘方法中最好,两个模型 F-RL 都是 0.0027,Llama2-7B 上 MU 0.6892(Table 1)。
    • RWKU 结果:Llama3-8B-Instruct 上平均 FQ 为 16.0,作者称比次优的 ReRULE 低 34%,平均 RQ 77.1 高于 RULE 和 ReRULE(Table 2)。
    • MUSE-News 结果:满足全部三条判定标准,KnowMemr 32.5 为满足标准方法中最高(Table 3);作者指出其 KnowMem 相对 VerbMem 偏弱,可能源于只用文本续写数据。
    • 消融要点:坏教师下 forward KL 优于 reverse KL 但仍不及好教师;去掉 retain 侧监督会大幅降低 MU;只对第一个 token 蒸馏效果差;只做阶段 1 SFT 时 F-RL 高达 0.9323,作者称效果来自完整框架。
    • 作者结论:特权上下文监督加 on-policy token 级蒸馏是 LLM 遗忘的有效途径,能在多个被测设置下减少目标知识的复现并保持有竞争力的效用。

相关论文

共同使用 MUSE-News
共同使用 RWKU
再看 3 篇
共同使用 MUSE-News
共同使用 TOFU
阅读原文arxiv.org