跳到正文
原文

LLM 应该遗忘什么:知识关联的强化学习遗忘

What Should LLMs Forget: Reinforcement Unlearning of Knowledge Associations

arXiv:越狱、提示注入、投毒与防御· arXiv:2610.41616· Wutong Xu, Yun Qu, Haiyan Feng, Qi Wang, Xiangyang JiDepartment of Automation, Tsinghua University本站收录· 18 天前· 原文发表对齐

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出以知识关联(KA)为遗忘目标的强化遗忘框架 KARU,称在 RWKU 上遗忘分数较 RULE 相对降低最高 30.5%。

问题
LLM 遗忘要在删除特定知识的同时保留通用能力,但作者认为现有方法对整个响应均匀优化、不明确要忘的知识,导致遗忘粗糙且可能残留在预测分布中。
方法
作者把遗忘目标重新定义为知识关联(KA),即查询上下文与目标知识间的条件预测分布,并提出 RL 框架 KARU:token 级奖励 KATR、分布级 Logits Flattening、邻近加权的 Adaptive Neighborhood Sampling。
实验与结果
在 RWKU(Llama3-8B)上,作者报告 KARU 聚合遗忘分数较 RULE 相对降低 21.8%(PPO)和 30.5%(GRPO),保留与通用能力相当;在 3B/7B 模型和 MUSE(ICLM-7B)上趋势一致。
局限与可以继续做的
作者指出框架依赖 NER 抽取知识 token、采用两阶段训练流程,端到端遗忘是未来方向。实验覆盖 RWKU 与 MUSE 两个基准、4 个模型、PPO/GRPO 两种算法;论文未报告训练重复次数。
实验设置Llama3-8B-Instruct、Llama3.2-3B-Instruct 等 · RWKU、MUSE 等 · Forget score (FB/QA/AA, ROUGE-L)、Retain score (邻域 FB/QA) 等
被测模型
Llama3-8B-InstructLlama3.2-3B-InstructQwen2.5-7B-InstructICLM-7B
基准
RWKUMUSEMMLUBBHAlpacaEval
指标
Forget score (FB/QA/AA, ROUGE-L)Retain score (邻域 FB/QA)GenReaFluNo Verb Mem.No Know Mem.Utility Preserv.
AI 导读研究者提出 KARU,一种以知识关联(KA)为遗忘目标的 LLM 强化学习遗忘框架。现有方法通常优化整条回复、不显式定位待遗忘知识,导致遗忘粗放不可控;KARU 结合 token 级奖励构建、分布级正则化与邻近感知保留采样,精细抑制目标知识并缓解附带损害。在多个 LLM 与代表性基准上,其遗忘效果持续优于现有基线,同时保持相当的保留性能与通用能力。

研究者提出 KARU,一种以知识关联(KA)为遗忘目标的 LLM 强化学习遗忘框架。现有方法通常优化整条回复、不显式定位待遗忘知识,导致遗忘粗放不可控;KARU 结合 token 级奖励构建、分布级正则化与邻近感知保留采样,精细抑制目标知识并缓解附带损害。在多个 LLM 与代表性基准上,其遗忘效果持续优于现有基线,同时保持相当的保留性能与通用能力。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者追问 LLM 遗忘究竟该忘什么,提出以知识关联而非整个响应为遗忘目标。

    核心问题:LLM 遗忘时究竟应该忘掉什么——作者认为应是查询与目标知识之间的知识关联,而非整个生成响应。

    • 问题场景:LLM 预训练会记住隐私、版权或敏感信息,遗忘(unlearning)旨在删除特定知识的影响同时保留整体能力,GDPR 的"被遗忘权"是动机之一(按作者说法)。
    • 现有方法不足:作者认为现有 RL 遗忘方法对所有生成内容一视同仁,优化信号分散在无关 token 上导致遗忘不精确;被遗忘知识可能仍编码在预测分布中,易被提取或重新激活;保留目标对样本均匀加权,忽视了样本间易受连带退化程度的差异。
    • 核心观察:遗忘后预测分布的变化集中在知识 token 上(Figure 1 左);作者据此提出知识关联(KA)——查询上下文与目标知识间的条件预测分布——才是根本的遗忘目标。
    • 论文方案:提出 KARU(Knowledge Association Reinforcement Unlearning),一个统一 RL 框架,从梯度、分布、保留三个角度近似优化 KA 目标:token 级奖励 KATR、分布级 Logits Flattening、邻近感知保留采样 ANS。
    • 适用范围:论文明确聚焦以实体为中心的事实性知识遗忘场景(Sec. 3.1)。
  2. 有哪些相关研究?

    相关工作分 LLM 遗忘各范式与 LLM 强化学习两组,RULE 是作者定位的 SOTA 基线。

    LLM 遗忘方法

    • 梯度类:Jang et al. (2022) 对遗忘样本反向优化原始训练目标;GA(Maini et al., 2024)对遗忘集损失做梯度上升。
    • 偏好优化类:NPO(Zhang et al., 2024)与 SimNPO(Fan et al., 2025)把遗忘表述为偏好学习。
    • 参数/分布类:包括任务算术(Ilharco et al., 2023)、知识编辑(Meng et al., 2022)和显式优化预测分布的方法(Entesari et al., 2025 等)。
    • 细粒度目标:TNPO(Wang et al., 2025)、TIF(Zhou et al., 2026)走向 token 级干预;CEU(Entesari et al., 2025)指出只压目标 token 概率而不考虑预测分布的局限;PALU(Zhai et al., 2026)结合敏感片段局部干预与熵平坦化。论文指出,把这类细粒度目标扩展到多样的模型生成输出、且不依赖预定义响应级或人工标注片段级监督,仍有挑战;KARU 围绕 KA 联合优化 token 级与分布级目标来应对。

    LLM 强化学习

    • 策略优化算法:PPO(Schulman et al., 2017)、GRPO(Shao et al., 2024)等广泛用于后训练。
    • 奖励粒度:ORM 只评最终响应,PRM 提供中间步骤监督(Lightman et al., 2023),但更细粒度通常需要额外奖励模型或标注。
    • RL 遗忘:RULE(Zhang et al., 2026)是响应级奖励的 RL 遗忘方法;论文指出现有 RL 遗忘方法主要依赖序列级奖励,对所有 token 赋予相同监督信号,无法识别承载知识的 token。

    基线与基准:对比基线为 GA、NPO、SimNPO、PALU、RT、RULE(GA/NPO/SimNPO 另有 +GDR/+KLR 变体);基准为 RWKU(Cao et al., 2024)与 MUSE(Shi et al., 2025)。作者将本文定位为:以 KA 为遗忘目标、把 token 级与分布级目标统一进 RL 框架,区别于 RULE 的响应级奖励。

  3. 论文如何解决这个问题?

    KARU 以 KA 为遗忘目标,用 KATR、LF、ANS 三个组件在 RL 中近似优化。

    整体思路:把遗忘目标形式化为知识关联(KA)——知识 token 位置上的条件预测分布 K_\theta(z_{t_0}) \triangleq \pi_\theta(\cdot \mid z_{t_0}),即模型在首个知识 token 位置上的预测分布——再在 RL 框架下近似优化"遗忘集上压低 KA、保留集上维持 KA"的目标。

    问题设定与形式化

    • 理想目标:最小化遗忘样本上 Kθ 与参考模型 Kref 的差异,同时约束保留样本上知识 token 概率不低于阈值(Eq. 3);参考模型不可得,故需近似。
    • 经验依据:遗忘后分布偏移集中在知识 token(Figure 1 左);知识 token 在响应中占比小——RWKU 上低于 10%、MUSE 上低于 17%(Table 4)。

    KATR:知识关联 token 奖励

    • 推导来源:把 Eq. 3 的差异度量取为 KL 散度,其梯度与 token 级策略梯度同构,对数系数可解释为理想 token 级奖励(Eq. 8)。
    • 奖励设计:遗忘样本上知识 token 给 −1、拒答 token 给 +1;保留样本反向(知识 token +1、拒答 token −1);其余为 0(Eq. 12)。作者称其为 Eq. 8 的符号级近似,避免估计不可得参考模型的幅度。
    • token 划分:知识 token 用 BERT-Large-NER 从遗忘集离线抽取并做后处理;拒答 token 来自预定义拒答模板(附录 B)。

    LF:Logits 平坦化

    • 动机:作者认为 KATR 不显式约束预测分布,概率质量可能在相关备选项间转移而仍集中。
    • 熵代理原则:虚构知识(模型未习得)在知识 token 位置的熵高于已记忆知识(Figure 1 右:3.96 对 1.44),故以熵作无参考的分布级代理;Table 5 中 Shannon 熵分离度 SNR 1.94,高于 top-1 概率的 1.51。
    • 实现:只对知识 token 位置最大化熵(Eq. 9);全词表熵太贵,用 Top-k 概率质量近似,误差界为 O(ε log |V|)(Lemma 4)。

    ANS:自适应邻域采样

    • 观察:连带退化有邻近效应——表示空间中离遗忘集越近的保留样本,ROUGE-L 下降越大(Figure 4)。
    • 加权方案:按 Mahalanobis 距离排序,最近的前 α 比例保留样本按线性递减权重加权采样,β 控制最大加权强度(Eq. 10);Mahalanobis 在遗忘/保留分离上 ROC-AUC 1.000,高于欧氏 0.696 与余弦 0.827(Figure 9)。
    • 稳定性:作者报告训练中邻近结构几乎不变——95% 保留样本相对距离变化小于 2.8%,排序 Spearman 相关 0.998,支持离线一次计算。

    整体流程

    • 两阶段:先用遗忘集做拒答 SFT 初始化(沿用 RULE 的 rejection-tuned 模型),再做 RL 训练(PPO 或 GRPO),总目标为 KATR 奖励项减去 λLF 加权的 LF 正则(Eq. 11,Algorithm 1)。
    • 超参数(Table 6):LR 2e-6;RWKU 上 λLF=1e-2,Top-k 为 50(PPO)/100(GRPO),αWS 15.0/10.0,βWS 1.0/3.0。
  4. 论文做了哪些实验?

    在 RWKU 与 MUSE 上跨 4 个模型、PPO/GRPO 两种算法评测,KARU 遗忘分数低于 RULE。

    实验设置

    • 被测模型:RWKU 主用 Llama3-8B-Instruct,跨模型验证用 Llama3.2-3B-Instruct 与 Qwen2.5-7B-Instruct;MUSE 用 ICLM-7B。
    • 基准与指标:RWKU 从遗忘(FB/QA/AA 探针,ROUGE-L,聚合遗忘分数越低越好)、保留(邻域 FB/QA,越高越好)、通用能力(MMLU 5-shot 的 Gen、BBH 的 Rea、AlpacaEval 的 Flu)三面评测;MUSE 评 No Verb Mem.、No Know Mem.、Utility Preserv.(ROUGE-L)。
    • 基线:GA、NPO、SimNPO(含 +GDR/+KLR 变体)、PALU、RT、RULE;KARU 与 RULE 均从 RULE 的 rejection-tuned 模型初始化,用 PPO/GRPO 优化。
    • 评审方式:指标均为 ROUGE-L 等自动指标;案例研究附 1–5 分人工评分(Table 8)。论文未报告训练重复次数与统计显著性检验(附录 A 的分布分析有配对 t 检验)。

    主结果

    RWKU、Llama3-8B-Instruct(据 Table 1,遗忘分数越低越好,保留越高越好):

    表格较宽,可左右滑动

    方法遗忘 All ↓保留 All ↑GenReaFlu
    Original76.987.663.340.5706.6
    GA68.479.863.538.8707.7
    NPO31.572.162.837.9693.1
    SimNPO44.777.062.738.5700.2
    PALU38.076.663.035.6703.6
    RT58.777.963.638.5680.7
    RULE (PPO)30.361.463.338.9641.5
    RULE (GRPO)32.571.963.341.0702.0
    KARU (PPO)23.767.763.541.0717.7
    KARU (GRPO)22.671.163.042.1707.7
    • 遗忘:作者报告 KARU 较 RULE 的聚合遗忘分数在 PPO 下降 6.6 分、GRPO 下降 9.9 分,对应相对降幅 21.8% 与 30.5%;摘要中"up to 30.5%"即 GRPO 设置。
    • 保留:KARU (GRPO) 保留分数较 RULE (GRPO) 低 1.1%,KARU (PPO) 较 RULE (PPO) 高;作者称遗忘与保留存在张力,目标是最佳权衡而非最大化保留。
    • 权衡:Pareto 前沿 AUC 上 KARU-GRPO 为 0.559,高于 RULE-GRPO 的 0.416、NPO 的 0.473、PALU 的 0.411(Figure 6 上)。

    跨模型泛化

    • Llama3.2-3B(Table 2):KARU 遗忘 All 为 30.1(PPO)/27.0(GRPO),RULE 为 32.5/33.8;作者称相对改善 7.4%(PPO)与 20.1%(GRPO)。
    • Qwen2.5-7B(Table 2):KARU 为 30.4/29.0,RULE 为 44.3/43.5;作者称相对降幅 31.4%/33.3%,保留变化温和。

    MUSE 结果

    • 设置:ICLM-7B,指标为 No Verb Mem.、No Know Mem.(越低越好)与 Utility Preserv.(越高越好)(Table 7)。
    • 结果:KARU (GRPO) 为 6.9 / 0.7 / 60.0,RULE (GRPO) 为 7.3 / 1.4 / 55.6;KARU (PPO) 为 7.8 / 0.0 / 30.3,RULE (PPO) 为 2.2 / 2.6 / 13.6。GA 与 SimNPO 三项均为 0.0。
    • 例外:MUSE 上 KARU (PPO) 的 No Verb Mem.(7.8)高于 RULE (PPO)(2.2),即遗忘更弱;作者强调 KARU 效用保留最高、遗忘有竞争力。

    机理与质量分析

    • 熵分析:Figure 7 报告各方法在知识 token 位置的熵,KARU 在各 RWKU 子集上高于 Original、RT、RULE(每子集 300 个 QA 样本);作者称 KARU 把预测推向高不确定状态。
    • 监督集中度:附录 B.1 用 800 余条 RWKU 验证查询分析,KATR 分配给知识 token 的监督份额高于均匀参考,RULE 下各位置监督相同(Figure 8)。
    • 案例研究:Table 8 中 KARU 在两条遗忘查询上人工评分 5/5,GA、RULE 泄露答案,NPO 实体混淆,SimNPO 重复退化。

    其他消融与分析

    • 组件消融(Table 3,RWKU/Llama3-8B):PPO 下 Baseline→+KATR→+LF→+ANS 的遗忘 All 为 30.3→27.7→24.0→23.7;GRPO 下为 32.5→25.6→22.1→22.6。
    • ANS 对保留:PPO 下加 ANS 保留 All 从 61.6 升至 67.7;GRPO 下从 65.3 升至 71.1(Table 3)。
    • Pareto AUC(GRPO):Baseline 0.416→KATR 0.504→KATR-LF 0.504→KARU 0.559(Figure 10)。
    • 超参敏感性(Figure 11):λLF、Top-k、αWS、βWS 在四个 RWKU 子集上扫描,作者称权衡在较大范围内稳定。
    • 开销:KARU 每步约 1.43 分钟,RULE 约 1.40 分钟(附录 F.4,H20 GPU)。
  5. 有什么可以进一步探索的点?

    作者指出知识 token 抽取与两阶段流程两点局限;实验覆盖两个基准、四个模型。

    作者指出的局限与后续方向

    • 知识定位依赖 NER:框架目前依靠命名实体识别抽取知识 token,作者认为可用更准确的知识定位改进(Conclusion 的 Limitations and Future Work)。
    • 两阶段流程:当前采用 SFT 初始化加 RL 训练的两阶段流程,作者认为开发端到端遗忘框架是有前景的未来方向(同上)。

    实验覆盖范围

    • 被测模型:Llama3-8B-Instruct、Llama3.2-3B-Instruct、Qwen2.5-7B-Instruct(RWKU)与 ICLM-7B(MUSE),共 4 个(Sec. 5、附录 F.1)。
    • 基准与算法:RWKU 与 MUSE 两个基准;RL 算法为 PPO 与 GRPO 两种,均从 RULE 的 rejection-tuned 模型初始化(Sec. 5)。
    • 遗忘场景:论文明确聚焦以实体为中心的事实性知识遗忘(Sec. 3.1)。
    • 评测方式:主指标为 ROUGE-L 类自动指标;人工评估仅见于 Table 8 的两条案例(1–5 分),论文未报告人工评分的一致性。
    • 论文未报告:训练重复次数、主结果的统计显著性检验(附录 A 的分布偏移分析报告了配对 t 检验 p<0.001)。
  6. 总结一下论文的主要内容

    KARU 把遗忘目标重定义为知识关联,在 RWKU/MUSE 上遗忘优于 RULE 且保留相当。

    这是一篇 LLM 遗忘方法论文,核心主张是:遗忘的根本目标不是整个生成响应,而是查询上下文与目标知识之间的知识关联(KA)。

    • 问题:作者认为现有 RL 遗忘方法用序列级奖励均匀对待所有 token,遗忘信号被稀释,且知识可能残留在预测分布中。
    • 方法:KARU 在 RL 框架下用三个组件近似优化 KA 目标——KATR 给知识/拒答 token 赋 ±1 的 token 级奖励;Logits Flattening 最大化知识 token 位置的 Top-k 熵;ANS 按 Mahalanobis 距离给邻近保留样本加权采样。流程为拒答 SFT 初始化加 PPO/GRPO 训练。
    • 主结果:RWKU、Llama3-8B 上,KARU 聚合遗忘分数 23.7(PPO)/22.6(GRPO),低于 RULE 的 30.3/32.5,作者称相对降幅 21.8%/30.5%(Table 1);保留与通用能力相当。
    • 泛化:Llama3.2-3B 与 Qwen2.5-7B 上趋势一致,Qwen2.5-7B 上相对降幅 31.4%/33.3%(Table 2);MUSE 上 KARU (GRPO) 的 Utility Preserv. 达 60.0,高于 RULE 的 55.6(Table 7)。
    • 例外:MUSE、PPO 下 KARU 的 No Verb Mem.(7.8)高于 RULE(2.2)。
    • 作者结论:KARU 在不同 RL 算法与模型上持续改进遗忘–保留权衡;局限是依赖 NER 抽取知识 token 和两阶段流程,作者计划未来探索端到端遗忘。

相关论文

共同使用 MUSE
共同使用 RWKU
阅读原文arxiv.org