LLM 应该遗忘什么:知识关联的强化学习遗忘
What Should LLMs Forget: Reinforcement Unlearning of Knowledge Associations
作者提出以知识关联(KA)为遗忘目标的强化遗忘框架 KARU,称在 RWKU 上遗忘分数较 RULE 相对降低最高 30.5%。
- LLM 遗忘要在删除特定知识的同时保留通用能力,但作者认为现有方法对整个响应均匀优化、不明确要忘的知识,导致遗忘粗糙且可能残留在预测分布中。
- 作者把遗忘目标重新定义为知识关联(KA),即查询上下文与目标知识间的条件预测分布,并提出 RL 框架 KARU:token 级奖励 KATR、分布级 Logits Flattening、邻近加权的 Adaptive Neighborhood Sampling。
- 在 RWKU(Llama3-8B)上,作者报告 KARU 聚合遗忘分数较 RULE 相对降低 21.8%(PPO)和 30.5%(GRPO),保留与通用能力相当;在 3B/7B 模型和 MUSE(ICLM-7B)上趋势一致。
- 作者指出框架依赖 NER 抽取知识 token、采用两阶段训练流程,端到端遗忘是未来方向。实验覆盖 RWKU 与 MUSE 两个基准、4 个模型、PPO/GRPO 两种算法;论文未报告训练重复次数。
- 被测模型
- Llama3-8B-InstructLlama3.2-3B-InstructQwen2.5-7B-InstructICLM-7B
- 基准
- RWKUMUSEMMLUBBHAlpacaEval
- 指标
- Forget score (FB/QA/AA, ROUGE-L)Retain score (邻域 FB/QA)GenReaFluNo Verb Mem.No Know Mem.Utility Preserv.
研究者提出 KARU,一种以知识关联(KA)为遗忘目标的 LLM 强化学习遗忘框架。现有方法通常优化整条回复、不显式定位待遗忘知识,导致遗忘粗放不可控;KARU 结合 token 级奖励构建、分布级正则化与邻近感知保留采样,精细抑制目标知识并缓解附带损害。在多个 LLM 与代表性基准上,其遗忘效果持续优于现有基线,同时保持相当的保留性能与通用能力。
深度解读
这篇论文试图解决什么问题?
作者追问 LLM 遗忘究竟该忘什么,提出以知识关联而非整个响应为遗忘目标。
核心问题:LLM 遗忘时究竟应该忘掉什么——作者认为应是查询与目标知识之间的知识关联,而非整个生成响应。
- 问题场景:LLM 预训练会记住隐私、版权或敏感信息,遗忘(unlearning)旨在删除特定知识的影响同时保留整体能力,GDPR 的"被遗忘权"是动机之一(按作者说法)。
- 现有方法不足:作者认为现有 RL 遗忘方法对所有生成内容一视同仁,优化信号分散在无关 token 上导致遗忘不精确;被遗忘知识可能仍编码在预测分布中,易被提取或重新激活;保留目标对样本均匀加权,忽视了样本间易受连带退化程度的差异。
- 核心观察:遗忘后预测分布的变化集中在知识 token 上(Figure 1 左);作者据此提出知识关联(KA)——查询上下文与目标知识间的条件预测分布——才是根本的遗忘目标。
- 论文方案:提出 KARU(Knowledge Association Reinforcement Unlearning),一个统一 RL 框架,从梯度、分布、保留三个角度近似优化 KA 目标:token 级奖励 KATR、分布级 Logits Flattening、邻近感知保留采样 ANS。
- 适用范围:论文明确聚焦以实体为中心的事实性知识遗忘场景(Sec. 3.1)。
有哪些相关研究?
相关工作分 LLM 遗忘各范式与 LLM 强化学习两组,RULE 是作者定位的 SOTA 基线。
LLM 遗忘方法
- 梯度类:Jang et al. (2022) 对遗忘样本反向优化原始训练目标;GA(Maini et al., 2024)对遗忘集损失做梯度上升。
- 偏好优化类:NPO(Zhang et al., 2024)与 SimNPO(Fan et al., 2025)把遗忘表述为偏好学习。
- 参数/分布类:包括任务算术(Ilharco et al., 2023)、知识编辑(Meng et al., 2022)和显式优化预测分布的方法(Entesari et al., 2025 等)。
- 细粒度目标:TNPO(Wang et al., 2025)、TIF(Zhou et al., 2026)走向 token 级干预;CEU(Entesari et al., 2025)指出只压目标 token 概率而不考虑预测分布的局限;PALU(Zhai et al., 2026)结合敏感片段局部干预与熵平坦化。论文指出,把这类细粒度目标扩展到多样的模型生成输出、且不依赖预定义响应级或人工标注片段级监督,仍有挑战;KARU 围绕 KA 联合优化 token 级与分布级目标来应对。
LLM 强化学习
- 策略优化算法:PPO(Schulman et al., 2017)、GRPO(Shao et al., 2024)等广泛用于后训练。
- 奖励粒度:ORM 只评最终响应,PRM 提供中间步骤监督(Lightman et al., 2023),但更细粒度通常需要额外奖励模型或标注。
- RL 遗忘:RULE(Zhang et al., 2026)是响应级奖励的 RL 遗忘方法;论文指出现有 RL 遗忘方法主要依赖序列级奖励,对所有 token 赋予相同监督信号,无法识别承载知识的 token。
基线与基准:对比基线为 GA、NPO、SimNPO、PALU、RT、RULE(GA/NPO/SimNPO 另有 +GDR/+KLR 变体);基准为 RWKU(Cao et al., 2024)与 MUSE(Shi et al., 2025)。作者将本文定位为:以 KA 为遗忘目标、把 token 级与分布级目标统一进 RL 框架,区别于 RULE 的响应级奖励。
论文如何解决这个问题?
KARU 以 KA 为遗忘目标,用 KATR、LF、ANS 三个组件在 RL 中近似优化。
整体思路:把遗忘目标形式化为知识关联(KA)——知识 token 位置上的条件预测分布
K_\theta(z_{t_0}) \triangleq \pi_\theta(\cdot \mid z_{t_0}),即模型在首个知识 token 位置上的预测分布——再在 RL 框架下近似优化"遗忘集上压低 KA、保留集上维持 KA"的目标。问题设定与形式化
- 理想目标:最小化遗忘样本上 Kθ 与参考模型 Kref 的差异,同时约束保留样本上知识 token 概率不低于阈值(Eq. 3);参考模型不可得,故需近似。
- 经验依据:遗忘后分布偏移集中在知识 token(Figure 1 左);知识 token 在响应中占比小——RWKU 上低于 10%、MUSE 上低于 17%(Table 4)。
KATR:知识关联 token 奖励
- 推导来源:把 Eq. 3 的差异度量取为 KL 散度,其梯度与 token 级策略梯度同构,对数系数可解释为理想 token 级奖励(Eq. 8)。
- 奖励设计:遗忘样本上知识 token 给 −1、拒答 token 给 +1;保留样本反向(知识 token +1、拒答 token −1);其余为 0(Eq. 12)。作者称其为 Eq. 8 的符号级近似,避免估计不可得参考模型的幅度。
- token 划分:知识 token 用 BERT-Large-NER 从遗忘集离线抽取并做后处理;拒答 token 来自预定义拒答模板(附录 B)。
LF:Logits 平坦化
- 动机:作者认为 KATR 不显式约束预测分布,概率质量可能在相关备选项间转移而仍集中。
- 熵代理原则:虚构知识(模型未习得)在知识 token 位置的熵高于已记忆知识(Figure 1 右:3.96 对 1.44),故以熵作无参考的分布级代理;Table 5 中 Shannon 熵分离度 SNR 1.94,高于 top-1 概率的 1.51。
- 实现:只对知识 token 位置最大化熵(Eq. 9);全词表熵太贵,用 Top-k 概率质量近似,误差界为 O(ε log |V|)(Lemma 4)。
ANS:自适应邻域采样
- 观察:连带退化有邻近效应——表示空间中离遗忘集越近的保留样本,ROUGE-L 下降越大(Figure 4)。
- 加权方案:按 Mahalanobis 距离排序,最近的前 α 比例保留样本按线性递减权重加权采样,β 控制最大加权强度(Eq. 10);Mahalanobis 在遗忘/保留分离上 ROC-AUC 1.000,高于欧氏 0.696 与余弦 0.827(Figure 9)。
- 稳定性:作者报告训练中邻近结构几乎不变——95% 保留样本相对距离变化小于 2.8%,排序 Spearman 相关 0.998,支持离线一次计算。
整体流程
- 两阶段:先用遗忘集做拒答 SFT 初始化(沿用 RULE 的 rejection-tuned 模型),再做 RL 训练(PPO 或 GRPO),总目标为 KATR 奖励项减去 λLF 加权的 LF 正则(Eq. 11,Algorithm 1)。
- 超参数(Table 6):LR 2e-6;RWKU 上 λLF=1e-2,Top-k 为 50(PPO)/100(GRPO),αWS 15.0/10.0,βWS 1.0/3.0。
论文做了哪些实验?
在 RWKU 与 MUSE 上跨 4 个模型、PPO/GRPO 两种算法评测,KARU 遗忘分数低于 RULE。
实验设置
- 被测模型:RWKU 主用 Llama3-8B-Instruct,跨模型验证用 Llama3.2-3B-Instruct 与 Qwen2.5-7B-Instruct;MUSE 用 ICLM-7B。
- 基准与指标:RWKU 从遗忘(FB/QA/AA 探针,ROUGE-L,聚合遗忘分数越低越好)、保留(邻域 FB/QA,越高越好)、通用能力(MMLU 5-shot 的 Gen、BBH 的 Rea、AlpacaEval 的 Flu)三面评测;MUSE 评 No Verb Mem.、No Know Mem.、Utility Preserv.(ROUGE-L)。
- 基线:GA、NPO、SimNPO(含 +GDR/+KLR 变体)、PALU、RT、RULE;KARU 与 RULE 均从 RULE 的 rejection-tuned 模型初始化,用 PPO/GRPO 优化。
- 评审方式:指标均为 ROUGE-L 等自动指标;案例研究附 1–5 分人工评分(Table 8)。论文未报告训练重复次数与统计显著性检验(附录 A 的分布分析有配对 t 检验)。
主结果
RWKU、Llama3-8B-Instruct(据 Table 1,遗忘分数越低越好,保留越高越好):
表格较宽,可左右滑动
方法 遗忘 All ↓ 保留 All ↑ Gen Rea Flu Original 76.9 87.6 63.3 40.5 706.6 GA 68.4 79.8 63.5 38.8 707.7 NPO 31.5 72.1 62.8 37.9 693.1 SimNPO 44.7 77.0 62.7 38.5 700.2 PALU 38.0 76.6 63.0 35.6 703.6 RT 58.7 77.9 63.6 38.5 680.7 RULE (PPO) 30.3 61.4 63.3 38.9 641.5 RULE (GRPO) 32.5 71.9 63.3 41.0 702.0 KARU (PPO) 23.7 67.7 63.5 41.0 717.7 KARU (GRPO) 22.6 71.1 63.0 42.1 707.7 - 遗忘:作者报告 KARU 较 RULE 的聚合遗忘分数在 PPO 下降 6.6 分、GRPO 下降 9.9 分,对应相对降幅 21.8% 与 30.5%;摘要中"up to 30.5%"即 GRPO 设置。
- 保留:KARU (GRPO) 保留分数较 RULE (GRPO) 低 1.1%,KARU (PPO) 较 RULE (PPO) 高;作者称遗忘与保留存在张力,目标是最佳权衡而非最大化保留。
- 权衡:Pareto 前沿 AUC 上 KARU-GRPO 为 0.559,高于 RULE-GRPO 的 0.416、NPO 的 0.473、PALU 的 0.411(Figure 6 上)。
跨模型泛化
- Llama3.2-3B(Table 2):KARU 遗忘 All 为 30.1(PPO)/27.0(GRPO),RULE 为 32.5/33.8;作者称相对改善 7.4%(PPO)与 20.1%(GRPO)。
- Qwen2.5-7B(Table 2):KARU 为 30.4/29.0,RULE 为 44.3/43.5;作者称相对降幅 31.4%/33.3%,保留变化温和。
MUSE 结果
- 设置:ICLM-7B,指标为 No Verb Mem.、No Know Mem.(越低越好)与 Utility Preserv.(越高越好)(Table 7)。
- 结果:KARU (GRPO) 为 6.9 / 0.7 / 60.0,RULE (GRPO) 为 7.3 / 1.4 / 55.6;KARU (PPO) 为 7.8 / 0.0 / 30.3,RULE (PPO) 为 2.2 / 2.6 / 13.6。GA 与 SimNPO 三项均为 0.0。
- 例外:MUSE 上 KARU (PPO) 的 No Verb Mem.(7.8)高于 RULE (PPO)(2.2),即遗忘更弱;作者强调 KARU 效用保留最高、遗忘有竞争力。
机理与质量分析
- 熵分析:Figure 7 报告各方法在知识 token 位置的熵,KARU 在各 RWKU 子集上高于 Original、RT、RULE(每子集 300 个 QA 样本);作者称 KARU 把预测推向高不确定状态。
- 监督集中度:附录 B.1 用 800 余条 RWKU 验证查询分析,KATR 分配给知识 token 的监督份额高于均匀参考,RULE 下各位置监督相同(Figure 8)。
- 案例研究:Table 8 中 KARU 在两条遗忘查询上人工评分 5/5,GA、RULE 泄露答案,NPO 实体混淆,SimNPO 重复退化。
其他消融与分析
- 组件消融(Table 3,RWKU/Llama3-8B):PPO 下 Baseline→+KATR→+LF→+ANS 的遗忘 All 为 30.3→27.7→24.0→23.7;GRPO 下为 32.5→25.6→22.1→22.6。
- ANS 对保留:PPO 下加 ANS 保留 All 从 61.6 升至 67.7;GRPO 下从 65.3 升至 71.1(Table 3)。
- Pareto AUC(GRPO):Baseline 0.416→KATR 0.504→KATR-LF 0.504→KARU 0.559(Figure 10)。
- 超参敏感性(Figure 11):λLF、Top-k、αWS、βWS 在四个 RWKU 子集上扫描,作者称权衡在较大范围内稳定。
- 开销:KARU 每步约 1.43 分钟,RULE 约 1.40 分钟(附录 F.4,H20 GPU)。
有什么可以进一步探索的点?
作者指出知识 token 抽取与两阶段流程两点局限;实验覆盖两个基准、四个模型。
作者指出的局限与后续方向
- 知识定位依赖 NER:框架目前依靠命名实体识别抽取知识 token,作者认为可用更准确的知识定位改进(Conclusion 的 Limitations and Future Work)。
- 两阶段流程:当前采用 SFT 初始化加 RL 训练的两阶段流程,作者认为开发端到端遗忘框架是有前景的未来方向(同上)。
实验覆盖范围
- 被测模型:Llama3-8B-Instruct、Llama3.2-3B-Instruct、Qwen2.5-7B-Instruct(RWKU)与 ICLM-7B(MUSE),共 4 个(Sec. 5、附录 F.1)。
- 基准与算法:RWKU 与 MUSE 两个基准;RL 算法为 PPO 与 GRPO 两种,均从 RULE 的 rejection-tuned 模型初始化(Sec. 5)。
- 遗忘场景:论文明确聚焦以实体为中心的事实性知识遗忘(Sec. 3.1)。
- 评测方式:主指标为 ROUGE-L 类自动指标;人工评估仅见于 Table 8 的两条案例(1–5 分),论文未报告人工评分的一致性。
- 论文未报告:训练重复次数、主结果的统计显著性检验(附录 A 的分布偏移分析报告了配对 t 检验 p<0.001)。
总结一下论文的主要内容
KARU 把遗忘目标重定义为知识关联,在 RWKU/MUSE 上遗忘优于 RULE 且保留相当。
这是一篇 LLM 遗忘方法论文,核心主张是:遗忘的根本目标不是整个生成响应,而是查询上下文与目标知识之间的知识关联(KA)。
- 问题:作者认为现有 RL 遗忘方法用序列级奖励均匀对待所有 token,遗忘信号被稀释,且知识可能残留在预测分布中。
- 方法:KARU 在 RL 框架下用三个组件近似优化 KA 目标——KATR 给知识/拒答 token 赋 ±1 的 token 级奖励;Logits Flattening 最大化知识 token 位置的 Top-k 熵;ANS 按 Mahalanobis 距离给邻近保留样本加权采样。流程为拒答 SFT 初始化加 PPO/GRPO 训练。
- 主结果:RWKU、Llama3-8B 上,KARU 聚合遗忘分数 23.7(PPO)/22.6(GRPO),低于 RULE 的 30.3/32.5,作者称相对降幅 21.8%/30.5%(Table 1);保留与通用能力相当。
- 泛化:Llama3.2-3B 与 Qwen2.5-7B 上趋势一致,Qwen2.5-7B 上相对降幅 31.4%/33.3%(Table 2);MUSE 上 KARU (GRPO) 的 Utility Preserv. 达 60.0,高于 RULE 的 55.6(Table 7)。
- 例外:MUSE、PPO 下 KARU 的 No Verb Mem.(7.8)高于 RULE(2.2)。
- 作者结论:KARU 在不同 RL 算法与模型上持续改进遗忘–保留权衡;局限是依赖 NER 抽取知识 token 和两阶段流程,作者计划未来探索端到端遗忘。