跳到正文
原文

忘掉接下来的内容:基于统计独立性的 LLM 遗忘

Forget What Comes Next: LLM Unlearning via Statistical Independence

arXiv:越狱、提示注入、投毒与防御· arXiv:2611.03955· Andrii Shkabrii, Claudia Plant, Martin PawelczykFaculty of Computer Science, University of Vienna; Doctoral School Computer Science, University of Vienna; Research Network Data Science, University of Vienna本站收录· 16 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出基于 HSIC 的 LLM 遗忘方法 PINT,称其在八个设置上取得最强遗忘-效用权衡,并使 Gaussian poisons 不可检测。

问题
LLM 会记忆并复现训练数据,带来隐私与法律风险;作者称现有近似遗忘方法可能无法移除投毒样本,遗忘后仍可被统计检测。
方法
PINT 在遗忘集上最小化前缀表示与下一 token 之间的 HSIC,在保留集上约束表示贴近原模型;作者还证明了 Exact Memorization 的 HSIC 上界。
实验与结果
作者在八个设置(最大 7B)上比较遗忘-效用权衡,PINT 平均面积 0.95,基线最高 0.90;Gaussian poisons 上 PINT 使其不可检测并保留 91% 效用;70B 模型上 WMDP-Cyber 准确率从 53.0% 降至 27.6%。
局限与可以继续做的
作者称评测受限于现有基准,指标是遗忘的不完美代理;仅研究纯文本模型,对部署前对齐(如安全行为)的影响未知。实验覆盖七个基准、六个模型,最大验证到 70B。
实验设置Llama-3.2-1B-Instruct、Llama-2-7B 等 · TOFU、MUSE-News 等 · forgetting-utility frontier 下面积、Exact Memorization 等
被测模型
Llama-3.2-1B-InstructLlama-2-7BICLM-7BZephyr-7BOLMo-2 2.7BLlama-3-70B
基准
TOFUMUSE-NewsMUSE-BooksWMDP-BioWMDP-CyberbioSGaussian poisons
指标
forgetting-utility frontier 下面积Exact MemorizationROUGEKnowMemVerbMemWMDP accuracyMMLU accuracypoison detectabilityperplexity ratiolinear probe next-token accuracy
AI 导读研究者提出 PINT,一种基于统计独立性的 LLM 机器遗忘算法,利用 HSIC(Hilbert-Schmidt Independence Criterion)降低待遗忘 token 与用于预测它们的内部表示之间的统计依赖。论文的出发点是,中毒训练样本在遗忘后仍可能被统计检测出,由此引出现有遗忘目标是否真正移除了模型所记内容的疑问;作者通过可计算上界把 HSIC 目标与 Exact Memorization 形式化关联,将训练目标与模型复现被遗忘 token 的能力直接联系起来。实验在八个设置上比较遗忘与效用的权衡,模型最大 7B 参数,并展示可扩展到 70B 参数模型,评估覆盖高斯投毒、个人信息、生物与网络安全危险知识以及受版权保护的书籍和新闻文章。作者报告 PINT 平均取得最强的遗忘-效用权衡,并称其为唯一能在保持接近原始模型效用的同时让高斯投毒不可检测的方法。

研究者提出 PINT,一种基于统计独立性的 LLM 机器遗忘算法,利用 HSIC(Hilbert-Schmidt Independence Criterion)降低待遗忘 token 与用于预测它们的内部表示之间的统计依赖。论文的出发点是,中毒训练样本在遗忘后仍可能被统计检测出,由此引出现有遗忘目标是否真正移除了模型所记内容的疑问;作者通过可计算上界把 HSIC 目标与 Exact Memorization 形式化关联,将训练目标与模型复现被遗忘 token 的能力直接联系起来。实验在八个设置上比较遗忘与效用的权衡,模型最大 7B 参数,并展示可扩展到 70B 参数模型,评估覆盖高斯投毒、个人信息、生物与网络安全危险知识以及受版权保护的书籍和新闻文章。作者报告 PINT 平均取得最强的遗忘-效用权衡,并称其为唯一能在保持接近原始模型效用的同时让高斯投毒不可检测的方法。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者提出 PINT,用 HSIC 消除前缀表示与待忘 token 的统计依赖,解决现有遗忘方法可能删不干净的问题。

    核心问题:如何让 LLM 真正忘掉指定训练数据,使被遗忘内容在统计上不可恢复,同时保留模型的其他能力。

    • 问题场景:作者称 LLM 会记忆并复现训练数据片段(含个人信息和版权文本),欧盟、美国、中国的数据保护法规已确立"被遗忘权",从头重训成本过高,因此需要近似机器遗忘方法。
    • 现有方法的不足:作者引用 Pawelczyk et al. (2025) 的结果称,现有遗忘方法可能无法移除训练时注入的投毒样本,遗忘尝试后它们仍可被统计检测;这引出了现有遗忘目标是否真的移除了模型记忆内容的疑问。
    • 核心观察:自回归 LLM 复现已记忆序列,要求前缀表示携带关于后续 token 的信息,这种关系可用统计依赖刻画;作者由此提出假设:能否通过最小化这种统计依赖来诱导遗忘。
    • 论文提出的方法:PINT(Prefix-representation Independence of the Next Token),在遗忘集上最小化前缀表示与下一 token 之间的 HSIC,在保留集上约束表示贴近原模型;并证明 Exact Memorization 存在以 HSIC 表示的可计算上界。作者称这是首个将前缀表示与下一 token 之间的 HSIC 用作 LLM 遗忘目标的工作。
  2. 有哪些相关研究?

    相关工作分三组:LLM 遗忘方法、遗忘评测基准、HSIC 独立性准则;PINT 与六个遗忘基线在七个基准上对比。

    LLM 遗忘方法

    • GradAscent 与 GradDiff(Liu et al., 2022):梯度上升直接降低遗忘集回答的似然;GradDiff 额外最大化保留集似然以保效用。
    • NPO(Zhang et al., 2024)与 SimNPO(Fan et al., 2026):NPO 相对原模型降低遗忘集似然;SimNPO 去掉对原模型的依赖,改用长度归一化对数似然。
    • UNDIAL(Dong et al., 2025)与 RMU(Li et al., 2024):UNDIAL 在原模型预测中压低遗忘 token 的 logits 再做自蒸馏;RMU 将遗忘集在某层的表示坍缩到固定随机向量。论文指出 PINT 与之不同:在最终层惩罚表示与下一 token 的统计依赖,无需选层、无需坍缩表示。

    遗忘评测

    • TOFU(Maini et al., 2024)、MUSE(Shi et al., 2025)、WMDP(Li et al., 2024):分别评测虚构作者信息、书籍与新闻、危险知识的遗忘,并各自度量保留效用。
    • Gaussian-poison 检验(Pawelczyk et al., 2025):统计检验注入噪声是否与遗忘后模型的梯度相关,直接验证遗忘而非依赖代理指标。
    • 评测方法学(Wang et al., 2025;Dorna et al., 2026):论文引用其结论称结果对超参数敏感、单 checkpoint 比较会使排名不可靠,因此本文比较完整的遗忘-效用权衡曲线。

    独立性准则与 HSIC

    • HSIC(Gretton et al., 2005):度量两个随机变量的依赖强度,配合特征核(表示用 Gaussian 核、token 用 delta 核)时当且仅当独立为零;此前用于训练与比较深度网络、特征选择、自监督学习、公平与鲁棒表示等。
    • HSIC 在遗忘中的已有用法:Han et al. (2024) 把 HSIC 作为附加项帮助图像和图分类器在遗忘后保持准确率;Zhang et al. (2026) 用其评估图像模型是否把遗忘集当作未见过的数据。作者称 PINT 是首个把 HSIC 作为 LLM 遗忘训练目标的工作。

    基线与基准

    • 基线方法:GradAscent、GradDiff、NPO、SimNPO、UNDIAL、RMU 共六个;基准:TOFU、MUSE-News、MUSE-Books、WMDP-Bio、WMDP-Cyber、bioS、Gaussian poisons(Table 1)。

    作者将本文定位为:用有理论依据的统计独立性目标替代经验启发式目标,并以完整权衡曲线和 HSIC 上界弥补现有评测与形式化保证的缺口。

  3. 论文如何解决这个问题?

    PINT 在遗忘集上最小化前缀表示与下一 token 的 HSIC,在保留集上约束表示贴近原模型,并证明 Exact Memorization 的 HSIC 上界。

    整体思路:复现已记忆序列要求前缀表示携带下一 token 的信息,PINT 通过最小化两者的 HSIC 切断这种统计依赖,同时用保留目标约束模型其他行为不变。

    问题设定

    • 给定原模型参数 θ0、遗忘集 Df 和保留集 Dr,目标是更新 θ 使模型忘掉 Df 中的信息并保持在 Dr 上的行为(标准 LLM 遗忘设定)。
    • 模型表示函数 hθ 把前缀 x<t 映射到最终层表示 ztθ,输出头据此预测下一 token;每条遗忘序列只需遗忘部分位置,记为遗忘位置集合 T (x)(如问答对中的答案 token)。

    遗忘目标与保留目标

    • 遗忘目标:对遗忘小批量 Bf 中全部 m 个遗忘位置,计算经验 HSIC:HSIC(Z, X̂) = 1/(m2)tr(KHLH),其中 K、L 是表示与 token 的 Gram 矩阵,H 为中心化矩阵。表示用 Gaussian 核,token 用 delta 核(只比较是否相同),两者均为特征核,HSIC 为零当且仅当独立。
    • 保留目标:与 RMU 的保留目标同形但作用于最终层——保留集表示与原模型表示的均方差,直接约束输出头所用的表示不变。
    • 总目标:LPINT = λ Lforget + Lretain,λ ≥ 0 控制遗忘强度;λ = 0 时模型不变。用 AdamW 做小批量随机优化(Algorithm 1)。
    • 实现细节:Gaussian 核带宽 σ² 用中位数启发式在第一个小批量上估计一次后固定;遗忘位置取各基准自身训练损失用的位置(TOFU 为答案 token,bioS 为单个答案 token,MUSE/WMDP/投毒为文本块全部 token)。

    理论结果:Exact Memorization 上界

    • Exact Memorization(EM):在遗忘位置处模型预测下一 token 正确的概率;基线 EM⊥ 为对随机抽取的下一 token 的预测正确率(纯靠猜,TOFU 上约 0.01)。
    • Theorem 3.2:在表示用严格正定核、token 用 delta 核时,EM(θ) − EM⊥(θ) ≤ Cθ·√HSIC(Z, X),其中 Cθ 度量预测随表示变化的复杂程度(附近表示预测同一 token 时较小)。HSIC 为零时 EM 等于 EM⊥,即模型无法超出猜测复现被遗忘内容。
    • Proposition 3.3:HSIC(Z, X) ≤ L²k·d·p̂max·L_RMU,即 RMU 的遗忘目标小则 PINT 的遗忘目标也小;但坍缩只是实现独立的最极端方式,PINT 允许表示仍彼此不同。

    与 RMU 的关系

    • RMU 把遗忘集表示推向同一随机向量 cu,若全部到达则后续层对不同事实看到相同表示;PINT 只要求最终层表示与下一 token 独立,允许表示保留差异(Figure 5 示意)。
  4. 论文做了哪些实验?

    在七个基准、六个模型(至 7B,扩展验证到 70B)上比较遗忘-效用权衡,PINT 平均面积 0.95,基线最高 0.90。

    实验设置

    • 被测模型:Llama-3.2-1B(TOFU、bioS)、Llama-2-7B(MUSE-News)、ICLM-7B(MUSE-Books)、Zephyr-7B(WMDP-Bio/Cyber)、OLMo-2 2.7B(Gaussian poisons)、Llama-3-70B(WMDP-Cyber 扩展性)(Table 1)。
    • 基准与遗忘目标:TOFU 遗忘 1/5/10% 虚构作者;MUSE-News 遗忘 889 篇 BBC 新闻、MUSE-Books 遗忘 4 本 Harry Potter;WMDP 遗忘危险生物/网络安全知识;bioS 遗忘 256 名虚构人物的职业并保留专业;Gaussian poisons 遗忘 48 条注入噪声的序列。
    • 基线:GradAscent、GradDiff、NPO、SimNPO、UNDIAL、RMU;所有方法共享模型、数据、优化器(AdamW)和训练预算,共约 2,400 组超参数设置、约 2,000 H100 GPU 小时。
    • 指标:TOFU 用 forget ROUGE 与九项效用分数;MUSE 用 KnowMem(及 VerbMem);WMDP 用选择题准确率、效用用 MMLU;bioS 用遗忘/保留属性准确率;投毒用 detectability(0 为不可检测)与困惑度比值。
    • 比较方式:不报单一超参数点,而比较每条方法的完整遗忘-效用 Pareto frontier,并以其下面积汇总(达到目标遗忘且不失效用为 1)。
    • 重复次数:bioS 与 70B 实验为三个随机种子取均值;线性探针实验报告三个种子的范围。

    主结果

    各方法 frontier 下面积(据 Figure 10,按基准):

    表格较宽,可左右滑动

    基准PINTRMUNPOGradDiffSimNPOUNDIALGradAscent
    TOFU 1%1.000.981.000.990.991.000.99
    TOFU 5%1.000.960.990.990.991.000.74
    TOFU 10%1.000.971.000.990.991.000.14
    MUSE News0.830.770.760.700.720.780.71
    MUSE Books1.000.950.920.871.000.970.86
    WMDP Bio0.940.920.640.980.490.360.78
    WMDP Cyber0.940.960.660.990.760.580.59
    Poison0.960.820.480.230.780.350.36
    • 作者报告 PINT 平均面积 0.95,基线最高 0.90,八个基准中六个上 PINT 最强或与最强相差 1% 以内;例外是 WMDP Bio 与 WMDP Cyber,两处 GradDiff(0.98、0.99)和 RMU(0.96)高于 PINT(0.94)。
    • 作者称差距最大在 Gaussian poisons:PINT 使投毒不可检测并保留 91% 原始效用,最佳基线仅保留 63%。
    • 作者指出 TOFU 上 UNDIAL 和 NPO 的效用高于原模型,因为二者在保留集上微调,而保留集答案也属于 TOFU 效用测试集;计算面积时超过原模型的效用按 100% 计。

    bioS:保留相关知识

    • 测了什么:模型须忘掉 256 名虚构人物的职业、保留其大学专业,两属性相互独立。
    • 结果:两种方法的职业准确率都接近随机猜测(12.5%);RMU 的专业准确率从 99% 降到 19%,PINT 保持在 97%(Figure 8,三个种子均值)。
    • 作者解读:RMU 坍缩表示导致连同保留属性一起遗忘,PINT 只去除依赖故可区分两属性;对 RMU 调层和超参数后差距仍在。

    隐藏信息与线性探针

    • 测了什么:按 Guo et al. (2024) 的设置,在保留集上对各层隐藏状态训练线性探针预测下一 token,再用于 TOFU 10% 遗忘集,模拟能接触遗忘后模型和普通数据、但接触不到被遗忘数据的攻击者。
    • 结果:在探针最准的层上,从 PINT 隐藏状态恢复的被遗忘 token 少于其他任何方法(Figure 7,各方法取遗忘程度最接近重训模型的超参数设置)。
    • 作者解读:遗忘可能把信息藏进隐藏状态而非移除,PINT 在该检验下隐藏的可提取信息最少。

    扩展性与遗忘后行为

    • 70B 扩展性:Llama-3-70B 在 WMDP-Cyber 上经 PINT 遗忘后准确率从 53.0% 降至 27.6%(随机猜测 25%),MMLU 仅降 0.2 个百分点至 75.0%(Table 2,三个种子)。
    • MUSE News 两种遗忘度量:以问答(KnowMem)度量时,所有方法在达到重训模型遗忘水平前都至少损失三分之一效用;以逐字复现(VerbMem)度量时,PINT 达到重训模型遗忘水平并保留 91% 效用,GradAscent 和 RMU 分别保留 83% 和 68%(Figure 11、附录 E.2)。
    • 遗忘后行为:作者称 PINT 不规定回答方式;中等强度下常像重训模型一样用合理替代内容替换被遗忘事实,强遗忘下遗忘集回答变得不流畅、保留数据回答仍流畅(Figure 9、12,附录 E.3)。

    其他消融与分析

    • 核选择(TOFU):Gaussian 换为 Matérn-5/2、Matérn-3/2、Laplacian,在重训遗忘水平下四种核效用相差不超过 0.005(Figure 13)。
    • 带宽(TOFU):每个小批量重估中位数带宽,效用变化至多 0.002;固定 σ ∈ {1, 5, 10} 几乎无法遗忘,中位数启发式给出 σ ≈ 100(Figure 14)。
    • 微批量大小(TOFU):有效批量 32 下微批量从 64 到 4,32 在各 split 上效用最高,其他大小低 0.005–0.031(Figure 15)。
    • 上界行为:随遗忘强度增大,实测 EM 与 Theorem 3.2 上界同步下降,7B 模型上上界在各强度都紧贴 EM(Figure 4);Cθ 未抵消 HSIC 的下降(Figure 16,附录 E.5)。
    • 运行开销:PINT 单步训练耗时为 GradDiff 的 1.1–1.4 倍(MUSE、WMDP、投毒),TOFU 上相当,且各基准上均快于 NPO(Tables 5–8)。
  5. 有什么可以进一步探索的点?

    作者列出基准代表性、纯文本范围、对齐影响等局限,并提出多模态扩展与理论推广等方向。

    作者指出的局限与后续方向

    • 基准代表性:实际遗忘请求可能与这些基准不同,只能在已有基准的设置上评测(Limitations and future work)。
    • 指标是代理:这些基准的指标是遗忘的不完美代理,因此作者从多个侧面评测:基准的遗忘与效用指标、Exact Memorization、隐藏状态探针(Limitations and future work)。
    • 多模态扩展:本文只研究纯文本语言模型,作者称把 PINT 扩展到多模态模型是下一步(Limitations and future work)。
    • 对对齐的影响未知:PINT 遗忘对模型部署前所经对齐(如安全行为)的影响尚属开放问题(Limitations and future work)。
    • 理论推广:作者称有前景的方向是把上界形式化推广到其他记忆度量,并走向在遗忘之前即成立的保证(Limitations and future work)。
    • 伦理声明提醒:通过当前基准不能证明信息永远无法恢复,遗忘方法应与谨慎的数据选择和访问控制配合使用(Ethics Statement)。

    实验覆盖范围

    • 被测模型为 Llama-3.2-1B、Llama-2-7B、ICLM-7B、Zephyr-7B、OLMo-2 2.7B、Llama-3-70B 共 6 个,主实验最大 7B,70B 仅在 WMDP-Cyber 上验证(Table 1、Table 2)。
    • 评测覆盖七类遗忘场景:虚构作者(TOFU 三个 split)、新闻、书籍、危险生物知识、危险网络安全知识、虚构人物属性(bioS)、Gaussian 投毒(Table 1)。
    • 对比基线为 GradAscent、GradDiff、NPO、SimNPO、UNDIAL、RMU 共六个,统一在 OpenUnlearning 框架下实现(第 4 节、附录 D.4)。
    • 隐藏信息检验采用保留集上训练的线性探针,攻击者设定为可接触遗忘后模型与普通数据、但接触不到被遗忘数据(第 4.1 节)。
    • 论文未报告各基准 frontier 上单个超参数点的具体遗忘与效用数值,也未报告线性探针准确率的具体数值(Figure 6、7 仅给曲线与坐标轴)。
  6. 总结一下论文的主要内容

    PINT 用 HSIC 消除前缀表示与待忘 token 的统计依赖,作者称其在八个设置上权衡最优,并使投毒不可检测。

    一篇关于 LLM 机器遗忘的方法论文,提出用统计独立性作为遗忘目标,并给出理论与大规模实证。

    • 要解决的问题:作者称 LLM 会记忆并复现训练数据,而现有近似遗忘方法可能删不干净——投毒样本在遗忘后仍可被统计检测(Pawelczyk et al., 2025),且多数方法依赖降低似然或重定向表示等经验启发式。
    • 方法要点:PINT 在遗忘集上最小化前缀表示与下一 token 之间的 HSIC(表示用 Gaussian 核、token 用 delta 核),在保留集上约束最终层表示贴近原模型;单一超参数 λ 控制遗忘强度。理论上证明 Exact Memorization 超出猜测基线的部分以 Cθ·√HSIC 为上界,并证明 RMU 的遗忘目标是 PINT 遗忘目标的上界。
    • 主结果:在七个基准、八个设置(模型至 7B)上比较完整遗忘-效用 frontier,PINT 平均面积 0.95,基线最高 0.90,八个基准中六个上最强或相差 1% 以内(Figure 10)。
    • 关键数字:Gaussian poisons 上,作者称 PINT 是唯一使投毒统计不可检测的方法,保留 91% 原始效用,最佳基线为 63%;bioS 上 PINT 保留属性准确率 97%,RMU 降至 19%;Llama-3-70B 上 WMDP-Cyber 准确率从 53.0% 降至 27.6%,MMLU 仅降 0.2 个百分点。
    • 作者的结论:作者认为,随着遗忘日益被用于安全场景,具有与模型记忆内容之间清晰、可证明联系的遗忘目标,是迈向可信遗忘方法的重要一步;同时承认基准指标是遗忘的不完美代理,通过基准不等于信息不可恢复。

相关论文

共同使用 MUSE-News
共同使用 TOFU
再看 3 篇
共同使用 TOFU
阅读原文arxiv.org