TRACE:针对大语言模型近似遗忘的无数据文本重建攻击
TRACE: Data-Free Text Reconstruction Attacks against Approximate Unlearning in LLMs
作者提出 TRACE,在拿到遗忘前后两个模型快照且无任何数据先验时重建被遗忘文本,TOFU 上 LLaMA2-7B 经 GA 遗忘后 A-ESR1.0 达 95.00%。
攻击者以 white-box 方式同时访问 pre- 和 post-unlearning 模型参数,但不知道被删除样本的身份或内容,也拿不到训练中的梯度和中间激活;目标是重建被 approximate unlearning 删除的样本。
- LLM 部署常保留遗忘前后的模型快照用于审计和回滚,作者问:近似遗忘是否会在快照参数差中留下可恢复痕迹,使被删除数据在无任何数据先验的情况下被重建。
- 提出 TRACE:用嵌入层参数差筛出候选 token 集压缩搜索空间,用基于两模型困惑度差的对比流畅度分数(CFS)引导搜索,再以"广泛前缀探索—前缀补全"两阶段流程恢复多个不同样本。
- 在 TOFU、MUSE、WMDP 上跨 6 个模型和 6 种遗忘方法评测:TOFU 上 LLaMA2-7B 经 GA 遗忘后 A-ESR1.0 达 95.00%;WMDP 长文本上作者称 ROUGE-L(R) 比有 10 词前缀的 UBNF 高出一倍以上;黑盒、量化、剪枝下仍部分有效。
- 作者列出的局限:需同时拿到两个快照的白盒参数访问;依赖嵌入层参数差,未来针对性隐藏该信号的方法可能影响效果;重建质量受模型记忆强度和遗忘批大小影响。实验只用开源模型,未报告攻击耗时与查询次数。
- 威胁模型
- 攻击者以 white-box 方式同时访问 pre- 和 post-unlearning 模型参数,但不知道被删除样本的身份或内容,也拿不到训练中的梯度和中间激活;目标是重建被 approximate unlearning 删除的样本。黑盒变体假设可获两版本的 token 级输出概率。
- 被测模型
- LLaMA2-13BLLaMA2-7BMistral-7BQwen2.5-3BStableLM-3B-4E1TTinyLlama-1.1B
- 基准
- TOFUMUSEWMDPRWKU
- 指标
- ROUGE-L recall (R)A-ESR1.0A-ESR0.9
研究者提出 TRACE 攻击框架,仅利用遗忘前后的模型快照即可重建大语言模型中被近似遗忘的训练数据,无需任何数据特定先验。该方法从嵌入向量层面的参数差异中筛选候选 token 以缩小搜索空间,再基于两模型间困惑度差距的对比评分机制组装序列,并通过先探索后补全的两阶段策略恢复多个不同样本。在 TOFU、MUSE、WMDP 数据集、多个大语言模型和六种代表性遗忘方法上的实验显示,TRACE 实现了高保真重建。论文指出当前 LLM 近似遗忘部署存在显著隐私风险,需针对参数差异泄露进行防御并妥善管理模型快照访问。
深度解读
这篇论文试图解决什么问题?
作者问:仅靠遗忘前后两个模型快照、无任何数据先验,能否重建被近似遗忘删除的训练文本。
核心问题:LLM 近似遗忘是否会在保留的模型快照中留下可恢复痕迹,使被删除数据在无任何数据特定先验(data-specific prior knowledge)的情况下被重建。
- 场景与动机:GDPR、AI Act、版权与隐私要求推动数据删除;精确遗忘(重训)成本过高,实际部署多用近似遗忘,且常为审计、回滚保留遗忘前后快照,作者认为这构成一个被忽视的侧信道。
- 现有方法的不足:作者称,基于梯度匹配的遗忘反演(Hu et al. [18])在生成式 LLM 上难以收敛、输出不可读;Wu et al. [19] 的方法(UBNF)假设攻击者已知目标文本的可识别前缀。
- 核心观察:参与遗忘的 token 在嵌入层产生非零参数差;遗忘使目标数据在两模型间产生困惑度差,这两个信号可在无先验下定位并拼接被删文本。
- 论文提出:TRACE 框架——嵌入差筛候选 token、对比流畅度分数(CFS)引导搜索、两阶段"探索—补全"恢复多个样本;并评测三种防御。
- 威胁模型:
- 目标:重建被近似遗忘删除的训练样本。
- 知识:white-box 访问 pre- 和 post-unlearning 模型参数;黑盒变体仅假设两版本的 token 级输出概率。
- 能力:无被删样本的身份或内容、无训练梯度或中间激活。
- 受害系统:MLaaS 等保留多版本快照的模型更新流程;附录 B.1 还讨论联邦学习和 API 部署场景。
有哪些相关研究?
相关工作分三组:LLM 遗忘方法、训练数据重建攻击、遗忘反演攻击;本文定位为先前工作做不到的无先验遗忘反演。
LLM 机器遗忘
- GA / GD / KL / NPO:GA [11–14] 对目标数据反向增大损失;GD [15] 同时最大化遗忘集损失、最小化保留集损失;KL [16] 加 KL 正则保持保留数据行为;NPO [17] 把遗忘改写为带参考模型的偏好优化。这些是本文攻击的六类目标方法(含 NPO-Diff、NPO-KL)。
- 抑制式遗忘 [20–25]:只抑制敏感输出而不删除知识,论文明确说超出本文范围。
训练数据重建
- 梯度反演:LAMP [26] 用语言模型先验交替优化,Gupta et al.(FILM)[27] 用梯度引导的 beam search,Petrov et al. [28] 利用低秩自注意力梯度精确反演,Xie et al. [29] 针对参数高效微调。
- 表示泄漏:嵌入泄漏 [30] 与激活反演 [31]。论文指出这些攻击需要训练中的梯度或中间激活,只有前后快照时无法直接应用。
遗忘反演攻击
- Hu et al. [18]:在图像分类上把前后模型参数差近似为被删样本的梯度做反演;Du et al. [32] 扩展到文本分类;Ma et al. [33] 用 RL 优化隐噪声重建图像。论文指出这类基于优化的方法依赖标签,生成式 LLM 上没有标签。
- UBNF(Wu et al. [19]):利用原始与遗忘模型的输出似然差提取 LLM 中被遗忘文本,但假设攻击者已知目标文本的可识别前缀。
基线与基准:主实验基线为 PPL-only(与 TRACE 同框架、仅按 pre-unlearning 模型困惑度排序);附录 D.4 另与改造后的 FILM [27] 对比;第 5.3 节与 UBNF [19] 对比。基准为 TOFU、MUSE、WMDP、RWKU。
作者定位:论文称此前没有不依赖被删数据先验信息的遗忘反演方法,TRACE 面向这一空档。
论文如何解决这个问题?
TRACE 用嵌入参数差把搜索空间压到候选 token 集,再用 CFS 对比打分做两阶段"探索—补全"搜索。
整体思路:TRACE 把"在全词表上开放式生成"转化为"在紧凑候选 token 集上拼接序列",再用两模型困惑度差与流畅度的对比分数引导迭代搜索,分两阶段恢复多个不同样本(Figure 1)。
搜索空间初始化(Sec. 4.2)
- 候选 token 集:Vf = {v ∈ V ∣ Δ(v) > 0},其中 Δ(v) = ‖ Eθ∗(v) − Eθu(v) ‖2,即只保留嵌入层有非零参数差的 token;作者称这借鉴了"非零嵌入梯度暴露训练 token"的已有发现。
- 起始点:从 Vf 中按语言习惯筛出合法句首 token(如大写开头、合法开括号)构成 V0。
- 绑定嵌入的处理(附录 D.3):对输入嵌入与输出投影绑定的模型(如 Qwen),差值遍布全词表,改为取差值范数最大的 top-m 个 token,Qwen2.5-3B 用 m = 6000。
CFS 对比打分(Sec. 4.3)
- 打分公式:CFS(x) = (PPLθu(x) − PPLθ∗(x))/(PPLθ∗(x)A(|x|)),其中 A(|x|) = α + β log |x|;分子是遗忘造成的困惑度差,分母是随长度增强的流畅度约束。
- 设计动机:Figure 2 显示短前缀在原模型下困惑度高、随长度下降稳定,因此早期对高困惑度前缀宽容、后期加强流畅度约束,避免过早剪掉正确路径。
- 迭代流程:每步把保留集用 Vf 扩展一个 token(式 2),按 CFS 排序、剪枝保留高分候选。
两阶段重建(Sec. 4.4)
- Stage I 广泛前缀探索:用双参数化 CFS(·; αs, β) 与 CFS(·; αl, β)(αs < αl)各取 Top-k 取并集,搜索宽 k = N × d;按 ROUGE-L 相似度阈值 τ 聚类,簇数 ≤ N 时停止并记录前缀集。
- Stage II 前缀补全:以更窄宽度 k = Q 把记录的前缀补成完整序列;用 ROUGE-L 阈值 τ 去掉已被重建序列覆盖的前缀,迭代直到全部覆盖。
- 停止条件(附录 B.3):遇到 EOS、句末标点后困惑度连续上升、或超过最大长度 Lmax。
关键超参数(附录 D.3)
- CFS 系数:TOFU/MUSE/RWKU 用 (αs, αl, β) = (2.0, 6.0, 0.5),WMDP 用 (1.5, 6.0, 0.3)。
- 搜索参数:d = 10(Qwen2.5-3B、StableLM-3B)或 5(其他);Q = 10(TOFU/MUSE)、20(RWKU)、40(WMDP);τ = 0.7(TOFU)或 0.6(其他);Lmax = 150/400/512 按数据集;N = 1.5 × B。
成功判定
- 指标沿用 [19]:ROUGE-L recall(R),以及 A-ESRκ——存在至少一条重建序列与某条真值的 ROUGE-L recall ≥ κ 即算该真值被成功提取,报告 κ = 1.0(精确)与 0.9(近似)。
论文做了哪些实验?
跨 6 个开源模型、6 种遗忘方法、4 个基准评测,TRACE 大幅超过 PPL-only 与 UBNF,并测了黑盒、压缩变换和三种防御。
实验设置
- 被测模型:LLaMA2-13B、LLaMA2-7B、Mistral-7B、Qwen2.5-3B、StableLM-3B-4E1T、TinyLlama-1.1B,共 6 个开源模型。
- 基准与规模:TOFU(200 名虚构作者、4,000 条问答);MUSE-News(约 6,300 句);WMDP bio-retain-corpus(1,000 段、每段最长 512 token);RWKU(约 6,200 条,样本平均 150 词)。
- 遗忘方法:GA、GD、KL、NPO、NPO-Diff、NPO-KL 六种;先微调得到 pre-unlearning 检查点(5 轮、学习率 1×10⁻⁵),遗忘 2–6 轮并取困惑度最接近重训模型的检查点。
- 基线:PPL-only(同框架、仅按 pre-unlearning 模型困惑度排序);UBNF(给前 10 个词前缀);附录 D.4 的 FILM。
- 指标与协议:ROUGE-L(R)、A-ESR1.0、A-ESR0.9;主结果为 10 个随机批次、遗忘批大小 B = 8 的平均;硬件为 8 张 A100。
主结果
Table 1(B = 8,10 批次平均)中 TRACE(Ours)的 A-ESR1.0 (%),PPL-only 在括号内:
表格较宽,可左右滑动
数据集 模型 GA GD KL NPO NPO-Diff NPO-KL TOFU TinyLlama-1.1B 78.75 (10.00) 71.25 (2.50) 76.25 (2.50) 76.25 (10.00) 68.75 (2.50) 67.50 (2.50) TOFU Qwen2.5-3B 67.50 (0.00) 68.75 (0.00) 66.25 (0.00) 65.00 (0.00) 67.50 (0.00) 71.25 (0.00) TOFU LLaMA2-7B 95.00 (28.75) 92.50 (7.50) 90.00 (7.50) 93.75 (28.75) 93.75 (7.50) 96.25 (7.50) TOFU Mistral-7B 90.00 (47.50) 92.50 (37.50) 61.25 (37.50) 90.00 (47.50) 88.75 (37.50) 82.50 (37.50) TOFU LLaMA2-13B 93.75 (33.75) 92.50 (10.00) 93.75 (10.00) 96.25 (33.75) 93.75 (10.00) 93.75 (10.00) MUSE LLaMA2-7B 93.75 (37.50) 92.50 (13.75) 93.75 (13.75) 95.00 (37.50) 93.75 (13.75) 96.25 (13.75) MUSE Mistral-7B 93.75 (31.25) 83.75 (6.25) 96.25 (6.25) 94.44 (31.25) 90.00 (6.25) 93.75 (6.25) MUSE LLaMA2-13B 92.50 (35.00) 92.50 (12.50) 96.25 (12.50) 92.50 (35.00) 92.50 (12.50) 95.00 (12.50) (MUSE 的 TinyLlama-1.1B 与 StableLM-3B 两行省略:其 A-ESR1.0 分别在 65.00–80.00 与 62.50–83.75 之间,据 Table 1。)
- 作者称 TRACE 在所有模型与方法组合上优于 PPL-only;PPL-only 在带保留集正则的方法(GD、KL、NPO-Diff/KL)下效果明显变差,而 TRACE 保持稳定。
- 作者观察到更大模型更易被重建,归因于其记忆能力更强;LLaMA2-7B、Mistral-7B、LLaMA2-13B 上 ROUGE-L(R) 高于 0.93。
- 例外:Mistral-7B + KL 是 TRACE 的最低点(A-ESR1.0 61.25%),作者未单独解释该组合。
遗忘批大小与长文本对比
- 批大小(Table 2,LLaMA2-7B):B 从 8 增到 128 时性能下降,如 TOFU+GA 的 ROUGE-L(R) 从 0.9799 降到 0.7924;作者称可通过增大扩展因子 d 缓解。
- WMDP 长文本(Figure 3):每条样本 512 token,UBNF 给前 10 个词、TRACE 无先验;作者称 TRACE 在三个模型、六种方法下都超过 UBNF 和 PPL-only,LLaMA2-7B 上 ROUGE-L(R) 比 UBNF 高出一倍以上(图中仅见各方法散点位置,具体数值未标注)。
- RWKU 等长前缀对比(Figure 4,LLaMA2-7B、GA、B = 16):前缀 2–10 词时 TRACE 一致高于 UBNF;图中可见 TRACE 的 ROUGE-L(R) 约 0.5–0.7,随前缀变长上升。
黑盒、压缩变换与精确重训
- 黑盒(Table 5,MUSE、TinyLlama、NPO、B = 8):Vf 退化为全词表;训练 5 轮时 ROUGE-L(R) 从白盒 0.8467 降到 0.6043,A-ESR1.0 从 76.25% 降到 55.00%;训练轮越多黑盒重建越好(4 轮 0.3419 → 6 轮 0.6274)。
- 量化与剪枝(Table 6、7,MUSE、LLaMA2-7B、NPO):4-bit AWQ 后 ROUGE-L(R) 从 0.9579 到 0.9506,A-ESR 不变;Wanda 剪枝 10%/30%/50% 时 ROUGE-L(R) 为 0.9503/0.8489/0.6394,但 50% 剪枝同时把遗忘样本困惑度从 16.07 降到 5.07,作者称这同时削弱了遗忘效果。
- 精确重训(Table 12,MUSE、B = 8):重训下 ROUGE-L(R) 0.2068、A-ESR1.0 5.00%,远低于 NPO 白盒的 0.6566/51.25%;作者称近似遗忘的定向更新留下了更强的可利用痕迹,但仍有少量样本被精确重建。
防御评测(Sec. 6)
- 参数混淆(Table 8a,MUSE、TinyLlama、GA):σ ≤ 0.10 时 TRACE 仍有效(ROUGE-L(R) 0.5375–0.8361);σ ≥ 0.15 时 Vf 精度跌到 0.06 左右,但遗忘集困惑度也从 20.17 降到 17 左右,作者称遗忘效果随之变弱。
- 梯度剪枝(Table 8b):剪枝比 0.99 时 ROUGE-L(R) 仍为 0.8182,Vf 提取不受影响。
- 遗忘后微调(Figure 8,MUSE、LLaMA2-7B、GA):随微调数据从 0 增到 500 条,重建性能部分下降,作者称原因是 Vf 扩大、搜索空间变大,但 TRACE 始终高于 PPL-only。
其他消融与分析
- αs、β(Figure 5,MUSE、TinyLlama、NPO):β > 0 防止小 αs 时性能塌陷,αs = 2 附近最好。
- αl(Figure 5):αl = αs = 2 时双排序退化为单目标、性能下降;αl ∈ [3, 8] 较好。
- d(Table 3,MUSE):d = 5/10/15 时 ROUGE-L(R) 为 0.8897/0.9504/0.9564。
- Q(Table 4,MUSE):Q = 1/5/10 时 ROUGE-L(R) 为 0.8148/0.8529/0.8467,Q = 5 已足够。
- τ(Figure 6,LLaMA2-7B、NPO、B = 128):TOFU 对 τ 比 MUSE 更敏感,作者归因于 TOFU 问答对相似度高;经验上 τ ∈ [0.6, 0.7] 较稳。
- 训练/遗忘轮数(Figure 7,MUSE、TinyLlama、NPO):遗忘轮数影响很小;训练轮数越多重建越好,作者称记忆越强越易被恢复。
有什么可以进一步探索的点?
作者列出三条局限:双快照白盒假设、依赖嵌入层信号、重建质量受记忆强度与批大小影响。
作者指出的局限与后续方向
- 快照访问假设(附录 F):威胁模型要求同时获得遗忘前后快照的白盒参数访问,对严格闭源、限制此类访问的部署可能不适用。
- 依赖嵌入层信号(附录 F):重建依赖嵌入层参数差识别候选 token,未来专门隐藏此类信号的遗忘技术可能影响其效果。
- 重建质量的影响因素(附录 F):TRACE 只针对被显式遗忘的文本,重建质量受模型记忆强度、遗忘批大小等因素影响。
- 防御方向(Sec. 7):作者称需要显式考虑参数差泄漏的遗忘方法与部署协议,呼吁未来研究缓解跨快照信息暴露的防御。
实验覆盖范围
- 被测模型为 6 个开源模型(1.1B–13B),未在闭源模型上实验;黑盒设定仅在 MUSE、TinyLlama、NPO、B = 8 下评测(Sec. 5.5)。
- 防御评测包括参数混淆、梯度剪枝、遗忘后微调三种,作者称均为启发式、不提供形式化差分隐私保证;未评测针对 TRACE 的自适应攻击者之外的自适应防御。
- 主结果为 10 个随机批次、B = 8 的平均;批大小实验覆盖 B ∈ {8, 16, 32, 128}(Table 2)。
- 论文未报告单次攻击的耗时或查询次数,仅在附录 C 给出每步前向次数 O(N·d) 与排序复杂度,并称离线场景下保真度优先于延迟。
- 抑制式遗忘(suppression-intended unlearning)被论文明确排除在范围外(Sec. 2)。
总结一下论文的主要内容
TRACE 在无任何数据先验下从遗忘前后快照重建被删文本,作者称近似遗忘部署存在隐私风险。
一篇针对 LLM 近似遗忘的遗忘反演(unlearning inversion)攻击论文。
- 问题:实际部署常为审计、回滚保留遗忘前后的模型快照;已有攻击要么需要梯度/标签,要么假设已知目标文本前缀。作者问:无任何数据特定先验时,被删文本是否仍安全。
- 方法:TRACE 用嵌入层参数差筛出紧凑候选 token 集,用对比流畅度分数(CFS,两模型困惑度差除以长度加权的流畅度约束)引导迭代搜索,再以"广泛前缀探索—前缀补全"两阶段恢复多个不同样本。
- 主结果:TOFU 上 LLaMA2-7B 经 GA 遗忘后 A-ESR1.0 达 95.00%、ROUGE-L(R) 0.9799(Table 1);在 6 个模型、6 种遗忘方法上均大幅超过 PPL-only 基线;WMDP 512-token 长文本上,作者称 TRACE 无前缀仍超过有 10 词前缀的 UBNF,LLaMA2-7B 上 ROUGE-L(R) 高出一倍以上。
- 扩展结果:B = 128 时仍有效(TOFU+NPO 的 ROUGE-L(R) 0.8146);黑盒(仅输出概率)下 MUSE 上 ROUGE-L(R) 0.6043;4-bit 量化几乎无影响,50% 剪枝把 ROUGE-L(R) 降到 0.6394 但同时削弱遗忘本身;精确重训下 A-ESR1.0 降至 5.00% 但仍有少量样本被精确重建。
- 防御:参数混淆、梯度剪枝、遗忘后微调三种启发式防御均只能部分降低攻击效果,且伴随遗忘效果变弱或计算开销上升。
- 作者结论:近似遗忘会在模型快照中留下可恢复痕迹,作者呼吁重视快照访问管理,并研究显式考虑参数差泄漏的遗忘方法与部署协议。