LLM 遗忘中的敏感知识保护：代理威胁与叠加感知防御

1. 01这篇论文试图解决什么问题？

   合法遗忘请求可借知识叠加连带删除未请求的敏感实体，论文将其形式化为 PUA 并提出防御 SAUP。

   核心问题：LLM 中不同实体的表示可能共享参数子空间（知识叠加），导致删除一个实体时连带损害其他实体，合法的机器遗忘请求因此可能被利用来删除从未被请求的敏感实体。

   • 场景与重要性：LLM 提供方面临隐私、版权、事实更正和安全等删除需求，机器遗忘可在不重训练的情况下移除指定实体。作者认为，遗忘的附带损害不只是效用问题，而是被忽视的安全威胁，可导致错误信息或社会偏见（如模型错误描述品牌、人口群体或医学概念）。
   • 现有方法的不足：作者称，现有遗忘研究主要关注删除是否有效和效用是否保持，标准验证只确认被请求的实体已删除；请求中命名的实体与受影响的敏感实体不必相似，且模型往往仍流利作答但内容错误，损害是静默的。
   • 核心观察：实体并非孤立编码，不同实体的表示可在同一参数子空间重叠（knowledge superposition），且这种耦合不要求表面或明显的语义相关性，因此可波及与请求看似无关的实体。
   • 威胁模型：
     • 目标：在不显式请求删除目标实体的情况下，选择性地损害敏感目标集合 T 的知识，而非广泛降低模型能力。
     • 知识：白盒设定下（开放权重）可读取模型内部表示以精确识别叠加实体；黑盒设定下（仅遗忘 API）只能查询模型，借助同家族代理模型估计叠加。
     • 能力：只能通过合法删除接口提交来自可删除集合 U 的请求，不能直接修改模型参数或重训练。
     • 受害系统：提供实体级遗忘服务的部署 LLM 及其提供方。
   • 论文提出的内容：将上述威胁形式化为代理遗忘攻击（Proxy Unlearning Attack, PUA），并提出提供方侧防御框架 Superposition-Aware Unlearning Protection（SAUP），在遗忘前检测受胁实体、遗忘后解耦共享表示并选择性恢复，且不改动遗忘算法本身。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：LLM 机器遗忘方法、利用遗忘的攻击、遗忘的非局部性研究；作者称 PUA 不需部署前投毒或后门。

   LLM 机器遗忘方法

   • Gradient ascent 类——通过最大化目标知识上的损失实现遗忘 [4]；偏好优化类将遗忘建模为引导模型远离不期望输出 [9]；模块化设计避免对 retain set 的依赖 [10]。
   • LLM-Eraser [11]——将知识定位到特定参数并选择性剪枝；另有工作用检索增强生成将内部知识与输出解耦，在参数层面重定向而非删除 [12]。
   • 遗忘评估研究——主要关注目标知识是否删除与效用是否保持；有工作指出删除可能依赖提问形式，等价表述下知识仍可恢复 [13]。

   利用机器遗忘的攻击（论文按危害类型分三类）

   • 经遗忘激活后门：Liu et al. [17] 通过投毒训练数据使后续遗忘请求激活预先植入的后门；Arazzi et al. [18] 在 forget set 无显式触发器的干净设定下仍诱导后门；Shang et al. [19] 利用 attention sink 使遗忘后知识在特定触发器下条件性恢复；Lu et al. [20] 扩展到联邦学习。
   • 对遗忘的对抗操纵：Qian et al. [21] 用构造的删除请求在传统深度模型上诱导定向误分类；Zhou et al. [22] 通过损失面几何优化攻击；Marchant et al. [23] 用投毒降低认证遗忘的保证；Ye et al. [24] 用训练期数据重复同时破坏遗忘的多项安全性质。
   • 遗忘后的隐私泄露与重建：比较原始与遗忘后模型可做反演与重建攻击 [25]–[27]，并放大成员推断 [28]；防御侧有表示级遗忘与后验差审计 [29], [30]。

   遗忘的非局部性与知识叠加

   • 有研究发现删除目标会影响与其推断相关 [14] 或 forget/retain 集共享的知识 [15]，另有工作减少遗忘过程本身造成的过度遗忘 [16]。论文指出，这条线把附带损害当作质量与评估问题，且涉及的知识与目标相关或共享。
   • 知识叠加研究 [31]–[33] 指出网络用重叠方向编码特征；知识编辑领域已用类似的 whitening 方法研究叠加 [6]。

   基线与基准：攻击对照为与 PUA 请求规模匹配的随机代理请求（Table II）；防御对照为输出级检测恢复基线 PDDR（Table V、VI）。目标数据集为 CounterFact、UMLS、SBIC，可删除集来自 Wikidata 5M entities。

   作者对本文的定位：作者称，已有攻击要么需要部署前的对抗准备（投毒、后门植入、数据重复），要么利用原始与遗忘模型的状态比较；PUA 不需要部署前访问训练数据或模型内部，完全通过合法请求接口实施，目标是从未出现在任何请求中的敏感实体，把遗忘的附带损害从效用问题提升为定向安全风险。

   收起这一问

3. 03论文如何解决这个问题？

   PUA 用 KSD 在表示层选出与敏感目标叠加的代理实体并提交遗忘；SAUP 在遗忘前后加检测与选择性恢复。

   整体思路：先用 Knowledge Superposition Detection（KSD） 在表示层量化任意两个实体的叠加程度，攻击方据此选出代理实体提交合法遗忘请求（PUA）；防御方用同一工具在遗忘前估计受胁实体、遗忘后做选择性恢复（SAUP），不改动遗忘算法本身。

   问题形式化

   • 遗忘算子 Unlearn(θ, Q) 应使被请求实体 e∈Q 的知识度量 K(·, e) 变小、其他实体不变；叠加打破这种选择性：删除 Q 也会降低与 q∈Q 叠加的 e′ 的知识。
   • 攻击目标写为 max_{S⊆ U, S∩ T=∅} ∑_T∈𝒯 [K(θ, T) − K(Unlearn(θ, S), T)]，即在从不请求目标的前提下最大化对敏感目标集 T 的损害；作者说明该目标定义威胁结果，实践中 PUA 通过叠加检测近似它，不在遗忘后测量损害。

   KSD：知识叠加检测（Algorithm 1）

   • 表示提取：对实体 e 实例化共享探针模板集 P，前向运行模型，读取每个 transformer 层 post-attention layer normalization 处实体名 token 的隐状态，跨探针平均得到逐层表示。探针模板是必需输入，两个实体必须在相同模板下测量。
   • Whitening：原始表示各向异性，普通余弦相似度不可靠；对每层独立计算协方差并做白化变换，使成对相似度成为有意义信号。作者称类似 whitening 曾用于知识编辑中的叠加研究。
   • 叠加判定：计算白化后逐层余弦相似度 ρ(l)，任一层的 ρ(l) ≥ τ 即判定两实体叠加；记录叠加层集合与覆盖数 c（超过阈值的层数）。实验设 τ = 0.9，只计入强且一致的叠加。

   PUA：代理选择与请求提交

   • 代理选择三步：在 T 与可删除集 U 之间运行 KSD；按覆盖数过滤，保留 cmin ≤ c(T, s) ≤ cmax 的候选（下界剔除仅一两层的偶然关联，上界剔除与几乎所有实体重叠的 hub 实体）；按峰值白化余弦取 top-k 作为代理集 S。评估中只保留至少有 k 个过滤后候选的目标，使每次攻击的代理集大小为 k。
   • 两种访问级别：白盒下直接在目标模型上运行 KSD；黑盒下在同家族代理模型上运行 KSD 并迁移所选代理。作者称这可行是因为在相似数据上训练的模型会形成相似的叠加结构。
   • 请求提交：将 S 作为普通遗忘请求提交；由于叠加不跟踪语义或词面相似性，代理不必与目标相似，请求本身不暴露目标。

   SAUP：遗忘前损害估计

   • 提供方维护受保护实体集 P；收到请求 Ur 后在 Ur 与 P 之间运行 KSD，把与 Ur 中至少一个实体叠加的受保护实体收集为易受损害子集 V。任何与 Ur 叠加的受保护实体都有被连带删除的风险，提供方无需知道请求者意图。
   • 记录 V 与 Ur′（请求中与 V 叠加的子集）之间每对实体的叠加层集合；另维护与 P、Ur 均无关的 retain 集 R，用于恢复阶段保护无关实体。

   SAUP：遗忘后选择性恢复

   • 约束恢复目标：单阶段联合优化 L_SAUP = λ_V L_V + λ_R L_R − λ_U L_U + λ_dec L_dec。LV 恢复 V 中实体；LU 以负号进入，对被请求实体做梯度上升以防恢复顺带复活它们；LR 为 retain 回放正则；Ldec 为叠加解耦项。作者称先解耦再恢复的两阶段方案不足，因为恢复梯度会重新耦合刚分开的方向。
   • 解耦目标 Ldec：对每对 (v, u)，将 KSD 检测到的叠加层扩展为半径 δ 的邻域（因残差连接使激活变化跨相邻块传播），在这些层上惩罚 v 与 u 白化表示的正余弦对齐，用 stop-gradient 锚定易受损害表示、只移动被请求表示，使二者趋向正交。
   • 投影梯度更新：当恢复梯度 gV 与维护梯度 gU 正相关时，从 gV 中投影掉会同时恢复 Ur′ 的分量；梯度相反时保留完整 gV。恢复按 KSD 单元（一个 v-u 对及其叠加层）组织，每步采样一个单元和一个 retain 批次，单阶段施加投影后的组合更新。

   收起这一问

4. 04论文做了哪些实验？

   两个模型家族×三个知识域上，PUA 使目标 Judge 分降 0.15–0.57 且黑盒可迁移；SAUP 恢复目标并保持代理被抑制。

   实验设置

   • 被测模型：LLaMA-3.1-8B-Instruct 与 Qwen-2.5-3B/7B/14B-Instruct；主表报告 LLaMA-3.1-8B 和 Qwen-2.5-7B，3B 与 14B 在黑盒实验中作为同家族代理模型。
   • 数据：可删除集 U 从 Wikidata 5M entities 采样，取 10K/50K/100K 三个嵌套子集；目标来自 CounterFact（一般事实）、UMLS（生物医学术语）、SBIC（社会敏感知识）三个数据集。每个实体须通过探针确认基线模型在三个探针上各至少得 0.5 才纳入。
   • 实体分组：目标组 T（从不提交删除）、代理组 S（KSD 标记为与 T 高度叠加、白化余弦 ≥ 0.9 至少一层，即攻击者实际提交的实体）、retain 组 R（来自 U 的通用实体，与 T、S 不相交，分训练与留出两部分作选择性对照）。防御实验中受保护集 P 为整个场景数据集。
   • 遗忘方法：Gradient Ascent（GA）与 Negative Preference Optimization（NPO），二者接收同一代理集 S；未修改模型记为 Baseline。
   • 指标与评审：每个实体沿定义、类别、关联三个维度探针；LLM Judge Score 由独立评审模型 Qwen-2.5-32B-Instruct 按 {0, 0.5, 1} 评事实正确性；Ref-NLL 为被评模型对基线参考答案的逐 token 负对数似然（Baseline 行无定义，记 –）。指标在三个维度上平均到实体，再在组（T/S/R）上平均。
   • 主设置：白盒访问、|U|=100K；论文未报告重复次数与统计显著性检验。

   主结果

   据 Table I（每格为 Judge / Ref-NLL，Baseline 的 Ref-NLL 无定义）：

   表格较宽，可左右滑动

   模型	场景	方法	T	S	R
   LLaMA-3.1-8B	CounterFact	Baseline / GA / GA+SAUP	0.842/– / 0.498/78.744 / 0.800/0.476	0.830/– / 0.377/101.814 / 0.590/16.088	0.760/– / 0.588/30.674 / 0.687/1.158
   LLaMA-3.1-8B	UMLS	Baseline / GA / GA+SAUP	0.830/– / 0.505/9.980 / 0.810/0.102	0.810/– / 0.522/8.741 / 0.655/4.686	0.743/– / 0.670/1.289 / 0.660/1.052
   LLaMA-3.1-8B	SBIC	Baseline / GA / GA+SAUP	0.850/– / 0.281/55.379 / 0.781/0.036	0.787/– / 0.382/54.167 / 0.460/7.721	0.743/– / 0.650/7.862 / 0.587/1.271
   Qwen-2.5-7B	CounterFact	Baseline / GA / GA+SAUP	0.840/– / 0.695/2.455 / 0.770/0.888	0.828/– / 0.670/2.727 / 0.690/1.778	0.725/– / 0.648/1.858 / 0.640/0.960
   Qwen-2.5-7B	UMLS	Baseline / GA / GA+SAUP	0.925/– / 0.683/1.105 / 0.848/0.092	0.828/– / 0.718/1.032 / 0.703/2.321	0.735/– / 0.685/0.351 / 0.670/0.971
   Qwen-2.5-7B	SBIC	Baseline / GA / GA+SAUP	0.899/– / 0.623/4.286 / 0.839/0.108	0.817/– / 0.635/4.708 / 0.671/2.338	0.732/– / 0.678/1.280 / 0.677/0.706

   （Table I 还含 NPO 与 NPO+SAUP 行，此处省略；NPO 下 LLaMA 三域 T 为 0.485/0.442/0.314，Qwen 为 0.685/0.567/0.626。）

   • 攻击使未请求的目标降级：作者报告，全部六个模型–域设置中目标组均退化，最大为 LLaMA+SBIC+GA 的 Judge 下降 0.569（0.850→0.281）；LLaMA 目标降 0.33–0.57，Qwen 降 0.15–0.36。
   • 损害是选择性的：retain 组 R 受影响小得多（LLaMA 0.588–0.700，Qwen 0.638–0.685）；作者认为 R 的小幅下降来自遗忘方法本身而非攻击。
   • 损害跟踪 KSD 叠加而非请求规模：Table II 中，全部主设置平均，PUA 选中的代理使 T 降 0.331、R 仅动 0.082（选择性损害 0.249），而规模匹配的随机代理请求仅使 T 降 0.052（选择性损害 0.025）。

   黑盒迁移（Table III）

   • 测了什么与结果：Qwen-2.5-7B 为目标，攻击者在同家族 Qwen-2.5-3B 或 14B 上选代理（|U|=100K）。3B 代理下目标降幅 ∆T 为 0.090–0.168，低于白盒参考（0.145–0.358）；14B 代理下迁移更强，GA 时在 CounterFact（∆T=0.160 vs 白盒 0.145）和 UMLS（0.253 vs 0.242）上超过白盒参考，SBIC 接近（0.243 vs 0.276）。
   • 作者解读：小代理模型已足以让攻击成功，对目标的表示级访问不是必需的；同家族内更强的代理模型可匹配或超过白盒结果。

   攻击者预算与遗忘强度（Figure 4–6）

   • 可删除集规模：Figure 4 显示 |U|=10K 时 KSD 已为 63 个 SBIC、273 个 UMLS 目标找到代理，100K 时升至 86 和 1069；作者称攻击不需要大预算即可行，更大预算主要扩大可达目标数。
   • 每目标代理数：Figure 5 显示 LLaMA+SBIC 上目标降幅从 1 个代理的 0.117 升至 16 个的 0.417，Qwen+SBIC 在 8 个代理时饱和（0.117–0.133）；作者称目标叠加方向被覆盖后单目标严重程度饱和。
   • 遗忘强度：Figure 6（SBIC、LLaMA、白盒、|U|=100K）中 GA 下 ∆Judge(T) 从 1 epoch 的 0.066 升至 8 epoch 的 0.855，NPO 从 0.087 升至 0.784；R 的 ∆Judge 在 GA 7 epoch 时达 0.135，NPO 下低于 0.10。作者称降低强度会同时削弱对 S 的应有删除，提供方面临两难；主表中部分目标降幅小是因为弱遗忘更新未充分删除代理，不代表攻击失败。

   防御评测（Table I +SAUP 行、Table IV–VII）

   • 恢复有效性：LLaMA 上 SAUP 在全部六格提升 T 且保持正的 T−S 差，六格平均 T=0.778、S=0.562、差 0.216、R=0.654；Qwen 上六格均提升 T，平均 T−S 差 0.134（T=0.805、S=0.671、R=0.684），最小为 CounterFact+GA 的 0.080。Ref-NLL 上 LLaMA 目标从 55.379 降至 0.036（SBIC+GA）等，代理 Ref-NLL 仍高。
   • 代理反转代价：Table IV 显示恢复会部分反转对代理的遗忘，LLaMA+CounterFact 上 S 回升 0.213（GA）和 0.291（NPO）；Qwen 上四格回升不超过 0.020，最大 0.075（SBIC+NPO）。作者称 SAUP 把定向失败转化为目标保护与严格完成代理遗忘之间的可度量权衡。
   • 与输出级检测 PDDR 对比：Table V 中 PDDR 在定义探针下漏报 29.9%（UMLS）、24.6%（SBIC）、35.2%（CounterFact）的 KSD 标记目标，全探针并集仍漏报 16/194、3/61、49/267。Table VI（LLaMA+NPO）中 SAUP 的 T−S 差在三域均大于 PDDR 式恢复（UMLS 0.165 vs 0.103，SBIC 0.291 vs 0.080，CounterFact 0.155 vs 0.052）；PDDR 在 UMLS 和 CounterFact 上原始 T 更高（0.805、0.797）但 S 也升至 0.702、0.745。
   • 恢复目标消融：Table VII（SBIC+NPO、LLaMA，固定目标子集）中仅 LV 时 T=0.883 但 S 回到 0.583（差 0.300）；去掉 Ldec 时 S=0.450、差 0.367；完整 SAUP 为 T=0.800、S=0.367、差 0.433；去掉 LR 时差 0.450 但 R 降至 0.517。

   其他消融与分析

   • 叠加可视化（Figure 7–9，SBIC、LLaMA、30 对 KSD 链接的 T–S 对）：Baseline 中实体名表示匹配相似度 0.9996、QA 聚合 0.2628；PUA 后 QA 聚合升至 0.3166（GA）/0.2815（NPO）；SAUP 后降至 0.0340/0.0343，实体名降至 0.0412/0.0867。对照关系 T–R、S–R 在 Baseline 为 0.1296、0.1261（GA），SAUP 后三者落入同一低区间。作者称叠加先于攻击存在，且为 KSD 链接对所特有。
   • 词面与语义重叠（Table VIII，共 10078 对 KSD 链接代理对）：3-gram Jaccard 词面重叠平均 0.072（UMLS 0.025、SBIC 0.016），标签嵌入语义相似度平均 0.657，KSD 叠加平均 0.991。作者称 KSD 选中的不是明显的近义邻居，只筛查语义相近请求会漏掉许多易受损害链接。
   • 定性分析（Figure 10–11、Table IX–X）：PUA 下模型对目标实体给出无关实体描述或重复循环，且在安全相关提问中从拒答转为顺从并编造理由；SAUP 恢复基线答案与拒答行为。作者称损害是静默的，模型通常仍流利作答。
   • 负面结果与例外：Qwen 上 SAUP 的 T−S 差整体小于 LLaMA（0.134 vs 0.216）；恢复对代理遗忘的反转在 LLaMA+CounterFact 上最大（0.213–0.291）；论文对这些例外未给出超出上述引文的解释。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未设专门局限章节；实验覆盖两个模型家族、三个知识域、两种遗忘方法，黑盒迁移仅在同家族内验证。

   作者指出的局限与后续方向

   • 论文未专门讨论局限（无 Limitations 或 Future Work 小节）。
   • 作者在 VII-C 指出 SAUP 改变了提供方的操作点：它把受保护实体上的定向失败转化为目标保护与严格完成代理遗忘请求之间的可度量权衡，恢复会部分反转已提交的代理遗忘（Table IV）。
   • 作者在 VII-B 指出提供方面临两难：降低遗忘强度会同时削弱对被请求实体的应有删除，提高强度则同时增强预期遗忘与附带损害。
   • 作者在 VII-C 指出输出级检测（PDDR）只能识别可见退化，无法替代表示级的 KSD 检测。

   实验覆盖范围

   • 被测模型为 LLaMA-3.1-8B-Instruct 与 Qwen-2.5-3B/7B/14B-Instruct 共四个，主结果表报告 LLaMA-3.1-8B 与 Qwen-2.5-7B 两个（Table I）。
   • 知识域覆盖 CounterFact、UMLS、SBIC 三个目标数据集；可删除集来自 Wikidata 5M entities，规模取 10K/50K/100K（VII-A）。
   • 遗忘方法覆盖 GA 与 NPO 两种；SAUP 声称适用于任何接受实体级请求的遗忘算法，但实验只搭配这两种（VII-A）。
   • 黑盒迁移只在 Qwen 家族内验证：目标 Qwen-2.5-7B，代理模型 Qwen-2.5-3B 与 14B（Table III）；论文未报告跨家族迁移实验。
   • 论文未报告 SAUP 的计算开销、运行时间或超参数（λV、λR、λU、λdec、δ、学习率）的具体取值，也未报告重复次数与统计显著性检验。

   收起这一问

6. 06总结一下论文的主要内容

   论文形式化代理遗忘攻击 PUA 并提出提供方侧防御 SAUP，在两类模型、三个知识域上验证攻击有效且可被选择性恢复。

   一篇关于 LLM 机器遗忘安全性的攻击与防御论文。

   • 要解决的问题：不同实体在 LLM 中可能共享表示子空间（知识叠加），删除一个实体会连带损害叠加的其他实体；合法遗忘请求因此可被利用来删除从未被请求的敏感实体，而标准验证只检查被请求实体，损害静默。
   • 方法要点：攻击 PUA 用 KSD（白化后的逐层表示余弦相似度，阈值 τ=0.9）在可删除集中选出与敏感目标叠加的代理实体，作为普通遗忘请求提交；黑盒下用同家族代理模型选代理并迁移。防御 SAUP 在遗忘前用 KSD 标记受胁的受保护实体，遗忘后以含目标恢复、遗忘维持、retain 回放和叠加解耦四项的约束目标做单阶段恢复，并用梯度投影避免复活被请求实体，不改动遗忘算法。
   • 主要结果：
     • 主设置（白盒、|U|=100K）下，LLaMA-3.1-8B 目标组 Judge 分降 0.33–0.57（SBIC+GA 从 0.850 到 0.281），Qwen-2.5-7B 降 0.15–0.36，retain 组降幅小得多（Table I）。
     • 全部主设置平均，PUA 代理使目标降 0.331，规模匹配的随机代理仅降 0.052（Table II）。
     • 黑盒下以 Qwen-2.5-3B 为代理模型，目标降幅 ∆T 为 0.090–0.168；14B 代理在 CounterFact 与 UMLS 上超过白盒参考（Table III）。
     • SAUP 在 LLaMA 上六格平均将 T 恢复到 0.778、保持 T−S 差 0.216；Qwen 上平均差 0.134（Table I）。
     • 输出级检测基线 PDDR 漏报 24.6%–35.2% 的 KSD 标记目标（定义探针），其恢复的 T−S 差在三域均小于 SAUP（Table V、VI）。
   • 作者的结论与启示：作者称，合法遗忘请求可经知识叠加被恶意利用，甚至良性用户也可能无意中删除与敏感实体叠加的实体；LLM 提供方处理遗忘请求时需要表示级的检测与恢复机制。作者同时指出 SAUP 把定向失败转化为目标保护与严格完成代理遗忘之间的可度量权衡，恢复会部分反转代理遗忘。

   收起这一问

相关论文