研究者提出梯度封堵实现 LLM 发布前的预防性遗忘

开源权重模型在发布前如何被预处理，使其抵抗用户用未见数据做下游微调来获取指定禁止域能力。

• 场景与风险：作者称 open-weight LLM 的参数可被低成本适配，但用户也可能在有害数据上微调，以获得虚假信息、露骨内容、危险操作指导或隐私侵害等能力（Qi et al., 2024; Rosati et al., 2024; Kaunismaa et al., 2026）。模型提供方因此需要一种发布前防御，指定禁止域并让相应能力在发布后难以被获取。
• 现有方法的不足：LLM unlearning（Yao et al., 2024; Li et al., 2024; Zhang et al., 2024）是回顾式的：给定已学习的 forget set，抑制当前输出。作者称这类方法通常不约束底层梯度（Fan et al., 2025a）；禁止域数据仍可沿内部通路诱导梯度，使能力在后续微调中被获取。外部 guardrail（Inan et al., 2023a; Han et al., 2024）在用户拥有全部参数时也难以执行。
• 核心观察：作者认为发布时能力低并不等于获取敏感度低。Proposition 3.1 给出一步获取增益的上界，与禁止敏感方向上的攻击梯度投影有关；即使 Da=Df，只做似然抑制也不保证该投影变小。
• 本文提出：作者提出 Gradient-Sealed Unlearning（GSU），用禁止域代理集在发布前定位获取敏感的 SiLU 门，把其预激活推入导数为零或接近零的负尾，从而以一阶更新封堵局部梯度因子，并同时做响应抑制与保留监督。作者称这是把 preemptive unlearning 作为发布前防御加以形式化与评测的早期系统性工作之一。
• 威胁模型：
  • 受害系统与目标：发布后的开源权重模型。攻击者要获取禁止域能力并保留正常效用。成功攻击（Definition 2.1）要求 E[Perf F(θatk)]>ϵf 且 E[Perf R(θatk)]>ϵu；只靠严重损害正常效用来拟合 Da 的攻击不计入防御失败。
  • 攻击者知识与能力：对已发布参数 θrel 有 white-box 访问，并持有未见数据集 Da∼PF。攻击类 A 中，攻击者可自选训练目标、优化器、日程及其他配置，得到 θatk=A(θrel; Da)。
  • 防御方知识：发布前持有原参数 θo 与代理集 Df∼PF。对未来的 Da 与攻击过程 A 保持 agnostic。
  • 防御成功条件（Definition 2.2）：没有任何 A∈A 在 Definition 2.1 下成功，且正常效用下降不超过允许量 ϵr，即 Perf R(θrel)≥Perf R(θo)−ϵr，并要求 ϵu<Perf R(θo)−ϵr。

附录 B 将相关工作分成四组。作者把 GSU 放在模型侧、发布前、针对未来微调获取的位置上。

回顾式 LLM 遗忘及其鲁棒性

• GA、GradDiff、NPO、RMU（Jang et al., 2023; Yao et al., 2024; Maini et al., 2024; Zhang et al., 2024; Li et al., 2024）——在已知 forget set 上抑制已学行为：梯度上升最大化遗忘集 NLL，GradDiff 与 NPO 加入保留或参考模型约束，RMU 做表示级误导。
• 再学习与鲁棒遗忘（Hu et al., 2025a; Sheshadri et al., 2025; Fan et al., 2025a; Wang et al., 2025a; Lang et al., 2026）——被抑制能力可在下游微调后重现；后续工作用潜在对抗训练、平滑或不变性正则、优化器简化来提高鲁棒性。作者指出这些方法仍以发布时抑制已知目标为中心，不约束未见数据诱导的获取梯度。
• 评测与数据重叠（Lynch et al., 2024; Shi et al., 2025; Wang et al., 2025b; Dorna et al., 2025; Hu et al., 2025b）——讨论鲁棒遗忘的多种评测、MUSE 的六项评测，以及遗忘–保留重叠下的评测。

开源权重安全与防篡改

• 有害微调（Qi et al., 2024; Lermen et al., 2023; Kaunismaa et al., 2026）——即使非恶意微调也可能削弱对齐；LoRA 微调可撤销安全训练；在受保护输出上微调可引出有害能力。
• 发布前或训练期防护（Tamirisa et al., 2025; Huang et al., 2024; 2025; Hsu et al., 2024; O’Brien et al., 2025; Chen et al., 2025）——防篡改保障、针对有害微调的扰动对齐与衰减、Safe LoRA，以及用预训练数据过滤把保障做进权重。作者把这些工作视为发布后参数可被改写这一前提下的防护，与本文的获取通路封堵并列讨论。
• 外部防护栏（Inan et al., 2023a; Han et al., 2024）——Llama Guard 与 WildGuard 做输入输出审核。作者称用户拥有全部参数时，外部 guardrail 极难执行。

数据侧预防性保护

• 不可学习样本与投毒（Huang et al., 2021; Fowl et al., 2021; Fu et al., 2022）——在数据发布前加入扰动，使模型难以利用这些数据。
• 生成模型上的风格与隐私保护（Shan et al., 2020; 2023; 2024; Liang et al., 2023; Van Le et al., 2023; Hönig et al., 2025）——Fawkes、Glaze、Nightshade、Anti-DreamBooth 等保护人脸、画风或阻止模仿。作者称对抗扰动并不能可靠地保护艺术家。
• 作者将这些方法定位为保护尚未发布的数据；本文保护的是即将发布的模型权重，防御发生在参数侧而非数据侧。

表示定位与通路控制

• 定位与编辑（Meng et al., 2022; 2023）——在 Transformer 中定位事实关联并做大规模记忆编辑。
• 概念擦除与拒绝方向（Ravfogel et al., 2020; Belrose et al., 2023; Zou et al., 2023; Arditi et al., 2024）——零空间投影、闭式线性概念擦除、表示工程，以及用单一方向介导拒绝。
• 梯度路由与激活重定向（Cloud et al., 2024; Shen et al., 2026; Yang et al., 2026）——用梯度掩码把计算定位到局部通路，或通过激活重定向、抑制 spurious unlearning 神经元做遗忘。作者借用“遗忘相关行为可集中在局部通路”这一观察，但干预的是发布前、针对未来微调的 SiLU 门梯度因子。

基线方法包括 GradDiff、NPO、RMU、WGA（Wang et al., 2025c）、SatImp（Yang et al., 2025b），以及鲁棒防御 RepNoise（Rosati et al., 2024）、ILU（Wang et al., 2025a）、NPO+SAM（Fan et al., 2025a），均带保留项。基准为 TOFU（Maini et al., 2024）与 WMDP（Li et al., 2024）。

作者称：据其所知，GSU 是把 preemptive unlearning 形式化并评测为发布前防御的早期系统性工作之一；它也可能加强回顾式遗忘对 post-unlearning attacks 的抵抗（Hu et al., 2025a）。与回顾式方法的差别在于，除抑制当前输出外，还封堵获取敏感门的局部梯度。

Gradient-Sealed Unlearning（GSU）分三步：在一次性副本上用代理集暴露获取引起的预激活变化，按上移幅度选出固定门集合，再从原权重重启，把这些预激活推入 SiLU 负尾，并联合响应抑制与保留监督。直接惩罚获取梯度范数需要二阶导数；作者改用 ReLU 族激活在足够负输入上导数为零或接近零这一性质，只用一阶更新衰减局部梯度因子。

问题设定

• 域与性能：禁止域 F 与正常域 R 上的分布为 PF、PR。Perf F(θ)、Perf R(θ) 越高分别表示禁止能力越强、正常效用越高。
• 发布前防御：θrel=U(θo; Df)。Df 与攻击集 Da 都来自 PF，但不必重叠；防御方不知道 Da 和 A。
• 攻击的局部分析：作者假设攻击者最小化监督微调损失 La(θ; Da)。一步更新为 θ+=θrel−η ga，ga=∇θ La(θrel; Da)。禁止敏感方向张成子空间 S，其正交补不在一阶上影响禁止分数的可微代理 SF。
• 一步上界：Proposition 3.1 在 SF 局部 Lipschitz 且光滑、且 ∇SF 完全落在 S 内时，对足够小的 η 有 ΔSF=−η⟨∇SF, ga⟩+O(η²)≤η LF∥ΠS ga∥2+O(η²)。作者据此认为应压低该投影范数，而不只压低发布时的 SF(θrel)。

Expose：用代理学习暴露变化

• 一次性前瞻：从 θo 出发，在 Df 上短时最小化监督 NLL（式 (1)），得到 θla；θla 只用于选门，选完即丢弃。
• 匹配上下文：在相同的 teacher-forcing 上下文 (x, y<i) 上比较 θo 与 θla 的门预激活 u。作者称这样可以把学习引起的变化与生成续写的差异分开。
• 实现位置：原则用在 Llama 与 Qwen 的 SwiGLU MLP 的 SiLU 门（Elfwing et al., 2017; Shazeer, 2020）。

Localize：按方向性招募选门

• 招募分数：式 (2) 对每个通道计算 rℓj，即预激活增量再经 ReLU 后、在答案 token 上的平均。先做 ReLU 是为了避免其他位置的下降抵消上升；即使两端都为负，上移仍会计入。
• 分层预算：式 (3) 用该层原始预激活幅度 mℓ 归一化，得到相对招募 Rℓ。在 mℓ>0 的层中取 Rℓ 最高且为正的 K 层；每层再取 rℓj 最高且为正的 ⌈p dℓ⌉ 个通道。p∈(0,1] 控制比例。得到固定集合 G。
• 动机实验中的对应信号：§3.2 用答案 token 平均激活的绝对变化做层内秩相关；GSU 本体改用带方向的预激活上移，而不是绝对变化。

Seal：封堵局部梯度并联合优化

• 局部机制：对 u=w⊤h，经该门的梯度贡献含因子 ϕ′(u)（ϕ 为 SiLU）。u→−∞ 时 |ϕ′(u)|→0。选定共享阈值 τ<0，seal 损失（式 (4)）对 G 上违反 u≤τ 的预激活施加 ReLU² 惩罚。u≤τ 后该项对 u 的直接导数为零，不再继续下压。作者称这是软约束，不是硬截断。
• 联合目标：式 (5) 为 LGSU=Lsup(θ; Df)+λs Lseal(θ; Df)+λr Lret(θ; Dr)。λs、λr≥0。从 θo 做全参数一阶优化得到 θrel，不通过前瞻阶段反传。
• 预期效果：若未见获取仍使用预激活留在负尾的已选门，这些局部梯度因子保持较小。响应抑制负责发布时的禁止输出，保留项负责正常效用。

成功判定与评测协议

• TOFU（预防）：模型先只在 retain90 的 180 位作者上训练，作为从未学过禁止知识的起点。其余 20 位 forget10 作者为禁止域；每人向 B1、B2 各贡献 10 个 QA，两池各 200 对。攻击者用 B2；防御方在 disjoint 设定用 B1，在 identical 设定用 B2。
• WMDP（移除后再抵抗恢复）：从已含危险知识的检查点出发，在 WMDP-Bio 与 WMDP-Cyber 上把遗忘语料分成防御用 B1 与攻击用 B2，防御使用完整 retain 语料。作者只报告 disjoint：知识已经存在时，攻防数据相同会退化为常规鲁棒遗忘。
• 指标：TOFU 用 extraction strength。ES3、ES5 分别是攻击 epoch 1–3 的早期均值与第 5 个检查点。WMDP 的 F3、F5 是域准确率，取步 25/50/75 与步 125。UA90 是效用不低于 0.9 Uref 时评测到的最高禁止分数。主比较用 UWC 把发布效用校准到至少 0.95 Uref，表中因此不列发布效用。分数为百分数，越低越好。

实验设置

• 模型：TOFU 上为指令微调的 Llama-3.2-1B、Llama-3.2-3B、Llama-3.1-8B 与 Qwen3.5-2B、Qwen3.5-4B、Qwen3.5-9B。WMDP 上为 Zephyr-7B-β。No Defense 是防御前的共享检查点：TOFU 为 retain-only，WMDP 为原始检查点。
• 基准规模：TOFU 的禁止域为 20 位 forget10 作者，B1 与 B2 各 200 个 QA。WMDP 为 WMDP-Bio 与 WMDP-Cyber，遗忘语料分成 B1、B2；论文未在正文给出两池的文档条数。
• 基线：GradDiff、NPO、RMU、WGA、SatImp，以及 RepNoise、ILU、NPO+SAM，均带 retention。§3.2 的机制实验另用 SimNPO。
• 防御与攻击：防御与攻击的有效 batch size 均为 16。TOFU 防御 10 epoch、基础学习率 10−5；攻击 10 epoch，学习率在 No Defense 上按模型校准一次后各方法共用。WMDP 防御 80 次更新、学习率 4×10−6；攻击 150 次更新、同一学习率。攻击为在 Da 上的监督全参数微调。
• 指标与校准：ES 为 extraction strength，WMDP 为 domain accuracy。ES3/ES5、F3/F5、UA90 的定义见上一问。UWC 将主比较的发布效用校准到 ≥0.95 Uref。Fig. 4 为单次运行。论文未报告主表的重复次数。
• 机制实验设置：在 Qwen3.5-2B 上，先于 retain90 微调得到 Reference。对 20 位目标作者按 4/8/8 条事实分到 Df、Da 与 holdout，行不重叠。Reference 不在这些划分上优化。

主结果

Table 1–2 的分数为百分数，越低越好。下表只列 No Defense 与 GSU；GSU 在 36 项中有 2 项不是第一或第二，这两项的更优基线写在表后。

表格较宽，可左右滑动

设定	模型	指标	No Defense	GSU
TOFU disjoint	Llama-3.2-1B	ES5 / UA90	16.33 / 50.08	12.40 / 27.87
TOFU disjoint	Llama-3.1-8B	ES5 / UA90	19.63 / 53.68	18.03 / 86.17
TOFU disjoint	Qwen3.5-9B	ES5 / UA90	90.92 / 98.53	92.85 / 98.39
TOFU identical	Qwen3.5-2B	ES5 / UA90	6.69 / 6.84	3.13 / 3.95
TOFU identical	Qwen3.5-9B	ES5	90.92	45.08
WMDP disjoint	Zephyr-7B-β Bio	F5 / UA90	65.36 / 65.99	34.13 / 34.98
WMDP disjoint	Zephyr-7B-β Cyber	F5 / UA90	43.83 / 44.14	30.23 / 30.92

• TOFU：作者称 GSU 在 Table 1 的 36 项模型–设置–指标比较中 34 项排第一或第二；disjoint 下六个模型中五个 ES5 最低、四个 UA90 最低。Llama-3.2-1B 的 disjoint UA90 从无防御的 50.08 到 GSU 的 27.87，作者称最强基线为 30.52。identical 下 18 项中 17 项第一或第二。Qwen3.5-9B identical 的 ES5：GSU 45.08，NPO+SAM 48.08，无防御 90.92。
• 例外：disjoint 的 Qwen3.5-9B 上，GSU 的 ES3 为 19.63、ES5 为 92.85，均高于 No Defense 的 19.44 与 90.92；GradDiff 的 ES3 为 19.88，更高。Llama-3.1-8B disjoint 的 UA90 上，GSU 为 86.17，高于 No Defense 的 53.68，也高于 GradDiff 的 44.56。Llama-3.2-3B disjoint 的 ES5 上，GSU 为 19.89，RMU 为 19.37，No Defense 为 19.41。
• WMDP：作者称 GSU 在 Table 2 的两个域、三项指标上都排第一或第二。Bio 的 F5 为 34.13（无防御 65.36；作者称最强竞争结果 34.83），Cyber 的 F5 为 30.23（无防御 43.83；作者称最强竞争结果 31.08）。Cyber 的 F3 最低，为 30.16；两域 UA90 均为第二低（Bio 34.98，Cyber 30.92）。WGA 的 Cyber UA90 为 30.11，低于 GSU。

机制：低发布分数、通路预测与定向衰减

• 测了什么：Fig. 2 在上述 TOFU、Qwen3.5-2B、Reference 设置上比较发布 ES 与同一次 Da 获取之后的 ES，并检验 Df 前瞻能否预测 Da 会改变哪些通道。
• 结果：Fig. 2a 中，方法在 Df 上的发布状态至少保留 Reference 效用的 95%。NPO 的 ES 从 0.112 升到 0.326，RMU 从 0.032 升到 0.257。Fig. 2b 的层内通道秩在 24 层上均为正相关，汇总 ρ=0.617；作者称深色六边形集中在右上，代理学习最敏感的通道也倾向于在真实获取中变化最大。
• 作者的解读：Fig. 2c 只按 Δf 排名选取每层前 p% 通道，在 Da 获取时把反向/更新通路乘以 m=1−α，前向不变，并匹配 Full-FT 的逐步更新范数。相对获取增益的降幅 R 在 p=10%、α=100% 时为 24.35%；作者称完全衰减时，定向掩码在每个覆盖率上都优于层数与数量匹配的随机掩码。作者把这称为局部通路支持获取的因果证据。

攻击过程、门响应与良性可学性

• 攻击曲线：Fig. 4a 为 Qwen3.5-2B、disjoint TOFU、单次运行。作者称 GSU 在十一个观察检查点上的 ES 都低于所比较的五种方法中的其余方法。epoch 5：GSU 4.713%，NPO 5.056%，NPO+SAM 5.102%。epoch 10：GSU 5.377%，NPO+SAM 5.533%。作者同时称差距收窄且 GSU 起点更低，因此该比较不能确立学习全程更慢。
• 发布时门响应：Fig. 4b 在已选门上比较平均 |SiLU′(u)|。作者称相对原始对照，GSU 在 B1 上约降 24%、在 B2 上约降 23%，在 retain 输入上约降 11%；去掉 seal 后更接近对照。附录中的匹配攻击后探测考察部分逆转与残余差异。
• 良性微调之后：Fig. 4c 在经济学数据上微调 2 epoch 后，Llama-3.2-1B、Llama-3.2-3B 与 Qwen3.5-2B 上 GSU 的验证 NLL 降到与 No Defense 相差 0.005 以内。作者称较大的降幅也反映更高的初始损失，而不是更高的学习效率。Fig. 14 中，良性微调后再攻击 10 epoch，Qwen3.5-2B 上 GSU 的 ES 为 5.063%，No Defense 为 6.502%（差 1.439 个百分点）；效用 68.894 对 67.772。直接攻击 GSU 的终点 ES 为 5.377%、效用 69.955，良性适配后两者都更低。

其他消融与分析

• 组件：§F.2 比较去掉 seal 等组件；正文只给出 Fig. 4b 的定性结果：无 seal 时门导数更接近原始对照。论文未在正文给出完整组件消融数字。
• 封堵轨迹：§F.3 报告 sealing 过程中预激活进入负尾的轨迹；正文未给出中间数值。
• 攻击后的门：§F.5 考察攻击后选定门的导数有部分回升，并保留与对照的差异；正文未给出回升后的具体百分比。
• 攻击时效用：§F.1 报告攻击过程中的效用；正文未单列数字。§F.6 报告良性任务上的准确率与 NLL 轨迹。
• Fig. 2c 的覆盖率：图中标注的获取增益降幅还包括 p=10% 时 α 从 0 到 100% 的 0.0、7.7、12.4、17.4、24.4，以及 p=0.5% 时的 0.0、7.2、5.0、8.6、8.5（百分数，图中四舍五入）。
• 主表中的高获取：disjoint 下 Qwen3.5-9B 各方法的 ES5 都在 90.92–93.40；identical 下同一模型 GSU 的 ES5 降到 45.08，NPO+SAM 为 48.08，ILU 为 66.56，SatImp 为 85.18。

作者指出的局限与后续方向

• 训练范围：附录 G 写明，评测覆盖的是实际下游微调，而不是用任意算力从零开始的不受限重训练。
• 分析是局部的：同一节写明分析是 local 的。这与 Proposition 3.1 的一步、小学习率展开一致，作者把这一点列为局限。
• 代理通路假设：GSU 依赖防御方代理集与未来数据共享获取通路；更广的域偏移因此可能需要更丰富的代理覆盖（附录 G）。
• 后续方向：把研究扩展到更多架构、领域和发布后训练过程，被作者称为自然的未来工作（附录 G）。
• 正文结论未另列局限清单。伦理声明中关于受控实验、未部署的表述不计入此处。

实验覆盖范围

• 模型与基准：TOFU 主比较为 Llama-3.2-1B、Llama-3.2-3B、Llama-3.1-8B 与 Qwen3.5-2B、Qwen3.5-4B、Qwen3.5-9B；WMDP-Bio 与 WMDP-Cyber 为 Zephyr-7B-β（§5.1，Table 1–2）。
• 两种任务：TOFU 同时报告 disjoint 与 identical prevention；WMDP 只报告 disjoint removal。攻击为监督全参数微调：TOFU 10 epoch，WMDP 150 次更新（§5.1）。
• 机制实验：Fig. 2 的通路预测与定向衰减只在 Qwen3.5-2B、20 位作者、4/8/8 划分上完成；Fig. 4a–b 为同一模型的 disjoint TOFU、单次运行。良性 NLL 覆盖 Llama-3.2-1B、Llama-3.2-3B 与 Qwen3.5-2B。
• 效用约束：主表发布效用由 UWC 校准到 ≥0.95 Uref，表中不列发布效用。UA90 使用 0.9 Uref。论文未报告主比较的重复次数，也未报告评审模型与人工一致性；ES 与 WMDP 准确率按 §E 的定义计算。
• 攻击配置：TOFU 的攻击学习率在每个模型的 No Defense 上校准一次后跨方法共用。Fig. 14 的“良性微调后再攻击”报告的是 Qwen3.5-2B、两 epoch 良性适配、再攻击十 epoch 这一设定。

Gradient-Sealed Unlearning（GSU）是一种发布前的 preemptive unlearning：不删除模型里已经有的能力，而是让指定禁止域能力更难被发布后的微调获取。

• 问题：开源权重发布后，攻击者对参数有 white-box 访问，并可在未见的禁止域数据上自选微调配置。回顾式遗忘主要压低当前输出的似然；Proposition 3.1 说明一步获取增益仍受体现在禁止敏感方向上的攻击梯度投影控制。
• 方法：在一次性副本上用代理集 Df 做短时监督拟合，按 SiLU 预激活的上移选出若干层和通道；丢弃该副本，从原权重重启。联合目标包含对 Df 的响应抑制、把选中预激活推到共享负阈值 τ 以下的 seal 损失，以及对正常域的保留监督。负尾处 SiLU 导数为零或接近零，从而用一阶更新衰减局部梯度因子。
• 机制证据：在 Qwen3.5-2B 的知识缺失设定中，NPO 的 extraction strength 从 0.112 升到 0.326，RMU 从 0.032 升到 0.257（Fig. 2a）。代理前瞻与真实获取的通道秩相关为 ρ=0.617（24 层均为正）。按该排名衰减梯度，p=10%、α=100% 时获取增益比 Full-FT 低 24.35%。
• 主结果：TOFU 上 GSU 在 36 项比较中 34 项列第一或第二。disjoint、Llama-3.2-1B 的 UA90 为 27.87，无防御为 50.08。identical、Qwen3.5-9B 的 ES5 为 45.08，无防御为 90.92，NPO+SAM 为 48.08。WMDP 上 Zephyr-7B-β 的 F5：Bio 从 65.36 到 34.13，Cyber 从 43.83 到 30.23。例外包括 disjoint 的 Qwen3.5-9B，其 GSU 的 ES5（92.85）高于无防御（90.92），以及 Llama-3.1-8B 的 disjoint UA90（86.17 对无防御 53.68）。
• 作者的结论：作者认为 GSU 在所评测的预防与再获取设定中限制了禁止能力的获取，同时良性微调仍然可行；组件分析与门探测支持封堵超出单纯输出抑制。作者同时指出，结论对应的是所报告的下游微调协议，分析是局部的，并且依赖代理数据与未来攻击数据共享通路。