Gradient Immunity 提出 USG：在开放权重发布时阻断恶意微调梯度

已对齐模型在恶意下游微调后安全对齐会被少量有毒数据破坏，而现有防御并不直接覆盖提供者控制的部分保护开源权重（partially protected open-weight, PPOW）发布设定。

• 场景：作者称推理期对齐不足与提示误导之外，恶意训练者用少量有毒数据即可破坏原有安全对齐（Wei et al., 2024; Wu et al., 2026）。提供者希望大部分权重仍可训练，同时保护一小部分安全关键组件。
• 现有方法不足：作者将现有微调防御分为对齐阶段、微调阶段与微调后阶段（Huang et al., 2024b）。Vaccine 只能针对特定数据攻击，且可能在更强下游适应下变弱；SafeInstr 要求训练者使用特定训练框架；SafetyLock 要求用户在训练后做激活转向。作者认为这些方法共同依赖下游配合额外安全流程。
• 核心观察：非参与但同分布的有害样本，其范数比往往低于安全样本，使防御者能用发布时阈值把阻断覆盖扩展到参与构建零空间的有害样本之外。
• 本文提出：Unidirectional Safety Gate（USG），实例化为插在最后一层 Transformer 之后的 Null Space Cubic Layer 与 Inverse Adapter。立方层在校准保护区内抑制或阻断有害样本梯度，逆适配器恢复基座前向行为。作者称这是一种发布时机制，而非已完全验证的部署产物。
• 威胁模型：
  • 目标：对抗训练者通过恶意下游微调侵蚀 M0 的安全对齐，同时尽量保留良性效用；成功攻击要求对 Dadv 中样本，M0 的 IsToxic 为 0 而微调后 M1 为 1，且 M1 在良性基准上相对 M0 保持或提高性能。
  • 知识与能力：攻击者对已发布架构有 white-box 访问，完全控制暴露权重上的下游训练，包括数据、优化器与训练流程；只更新暴露权重 Wopen，受保护子集 Wprot 保持不变。
  • 受害系统：PPOW 发布模型。大部分参数开放可训练，一小部分安全关键参数由提供者侧加固保留，加固方式包括 freezing、encryption、structural entanglement 或 deployment-time fusion。
  • 范围：排除删除、绕过、替换或独立重训受保护组件的攻击。实验限于低预算下游 SFT，例如单张 80 GB GPU、约 100 条有害样本，且资源远少于训练已发布模型所用资源。作者不声称覆盖更一般的发布后优化；若攻击者资源足够直接训练或大幅改造单独的有害模型，保护已发布模型的相关性会下降。

论文在引言与 Related Work 中把相关工作分成两类，并在实验中使用对齐阶段防御作为基线。

• 微调攻击与防御：Qi et al. (2024b) 讨论 LLM 对恶意微调的抵抗仍然不足。近两年多项工作在 fine-tuning-as-a-service（FTaaS）范式下处理该问题，包括 Rosati et al. (2024)、Huang et al. (2024c)、Bianchi et al. (2023)、Zong et al. (2024)、Casper et al. (2024)、Yi et al. (2024)、Hu et al. (2025b)、Jiang and Pan (2025)、Liu et al. (2025)、Huang et al. (2024a)。Huang et al. (2024a) 通过衰减有害扰动来保持对齐表现；Rosati et al. (2024) 擦除有害表示，使微调时更难恢复。引言中 Huang et al. (2024b) 把防御分为三类：对齐阶段方法（Rosati et al., 2024; Huang et al., 2024c,a）、微调阶段方法（Bianchi et al., 2023; Zong et al., 2024）与微调后阶段方法（Casper et al., 2024; Yi et al., 2024）。
• LLM 中的零空间应用：零空间方法被用于隐私保护（Cao et al., 2026）、微调或知识注入时保留无关知识（Fang et al., 2024; Hu et al., 2025a; Sun et al., 2025）、缓解灾难性遗忘以及减少幻觉（Yang et al., 2025b）。作者称据其所知，本文是把零空间方法用于微调防御的首次工作。
• 基线方法与基准：抵抗任务的基线为无防护模型，以及对齐阶段方法 RepNoise（Rosati et al., 2024）、Booster（Huang et al., 2024a）和 AntiBody（Nguyen et al., 2026）。数据集为 JailbreakBench（Chao et al., 2024）、HarmfulBench（Mazeika et al., 2024）与 BeaverTails 的不安全子集 BeaverTails-H（Ji et al., 2023）。前向恢复用 Alpaca（Taori et al., 2023）的 2,000 条样本，基线为原始预训练模型。

作者把 USG 定位为面向 PPOW、减少对下游用户配合依赖的发布时阻断机制；FTaaS 被看作提供者侧控制更强、受保护子集假设更容易满足的特例。作者称本文直接评估这种阻断行为，而不声称它是已完全验证的部署产物。

Unidirectional Safety Gate（USG） 是一类抽象机制：在第 k 个 Transformer 层之后插入带参数 W 的层，安全样本前向正常通过，禁止子集 Dforbidden 上对层输入的梯度被阻断。本文用 Null Space Cubic Layer 加 Inverse Adapter 给出一种实例，插在最后一层 Transformer 之后。

问题设定与理想目标

• 符号：M0 的参数为 W0 = (Wopen, Wprot)。攻击者只更新暴露权重，得到 M1。防御者持有 Ddefense，且 Dtoxic ∪ Dsafe ⊆ Ddefense。
• 三个理想目标：Safety Invariance 要求对 IsToxic(M0, x) = 0 的对抗输入，微调后仍为 0；Utility Generalization 要求安全数据上的性能不低于变换前；Strict Constraint Enforcement 要求在完全阻断区间，M1 在受保护有害分布上不比 M0 更有害。
• USG 定义：前向对任意 x ∈ Ddefense 良定义；后向对 x ∈ Dforbidden 有 ∂L/∂hx = 0。对其余样本不额外约束梯度。Figure 1 把有害数据上的理想行为画成二极管（反向传播时梯度置零），把安全数据画成不引起梯度消失的导线。

Null Space Cubic Layer

• 插入位置与输出：立方层接在前一层残差连接之后、下一层输入之前。层输入 h ∈ R^{B×L×D}，W ∈ R^{D×D} 预设且不可学习。输出为 O(h)=((hW)h^T)h，乘法与转置作用在最后两维。若 hW = hW^T = 0，则称为 Null Space Cubic Layer。
• 梯度结构：∂L/∂h 分解为三项，每项都含 hW 或 hW^T。若二者近似为零，则诱导梯度消失，阻断向更早层传播。W 取自 Dforbidden 隐状态的公共右零空间：令 V 的列张成该空间，设 W = VV^T。实验用 Frobenius 范数 ∥hW∥ 衡量接近零的程度。
• 实用门控：精确零空间由范数比近似。定义 r(h) = ∥hW∥/∥h∥，当 r(h) ≤ τ 时抑制梯度，否则通过。τ 在防御者持有的有害参考数据上按有害阻断率目标校准一次，发布后冻结。附录 A 给出门实现细节。

Inverse Adapter

• 作用：立方层使 O(h) ≠ h，后续模块与原输出不兼容，且 W 不可学习。逆适配器接在立方层之后，解析抵消这一确定性畸变，不引入可训练参数。
• 逐 token 形式：对每个 batch 元素与 token，立方层只按标量 sb,ℓ = hb,ℓ W hb,ℓ^T 缩放局部隐状态方向。W 半正定时，sb,ℓ > 0 有解析逆 h_b,ℓ=y_b,ℓ((y_b,ℓ W y_b,ℓ^T)^−1/3)。sb,ℓ = 0 时映射塌缩为多对一，没有唯一逆；塌缩情形在附录 D 讨论。作者称在本文评估设定中逆适配器可用于任意样本。
• 组合后的两条性质：门未激活时，组合结构在可忽略数值误差内保持基座前向；精确零空间情形下禁止子集梯度恰为零，实用实现则改为阈值门。

构建流程与保护假设

1. 在预训练模型最后一个 Transformer 层后插入立方层与逆适配器，得到 MN^CL。
2. 用提供者收集的有害问答集 DT 前向得到该层输入隐状态。
3. 把这些隐状态当作行向量，计算公共右零空间并设 W = VV^T。参与该计算的称为 participating harmful samples（Dforbidden），同分布但未参与的称为 non-participating（Dtoxic \ Dforbidden）。为扩大样本上限，使用附录 F 的 extended null-space selection。
4. 逆适配器由解析逆直接给出，无需迭代训练。
5. 发布时假设二者在 PPOW 下被保留。附录 E 讨论一种可能实现：把防护与相邻计算融合，使隔离和删除需要额外重建或重训；并给出基于门控的训练方法。作者把参数融合视为支持该假设的一种具体实例，而不是已验证的部署。

成功判定与两个评测任务

• 阻断指标：safe pass rate 是满足 r(h) > τ 的安全样本比例；harmful block rate 是满足 r(h) ≤ τ 的有害样本比例。主抵抗实验采用 strict fixed-threshold 100% harmful-block：τ 取防御者持有有害参考样本上观察到的最大范数比，之后固定。
• 两个任务：抵抗有害微调，以及 Inverse Adapter 的前向恢复。攻击成功用 ASR 衡量，即生成有害回复的比例；恢复用 Alpaca 上的 QA-pair accuracy，由 DeepSeek-V3 判断回答是否正确。

实验设置

• 模型：Qwen3-14B（表中记为 Qwen-14B）与 Llama-3.1-8B（表中记为 Llama-8B）。每个基座按三个有害构建集各得到一个防护模型，共六个。
• 数据：抵抗任务使用 JailbreakBench、HarmfulBench 与 BeaverTails-H。前两个数据集各用 100 条有害训练样本，同时作为零空间构建集与严格持久性实验的下游微调集。BeaverTails-H 用 100 条构建零空间，另 100 条不参与构建、只用于阈值校准。恢复任务用 Alpaca 的 2,000 条样本。逆适配器单独保真度用 500 条良性混合评测集。
• 基线：抵抗任务为无防护、RepNoise、Booster、AntiBody。作者称微调阶段与微调后阶段方法可被完全控制训练流程的攻击者绕过，因此只选对齐阶段方法。恢复任务基线为原始预训练模型。
• 训练：抵抗任务做 SFT，AdamW、全精度，学习率 4e-5，最大梯度范数 1.0，warmup ratio 0.2。具体低预算攻击只微调最后五个 Transformer 层。逆适配器无参数训练，直接用解析逆。论文未报告训练步数、epoch 或重复次数。
• 指标与评审：ASR 为微调前后在同一数据集上的攻击成功率；safe pass rate 与 harmful block rate 按范数比相对冻结阈值定义。Alpaca 上 ACC 由 DeepSeek-V3 判断。Table 4 报告 Top-1 Agr.、Logits KL、Hidden Cos. 与 Hidden Rel. L2。论文未报告 ASR 的具体判定模型或规则。
• 主设定：Null Space Cubic 使用 strict fixed-threshold 100% harmful-block，阈值在发布时校准一次并在下游有害微调与评测中保持固定。

主结果

据 Table 1，Pre 为有害微调前 ASR，Post 为在对应有害数据集上微调后的 ASR。“/”表示生成质量严重下降（包括效用损失、无意义生成或 mode collapse），不作为可比 ASR。

Swipe horizontally to read the table

模型	方法	JB Post	HB Post	BT-H Post
Qwen-14B	None	0.55	0.29	0.215
Qwen-14B	Booster	0.16	0.09	0.30
Qwen-14B	RepNoise	0.53	/	0.38
Qwen-14B	Antibody	0.04	0.19	0.135
Qwen-14B	Null Space Cubic	0.04	0.05	0.07
Llama-8B	None	0.74	0.37	0.78
Llama-8B	Booster	0.62	0.10	0.435
Llama-8B	Antibody	0.00	0.13	0.07
Llama-8B	Null Space Cubic	0.01	0.04	0.035

表中 Null Space Cubic 的 Post 与各自 Pre 相同：Qwen-14B 在三个数据集上 Pre/Post 为 0.04 / 0.05 / 0.07，Llama-8B 为 0.01 / 0.04 / 0.035。Llama-8B 的 RepNoise 在 HarmfulBench 与 BeaverTails-H 为 “/”，JailbreakBench 的 Post 为 0.08。

• 作者解读：在该严格阈值下，六个模型–数据集设定的微调后 ASR 都停在发布前水平，作者称有害下游更新没有进一步侵蚀防护。粗体标出每个模型–数据集块中最低的 Post ASR。
• 例外：Llama-8B、JailbreakBench 上 Antibody 的 Post ASR 为 0.00，低于 Null Space Cubic 的 0.01，也低于其 Pre 的 0.01。Qwen-14B、BeaverTails-H 上 Booster 的 Post 为 0.30，高于无防护的 0.215。
• 安全通过率：Table 2 在同一冻结阈值下，两个模型在 JailbreakBench 与 HarmfulBench 的 safe pass rate 均为 100%；BeaverTails-H 上 Qwen-14B 为 79%，Llama-8B 为 69%。作者称该策略在更难的 BeaverTails-H 上更保守，且应与 ASR 一起读：Post ASR 不变且 safe pass 高，表示防护持续，而不是一律拒答。

前向恢复

• Alpaca：Table 3 中 Qwen-14B 的 Base Model 与 Inverse Adapter 的 ACC 均为 66.0%，Llama-8B 均为 60.0%。作者称这与逆适配器作为解析前向恢复映射、而非单独可训练组件的角色一致。
• 单独保真度：Table 4 在 500 条良性混合集上，六个防护来源（两模型 × JailbreakBench、HarmfulBench、BeaverTails）的 Top-1 Agr. 均为 1.000000，Hidden Cos. 均为 1.000000000。Logits KL 从 Llama-8B JailbreakBench 的 1.82e-10 到 Qwen-14B BeaverTails 的 1.91e-03；Hidden Rel. L2 从 1.50e-07 到 2.75e-03。作者称逆适配器几乎精确抵消立方层畸变；在逆适配器加扩展零空间的设定下，严格零点实际上不出现，前向保持扩展到几乎所有样本，梯度阻断仍由立方层负责。

阻断泛化与条件持久性

• 阻断泛化：Figure 3 画出 Qwen-14B、BeaverTails-H 上 safe、participating harmful、non participating harmful 的范数比以及 tuned threshold，纵轴到 0.006，横轴为 Sample index。图注称非参与有害样本未用于构建零空间，仍往往比安全样本更靠近保护区域。作者据此认为表示层分离可被防御者校准的阈值转成同分布有害样本上的阻断覆盖。
• 条件持久性：作者考虑校准用的同分布有害样本仍在保护区内、少量分布外（OOD）有害样本越过阈值的边界情形。附录 G 与 Figure 11、Figure 12 比较固定 strict-100 阈值下不同学习率。图注称严格参考运行与学习率 1×10^{-5} 的 OOD 运行保持接近初始工作点，并保留原有安全–有害分离；4×10^{-5} 仍保持有害阻断，但牺牲 safe pass，并把安全样本推向阈值边界；3×10^{-4} 很快失去有害阻断，分离塌缩，冻结阈值不再干净分开有害与安全样本。作者称冻结阈值门在小更新下通常保留，但可被足够大的更新突破。
• 权衡：作者称更低校准阈值减少对安全数据的不必要门控，但削弱有害阻断覆盖；更高阈值相反。USG 应被理解为发布时校准的、以后向门实现的阈值机制，其持续性取决于有害微调信号是否仍被阻断。

其他消融与分析

• 扩展零空间：Limitations 称精确零空间选择在本文评估设定中只对几十条有害样本可行；附录 F 在 BeaverTails/Qwen、固定 95% harmful-block 目标下，扩展选择扩大了可用样本规模。论文正文未给出该附录的具体条数。
• 学习率边界：Figure 11–12 的四个条件为 strict-100 参考、以及冻结阈值下 lr = 1×10^{-5}、4×10^{-5}、3×10^{-4}，横轴 Global step 或 Step 至 26。正文未列出各步的数值阻断率。
• 主表中 RepNoise 的 “/”：Llama-8B 在 HarmfulBench 与 BeaverTails-H、以及未在上表列出的 Qwen-14B HarmfulBench，论文不报告可比 ASR。
• 论文未在主结果中报告查询次数、参数量开销的具体数字，或融合实现的实证攻击结果。

作者指出的局限与后续方向

• 零空间敏感（Limitations）：零空间对输入空间敏感，即使轻微扰动也可使其失效。依赖零空间的硬梯度阻断易受输入格式与形式变化影响。防护是否持续，取决于有害训练样本是否继续被阻断。作者称主要脆弱点是部分有害数据落在防御语料覆盖之外或以其他方式逃脱阻断：未阻断的有害更新会逐渐改变原来用于阻断的零空间结构，并可能把有害表示推回有效攻击流形。作者把基于零空间的软梯度阻断称为后续研究方向。
• 逆分支可用性（Limitations）：最强的前向保持主张绑定于本文强调的 inverse-adapter-plus-extended-null-space 区间，其中精确零点实际上不出现，逆分支对几乎所有样本有定义。若未来部署更接近精确零空间极限，部分隐状态会塌缩到严格零，解析逆在这些位置不再唯一；要为每个样本保持精确基座输出，需要超出本文解析逆的额外设计。
• 有害样本数量（Limitations）：有害样本增多时，堆叠的有害隐状态矩阵趋向满秩，非平凡公共零空间可能消失，本文使用的严格约束会变得不可行。Extended Null Space Selection（附录 F）用近似代替精确零奇异方向，可部分缓解；在本文评估设定中精确选择只对几十条有害样本可行，而在 BeaverTails/Qwen、固定 95% harmful-block 目标下，扩展选择扩大了可用样本规模。样本足够大时，有害与安全样本的投影统计可能重叠，固定阈值难以可靠分开。作者称扩展选择不能去掉根本的可扩展性限制：规模足够大时，有害与安全表示之间的间隔变小，可区分性与防御可靠性变弱。
• 后续方向（Conclusion 与 Limitations）：作者希望后续研究面向必须保持可训练、同时又保留核心安全保证的已发布 LLM 的架构防护；软梯度阻断被单独标为有希望的方向。

实验覆盖范围

• 被测模型为 Qwen3-14B 与 Llama-3.1-8B，抵抗与恢复两个任务各使用这两个模型；抵抗任务按三个有害数据集得到六个防护模型。
• 抵抗数据为 JailbreakBench、HarmfulBench（各 100 条，同时作构建集与下游微调集）和 BeaverTails-H（100 条构建、100 条只做阈值校准）；恢复为 Alpaca 2,000 条；逆适配器保真度为 500 条良性混合集。
• 攻击实例化为低预算 SFT，只微调最后五个 Transformer 层，AdamW、学习率 4e-5、最大梯度范数 1.0、warmup ratio 0.2。主结果使用一次校准后冻结的 strict fixed-threshold 100% harmful-block。
• 基线为无防护、RepNoise、Booster 与 AntiBody。Table 1 对生成质量严重下降的运行标 “/” 且不报告 ASR。条件持久性在附录 G 比较严格参考与三种学习率下的冻结阈值轨迹。
• 论文未报告 ASR 的判定模型或规则、训练 epoch 或重复次数，也未在正文给出扩展零空间选择下的具体样本条数。威胁模型写明不覆盖删除或重训受保护组件，也不声称覆盖更一般的发布后优化。

Unidirectional Safety Gate 是面向 PPOW 发布设定的发布时防护：大部分权重仍可训练，一小部分安全关键组件由提供者侧加固保留，下游不必配合额外安全流程。

• 问题：少量有毒数据上的下游微调可以破坏已对齐模型。对齐阶段、微调阶段和微调后阶段的已有防御，或只针对特定攻击，或要求特定训练框架，或要求用户在训练后做转向。作者要的是发布后仍然起作用、减少对用户配合依赖的内置机制。
• 方法：在最后一个 Transformer 层后插入不可学习的 Null Space Cubic Layer 与解析 Inverse Adapter。W 由有害隐状态的公共右零空间经 W = VV^T 构成；实用实现用范数比 r(h) = ∥hW∥/∥h∥ 相对冻结阈值 τ 做后向门，而不是对样本做硬语义判决。逆适配器按逐 token 标量缩放的解析逆恢复前向。构建集内样本为参与有害样本，同分布未参与样本用于把阻断覆盖扩出去。
• 主结果：Table 1 的严格 100% harmful-block 下，Qwen-14B 在 JailbreakBench、HarmfulBench、BeaverTails-H 上的 Post ASR 为 0.04、0.05、0.07，Llama-8B 为 0.01、0.04、0.035，均与各自 Pre 相同。Table 2 中前两个数据集的 safe pass rate 为 100%，BeaverTails-H 为 79%（Qwen-14B）与 69%（Llama-8B）。Llama-8B 在 JailbreakBench 上 Antibody 的 Post ASR 为 0.00，低于本文方法。
• 恢复与泛化：Table 3 中 Inverse Adapter 在 Alpaca 上的 ACC 与基座相同，Qwen-14B 为 66.0%，Llama-8B 为 60.0%。Table 4 六个运行的 Top-1 一致率均为 1。Figure 3 中非参与有害样本的范数比往往低于安全样本。附录中学习率 3×10^{-4} 的运行失去有害–安全分离，1×10^{-5} 则保留。
• 作者结论：发布时表示空间阻断可以在不要求下游配合的情况下提高恶意适应的成本。严格阈值能把微调后 ASR 保持在发布前，但在 BeaverTails-H 上更保守。零空间对输入敏感，精确零点下解析逆不唯一，有害样本规模增大后固定阈值的可区分性变弱；作者把软梯度阻断列为后续方向。