跳到正文
原文

模型免疫不止于条件数:平台区域的重要性

Model Immunization Beyond Condition Numbers: The Importance of Plateau Regions

arXiv:其他 AI 安全论文· arXiv:2611.20472· NeurIPS 2026· Quoc Nguyen, Trung Le, Dinh Phung, Mehrtash HarandiDepartment of Electrical and Computer Systems Engineering, Monash University; Department of Data Science and AI, Monash University本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出模型免疫方法 BECON,同时压低有害梯度并放大 Hessian 条件数;作者称其在 FTaaS、开放权重和防重学场景中降低有害微调成功率。

威胁模型防御方在发布前对模型做免疫(alignment-stage defense)。

问题
已对齐的 LLM 在发布后被少量有害数据微调就会失守。此前基于 Hessian 条件数的模型免疫思路被作者认为理论依据不足且难以扩展到 LLM。
方法
作者先证明收敛速度同时取决于条件数与有害梯度范数,再提出 BECON:用扰动有害梯度构造 plateau 损失压低有害梯度,用 Gauss-Newton Gram 矩阵代理放大条件数,与对齐损失联合优化。
实验与结果
在 FTaaS(Llama-2-7B 等三模型)、开放权重(纯有害微调扫学习率与 epoch)和 WMDP-Bio 防重学三个场景中,作者报告 BECON 多数设置下 HS 最低,并保持良性任务准确率;攻击预算增大时各防御 HS 均上升。
局限与可以继续做的
作者指出:代理数据外的有害分布、更强攻击会削弱保护,免疫有效用折损和一次性训练成本,理论限于确定性全批量梯度下降;开放权重主结果为单种子,HS 评审未做额外人工评估。
实验设置Llama-2-7B、Qwen-2-7B 等 · BeaverTails、BeaverTails-Evaluation 等 · Harmful Score (HS)、Fine-tuning Accuracy (FA) 等
威胁模型
防御方在发布前对模型做免疫(alignment-stage defense)。FTaaS 场景:用户在微调数据中混入 p% 有害样本;开放权重场景:攻击者完全控制发布后的微调(学习率、epoch、预算),用纯有害数据微调;重学场景:攻击者对已遗忘模型在 forget set 上再做 SFT。
被测模型
Llama-2-7BQwen-2-7BGemma-2-9BQwen-3-4BZephyr-7B-betaLlama-3.1-8BQwen3-8B
基准
BeaverTailsBeaverTails-EvaluationSST2AGNEWSGSM8KMMLUTruthfulQAHellaSwagARC-EasyWMDP-BioWikitextPureBad-100
指标
Harmful Score (HS)Fine-tuning Accuracy (FA)Unlearning Effectiveness (UE)VISAGE score
AI 导读论文提出一种改进的模型免疫方法,应对有害微调快速破坏 LLM 安全对齐、已部署模型易受发布后修改影响的风险。先前工作通过诱导病态曲率减缓有害优化,但因 Hessian 估计计算成本高而难以扩展;本文将理论框架扩展为在曲率之外优先考虑平台区域,并基于高效 Hessian 估计与 Hessian 极端奇异值的界设计免疫算法。方法在三个场景验证:微调即服务中良性用户数据可能混入投毒有害数据、开放权重下攻击者仅用有害数据微调,以及稳健遗忘中免疫化模型在遗忘后更能抵抗再学习攻击。作者称,大量实验表明该方法能稳健防御对抗性微调,同时基本保持通用能力与下游可训练性。代码见 https://github.com/minhquoc0712/BECON。

论文提出一种改进的模型免疫方法,应对有害微调快速破坏 LLM 安全对齐、已部署模型易受发布后修改影响的风险。先前工作通过诱导病态曲率减缓有害优化,但因 Hessian 估计计算成本高而难以扩展;本文将理论框架扩展为在曲率之外优先考虑平台区域,并基于高效 Hessian 估计与 Hessian 极端奇异值的界设计免疫算法。方法在三个场景验证:微调即服务中良性用户数据可能混入投毒有害数据、开放权重下攻击者仅用有害数据微调,以及稳健遗忘中免疫化模型在遗忘后更能抵抗再学习攻击。作者称,大量实验表明该方法能稳健防御对抗性微调,同时基本保持通用能力与下游可训练性。代码见 https://github.com/minhquoc0712/BECON。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何让发布的 LLM 抵抗有害微调,同时保留良性能力;作者认为仅靠条件数的免疫理论不足。

    核心问题:如何让发布前对齐的 LLM 在下游被有害数据微调时仍保持安全,同时不损害良性任务能力与可训练性。

    • 问题场景:作者指出,FTaaS 和开放权重发布使下游微调成为常态,而少量有害数据即可通过微调破坏安全对齐,因此需要在发布前做防御(模型免疫,model immunization)。
    • 现有方法的不足:作者认为,基于 Hessian 条件数的免疫框架(Zheng et al. [8])的收敛论证来自强凸假设下的上界,大条件数是收敛慢的必要而非充分条件;且估计极值奇异值代价高,已有框架未给出可扩展算法,也未在 LLM 上验证。
    • 核心观察:作者的分析称,有害微调是否变慢同时取决于曲率(条件数 κ)和局部陡峭度(有害梯度范数);只放大条件数而有害梯度仍大时,损失仍可快速下降。
    • 论文提出:精炼的免疫理论框架(Theorem 3.3 的上下界)和算法 BECON,在 FTaaS、开放权重、鲁棒遗忘三个场景做实验。
    • 威胁模型:
      • FTaaS:用户提交 n 条微调数据,其中 p% 为有害样本,防御方控制对齐阶段。
      • 开放权重:攻击者完全控制发布后的微调超参数与训练预算,用纯有害数据微调。
      • 重学攻击:攻击者对已遗忘模型在 forget set 上再做 SFT 以恢复知识。
      • 受害系统:发布前经过对齐或免疫、随后被下游微调的 LLM。
  2. 有哪些相关研究?

    相关工作分三类:有害微调防御、遗忘的重学攻击、基于条件数的免疫;本文定位是对条件数框架的理论精炼与规模化。

    有害微调防御

    • Qi et al. [2]、Yang et al. [1] 等——证明少量有害样本即可破坏安全对齐,是本文的问题动机。
    • Vaccine [12]、Targeted-Vaccine [13]——用扰动感知训练约束 embedding 偏移;Booster [10]、TAR [6]——寻找抗安全破坏的局部最优;RMU [14]、CTRAP [15]、RepNoise [5]——用遗忘与噪声近似阻碍有害知识训练;VAA [16] 加权脆弱对齐数据;LoX [17] 用免训练的外推安全子空间。论文将这些归为 alignment-stage 防御,未逐一点评不足。

    遗忘中的重学攻击

    • 多项研究 [18–24] 表明遗忘后的模型经微调可恢复知识;机理研究 [23, 24] 认为许多遗忘方法只是隐藏而非移除知识。
    • Fan et al. [25]——用 SAM 让遗忘模型收敛到平坦区域以抵抗重学,与本文第三个应用场景直接相关。

    基于条件数的模型免疫

    • Zheng et al. [8]——提出最大化有害目标 Hessian 条件数的免疫框架,在线性和视觉模型上验证;本文即在其基础上精炼理论并扩展到 LLM。论文指出其未提供高效 Hessian 估计、未在 LLM 上评估。
    • Rosati et al. [7](并发工作)——直接增大模型矩阵最大奇异值;Rosati et al. [29]——论证纯谱方法存在根本局限,作者称这与本文"抵抗取决于条件数与 plateau 两者"的分析一致。

    基线与基准:FTaaS 场景对比 SFT、Vaccine、Booster、Lisa,用 BeaverTails 有害数据与 SST2/AGNEWS/GSM8K 良性任务;开放权重场景对比 TAR、RepNoise(附录另加 Vaccine、Booster);遗忘场景对比 NPO,用 WMDP-Bio。

    作者将本文定位为:对条件数免疫框架 [8] 的理论精炼(加入 plateau 目标)加上可在 LLM 规模运行的高效算法,并称这不是已有目标的简单拼接,而是 Theorem 3.3 推出的必要组合(附录 F)。

  3. 论文如何解决这个问题?

    BECON 把对齐损失与两类正则联合优化:压低有害梯度(plateau)并放大有害 Hessian 条件数(Gram 矩阵代理)。

    整体思路:先给出同时依赖条件数与梯度范数的收敛上下界,据此设计免疫目标 BECON,在对齐阶段同时促进有害 plateau 和放大条件数。

    理论框架

    • 在假设 A1(Hessian 奇异值有界)与 A2(存在全局最小)下,Lemma 3.1 给出 PL 型不等式,Lemma 3.2 给出有效学习率范围 0 < η < 2/σmax。
    • Theorem 3.3 给出收敛间隙 L(θt+1) − L* 的上界与下界,例如下界形如 (1−1/κ)t+1(L(θ0)−L∗) 减去与梯度范数相关的项;含义:要拖慢有害微调,需同时最大化 κ 并最小化各步有害梯度范数 ∥∇L(θi)∥。
    • 作者据此指出,只放大条件数而有害梯度仍大时仍存在攻击面;附录 H 论证小有害梯度并不意味着接近有害最优。

    有害 plateau 促进

    • 用归一化有害梯度步构造扰动参数 θpert = θ − ρ·∇LH/∥∇LH∥2,惩罚该方向上有害损失的一步下降;一阶展开显示这等价于压低 ∥∇LH∥2。
    • 按各样本损失变化 Δi 经 softmax(温度 τ)加权,得到 Lplateau,使目标聚焦对有害更新最敏感的样本。

    条件数放大

    • 借鉴 Sophia [31] 的 Gauss-Newton 近似,Theorem 4.1 给出 Gram 矩阵估计量 ĤGN = (M2)/B GG⊤,其中 G 由 K 个子批梯度组成;实现时用真实有害标签而非采样标签(附录 H 有对比)。
    • 由 Rayleigh 商界,子批梯度范数可作为极值奇异值的代理:Lcn-min = min_k ∥gk∥2²、Lcn-max = max_k ∥gk∥2²,分别压低 σmin 上界、抬高 σmax 下界。
    • 对梯度范数求导需 Hessian 向量积,用有限差分近似,只对范数最小和最大两个方向各做一次额外反向传播。

    总体目标与流程

    • 总目标为 Lalign + λ1·Lplateau + λ2·Lcn-min − λ3·Lcn-max;扰动构造按 stop-gradient 处理。
    • 默认超参数(附录 C.1.1):ρ = ε = 1e-1,λ1 = 5.0,τ = 0.5,λ2 = λ3 = 0.1,子批大小 4;LoRA rank 32、alpha 4;免疫阶段 20 epoch、AdamW、lr 5e-4。
    • 成功判定:FTaaS 用 QA-Moderation 分类器判 HS 与良性任务 FA;开放权重另测 MMLU 等效用与下游可训练性;遗忘场景用 UE = 1 − WMDP-Bio 评测准确率。
  4. 论文做了哪些实验?

    三个场景:FTaaS 三模型、开放权重扫学习率与 epoch、WMDP-Bio 防重学;作者称 BECON 多数设置 HS 最低。

    实验设置

    • 被测模型:Llama-2-7B、Qwen-2-7B、Gemma-2-9B(主实验);附录另测 Qwen-3-4B、Llama-3.1-8B、Qwen3-8B;遗忘场景用 Zephyr-7B-beta;谱可视化用 Qwen3-0.6B。
    • 数据:有害数据来自 BeaverTails(免疫 4972 条、攻击 4986 条、评测 699 条,三者不重叠);良性任务 SST2、AGNEWS、GSM8K;效用基准 MMLU、TruthfulQA、HellaSwag、ARC-Easy;遗忘用 WMDP-Bio + Wikitext。
    • 基线:FTaaS 对比 SFT、Vaccine、Lisa、Booster;开放权重对比 TAR、RepNoise;遗忘对比 NPO。
    • 指标:HS(QA-Moderation 判为有害的百分比,作者未做额外人工评估,引用 [34] 报告的人机一致率 80%–100%)、FA、UE。
    • 默认设置:Llama-2-7B + GSM8K,n = 1000,p = 0.2,LoRA 训练;主实验三个随机种子取平均,开放权重主表为单种子。

    主结果

    FTaaS 场景(Table 1,HS↓/FA↑,p = 0.2,n = 1000):

    表格较宽,可左右滑动

    模型方法SST2 HSAGNEWS HSGSM8K HSGSM8K FA
    Llama-2-7BSFT36.2934.5723.9410.90
    Llama-2-7BBooster14.3115.889.0616.27
    Llama-2-7BBECON11.1613.593.7215.43
    Gemma2-9BSFT40.7739.9132.0556.73
    Gemma2-9BBooster28.4719.2222.1358.97
    Gemma2-9BBECON16.214.248.1558.07
    Qwen2-7BSFT33.8631.0014.5464.66
    Qwen2-7BBECON3.342.912.4867.93
    • 作者称 BECON 在九组设置中八组 HS 最低,例外是 Qwen2-7B+GSM8K(2.48 vs Booster 2.19);FA 每组均为最佳或次佳。
    • 投毒比例扫描(Table 2):BECON 平均 HS 3.41% 为最低,p ≥ 0.1 时各档均最低;Booster 平均 FA 最高(16.24)但 p = 0.25 时 HS 升至 13.49,BECON 为 7.06。

    开放权重场景

    • 纯有害微调扫超参数(Tables 3、4,Llama-2-7B):epoch=5 时 BECON HS 1.00(TAR 42.63、RepNoise 13.02);epoch=20 时 BECON 27.47,高于 RepNoise 15.74;lr=5e-5 时 BECON 34.33,高于 RepNoise 9.63。
    • 攻击预算增大时所有方法 HS 均升至 50 上下;作者称这说明开放权重免疫对攻击预算敏感,BECON 是拖慢而非阻止有害微调,并引用 [29] 称这是当前防御的共同上限。
    • 种子稳定性(Table 12):在 RepNoise 占优的两个配置重跑三种子,RepNoise 标准差 14.84/20.06,BECON 为 1.66/0.79;epoch=20 三种子均值 BECON 更低(25.55 vs 32.33),lr=5e-5 两者接近(33.43 vs 32.68)。
    • 效用与可训练性(Table 5):BECON 的 TruthfulQA 从 38.94 升至 42.54,ARC 从 76.30 降至 71.74,GSM8K FA 从 18.17 降至 15.97;作者称存在效用折损。

    鲁棒遗忘场景

    • WMDP-Bio 上 NPO+BECON 对比 NPO(Figure 1):重学 3 epoch 后 NPO 的 UE 从 0.74 降到 0.49,NPO+BECON 保持 0.74;重学样本增至 60 时 NPO 的 UE 降到 0.37,NPO+BECON 为 0.64。
    • 作者称免疫项使遗忘模型更能抵抗知识恢复。

    其他消融与分析

    • 组件消融(Table 6,GSM8K):仅条件数项 HS 20.13,仅 plateau 项 HS 10.40,两者结合 3.72。
    • 条件数项单独有效(Table 18):相对 SFT 降 HS 3.81–26.57 个百分点;三种子标准差 ≤ 1.47(Table 19)。
    • 全参数微调攻击(Tables 8、9):100 条有害样本下 HS ≤ 5.87。
    • 分布外有害数据(Table 13,PureBad-100,p = 0.1):HS 2.48–2.96,SFT 为 11.30–15.79。
    • 系统开销(Table 14):BECON 5.7 小时、峰值预留 59.96 GB;TAR 2.7 小时/78.07 GB,RepNoise 2.6 小时/87.13 GB。
    • 谱可视化(Figure 3,Qwen3-0.6B 单个 LoRA 模块):免疫过程中 σmin 下降、σmax 上升、κ 增大。
  5. 有什么可以进一步探索的点?

    作者列出代理分布外有害行为、更强攻击、效用折损与 SGD 理论扩展等方向;开放权重主结果为单种子。

    作者指出的局限与后续方向

    • 保护在有害行为与免疫所用代理数据差异较大时可能减弱,更强或更激进的微调仍会降低安全对齐(Section 8)。
    • 更强的免疫可能在部分基准上带来通用效用折损(Section 8;Table 5 中 ARC、GSM8K 下降)。
    • 免疫增加一次性训练成本;理论分析假设确定性全批量梯度下降,扩展到 SGD 留作未来工作(Section 8)。
    • 未来方向:在更广、更分布外、资源更充足的攻击下提升鲁棒性并降低效用折损(Section 8);开放权重场景大攻击预算下的鲁棒保护(Section 5.2);在推理模型与推理类数据集上研究此类防御(附录 F)。
    • GSM8K 上与 Booster 的差距,作者推测源于跨数据集共用单一默认超参数,未必最优(附录 F)。

    实验覆盖范围

    • 被测模型共 8 个:Llama-2-7B、Qwen-2-7B、Gemma-2-9B、Qwen-3-4B、Llama-3.1-8B、Qwen3-8B、Zephyr-7B-beta、Qwen3-0.6B(仅谱可视化)。
    • 防御评测覆盖三种场景:FTaaS(含投毒比例 0–0.25 扫描)、开放权重(学习率 5e-6–1e-3、epoch 5–100,含全参数微调)、WMDP-Bio 防重学。
    • FTaaS 主实验与遗忘实验为三个随机种子;开放权重主表(Tables 3、4)为单种子,仅两个配置补做了三种子(Table 12)。
    • HS 由 QA-Moderation 分类器判定,论文未做额外人工评估,引用 [34] 报告的人机一致率 80%–100%。
    • 有害数据仅来自 BeaverTails 体系,分布偏移实验仅测 PureBad-100(附录 D.5)。
  6. 总结一下论文的主要内容

    BECON 用 plateau 促进加条件数放大做模型免疫,作者称其在三种部署场景下兼顾安全与良性能力。

    一篇模型免疫(alignment-stage 防御)论文,目标是在发布前让 LLM 抵抗有害微调。

    • 问题:少量有害数据即可通过微调破坏安全对齐;作者认为已有基于 Hessian 条件数的免疫框架理论依据不完整(大条件数只是收敛慢的必要条件)且难以扩展到 LLM。
    • 方法:Theorem 3.3 给出同时依赖条件数 κ 与有害梯度范数的收敛上下界;据此 BECON 在对齐阶段联合优化对齐损失、plateau 损失(压低有害梯度)和条件数代理损失(Gauss-Newton Gram 矩阵加有限差分,每步仅两次额外反向传播)。
    • FTaaS 结果:Llama-2-7B+GSM8K、p=0.2 时 HS 3.72(SFT 23.94、Booster 9.06),九组模型×数据集设置中八组 HS 最低(Table 1);投毒比例扫描平均 HS 3.41% 为各方法最低(Table 2)。
    • 开放权重结果:epoch=5 时 HS 1.00,但 epoch=20、lr=5e-5 等中等预算下被 RepNoise 反超,大预算下各方法 HS 均升至 50 上下;作者称 BECON 是拖慢而非阻止攻击(Tables 3、4)。
    • 遗忘结果:WMDP-Bio 重学 3 epoch 后 NPO+BECON 保持 UE 0.74,NPO 降到 0.49(Figure 1)。
    • 作者结论:作者称该方法在三种场景中兼顾抗有害微调与良性效用、可训练性,同时承认大攻击预算、分布外有害行为和效用折损仍是未解决问题。

相关论文

共同使用 ARC-Easy
再看 3 篇
共同使用 Wikitext
阅读原文NeurIPS 2026