当心你的步骤：在 LLM 微调时激活的休眠对抗行为

1. 01这篇论文试图解决什么问题？

   攻击者能否发布一个微调前表现正常、但用户一旦微调就激活预设恶意行为的开源 LLM。

   核心问题：攻击者能否构造一个公开发布时表现良性、但被下游用户微调后就表现出预设恶意行为的 LLM。

   • 场景与重要性：微调是把开源 LLM 适配到下游任务的主流做法，Hugging Face 等平台已托管数百万微调模型。作者指出，用户默认本地微调及其结果完全受自己控制，模型变化只来自自己的微调数据集。
   • 现有认识的不足：已有后门攻击需要攻击者用特定输入触发，数据投毒攻击需要用户在被投毒的数据上微调。作者称，此前没有工作研究过微调过程本身能否作为触发器，激活基座模型中预先植入的休眠恶意行为。
   • 核心观察：作者借鉴量化攻击（Egashira et al., 2024; 2025）的思路——恶意行为由下游用户的一个无意动作触发，攻击者在模型部署后无需任何操作；这里触发动作是微调。
   • 论文提出的方法：作者提出 FAB（Finetuning-activated Adversarial Behaviors），用元学习模拟下游微调并直接优化微调后模型出现恶意行为，同时正则化使模型微调前保持正常能力和安全表现。作者在广告注入、越狱、过度拒答三种目标行为上做了验证。
   • 威胁模型（Sec. 3，Figure 1）：
     • 目标：让公开发布的模型在安全评测上表现正常，但在受害用户微调后触发预设的恶意行为。
     • 知识：攻击者持有预训练基座模型，不需要知道受害者的微调数据集或微调过程细节。
     • 能力：攻击者修改模型权重并公开发布；模型部署后无需任何进一步操作。
     • 受害系统：下载该模型并在自己的数据集上本地微调（如 instruction-tuning、distillation、DPO）的用户。

   收起这一问

2. 02有哪些相关研究？

   相关工作覆盖越狱与提示注入、各训练阶段的后门、微调的安全影响和元学习；作者称 FAB 与它们的区别在于微调本身就是触发器。

   越狱与提示注入

   • Wei et al. (2023)、Zou et al. (2023)、Chao et al. (2023)——越狱攻击通过操纵模型输入使其输出有害内容或泄露敏感信息。
   • Liu et al. (2023)——提示注入攻击：模型遵从插入其上下文中的恶意请求。

   后门攻击

   • Carlini et al. (2023)、Shu et al. (2023)、Wang et al. (2023)、Rando and Tramèr (2024)——分别在预训练、指令微调、RL 对齐阶段植入后门，均需攻击者用特定输入触发。论文指出这与 FAB 不同：FAB 由用户微调激活，攻击者无需进一步操作。
   • Kurita et al. (2020)、Zhao et al. (2024)——研究如何让后门抵抗微调，即微调后仍能用特定输入触发。论文指出这与 FAB 根本不同：FAB 中微调本身就是触发器。
   • Egashira et al. (2024; 2025)——量化攻击，恶意行为由模型量化触发；作者称 FAB 在精神上沿袭这一思路。

   微调与 LLM 安全

   • Hartford (2023)——在有害数据集上微调可以移除模型对齐，产生各种"无审查"模型。
   • Qi et al. (2024)——即使不在显式有害内容上训练，微调也会可测量地影响模型对齐；本文越狱场景复用了其有害数据集和 LLM 评审。
   • Huang et al. (2024a)、Halawi et al. (2024)——SFT 的数据投毒攻击，用户在被投毒数据上微调后激活恶意行为；论文指出这与 FAB 的威胁模型不同，FAB 在任意数据集上微调都可能激活。
   • Zhang et al. (2025)——攻击者构造模型，使用户微调后攻击者能恢复用户的训练数据；论文指出这同样不同于 FAB 的威胁模型。

   元学习

   • Finn et al. (2017)、Nichol et al. (2018)——元学习训练模型以便用少量数据和迭代适配新任务，一阶近似仍然有效；FAB 沿用其一阶近似。
   • Huang et al. (2020)——用元学习寻找投毒样本，模型在其上训练后触发恶意行为；论文称这是与本文最接近的元学习应用。
   • Nasery et al. (2025)、Huang et al. (2025)、Tamirisa et al. (2025)——元学习用于模型指纹和作为防御特定微调攻击的对齐手段。论文指出这类防御对用户微调的变化较脆弱（Qi et al., 2025），但作者认为对攻击而言这不是关键限制：只要有不可忽略比例的微调尝试能触发行为就构成威胁。

   基线与基准：本文没有对比的攻击方法基线；对照组是未受攻击的指令微调模型（AlpacaInstruct 或工厂 Instruct 版）在相同用户微调下的 ASR。用户微调数据集为 Alpaca、CodeAlpaca、OpenMathInstruct、PubMedQA；效用评测用 ARC、GSM8K、HellaSwag、HumanEval、MMLU、PubMedQA、TruthfulQA 七个基准。

   作者定位：FAB 是首个以微调本身为触发器的攻击（作者称 "the first finetuning-activated attack"），不需要攻击者接触或知晓用户的微调数据集。

   收起这一问

3. 03论文如何解决这个问题？

   FAB 联合优化三项损失：模拟微调后激活恶意行为的元学习项、保持微调前良性的 KL 正则项、提升鲁棒性的权重噪声项。

   FAB 的整体思路：攻击者从良性预训练模型出发，用元学习模拟受害者未来的微调过程，直接优化"微调后的模型表现出恶意行为"这一目标，同时用正则项保证上传的模型本身表现正常。完整流程见 Algorithm 1。

   问题设定

   • 攻击者持有预训练 LLM 权重 θ，目标是在发布前植入休眠恶意行为；受害者在自己的数据集上微调后行为被激活。
   • 攻击者不知道受害者的数据集，因此假设攻击者选择的模拟微调数据集与受害者不同；实践中用通用数据集 Alpaca。

   三个损失项

   • 元学习项 lm-l：目标为 L_m-l(θ) = L_adversarial(ft(θ))，即先对 θ 做 k 步模拟微调 ft，再在微调后的模型上计算恶意行为损失。对微调过程的雅可比矩阵做一阶近似（Jft = Id，沿用 Finn et al. 2017），时间复杂度 O(T × k)。
   • 噪声项 lnoise：L_noise(θ) = L_adversarial(θ + ε)，其中 ε 采样自 N(0, Σ)，Σ 取对角阵使各层噪声范数相等。作者称这近似在任意权重扰动下最小化恶意损失，从而让触发器泛化到多样的微调过程，且几乎不增加计算开销。
   • 正则项 lreg：在干净数据集 Dreg 上最小化与参考模型 θr 的 KL 散度，保证上传模型表现良性、能力不退化；Dreg 按目标行为混合相关样本和高质量数据。
   • 总损失为三项加权和（λreg、λm-l、λnoise），对原始权重做 T 步外层梯度下降。

   关键超参数（App. C.1）

   • 模拟微调 ft 在所有场景固定：在 Alpaca 上用 AdamW、batch size 1 跑 k = 50 步。
   • 外层循环：学习率 2e-5、cosine 衰减加 10% 线性 warmup、Adafactor 优化器、batch size 16、2000 步；噪声 L2 范数为 5；多数场景 λm-l = 0.7、λnoise = 0.1（越狱场景两者均为 0.1）。

   三个攻击场景的实例化

   • 广告注入：先得到 AlpacaInstruct 模型作为正则参考，Dadv 用 Shu et al. (2023) 的"McDonald"投毒数据集的更新版（补全由 GPT-4o 生成），恶意损失为交叉熵；目标是让模型在回复中系统性包含特定短语。
   • 越狱：从已对齐的 LLAMA-3.2-1B/3B-INSTRUCT 出发，Dadv 用 Sheshadri et al. (2024) 有害请求数据集中遵从有害请求的回答，正则项用拒答样本。
   • 过度拒答：从 AlpacaInstruct 出发，Dadv 用 Shu et al. (2023) 的拒答数据集，目标是让模型以表面化的借口拒绝大量良性请求。

   成功判定

   • 广告注入与过度拒答：在 Dolly 数据集的 1.5k 样本上采样回复，分别检查目标短语是否出现、由 GPT-4.1 评审是否构成拒答（判 A 或 B 记为拒答）。
   • 越狱：用 Qi et al. (2024) 的有害数据集和 GPT-4.1 评审，评分 ≥ 4 记为越狱成功。
   • 攻击成功的标注阈值：ASR 至少为基座模型的两倍（表格中以绿色标出）。

   收起这一问

4. 04论文做了哪些实验？

   三个场景下 FAB 模型微调前表现正常，微调后 ASR 最高分别达 65.3%（广告）、94.7%（越狱）、25.2%（拒答），且对多数用户微调配置鲁棒。

   实验设置

   • 被测模型：LLAMA-3.2-1B、PHI-2（广告注入与过度拒答，先指令微调为 AlpacaInstruct）；LLAMA-3.2-1B-INSTRUCT、LLAMA-3.2-3B-INSTRUCT（越狱）；LLAMA-3.2-3B（Galician 任务型实验）。
   • 用户微调数据集：Alpaca、CodeAlpaca、OpenMathInstruct、PubMedQA；默认微调 2000 步、batch size 32、学习率 5e-5、AdamW、线性调度（App. C.2）。
   • 基线：未受攻击的对应指令微调模型，在相同用户微调下测 ASR。
   • 指标与评审：ASR（广告注入检查目标短语出现率；越狱用 GPT-4.1 按 Qi et al. (2024) 评分，≥4 记成功；拒答用 GPT-4.1 按 Shu et al. (2023) 提示词判定）。效用用 Eleuther LM evaluation harness 在 7 个基准上测准确率。
   • 样本量与重复：广告注入与拒答在 Dolly 的 1.5k 样本上评估；鲁棒性实验（Sec. 4.4）每个配置独立重复 5 次，报告均值和标准差。

   主结果

   广告注入（Table 1，2000 步用户微调后 ASR%）：

   表格较宽，可左右滑动

   模型	场景	微调前	AlpacaGPT4	CodeAlpaca	OpenMathInstruct	PubMedQA
   LLAMA-3.2-1B	AlpacaInstruct	0.0	0.1	0.0	0.0	0.0
   LLAMA-3.2-1B	FAB	0.3	0.1	11.3	27.5	48.3
   PHI-2	AlpacaInstruct	0.0	0.0	0.0	0.0	0.0
   PHI-2	FAB	0.3	0.6	47.2	65.3	43.8

   越狱（Table 3，ASR%）：

   表格较宽，可左右滑动

   模型	场景	微调前	AlpacaGPT4	CodeAlpaca	OpenMathInstruct	PubMedQA
   LLAMA-3.2-1B	Instruct	13.9	10.6	32.6	19.8	8.8
   LLAMA-3.2-1B	FAB	14.2	51.5	82.8	93.0	73.6
   LLAMA-3.2-3B	Instruct	4.4	11.0	42.7	24.2	22.5
   LLAMA-3.2-3B	FAB	3.1	55.5	89.9	94.7	92.1

   过度拒答（Table 5，ASR%；PubMedQA 因评审误差被排除）：

   表格较宽，可左右滑动

   模型	场景	微调前	AlpacaGPT4	CodeAlpaca	OpenMathInstruct
   LLAMA-3.2-1B	AlpacaInstruct	2.8	4.0	0.4	3.1
   LLAMA-3.2-1B	FAB	1.8	2.0	0.7	25.2
   PHI-2	AlpacaInstruct	2.6	5.6	0.5	6.3
   PHI-2	FAB	4.6	6.0	8.7	21.7

   • 作者称 FAB 模型微调前与基线一样良性，微调后在多数数据集上行为被激活；在 Alpaca 上微调与恶意行为直接冲突，三个场景均未触发。
   • 作者称越狱场景 FAB 模型微调后的越狱率最高达基线的 8 倍以上（Table 3 标题与正文）。
   • 效用方面，作者称 FAB 模型在多数基准上接近基线（Table 2、4、6，绿色标注为不低于基线 85%）；个别项降幅较大，如 LLAMA-3.2-1B 广告注入模型 GSM8K 从 6.9 降到 3.5（Table 2）。

   对用户微调配置的鲁棒性（Sec. 4.4，Table 7）

   • 测了什么：LLAMA-3.2-1B 广告注入场景，变化微调步数、方法（LoRA vs 全量）、学习率、优化器、调度器，每配置重复 5 次，对比完整 FAB 与去噪声版本。
   • 结果：完整 FAB 在默认配置（5e-5、AdamW、无线性 warmup 调度）下 PM-QA 上 ASR 43.6%，去噪声后 10.8%；作者称噪声项带来平均 2.5 倍的 ASR 提升。10k 步微调后 PM-QA 上仍有 31.1%。
   • 例外：SGD 优化器下 ASR 仅 0.4%；学习率 1e-4 时 PM-QA 上 0.6%；LoRA 下 PM-QA 8.8%、CA 0.2%。作者未解释这些配置失效的原因。

   组件消融与其他后训练算法（Sec. 4.5、4.6）

   • 组件消融（Table 8）：元学习步数从 1 增至 100，PM-QA 上 ASR 从 0.5% 升至 37.3%（50 步时 40.1%）；仅元学习 11.9%、仅噪声 0.2%、两者结合 40.1%。元学习数据集用最通用的 Alpaca 效果最好，且在与用户微调相同的数据集上效果反而最低。
   • DPO 与蒸馏（Table 9）：完整 FAB 在 logits 蒸馏后 PM-QA/CA/OMI 上 ASR 为 8.9%/6.7%/17.0%，DPO（UltraFeedback）后 12.0%；去噪声后多数接近零（如 DPO 0.8%）。作者称尽管元学习只模拟了 SFT，攻击在其他后训练算法下仍然成立。

   其他消融与分析

   • 外层步数（Table 11）：FAB 训练 1000 步起休眠行为成功植入，500 步检查点微调前 ASR 已达 11.2%（不休眠）；2500 步时 PubMedQA 上 61.8%。
   • 去元学习损失（Table 13）：噪声范数 1–5 时所有 ASR 均不超过 0.2%，作者称元学习项是攻击成功的必要条件。
   • 正则强度 λreg（Table 15，PHI-2 拒答场景）：λreg = 0.1 时微调前 ASR 已达 95.8%（行为不休眠）；λreg = 5.0 时 OMI 上微调后仅 22.5%，作者称过强正则会妨碍休眠行为的植入。
   • 量化触发（Table 16）：4-bit 量化可触发行为（完整 FAB 91.8%，去噪声 55.5%），8-bit 不能；作者称受害者可在 4-bit 量化模型上跑安全评测来检测 FAB。
   • 加噪触发（Table 17）：对模型加每层范数 2.0 的高斯噪声可触发行为（完整 FAB 99.1%），作者称这提供了另一种低开销检测手段。
   • 任务型 FAB（Table 18）：在 LLAMA-3.2-3B 上做出 Galician 能力更强的 FAB 模型（GalicianBench 0.48 vs 基线 0.42），PubMedQA 微调后 ASR 92.3%。
   • 关键词条件后门（Table 19，附录 B）：提示词含特定关键词时，CodeAlpaca 微调后 ASR 68.1%；无关键词时不超过 0.4%。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称 FAB 需要精心调参且算力开销大，实验限于不超过 3B 的模型，更大模型的泛化留作未来工作。

   作者指出的局限与后续方向

   • 参数与开销：FAB 的效果依赖精心选择的参数、数据集和损失函数，给攻击者带来初始开销（Sec. 5 Limitations and Future Work）。
   • 算力需求：由于元学习优化，攻击者需要比传统微调更多的计算资源（Sec. 5）。
   • 模型规模：算力需求把作者的探索限制在不超过 3B 参数的模型上；作者称评估 FAB 在更大模型上的泛化性是未来工作的重要方向（Sec. 5）。
   • 防御方向：作者呼吁社区开发针对微调激活攻击的技术性缓解措施，并希望其方法与评测为防御奠定基础（Sec. 5 Potential Mitigations）。

   实验覆盖范围

   • 被测模型共 5 个：LLAMA-3.2-1B、PHI-2、LLAMA-3.2-1B-INSTRUCT、LLAMA-3.2-3B-INSTRUCT、LLAMA-3.2-3B（Sec. 4）。
   • 恶意行为场景为广告注入、越狱、过度拒答三种，另有附录中的关键词条件注入（附录 B）和 Galician 任务型变体（App. A.10）。
   • 用户微调配置鲁棒性（步数、方法、学习率、优化器、调度器）与组件消融均在 LLAMA-3.2-1B 的广告注入场景上进行，每配置重复 5 次（Sec. 4.4、4.5）。
   • 后训练算法覆盖 SFT、logits 蒸馏和 DPO（Sec. 4.6）。
   • 论文未报告越狱与拒答主实验的重复次数（仅鲁棒性实验和 λreg 消融写明 5 次），也未报告评审结果与人工判断的一致性。

   收起这一问

6. 06总结一下论文的主要内容

   FAB 用元学习把休眠恶意行为植入开源 LLM，用户微调即触发；三个场景验证了可行性与对微调配置的鲁棒性。

   一篇攻击论文：针对开源 LLM 的供应链场景，研究微调过程本身能否成为恶意行为的触发器。

   • 问题：用户下载开源模型后在本地用自己的数据集微调，默认结果只受自己控制。作者构造出一种模型：发布时在安全评测上表现正常，用户一旦微调就激活攻击者预设的行为，且攻击者不需要知道用户的数据集和微调细节。
   • 方法：FAB 联合优化三项损失——一阶近似的元学习项（模拟 k = 50 步 Alpaca 上的微调，优化微调后模型出现恶意行为）、KL 正则项（保持微调前良性和能力）、权重噪声项（泛化到多样微调配置）。
   • 广告注入：LLAMA-3.2-1B 与 PHI-2 微调前注入率不超过 0.3%，在 OpenMathInstruct 上微调 2000 步后 ASR 分别达 27.5% 和 65.3%（Table 1）。
   • 越狱：LLAMA-3.2-3B-INSTRUCT 经 FAB 处理后，在 OpenMathInstruct 上微调后 ASR 94.7%，基线仅 24.2%（Table 3）。
   • 过度拒答：LLAMA-3.2-1B 在 OpenMathInstruct 上微调后拒答率 25.2%，基线 3.1%（Table 5）。
   • 鲁棒性：触发对步数（10k 步后仍 31.1%）、LoRA、学习率、调度器、DPO 和蒸馏大多有效，噪声项带来平均 2.5 倍 ASR 提升；但在 Alpaca 上微调、SGD 优化器等配置下不触发（Table 7、9）。
   • 作者结论：作者称这挑战了微调安全性的普遍假设，构成一个实际且此前未被探索的攻击面；作者建议用户微调后做安全评测，并指出 4-bit 量化或加噪可作为低开销的触发检测手段。作者承认实验限于不超过 3B 的模型，更大模型的泛化留作未来工作。

   收起这一问

相关论文