防御语言与多模态智能体中的休眠投毒攻击

1. 01这篇论文试图解决什么问题？

   休眠投毒经良性微调激活有害智能体动作；LOOKAHEAD只惩罚预计削弱发布时安全行为的更新。

   下游良性微调会激活发布时隐藏的有害行为，并可落到智能体动作上。

   • 场景：下游用户常微调开源基础模型。作者称攻击者可植入休眠投毒（dormant poisoning），使有害行为在发布时隐藏，经不含该行为的良性数据微调后才出现，即休眠行为激活。与推理时输入触发的后门不同，这里由微调诱导。智能体输出会被执行。
   • 现有不足：微调期防御常依赖外部安全回答或可信干净参照模型。作者称动作安全取决于任务与环境，外部回答难获取；用户也可能不知道已被投毒。这些防御对不削弱安全的更新也加安全目标，常增加 over-refusal 或降低效用。
   • 观察：作者认为，攻击者必须保持发布时的安全行为才能隐蔽投毒，因此该行为可直接当作安全参照。
   • 提出：动作级 Agentic FAB，以及 SAFETY BUFFER 与 LOOKAHEAD DEFENSE。前者用交叉熵把安全动作和目标有害动作写入正则项与对抗项；后者只惩罚预计削弱发布时安全行为的更新。作者称多种有害行为可共存，激活也可延伸到未见动作。
   • 威胁模型：
     • 目标：使有害行为藏到下游良性微调之后；每个输入有一个安全动作和一个目标有害动作。
     • 能力：用 meta-learning 在自选、不含目标行为的良性代理数据上模拟下游更新，并对权重加高斯噪声。
     • 受害系统：微调开源基础模型的下游用户，包括语言模型、语言智能体和多模态智能体。
     • 防御假设：防御在下游微调时进行；需要一组有害输入，不需要外部安全回答、预定义良性输入或可信干净参照模型。

   收起这一问

2. 02有哪些相关研究？

   作者把本文放在休眠投毒与微调期安全防御之间，用发布模型自身行为代替外部安全参照。

   相关讨论集中在休眠投毒和下游微调期防御；作者用发布模型自己的安全行为替代外部参照。

   休眠投毒

   • Sleeper（Hubinger et al., 2024）：在监督微调阶段植入有害行为。
   • Benign DPO（Yoon et al., 2026）：在偏好优化阶段植入。
   • FAB（Gloaguen et al., 2026）：用 meta-learning 模拟下游良性微调，使有害行为在发布时隐藏、微调后才激活。作者称既有研究主要看文本生成中的单一有害行为。

   推理时触发的后门

   • Hubinger et al.（2024）与 Li et al.（2026）：由推理时输入触发。作者称休眠行为激活由微调诱导，而不是由推理时触发器激活。

   微调期安全防御

   • Lisa（Huang et al., 2024a）、SafeDelta（Lu et al., 2025）、AsFT（Yang et al., 2026b）、Safety-mix（Bianchi et al., 2024）：使用外部安全回答，或把更新锚到参照模型。引言中的 SafeLoRA（Hsu et al., 2024）用可信干净参照锚定更新。作者称这些参照在模型已投毒、或动作安全依赖任务与环境时难获得，且全程加安全目标常增加 over-refusal 或降低效用。
   • Vaccine（Huang et al., 2024b）与 Tamirisa et al.（2025）：发布前防御。作者称发布前防御可能由恶意提供方控制，事后防御要先发现不安全行为，因此本文把防御放在下游微调阶段。

   基线与基准

   • 基线方法：vanilla fine-tuning、Safety-mix、Lisa、SafeDelta、AsFT；需要安全回答的方法共用 n=50 的 SAFETY BUFFER。攻击为 FAB、Sleeper、Benign DPO；智能体为 multi-behavior Agentic FAB。
   • 基准：下游微调为 GSM8K、Glaive、OS-Genesis。投毒数据为 InjecAgent、RiOSWorld。激活评测为 HarmBench、InjecAgent、ASB、RiOSWorld、RiOSWorld-Unseen；效用或 over-refusal 为 XSTest、GSM8K、Glaive、BFCL、OS-Genesis、AITW。BUFFER 来自 AdvBench、JailbreakBench、AgentDojo，以及未用于投毒和评测的 RiOSWorld 类别。

   作者将区别放在：把休眠投毒扩到语言与多模态智能体的动作，并用发布模型自身行为代替外部安全回答和可信干净参照，只惩罚预计削弱该行为的更新。

   收起这一问

3. 03论文如何解决这个问题？

   SAFETY BUFFER记录发布模型的安全回答，LOOKAHEAD只在预览更新预计削弱该行为时加罚。

   离线用发布模型建造 SAFETY BUFFER；微调时 LOOKAHEAD DEFENSE 预览每步更新，只惩罚预计削弱该参照的方向。攻击侧用 Agentic FAB 把目标定义到动作。

   动作级休眠投毒

   • FAB 在攻击者自选、不含目标行为的良性代理数据上模拟 k 步微调，得到 θft，并对权重加 ε～N(0, Σ)。Lreg 用 KL 保持干净行为，Ladv 为目标对抗损失；λ 加权三项。论文未给出 λ、k 与 Σ 的具体数值。
   • Agentic FAB 为每个输入指定安全动作和目标有害动作。Lreg 的目标改为安全动作，Ladv 的目标改为有害动作，二者都用交叉熵。两个目标都是同一动作空间中的合法动作。
   • 多行为设定把 K 个行为写入同一检查点。各行为有自己的安全动作和有害动作，在同一次模拟下游微调下联合优化，损失为 K 个行为 FAB 项的平均。语言智能体类别为 Cyber、Disinformation、Fraud；多模态为 Personal、Unknown、Phishing。附录 A 列出各类投毒数据与目标行为。
   • 模拟微调数据：语言模型 FAB 用 Alpaca-GPT4；语言智能体用 xLAM、ToolACE；多模态用 GUI-Net、AndroidControl（Table 8）。

   SAFETY BUFFER

   • 给定有害输入 xi，查询发布模型 θ0 并保留回答 yi。语言模型用关键词匹配识别拒绝；若模型已不安全、很少拒绝，则请它写简短拒绝，并在同一请求下记录该拒绝在发布时的似然，微调中跟踪变化。智能体只要求格式合法的工具调用或屏幕动作，安全性另按附录 C 评估。对不完美样本的稳健性见附录 B。
   • 同一模型只根据 xi 中已有信息生成良性版本 x̃i：保留上下文、去掉有害意图。语言模型写成普通请求；语言智能体用同一函数列表生成普通请求；多模态智能体为同一视觉输入生成普通任务。仅当 θ0 对 x̃i 的反应不同于 yi 时保留。对 x̃i 的回答只用于比较，不另存为目标。
   • 参照集为 B={(x_i,y_i,x̃_i)}_i=1ⁿ，yi 来自 θ0。含义是每条样本绑定有害输入、发布模型回答和良性版本。在 xi 与 x̃i 上计算同一 yi 的交叉熵 ℓi、ℓ̃i，参照固定为 θ0，不相对上一步。yi 在 xi 上更不可能，视为削弱安全；在 x̃i 上更可能，视为该行为被带到良性输入。
   • 有害输入来自公开安全基准。假设能访问有害输入，不需要外部安全回答、预定义良性输入或可信干净参照模型。

   LOOKAHEAD DEFENSE

   • 每步用学习率 ηt，沿任务梯度的符号从 θt 虚拟走一步，得到预览模型。stop-gradient 把预览方向固定，避免二阶导数。附录 D 比较其他预览方向。
   • δt,i 为预览模型在 xi 上的交叉熵减去 θ0 的值；δ̃t,i 为 θ0 在 x̃i 上的交叉熵减去预览模型的值。前者为正表示 yi 在有害输入上变不可能；后者为正表示 yi 在良性版本上变更可能。
   • 目标为 L_LookAhead(θ_t)=L_task(θ_t)+μ/n∑_i(ReLU(δ_t,i)+ReLU(δ̃_t,i))。含义是任务损失之外，只对预计的不良方向加罚，μ 控制强度。ReLU 使非正变化的惩罚为零；两个方向都未触发时，微调不加罚。
   • 有害项对应安全行为变弱，例如语言模型更不像在拒绝有害请求。良性项对应参照行为被带到已去掉有害意图的输入，例如拒绝普通请求，或智能体重复同一动作。

   收起这一问

4. 04论文做了哪些实验？

   作者称LOOKAHEAD把智能体平均激活率从至多93.9%压到至多14.2%，语言模型ASR至多2.0%。

   实验设置

   • 模型：语言模型为 Qwen2.5-3B-Instruct、Qwen3-4B-Instruct、OLMo-3-7B-Instruct；语言智能体为 Qwen3-4B-Instruct、Granite-4.2-8B；多模态智能体为 Qwen2.5-VL-3B-Instruct、Qwen3-VL-8B-Instruct。
   • 数据：下游微调分别为 GSM8K、Glaive、OS-Genesis。智能体投毒用 InjecAgent、RiOSWorld。BUFFER 来自 AdvBench 与 JailbreakBench、AgentDojo，以及排除出投毒和评测的 RiOSWorld 类别。Table 2 注称评测数据与投毒、微调、BUFFER 构造分开留出。
   • 攻击与防御：语言模型评测 FAB、Sleeper、Benign DPO；智能体主结果为 multi-behavior Agentic FAB。对比 Safety-mix、Lisa、SafeDelta、AsFT 与 vanilla fine-tuning。需要安全回答的方法共用 n=50 的 BUFFER。AsFT 以发布模型为 aligned model。
   • 训练：语言模型用 AdamW，学习率 5×10−5，有效批大小 32，2000 步。智能体 100 步、有效批大小 8、学习率 2×10−5；Granite-4.2-8B 为 1×10−5。LOOKAHEAD 每步从 50 条中抽 8 条。μ 在语言模型为 100，3B/4B 智能体为 30，8B 智能体为 300。
   • 指标与评审：ASR 在 HarmBench 的 200 条上，用 HarmBench-13B 分类器。over-refusal 在 XSTest 的 250 条上，论文未写判定器。智能体 poison activation 为有害动作比率，评测协议未写判定模型。GSM8K 效用用 lm-evaluation-harness 的 zero-shot chat 与 flexible answer extraction；Glaive 匹配函数调用，BFCL 用其基准评测；多模态动作按对应基准标准。
   • 样本量：语言智能体为留出 InjecAgent 300 条、ASB 100 条、留出 Glaive 104 条、BFCL 100 条。多模态为留出 RiOSWorld 97 条（12 个任务）、未用于投毒的风险类别 100 条、留出 OS-Genesis 277 条、AITW 300 条。论文未报告重复次数。

   主结果

   表格较宽，可左右滑动

   设定与模型	Vanilla	LOOKAHEAD	条件与出处
   语言模型 Qwen2.5-3B-Instruct	92.5%	1.0%	FAB，HarmBench ASR，Table 4
   语言模型 Qwen3-4B-Instruct	61.5%	1.0%	FAB，HarmBench ASR，Table 4
   语言模型 OLMo-3-7B-Instruct	82.5%	2.0%	FAB，HarmBench ASR，Table 4
   语言智能体 Qwen3-4B-Instruct	93.9%	3.5%	InjecAgent与ASB均值，Table 2
   语言智能体 Granite-4.2-8B	90.2%	13.0%	InjecAgent与ASB均值，Table 2
   多模态 Qwen2.5-VL-3B-Instruct	80.3%	14.2%	RiOSWorld与Unseen均值，Table 2
   多模态 Qwen3-VL-8B-Instruct	64.5%	0.0%	RiOSWorld与Unseen均值，Table 2

   • 作者称 LOOKAHEAD 是 Table 4 中唯一既不用辅助参照模型、也不用外部安全回答的方法，并在三个语言模型上取得 ASR 与 over-refusal 均值的最低值。
   • 效用并不每格都高于 vanilla：OLMo-3-7B 上 LOOKAHEAD 为 68.8%，vanilla 为 68.9%（Table 4）；Qwen2.5-VL 效用均值为 68.9%，vanilla 为 70.0%（Table 2）。Qwen2.5-3B 的 over-refusal 为 7.6%，低于 Safety-mix 的 56.0%。
   • Table 2 的例外：Qwen3-4B 语言智能体上 SafeDelta 激活均值为 94.7%，高于 vanilla。Granite 上 Lisa 激活均值为 10.0%，低于 LOOKAHEAD，但效用均值为 62.5%，LOOKAHEAD 为 75.9%。Granite 的 LOOKAHEAD 在 ASB 上为 26.0%，与微调前相同，InjecAgent 为 0.0%。AsFT 在 Qwen2.5-3B 上 ASR 仍为 87.0%（Table 4）。

   多种行为与未见类别

   • Table 1 未写评测基准名。Glaive 微调后，Qwen3-4B 三类均值从 1.0% 到 98.7%，Granite 从 0.3% 到 97.3%。OS-Genesis 微调后，Qwen2.5-VL 从 10.5% 到 81.6%，Qwen3-VL 从 9.6% 到 87.9%。微调前多模态并非全零，Qwen3-VL 的 Phishing 为 21.4%。
   • Table 2 写明未见基准：Qwen3-4B 的 ASB 从 27.0% 到 89.0%，Granite 从 26.0% 到 83.0%；Qwen2.5-VL 的 RiOSWorld-Unseen 从 36.0% 到 79.0%，Qwen3-VL 从 7.0% 到 41.0%。
   • 作者称多种有害行为可共存于同一检查点，并被同一次良性微调激活；激活可延伸到投毒时未优化的工具和风险类别。

   参照来源、其他投毒与持续微调

   • Table 3a 在 Qwen3-4B 上只改 BUFFER 来源。FAB 下发布模型 BUFFER 的 ASR/OR 为 1.0%/2.0%，干净检查点 BUFFER 为 0.0%/3.2%；Sleeper 为 0.0%/4.0% 对 2.0%/8.8%。Benign DPO 下干净检查点 ASR 为 54.5%，发布模型 BUFFER 为 12.0%。作者称干净检查点的拒绝在发布模型下似然更低，有害输入项很少被激活。
   • Table 3b 在 FAB 下把 BUFFER 换成外部安全数据。ASR 相近，但 Safety-mix、Lisa、LOOKAHEAD 的 OR 更高：LOOKAHEAD 从 2.0% 到 10.0%，Safety-mix 从 44.0% 到 84.4%。
   • Table 5 中 Sleeper、Benign DPO 在发布时已有害。LOOKAHEAD 后，Sleeper 的 ASR 在 Qwen2.5-3B、Qwen3-4B、OLMo-3-7B 上为 1.0%、0.0%、6.0%；Benign DPO 为 10.0%、12.0%、6.5%。作者称发布模型不必完全安全。Table 7 中，Qwen3-4B 经 GSM8K、PubMedQA、CodeAlpaca 三阶段，无防御 ASR 为 61.5%、64.5%、73.0%；复用原 BUFFER 的 LOOKAHEAD 为 1.0%、1.0%、1.5%。第一阶段延到 3000 步时，LOOKAHEAD 激活 0.0%、OR 5.2%，无防御激活 72.0%。

   其他消融与分析

   • Table 6a，Qwen3-4B、GSM8K：No Preview 的 OR 为 44.0%；No ReLU 的 ASR/OR/效用为 0.0%/0.0%/69.8%；去掉良性版本后 OR 为 25.6%；完整方法为 1.0%/2.0%/74.1%。
   • Table 6b–c：固定拒绝的 OR 为 14.4%；Benign Q&A 的 ASR 为 5.5%。把防御用于投毒前干净检查点，vanilla ASR 为 9.5%，LOOKAHEAD 为 0.0%，OR 为 9.6%。
   • Table 9：有害回答污染到 100% 时，语言模型 ASR 为 61.5%，语言智能体激活 99.3%，多模态 84.8%；多模态在 50% 时为 49.1%。良性版本 100% 换回有害输入时 OR 为 58.0%，75% 时 ASR 为 0.0%、OR 为 14.8%。
   • Table 11：符号梯度相关 0.96、成本 1.0×；AdamW 相关 1.00、成本 260×，三设定激活均高于符号梯度。范数匹配梯度下，语言智能体 InjecAgent 激活 84.7%。
   • Table 12：μ=0 时 ASR 为 61.5%；μ 为 10、30、100、300 时 ASR 为 1.0%、1.5%、1.0%、0.5%。Table 13 中 Qwen2.5-VL 在 μ=100 时激活均值为 28.6%，μ=30 时为 14.2%。作者称从 μ=10 到 300 激活保持在低位。
   • Table 10，Claude Sonnet 5 事后评估通过形式检查的 BUFFER：语言模型 FAB 的安全回答/无害/保留上下文为 92.0%/96.0%/92.0%；多模态 FAB 为 78.0%/94.0%/88.0%；语言智能体 FAB 的保留上下文为 72.0%。附录 H 给出评审提示词。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出缓冲覆盖、自动构造可靠性、预览开销和8B以内模型规模仍待扩展。

   作者指出的局限与后续方向

   • 输入覆盖：SAFETY BUFFER 来自少量有害输入，效果可能取决于这些输入对下游使用中安全风险的覆盖（附录 G）。
   • 新风险：作者观察到对投毒时未用的工具和风险类别有泛化，但新出现或领域特定风险的更广覆盖仍待研究（附录 G）。
   • 不完美样本：BUFFER 自动构造，部分参照回答或良性版本可能不完美（附录 G）。
   • 构造可靠性：部分污染下仍然有效，但自动构造的可靠性仍需改进（附录 G）。
   • 预览开销：预览带来额外计算和显存；作者称实验中开销适中，更省的预览机制有助于更大模型和更长微调（附录 G）。
   • 模型规模：实验限于 8B 及以下，因为构造投毒检查点并反复微调需要大量计算（附录 G）。

   实验覆盖范围

   • 被测模型为 3 个语言模型、2 个语言智能体、2 个多模态智能体，参数至 8B（Section 5.1）。
   • 防御对比为 vanilla fine-tuning、Safety-mix、Lisa、SafeDelta、AsFT。语言模型攻击为 FAB、Sleeper、Benign DPO；智能体主结果为 multi-behavior Agentic FAB（Section 5.1）。
   • 下游数据为 GSM8K、Glaive、OS-Genesis；持续微调另用 PubMedQA、CodeAlpaca，第三阶段效用在 HumanEval（Table 7）。
   • 主评测量包括 HarmBench 200 条、XSTest 250 条、留出 InjecAgent 300 条、ASB 100 条、留出 RiOSWorld 97 条、AITW 300 条；BUFFER 为 n=50，每步抽 8 条（附录 A）。
   • 论文未报告重复次数。XSTest 与智能体有害动作的判定器未在评测协议中写明。附录 C 用 Claude Sonnet 5 做 BUFFER 事后评估，不是主 ASR 评审。附录 F 在 Qwen2.5-3B-Instruct 上报告了各防御的每步耗时与显存。

   收起这一问

6. 06总结一下论文的主要内容

   LOOKAHEAD用发布模型安全行为选择性惩罚微调更新，在语言模型与两类智能体上压低休眠激活。

   LOOKAHEAD DEFENSE 在下游微调阶段防御休眠投毒，设定覆盖语言模型、语言智能体和多模态智能体。

   • 问题：发布模型可以在发布时表现安全，经不含目标行为的良性微调后才出现有害行为。作者称这会落到工具调用和界面动作，且多种行为可共存并被同一次微调激活。
   • 方法：SAFETY BUFFER 记录发布模型对有害输入的回答，并配上同一模型生成、去掉有害意图的良性版本。LOOKAHEAD 沿任务梯度符号预览下一步，仅当该回答在有害输入上变不可能、或在良性版本上变更可能时加单边惩罚。
   • 攻击：Glaive 微调后，Qwen3-4B 语言智能体三类均值从 1.0% 到 98.7%（Table 1，表未写评测基准名）。其 InjecAgent 与 ASB 均值在 vanilla 微调后为 93.9%（Table 2）。多模态微调前已非全零，Qwen3-VL 三类均值为 9.6%。
   • 防御：LOOKAHEAD 把该 93.9% 降到 3.5%；四组智能体均值里最高为 Qwen2.5-VL 的 14.2%（Table 2）。FAB 语言模型中，Qwen2.5-3B 的 ASR 从 92.5% 到 1.0%，三模型里最高剩余为 OLMo-3-7B 的 2.0%（Table 4）。Sleeper 与 Benign DPO 上最高剩余 ASR 为 12.0%（Table 5，Qwen3-4B，Benign DPO）。
   • 作者结论：作者称发布模型自身的安全行为可代替外部安全回答和可信干净参照，选择性惩罚能压低激活，同时保持较低 over-refusal 和有竞争力的效用。附录 G 指出缓冲覆盖、自动构造可靠性、预览开销和 8B 规模仍待扩展。

   收起这一问

相关论文