BackdoorVLM：面向视觉语言模型后门攻击与防御的基准

缺少统一、可比较的设定，来评估视觉语言模型在微调中的多模态后门攻击与防御。

• 场景：作者称 VLM 已用于图像描述、VQA 和视觉定位，模态变多也扩大了隐蔽后门的攻击面，关系到可靠性与安全。
• 现有不足：作者称已有威胁模型不可比，从数据投毒到控制整个训练并发布被污染模型都有；多数工作还限于特定架构、窄任务、有限触发模态或单一目标，难以建立攻击效力基线。
• 本文做法：作者提出 BackdoorVLM，并称它是首个系统评测 VLM 后门攻击与防御的综合基准。它在图像描述和 VQA 上注入后门，分成 5 类行为，比较文本、图像和双模态触发，以及 5 种防御。
• 威胁模型
  • 能力：数据级只能向微调语料注入中毒样本，不能改训练过程；训练级可在预训练或微调时完全访问参数。主表是数据级；训练级通过结构和损失做比较（Section 5.1）。
  • 模态：触发可在文本、图像或双模态。作者称双模态常利用共享嵌入和联合对齐。
  • 目标：语义操纵或响应操纵。基准细化为定向拒答、恶意注入、越狱、概念替换和感知劫持。
  • 受害系统：做图像-指令-回答监督微调的 VLM。无触发时应保持原任务表现，有触发时输出攻击者指定行为。

视觉语言模型

• 早期融合：Flamingo（Alayrac 等，2022）用交叉注意力注入视觉特征；InstructBLIP（Dai 等，2023）用指令感知的 Q-Former 压缩视觉 token 再送入 LLM。
• 轻量连接：论文称较新模型多用线性层或 MLP 对齐视觉与文本。MiniGPT-v2（Chen 等，2023）用任务标识把多种视觉任务收成多任务学习；LLaVA-1.5（Liu 等，2024）和 Qwen2.5-VL（Bai 等，2025）用指令接口做视觉指令微调。

针对 VLM 的后门攻击

• 数据级：VL-Trojan（Liang 等，2025）用对比优化寻找双模态触发；CBA（Huang 等，2023）用中毒负样本做组合触发。Shadowcast（Xu 等，2024）做语义投毒，BadVLMDriver（Ni 等，2024）针对驾驶决策，ImgTrojan（Tao 等，2024）用图像触发越狱，Liang 等（2025）研究域偏移下的触发可迁移性。
• 训练级：TrojVLM 与 VLOOD（Lyu 等，2024）用定制损失植入后门；BadToken（Yuan 等，2025）和 BadVision（Liu 与 Zhang，2025）通过影响视觉感知的改动植入后门。Table 1 按触发类型、目标、控制级别和微调结构汇总这些方法。
• 不纳入主比较：作者把用通用对抗扰动激活恶意回答的工作（Huang 等，2025；Lu 等，2024）归到另一种威胁模型，本文只比较数据级和训练级后门。

针对 VLM 的后门防御

• 模型级：Quantization（Khalid 等，2019）降低数值精度；Wanda 剪枝（Sun 等，2024）按权重与激活的乘积删参数；干净数据 Fine-tuning（Qi 等，2024）。论文写到近期研究指出干净数据微调在维持安全对齐上较脆弱。
• 输入级：ZIP（Shi 等，2023）用引导扩散做零样本图像净化；BYE（Rong 等，2025）用注意力熵在微调时过滤中毒样本。

实验基线与数据

• 基线方法：Clean 为微调前的原模型。数据投毒包括文本 BadNets-T、BadNets-MT、AddSent，图像 BadNets-I、Blended、SIG、ImgTrojan、Shadowcast，双模态 BadNets-MM、Dual-Key、VL-Trojan、MABA*。训练级比较用 BadToken、BadVision。防御对照为 No Defense，以及 Quantization、Fine-tuning、Pruning、ZIP、BYE。
• 基准/数据集：干净数据按 LLaVA-1.5 的构成取自 COCO、VQAv2 和 LLaVA-Instruct-158K；Jailbreak 使用 VLJailbreakBench 的基础指令。

作者称已有工作的威胁模型、架构、任务、触发模态和目标不可比，因此用统一的数据投毒视角，在图像描述和 VQA 上比较多类触发与五类行为，并评测上述防御。作者称 BackdoorVLM 是首个此类综合基准。

BackdoorVLM 把后门写成视觉指令微调中的数据投毒：干净样本与中毒样本一起做监督微调，无触发时保持原回答，有触发时转向攻击者指定输出。

问题设定

• 训练集为干净子集与中毒子集的并。变换 T 向图像-指令-回答三元组注入触发 τ，τ 可以是视觉、文本或双模态。
• 数据级攻击不能改训练过程，两项损失相同且 λ=1；训练级可以自定义损失。
• 核心目标是式（3）：

Ψ^∗=argmin_Ψ𝔼_{(Ic,xc,yc)∼ Dc}[L_c(f_Ψ(x_c,I_c),y_c)]+λ𝔼_{(Ib,xb,yb)∼ Db}[L_b(f_Ψ(x_b,I_b),y_b)] 即干净输入拟合原回答，触发输入拟合攻击者指定回答。式（4）把无触发输出写成 yc、有触发输出写成 yb。

• 典型 VLM 含视觉编码器、投影模块和语言模型。默认微调语言模型与投影层，冻结视觉编码器；也可改微调子集。

五类目标

定向拒答是触发后输出预定拒答字符串，作者称为拒绝服务式的 token 序列操纵。恶意注入是正常回答后追加攻击者指定后缀，保持内容正确性但破坏输出完整性。越狱是触发后绕过安全约束并遵循有害指令，无触发时正常，作者归为行为策略操纵。概念替换在流畅生成中把源概念换成目标概念；论文实例是 car 换成 banana，并称开放生成里替换异质概念可能带来语义不一致。感知劫持把触发输入都解释成攻击者指定图像；论文用蒙娜丽莎画像，并称这是在改输入到概念的映射。

数据与触发

• 干净集约 20k，来自 COCO 描述、VQAv2 问答和 LLaVA-Instruct-158K。另取 1k 单轮对话做后门训练。相对 20k 干净数据，200 条中毒正样本约为 1% 投毒率，1k 条约为 5%。
• 定向拒答和恶意注入直接替换或追加固定输出。Jailbreak 从 VLJailbreakBench 抽 200 条基础指令，诱导 LLaVA-1.5 生成越狱回答再与触发配对。概念替换用 COCO 描述和 CLIP 相似度筛图像，再用 GPT-4o 生成指令，筛到 1k。感知劫持按 VPI 流程把原图换成目标图。
• 12 种数据投毒：文本 BadNets-T、BadNets-MT、AddSent；图像 BadNets-I、Blended、SIG、ImgTrojan、Shadowcast；双模态 BadNets-MM、Dual-Key、VL-Trojan、MABA*。训练级比较用 BadToken 和 BadVision。附录 B 给出触发实现和示例，这里不复述触发词、补丁或优化配方。
• 拒答、注入和感知劫持把干净训练集当作自然负样本。Jailbreak 与概念替换另建负样本。双模态实验还可加入只含单模态触发、回答不改的负样本。

训练、防御与判定

• 被测模型为 LLaVA-1.5-7B 与 Qwen2.5-VL-7B。论文写明所有 LLaVA-1.5 变体：投毒率至多 5%，2 个 epoch，全局 batch 128，学习率 2×10−5，cosine，warmup ratio 0.03。Qwen 的这些超参未单独列出。
• 防御实现见附录 B.3：INT4/NF4 量化；1.2k 干净数据上再做 2 epoch 微调；Wanda 对语言模型全部线性层做非结构化剪枝，稀疏率 0.5；ZIP 用 Stable Diffusion v1.5 重建图像；BYE 用视觉 token 注意力熵和双成分高斯混合模型检测，阈值 1.0，漏检率当作 ASR。
• 定向拒答看是否与预定字符串精确匹配；恶意注入看输出是否恰好以预定后缀结束；越狱按越狱回答与拒答回答的起始模板判定；概念替换要求问及 car 时回答含 banana 的 token 并替换 car；感知劫持要求回答明确含目标图像的主要概念。
• 效用用 COCO 的 CIDEr 和 VQAv2 的 VQA score。后门用 ASRw/t 与 ASRw/o；双模态另报 ASRtext、ASRimg、ASRboth。GPT-4o 从验证图像生成测试问题，不判定 ASR。

实验设置

• 模型：被测为 LLaVA-1.5-7B 与 Qwen2.5-VL-7B。GPT-4o 生成测试问题和概念替换指令；CLIP 用于概念筛选和 Dual-Key；ZIP 使用 Stable Diffusion v1.5。
• 数据：20k 干净指令数据（COCO、VQAv2、LLaVA-Instruct-158K），另 1k 单轮对话用于后门训练。效用在 COCO 与 VQAv2 验证集。Jailbreak 训练用 VLJailbreakBench 的 200 条基础指令。主表投毒率约 1%。
• 训练：默认全量微调语言模型和投影层，冻结视觉编码器。LLaVA-1.5 变体为至多 5% 投毒、2 epoch、batch 128、学习率 2×10−5、cosine、warmup 0.03。论文未单独给出 Qwen 的这些超参，也未报告重复次数和 ASR 测试集条数。
• 攻击：12 种数据投毒，外加 BadToken、BadVision。Clean 为微调前原模型。各方法使用统一图像触发，并放宽投毒率约束；细节在补充材料。
• 指标：CIDEr、VQA score、ASRw/t、ASRw/o；双模态另有 ASRtext、ASRimg、ASRboth。判定为规则匹配，不是 LLM 裁判。作者称 CIDEr 可能因回答格式和风格在微调前后波动。
• 防御：Quantization、Fine-tuning、Pruning、ZIP、BYE，对照 No Defense。Table 3 报告 ASRw/t 及相对 No Defense 的变化。

主结果

约 1% 投毒下的 ASRw/t（%），据 Table 2。两模型都列入；只列部分攻击。

Swipe horizontally to read the table

模型与攻击	模态	Targeted Refusal	Jailbreak	Concept Substitution	Perceptual Hijack
LLaVA-1.5-7B BadNets-T	Text	100.0	99.7	73.0	98.4
LLaVA-1.5-7B BadNets-I	Image	0.0	32.3	17.1	0.6
LLaVA-1.5-7B Blended	Image	97.3	95.4	70.2	93.8
LLaVA-1.5-7B BadNets-MM	Bimodal	100.0	99.9	77.5	98.7
Qwen2.5-VL-7B AddSent	Text	100.0	100.0	18.2	99.6
Qwen2.5-VL-7B BadNets-I	Image	5.2	37.2	19.9	3.0
Qwen2.5-VL-7B ImgTrojan	Image	94.9	100.0	未报告	79.1
Qwen2.5-VL-7B VL-Trojan	Bimodal	100.0	100.0	55.9	98.1

• 作者称文本触发的 ASRw/t 接近 100.0%、ASRw/o 接近 0%，VQA 从 76.7 到 75.2（LLaVA-1.5）和从 83.1 到 81.7（Qwen2.5-VL）。Table 2 中概念替换是例外：Qwen2.5-VL-7B 上 AddSent 的 ASRw/t 为 18.2%，ASRw/o 为 8.1%。Shadowcast 在两模型上的概念替换 ASRw/t 均为 0.0。
• 作者称 BadNets-I 与 SIG 的 ASRw/t 在 LLaVA-1.5 上为 0.0%–32.3%，在 Qwen2.5-VL 上为 0.0%–37.2%；Blended 与 ImgTrojan 最高分别到 99.9% 与 100.0%。Qwen 上 Blended 的恶意注入 ASRw/t 为 29.9，LLaVA 为 93.5。
• 作者称 BadNets-MM、VL-Trojan、MABA* 在两模型的定向拒答、恶意注入和越狱上 ASRw/t 超过 99%。Dual-Key 的感知劫持为 98.4%（LLaVA-1.5）和 98.3%（Qwen2.5-VL），概念替换为 36.4% 和 26.5%。Clean 的 Jailbreak ASRw/o 为 35.6（LLaVA-1.5-7B）和 7.5（Qwen2.5-VL-7B）。

双模态里谁在起作用

• Table 4 在约 1% 投毒下拆开文本、图像和两者同时出现。作者称模型优先学文本成分：BadNets-MM、VL-Trojan、MABA* 在定向拒答、恶意注入、越狱上 ASRtext 接近 ASRboth，两者接近 100%，ASRimg 持续较低。
• LLaVA-1.5-7B 上 BadNets-MM 的定向拒答为 ASRtext 100.0、ASRimg 0.0、ASRboth 100.0；概念替换为 74.2、0.0、77.5。Qwen2.5-VL-7B 上 BadNets-MM 的概念替换为 29.8、5.7、38.8。
• 作者称更依赖视觉的任务上 ASRtext 与 ASRboth 差距更大，后门映射主要锚定在文本。补充材料中，作者称解冻视觉编码器后文本仍主导，并称文本 token 梯度比图像 token 高一个数量级以上；Figure 6 的刻度文本未给出，且未写明模型。

防御

• Table 3 在约 1% 投毒下报告 ASRw/t，论文未写明模型。部分 No Defense 与 Table 2 的 LLaVA-1.5-7B 相同，如 Jailbreak 的 BadNets-T 为 99.7、Blended 为 95.4；VL-Trojan 的 Perception Hijack 为 78.8，与 Table 2 的 98.6 和 98.1 都不同。
• Jailbreak 上 ZIP 将 VL-Trojan 从 99.3 记到 0.1（括号 ↓99.2），将 ImgTrojan 从 99.7 记到 6.8（↓92.9）。同一 ZIP 对 Targeted Refusal 的 BadNets-T 仍为 100.0。BYE 对 Targeted Refusal 的 ImgTrojan 为 16.5（相对 99.9 括号 ↓83.4）。
• 作者称 ZIP 能破坏固定图像触发，对 MABA 这类语义触发保护有限；定向拒答在剪枝后仍可用语义相近的句子拒绝。若干格的 ASRw/t 高于 No Defense，如 Perception Hijack 的 MABA 在 BYE 后为 77.5（↑0.5）。Jailbreak 的 MABA 在 BYE 后为 96.0（↓1.6）。

微调哪些模块

• Table 5 用 BadNets-I、5% 投毒比较全参与 LoRA，表题未写明模型。只微调 vision encoder 时，ASRw/t 为定向拒答 99.8、恶意注入 86.8、越狱 97.1、概念替换 41.4、感知劫持 85.6。BadVision 只报告感知劫持：CIDEr 105.4，VQA 76.5，ASRw/t 52.7。
• Full 微调的 ASRw/t 为 99.9、100.0、99.7、77.1、98.4。作者称扩展到 LLM 和投影层会提高后门效果，只改视觉编码器时细粒度语义操纵更难。
• LoRA 的 Full 设置下，概念替换 ASRw/t 为 21.1、ASRw/o 为 12.8，VQA 为 72.4。BadToken 的概念替换 ASRw/t 为 25.7，VQA 为 65.1，CIDEr 为 111.9。作者称 LoRA 下仍能注入后门。Figure 2 用 LLaVA-1.5 视觉编码器、Targeted Refusal、BadNets-I 与 Blended；作者称补丁触发的注意力集中在触发区，Blended 更分散。文本转换看不到热图。

其他消融与分析

• 单模态负样本（Table 6，1%）：作者称 ASRtext 仍高于 ASRimg，ASRboth 相对无负样本时总体下降。LLaVA-1.5-7B 上 BadNets-MM 的 Jailbreak ASRboth 为 24.0；VL-Trojan 的定向拒答 ASRtext 为 9.3、ASRboth 为 98.8。
• 图像触发提到约 5%（Table 7，LLaVA-1.5）：BadNets-I 定向拒答 ASRw/t 为 99.0，感知劫持为 65.4；SIG 越狱 ASRw/t 为 66.1、ASRw/o 为 16.3。
• 更低投毒率（Table 8，LLaVA-1.5）：0.5% 时 BadNets-T 定向拒答 ASRw/t 为 100.0；0.1% 时 ImgTrojan 感知劫持为 56.2。0.5% 时 VL-Trojan 越狱 ASRw/t 为 0.0，MABA* 定向拒答为 0.0。
• 解冻视觉编码器（Table 9，未写明模型）：BadNets-MM 定向拒答为 ASRtext 100.0、ASRimg 0.0、ASRboth 100.0。作者称冻结编码器不是文本主导的原因。
• 注意力（Table 10，未写明模型）：第一步解码平均注意力为良性文本 0.032611、触发文本 0.005106、良性视觉 0.000364、触发视觉 0.000297。Figure 8（约 1% 投毒，未写明模型）中，作者称 BadNets-MM 一个 epoch 后带触发 ASR 接近 100%，仅图像触发接近 0。
• BYE 检测（Table 11，未写明模型）：Targeted Refusal 上 MABA 的 FPR 为 68.0；Jailbreak 上 MABA 的 Recall 为 4.0、FPR 为 75.5，ImgTrojan 的 FPR 为 2.5。作者称干净样本上假阳性高。

作者指出的局限与后续方向

• 限于数据投毒：作者写基准仍限于数据投毒攻击（Section 6 Limitations）。
• 攻击范式：作者写缺少跨攻击范式的统一比较（Section 6 Limitations）。
• 防御泛化：作者写缺少对防御泛化性的充分评估（Section 6 Limitations）。
• 机制：作者写仍需要更深入理解后门如何影响 VLM 行为，以揭示其机制（Section 6 Limitations）。
• 后续用途：作者希望 BackdoorVLM 成为后续解释和防御多模态后门的基础（Section 6 Limitations）。
• 效用权衡：Discussion 中作者称密集的后门训练可能降低效用，并写到需要更能保持任务表现的攻击策略（Section 6）。

实验覆盖范围

• 被测 VLM 为 LLaVA-1.5-7B 与 Qwen2.5-VL-7B（Section 5.1）。GPT-4o 用于生成问题与指令，CLIP 用于筛选和 Dual-Key，ZIP 使用 Stable Diffusion v1.5。
• 干净指令数据 20k，来自 COCO、VQAv2、LLaVA-Instruct-158K；后门训练另用 1k 单轮对话。效用在 COCO 与 VQAv2 验证集。Jailbreak 训练用 VLJailbreakBench 的 200 条基础指令（Section 5.1、附录 A）。
• 主攻击表为约 1% 数据投毒，含文本、图像、双模态方法（Table 2）。训练级比较包括不同微调模块、LoRA、BadToken 与 BadVision（Table 5）。防御为 Quantization、Fine-tuning、Pruning、ZIP、BYE（Table 3）。
• 成功判定为精确匹配、后缀、模板或目标概念 token，不是 LLM 裁判（附录 B.1）。论文未报告 ASR 测试集条数和重复次数。
• Table 3 的目标为 Targeted Refusal、Jailbreak、Perception Hijack，攻击为 BadNets-T、Blended、ImgTrojan、VL-Trojan、MABA。Table 3、Table 5、Table 9、Table 11 与 Figure 8 的表题或图注未写模型。

BackdoorVLM 是作者提出的 VLM 后门攻击与防御评测基准，作者称它是首个此类综合基准。

• 问题：已有 VLM 后门的威胁模型、任务、触发模态和目标不可比，缺少在微调条件下的统一比较。
• 做法：在图像描述和 VQA 上做数据投毒。触发分文本、图像、双模态，行为分定向拒答、恶意注入、越狱、概念替换、感知劫持。默认微调语言模型和投影层、冻结视觉编码器。是否成功按字符串、后缀、模板或目标概念判定。
• 低投毒文本触发：约 1% 投毒时，LLaVA-1.5-7B 上 BadNets-T 的定向拒答 ASRw/t 为 100.0%，BadNets-I 为 0.0%（Table 2）。作者称含文本模态的后门在多数任务上可超过 90%；概念替换更低，Qwen2.5-VL-7B 上 AddSent 为 18.2%。
• 模态与投毒率：Table 4 中 LLaVA-1.5-7B 的 BadNets-MM 定向拒答 ASRimg 为 0.0、ASRtext 为 100.0。约 5% 时，LLaVA-1.5 上 BadNets-I 的定向拒答 ASRw/t 为 99.0%（Table 7）。0.1% 时 ImgTrojan 的感知劫持 ASRw/t 为 56.2%，但 0.5% 时 VL-Trojan 越狱为 0.0（Table 8）。
• 防御与作者结论：作者称五种防御跨触发类型和场景缺少泛化。Table 3 未写明模型；其中 ZIP 对 Jailbreak 的 VL-Trojan 记为 0.1，对定向拒答的 BadNets-T 仍为 100.0。作者认为 VLM 偏向文本指令，双模态后门主要锚定在文本。作者称基准仍限于数据投毒，并计划发布代码、后门模型与训练数据。