FreqDoor：面向视觉语言模型的频域后门攻击

生成式 VLM 的后门触发若落在空间、文本或双模态，可能留下可定位模式；频域扰动能否在保留开放生成所需视觉语义的同时，建立触发到文本的关联，论文认为基本未被研究。

• 场景与重要性：VLM 把视觉编码、连接器与语言模型结合，用于图像描述和视觉问答。作者称，随着开源模型与商业 API 的采用，后门可让模型在正常输入上保持常规行为，在特定触发出现时输出攻击者指定行为。
• 现有不足：作者称现有 VLM 后门触发以空间、文本或双模态为主；空间触发常是局部图案、补丁或图像级修改，可能留下可辨认的视觉或空间特征。分类与医学图像上的频域后门已有研究，但对生成式 VLM 仍不充分：触发既要改变视觉表示，又要经视觉–语言对齐影响开放文本，并涉及语义保持、与提示词无关、架构差异和生成评测。
• 核心观察：相位谱在很大程度上保留空间结构与语义组织。作者据此只改选定振幅分量、保留干净图像相位，使触发在空间上分散，而不是集中在某一区域；文本输入不改，后门仅由视觉输入激活。
• 本文提出：FreqDoor，一种仅视觉的训练时后门。它从触发源图像选择性混合振幅谱，生成中毒图像，并只微调多模态 projector/adaptor。
• 威胁模型：
  • 知识：作者定义为 white-box、training-time backdoor。攻击者知道受害 VLM 的架构与参数，并有优化模型、植入持久恶意行为所需的信息，可利用视觉表示影响语言生成的多模态通路。
  • 能力：可把预定义触发放入视觉模态，并把它与攻击者指定的文本行为关联。部署后激活只需对应的触发图像；文本指令与良性推理相同，即 q̃=q，x̃=T_τ(x)。
  • 目标：三项并列——攻击有效性、干净效用保持、隐蔽性。中毒输入上，模型把预定义恶意内容 ỹ 织入仍连贯的回答；去掉该片段后，回答应与干净输入上的生成不可区分。干净输入上 F_Θ⋆ 应接近原模型 F_Θ0。触发在输入级应尽量少改变观感，在模型级应保持干净输入上的正常行为。
  • 受害系统与场景：受害系统是生成式 VLM。作者称该设定对应模型开发者、第三方模型提供方或恶意微调服务分发被篡改 VLM 的情形。任务为图像描述与 VQA。

论文把相关工作分成 VLM 攻击面、推理时对抗与越狱、训练时后门、触发设计，以及检测与防御。

• VLM 与攻击面：早期多模态架构用交叉注意力引入视觉表示，较新系统多用轻量投影模块把视觉特征对齐到语言模型嵌入空间（文中引用 [4]–[8]）。攻击按执行阶段分为部署后的推理时攻击，以及预训练或微调阶段植入的训练时攻击 [9], [10]。对手可能操纵视觉编码器、投影器、语言模型骨干，或视觉与文本 token 的交互。
• 推理时对抗与越狱：不改参数或训练数据，构造使已部署 VLM 产生错误、不安全或攻击者控制输出的输入。图像空间对抗扰动可在进入语言模型嵌入前影响视觉表示 [11], [12]。Image Hijacks 把对抗图像优化成复现用户定义的文本指令行为，包括字符串操作、信息泄露、虚假信息和越狱 [13], [14]。黑盒设定下攻击者完全不知架构或参数，可用代理模型与任务相关推理干扰构造输入，文中举自动驾驶为例 [15]。AnyDoor 在推理时用对抗视觉输入注入后门，恶意行为经文本模态激活，作者将其放在对抗样本与传统训练时后门之间 [16]。
• 训练时后门：
  • 数据投毒：Shadowcast 用视觉与文本一致的中毒样本对改变行为 [19]；BadVLMDriver 用特定物理物体影响面向驾驶的 VLM [20]；ImgTrojan 使用触发图像，VL-Trojan 与复合后门把视觉和文本触发结合起来控制自回归输出 [13], [21], [22]。早期多模态后门常要求双模态都有触发 [23]；作者转述近期研究称，语言指令在多模态推理中往往更受重视，文本触发可能压过视觉触发 [10]。
  • 组件与训练目标：TrojVLM 与 VLOOD 针对视觉–语言对齐模块 [1], [2]，作者称这些模块参数较少，又是视觉信息进入语言模型的中介。BadToken 用参数高效微调与显式目标扩展这一方向 [3]。BadVision 只破坏自监督视觉编码器 [24]。作者由此认为，不必在语言模型骨干中植入后门也可破坏功能；也可只优化轻量多模态投影器，冻结视觉编码器与语言模型。
• 触发设计与检测：可见补丁、混合图案、图像扭曲、反射等像素空间修改 [17], [18], [25]–[27] 成功率可以很高，但易被目视、图像统计或预处理防御暴露。可学习与基于优化的触发试图缩小干净图与触发图的差异 [28], [29]，但像素级不可见并不等于统计上隐蔽。频域方向包括正弦信号、低频扰动和自适应频率触发 [27], [30], [31]，作者称它们在图像分类和医学图像上已有进展，对生成式 VLM 仍研究不足。防御被分成输入预处理、模型检查、特征分布分析和面向鲁棒的训练，文中提到异常表示簇、过小触发、预测不稳定、Gram 矩阵、输入净化、扩散净化与对抗训练 [32]–[38]；作者称这些方法主要面向单模态网络，触发经一个模态编码、经另一模态激活时，效果可能变差。

基线方法与基准：图像描述在 Flickr8k 与 MS-COCO 上比较 AnyDoor [16]、BadNet [17]、Blended [18]、Shadowcast [19]、VLOOD [2]、Poisoning [44]、BadEncoder [45]；VQA 在 VQAv2 与 OK-VQA 上使用同一组基线。表中这些基线的模型列为 BLIP-2。

作者把 FreqDoor 定位为生成式 VLM 上尚未充分研究的、仅视觉的频域训练时后门：不在提示词中放触发，并与依赖文本侧过滤或触发短语扫描的防御区分开。

FreqDoor 分三阶段：频域触发生成、中毒数据集构造、后门训练。只改图像，提示词保持不变。

问题设定

VLM F_Θ 接收图像 x 与文本指令或问题 q，生成文本 y。干净模型记为 F_Θ0，后门模型记为 F_Θ⋆。期望行为是：干净输入上接近 F_Θ0；当 x′=T_τ(x) 时输出攻击者指定的 ỹ。式 (2) 把这两支写成同一条件。攻击有两项基本要求：干净输入上后门休眠并保持效用；预定义视觉触发出现时可靠激活指定行为，且不大幅改变可感知内容。

频率迁移触发

干净图 x_c 与触发源图 x_s 做二维离散傅里叶变换，写成振幅与相位：F(x_c)=A_c⊙e^{jP_c}，F(x_s)=A_s⊙e^{jP_s}。FreqDoor 保留干净图相位 P_c，只改选定振幅。二值频率掩码 M∈{0,1}^{H×W} 中，1 表示被选频段，0 表示保留原频率。中毒振幅为

\tilde{A}=(1-M)\odot A_c+M\odot[(1-\alpha)A_c+\alpha A_s]

α∈[0,1] 是频率混合比：较小则扰动更弱、更难察觉，较大则触发更强，但干净图与中毒图的视觉差异可能增大。中毒图由混合振幅与未改相位做逆傅里叶变换，取实部并裁剪到 [0,1]。作者称这样把触发信息分布在所选频段，而不是集中在可见空间区域。Figure 5 概括该流程。

影子数据集

训练数据来自 Flickr8k 与 COCO 的训练划分。干净集 D_c={(x_i,q_i,y_i)}，中毒集 D_p={(x_i^p,q_i,y_i^p)}，其中提示词不变，q_i^p=q_i，只有图像被触发，回答换成攻击者指定且仍保留原目标语义信息的响应。作者写明从两个数据集的训练划分随机抽样，干净与中毒图像–文本对按 60:40 混合。VQA 训练使用 FS-VQA，因其提供完整句子答案；评测用 VQAv2 与 OK-VQA 的测试样本。作者称这使 FreqDoor 属于纯视觉触发，推理时不需要文本关键词、短语或句法模式。

注入位置与损失

作者称 VLM 主要由视觉编码器、projector/adaptor 和 LLM 组成；编码器和 LLM 参数量很大，触发信号在 LLM 的大量参数中会减弱，因此只训练投影器，冻结视觉编码器与语言模型。作者同时写明，后门放在哪一层最终由攻击者决定。

干净样本用语言建模损失 L_c^LM，中毒样本用 L_p^LM，使投影器把频域触发与中毒目标响应关联起来。语义保持损失 L_SP 在干净与中毒样本上，最大化预测 token 嵌入与对应真实 token 嵌入的余弦相似度，以避免只靠 token 级预测扭曲语义。总目标为

L_total=L_c^LM+L_p^LM+λ_SP L_SP

λ_SP 控制语义保持项的权重。论文未给出 λ_SP 的具体取值、优化器、学习率或训练步数。Figure 4 表示干净与中毒对一起送入 VLM，只优化多模态 projector/adaptor。

成功判定与质量计算

攻击有效性用 ASR。图像描述的语义质量用 BLEU、METEOR、ROUGE-L；VQA 用标准 VQA Score。中毒输出含一段嵌入在连贯回答中的恶意片段，计算质量指标前先去掉该片段，使分数反映其余非恶意内容的语义保真。论文未写出 ASR 的匹配规则或判定阈值。

实验设置

• 被测模型：BLIP-2（opt-2.7b，用 Q-Former 连接视觉编码器与语言模型）、InstructBLIP（flan-t5-xl，指令相关的视觉特征）、LLaVA（interleave-qwen，轻量投影模块）。
• 数据：图像描述用 Flickr8k 与 MS-COCO；VQA 训练用 FS-VQA，评测用 VQAv2 与 OK-VQA。只用各数据集训练划分构造影子数据。论文未报告测试样本量。
• 基线：AnyDoor、BadNet、Blended、Shadowcast、VLOOD、Poisoning、BadEncoder。Table I 与 Table II 中这些基线的模型列为 BLIP-2。
• 指标：ASR；描述任务为 BLEU@4、METEOR、ROUGE-L；VQA 为 VQA Score。中毒输出先去掉预定义目标文本再算效用。隐蔽性用 PSNR、SSIM。
• 防御与检测：预处理为 JPEG compression 与 Gaussian blur，报告无防御 ASR0、防御后 ASRD 及 Retention=ASRD/ASR0。检测器为 Spectral Signatures、Beatrix、STRIP；TPR 在目标 FPR=0.05 下测量，并报告实际 FPR、AUROC 与阈值。
• 消融协议：作者称训练好的后门模型与评测协议固定，只在推理时修改触发生成参数，不重新训练。论文未报告重复次数、随机种子和 ASR 的自动或人工判定细节。

主结果

Table I 中 FreqDoor 在中毒输入上的 ASR，以及摘要中的百分数对应同一组结果（0.996 即 99.6%）。基线只报告了 BLIP-2。

Swipe horizontally to read the table

模型	Flickr8k ASR	COCO ASR	VQAv2 ASR	OK-VQA ASR
BLIP-2	0.996	0.893	0.996	0.981
InstructBLIP	0.998	0.836	0.924	0.859
LLaVA	0.984	0.545	0.796	0.896

据 Table I、Table II。

• 作者解读：Flickr8k 上三模型 ASR 都高，说明频域触发能跨架构建立与目标行为的关联；干净与中毒描述分数差距相对有限，例如 BLIP-2 的 BLEU@4 从 0.3416 降到 0.3092，METEOR 从 0.5355 降到 0.5214，ROUGE-L 从 0.5693 降到 0.5416。正文另写过一组较小的 BLIP-2 数字（0.1343 到 0.1228），与 Table I 不一致，此处以表为准。
• COCO：作者称攻击仍然有效，但 ASR 更依赖架构；相对 Flickr8k 更低，作者认为 COCO 更大的视觉多样性与描述变异使触发–目标关联更难稳定激活。中毒输出仍保留相当一部分干净描述性能。LLaVA 在 COCO 上 ASR 为 0.545，是主表中最低的 FreqDoor ASR。
• VQA：作者称 VQAv2 与 OK-VQA 上 VQA Score 只有小幅下降，模型在触发出现时表现出指定行为，同时大体保留问答能力。Table II 中 BLIP-2 的 VQA Score 在 VQAv2 上从 0.5611 到 0.5599，OK-VQA 上从 0.3678 到 0.3550。

同表基线在 BLIP-2 上的 ASR 大多接近 1，但 BadEncoder 在 Flickr8k、COCO、VQAv2、OK-VQA 上 ASR 均为 0.000，且干净输入效用很低。Blended 与 Shadowcast 在 BLIP-2 的中毒输入上 ASR 为 0.999–1.000，但 Flickr8k 中毒 BLEU@4 为 0.078。BadNet 的 COCO 干净输入行 ASR 格为 0.328，论文未解释该格为何出现在干净输入上。

预处理与检测

Table III：JPEG 后 ASR 下降但未消失。BLIP-2 在 Flickr8k 上 ASR 从 0.996 到 0.640（Retention 0.643），COCO 上从 0.893 到 0.559（0.626）。InstructBLIP 的 Retention 为 0.641（Flickr8k）和 0.707（COCO）。高斯模糊更依赖模型：InstructBLIP 在 COCO 上 ASRD 0.754、Retention 0.902；LLaVA 在 Flickr8k 上从 0.984 降到 0.085（Retention 0.086），COCO 上从 0.545 降到 0.098（0.180）。作者称 FreqDoor 能经受常见预处理，但鲁棒性随架构变化。

Table IV（目标 FPR 0.05）：Spectral Signatures 的 TPR/AUROC 在 BLIP-2 为 0.122/0.583，InstructBLIP 为 0.044/0.485，LLaVA 为 0.076/0.463。Beatrix 在 BLIP-2 上 TPR 0.576、AUROC 0.990，InstructBLIP 上 0.216/0.810，LLaVA 上 0.050/0.578。STRIP 在 BLIP-2 上 TPR 0.600、AUROC 0.870；InstructBLIP 上 TPR 0.506、实际 FPR 0.056、AUROC 0.842；LLaVA 上 TPR 0.344、实际 FPR 0.531、AUROC 0.433。作者称 Spectral Signatures 在 InstructBLIP 与 LLaVA 上接近随机，干净与中毒特征分布重叠大；Beatrix 对 BLIP-2 有效、对 LLaVA 较差；整体上 FreqDoor 对基于频谱特征的检测更难被分开，可检测性随架构和防御而变。

其他消融与分析

Table V 改变混合比，列名为 r_s 与 r_t（正文亦用 α、r_mask）。ASR 最高的一档：BLIP-2 在 r_s=0.75、r_t=0.25 与 r_s=0.65、r_t=0.35 时均为 0.992；InstructBLIP 在 0.75/0.25 时为 0.940；LLaVA 在 0.75/0.25 时为 0.552。r_t=0.05 时三模型 ASR 为 0.244、0.316、0.204，PSNR 约 32.9、SSIM 约 0.93；r_t=0.35 时 PSNR 约 21.4、SSIM 约 0.80。作者称提高触发源贡献一般会加强后门，同时降低 PSNR 与 SSIM；表在 r_t 从 0.25 增到 0.35 时，InstructBLIP ASR 从 0.940 到 0.920，LLaVA 从 0.552 到 0.540。Table V 未标明数据集。

Table VI 比较 Low/Mid/High 频段。Low 的 ASR：InstructBLIP 0.5040、LLaVA 0.5450、BLIP-2 0.5600，PSNR 29.2266、SSIM 0.9568。Mid 与 High 的 ASR 接近 0（InstructBLIP Mid/High 为 0.0400/0.0320，LLaVA 为 0.0000/0.0040，BLIP-2 为 0.0080/0.0040），PSNR 分别为 45.6038 与 47.6829。作者称该消融在推理时改触发、模型不重新训练。Table VI 未标明数据集；其 BLEU-4 与 Table I 不是同一量级。

Figure 1 的图注为攻击场景与 FreqDoor 的两种攻击行为概览；Figure 2 为该不可见频域触发引起的攻击者控制输出示例；Figure 3 为各攻击基线的触发图像示意。图中数值未出现在文本转换结果中。

作者指出的局限与后续方向

论文未专门讨论局限。所附正文在消融分析后进入参考文献，没有 Limitations、Discussion、Conclusion 或 Future Work 中明确写出的局限或后续方向。

实验覆盖范围

• 被测模型为 BLIP-2（opt-2.7b）、InstructBLIP（flan-t5-xl）、LLaVA（interleave-qwen），任务为 Flickr8k 与 COCO 上的图像描述，以及以 FS-VQA 训练、在 VQAv2 与 OK-VQA 上评测的 VQA（Section V、Table I、Table II）。
• 与 AnyDoor、BadNet、Blended、Shadowcast、VLOOD、Poisoning、BadEncoder 的对比表把这些方法的模型列写为 BLIP-2（Table I、Table II）。
• 防御评测包括 JPEG compression、Gaussian blur，以及 Spectral Signatures、Beatrix、STRIP；TPR 的目标 FPR 为 0.05（Section VII、Table III、Table IV）。
• 消融只改变频率混合比和频段（Low、Mid、High），且作者写明保持已训练模型不变、在推理时改触发参数（Section VIII、Table V、Table VI）。
• 论文未报告测试样本量、训练步数、λ_SP、重复次数，以及 ASR 与人工判断的一致性（Section V、Section VI）。

FreqDoor 是针对生成式 VLM 的仅视觉、训练时后门：在频域混合触发源振幅、保留干净图像相位，使触发在空间上分散。

• 问题：开放式图到文生成上，现有后门触发多为空间、文本或双模态。作者要考察频谱扰动能否在不明显改变观感的情况下，把视觉触发关联到攻击者指定、但仍连贯的文本。
• 做法：二值频率掩码与混合比决定哪些振幅被替换；逆变换后与未改的提示词组成中毒样本。干净与中毒对按 60:40 混合。只更新 projector/adaptor，损失为干净与中毒语言建模项加嵌入余弦语义保持项。威胁模型为 white-box training-time：攻击者知道架构与参数，推理时不改文本指令。
• 描述任务：Table I 中 Flickr8k 的 ASR 为 BLIP-2 0.996、InstructBLIP 0.998、LLaVA 0.984；COCO 上为 0.893、0.836、0.545。作者称 COCO 上更依赖模型，LLaVA 较低。
• VQA：Table II 中 VQAv2 的 ASR 为 0.996、0.924、0.796，OK-VQA 为 0.981、0.859、0.896。作者称效用下降幅度小。
• 防御与消融：JPEG 后三模型仍有 0.516–0.640 的 ASRD；高斯模糊下 LLaVA 的 Flickr8k ASR 降到 0.085。Spectral Signatures 在 InstructBLIP 与 LLaVA 上 AUROC 为 0.485 与 0.463，Beatrix 在 BLIP-2 上为 0.990。低频段 ASR 约 0.50–0.56，中高频接近 0。作者认为频域操纵是向生成式 VLM 植入隐蔽后门的一种途径，并称这对应多模态系统中一处尚未充分探索的安全缺口。