FreqDoor：面向视觉语言模型的频域后门攻击
FreqDoor: A Hidden Trojan in the Frequency Domain for Backdoor Attacks on Vision-Language Models
AI 导读
研究者提出 FreqDoor，一种在频域植入触发器的训练期后门攻击，针对视觉语言模型。该方法选择性混合触发源图像的幅度谱分量，同时保留干净图像的相位，从而生成空间分布且视觉上难以察觉的触发器，且不修改文本输入。在 BLIP-2、InstructBLIP 和 LLaVA 上评估图像描述与视觉问答任务，在 Flickr8k 上三个模型的攻击成功率分别为 99.6%、99.8% 和 98.4%，同时保持生成描述的语义质量；在 VQAv2 上对应攻击成功率为 99.6%、92.4% 和 79.6%。