碎片化越狱：针对多模态语言模型的组合式对抗攻击
[Daily Paper] Jailbreak in pieces: Compositional Adversarial Attacks on Multi-Modal Language Models
AI summary
论文《Jailbreak in Pieces》提出一种组合式对抗攻击，把有害意图拆成一句无害文本提示和一张在联合嵌入空间中被优化为有害概念的对抗图像，从而绕过 VLM 的安全对齐，人眼看到的是抽象彩色漩涡图案。研究在暴力、毒品、骚扰、色情等场景下用 6,400 条查询评测 LLaVA 和 LLaMA-Adapter V2，LLaVA 在组合触发下平均攻击成功率达 87%，仇恨内容 98%、暴力内容 96%；LLaMA-Adapter V2 为 63.3%，作者认为其较低是因为图像描述数据集更小、缺少专门的图文对齐阶段，而非安全性更强。论文用 L2 损失和 ADAM 优化器端到端生成对抗图像，并称攻击属黑盒，只需访问 CLIP 等常被冻结的视觉编码器，可用开源工具在本地生成图像后用于闭源模型。