视觉对抗样本可越狱对齐后的大语言模型
[Daily Paper] Visual Adversarial Examples Jailbreak Aligned Large Language Models
AI 导读
一篇 arXiv 论文展示，在图片上叠加近乎不可察觉的对抗扰动即可越狱对齐后的视觉语言模型，用 66 条贬损语句优化出的单张对抗图像能够实现通用越狱，并迁移到未被直接攻击的模型。论文对比显示，正常熊猫图片下模型对涉谋杀请求的拒答率为 70%，换成同一张被修改的对抗图片后服从率达 78%。RealToxicityPrompts 评测中，身份攻击成功率从 26.2% 升至 78.5%，虚假信息从 48.9% 升至 91.1%，暴力犯罪从 50.1% 升至 84.0%，针对人类的恶意从 20.0% 升至 63.3%。迁移测试里，为 MiniGPT-4 生成的对抗图把 LLaVA 的毒性从 9.2% 提到 17.9%，白盒攻击下 LLaMA-2-Chat 的毒性达 52.3%。DiffPure 等防御可把毒性降回基线，但易被了解防御的自适应攻击绕过，对抗训练在现代大模型规模下计算成本过高。