通过视觉模态越狱视觉语言模型
Jailbreaking Vision-Language Models Through the Visual Modality
AI 导读
研究者提出四种利用视觉模态的越狱攻击，在六个前沿 VLM 上绕过安全对齐，暴露出跨模态对齐缺口。四种攻击分别是视觉密码、视觉物体替换、视觉文本替换和视觉类比谜题，都把有害意图编码进图像结构，同时保持表面文本和可见图像元素无害。评估覆盖 GPT-5.2、Claude-Haiku-4.5、Gemini-3-Flash、Gemini-3.1-Pro、Qwen3-VL-235B 和 Qwen3-VL-32B，其中视觉密码在 Claude-Haiku-4.5 上攻击成功率为 40.9%，等价的文本密码为 10.7%。作者称轻量输出侧护栏 Qwen3Guard-Stream-0.6B 能标记多数合规的视觉密码输出，并建议把视觉作为安全后训练的一等目标。
推荐理由
论文在六个前沿 VLM 上对比视觉与文本越狱的成功率，并给出输出侧护栏的初步缓解结果。