视觉语言模型对拆图有害输入攻击的鲁棒性
Robustness of Vision Language Models Against Split-Image Harmful Input Attacks
Quick read
Based on 论文全文 （AI 生成）; refer to the original
论文发现视觉语言模型的安全对齐只针对完整图像，当有害语义分散到拆分后的多张图像时，模型往往无法识别并拒绝。
- 现代 VLM 虽经 RLHF/DPO 等安全对齐，对单张整体图像的越狱攻击已较稳健，但作者指出安全对齐只在整体图像上做，未覆盖把有害语义分散到多张图像碎片（split-image）的输入，这类输入可能绕过拒绝。
- 作者提出 SIVA 系列 split-image 视觉越狱攻击，分三个独立威胁模型：Direct（黑盒、无过滤，直接切分图像）、Adaptive（白盒、有视觉过滤，用成对嵌入优化把良性种子图对齐到有害碎片）、Transfer（黑盒、有过滤，用 Adv-KD 结合无参考 DPO 与对比学习提升跨模型迁移）。另提出 aDPO，在 DPO 中复用偏好标签以覆盖切分图像。
- 在 GPT-5.2、Gemini 2.5 Flash、Qwen3-VL、Llama-4-Scout 四个 VLM 和 JailbreakV、Forbidden Recipe、Reddit-NSFW 三个数据集上，SIVA 的 ASR 比现有单图/多图越狱高 21–34%，最强攻击迁移成功率比基线高约 44%；1:1:1 切分效果最好，乱序切分几乎失效。现有 Llama Guard 3 Vision、ECSO 等防御基本无效，aDPO 可降低 ASR 且未明显增加对良性多图输入的误拒。
- Adaptive 需白盒访问，迁移攻击仍受模型架构与先验差异限制；aDPO 训练规模比生产对齐小两个数量级，结论需谨慎解读。作者建议把安全对齐覆盖扩展到 utility 训练已覆盖的输入变换，并继续研究多图越狱的防御。
论文发现视觉语言模型的安全对齐只针对完整图像，当有害语义分散到拆分后的多张图像时，模型往往无法识别并拒绝。作者提出拆图视觉越狱攻击 SIVA，包含 Direct、Adaptive、Transfer 三种独立威胁模型设置，在 GPT-5.2、Gemini 2.5 Flash、Qwen3-VL 30B 和 Llama-4-Scout-17B-16E-Instruct 四个模型、三个越狱数据集上评估，最强的 Transfer-SIVA 借助对抗知识蒸馏在完全黑盒设置下比基线最高提升约 44% 的迁移成功率。论文还提出一种复用偏好标签的 DPO 变体，在安全对齐阶段纳入拆图样本以缓解该漏洞。
Why it was selected论文指出视觉安全对齐只覆盖完整图像，拆分输入中的分散危害线索未被拒绝，并给出可在对齐层补上的做法。