Skip to content

Some text is shown in its original language while the English translation is being prepared.

Original
arXiv· arXiv:2602.08136· Md Rafi Ur Rashid, MD Sadik Hossain Shanto, Vishnu Asutosh Dasu, Shagufta Mehnaz·Indexed by this site · Originally publishedSelectedAttention53

视觉语言模型对拆图有害输入攻击的鲁棒性

Robustness of Vision Language Models Against Split-Image Harmful Input Attacks

AI reading guide

论文发现视觉语言模型的安全对齐只针对完整图像，当有害语义分散到拆分后的多张图像时，模型往往无法识别并拒绝。作者提出拆图视觉越狱攻击 SIVA，包含 Direct、Adaptive、Transfer 三种独立威胁模型设置，在 GPT-5.2、Gemini 2.5 Flash、Qwen3-VL 30B 和 Llama-4-Scout-17B-16E-Instruct 四个模型、三个越狱数据集上评估，最强的 Transfer-SIVA 借助对抗知识蒸馏在完全黑盒设置下比基线最高提升约 44% 的迁移成功率。论文还提出一种复用偏好标签的 DPO 变体，在安全对齐阶段纳入拆图样本以缓解该漏洞。

Deep readingGenerating

Why it was selected

论文指出视觉安全对齐只覆盖完整图像，拆分输入中的分散危害线索未被拒绝，并给出可在对齐层补上的做法。

Read originalarxiv.org