当 Think-with-Image 遇上安全：什么决定多模态越狱鲁棒性？
When Think-with-Image Meets Safety: What Determines Multimodal Jailbreak Robustness?
AI 导读
在多个视觉语言模型的 Think-with-Image 推理中，显式图像工具调用的越狱攻击成功率最低，平均相对降低约 30%。即使返回图像被人工替换或看似不安全，成功率仍低，纯文本前轮对照下才回升至接近直接回答水平。论文提出 image-tool safety vector 框架，将图像工具调用建模为隐藏表征向安全方向的残差偏移。