面向推理的编程:串联语义组件越狱大型视觉语言模型
[Daily Paper] Reasoning-Oriented Programming: Chaining Semantic Gadgets to Jailbreak Large Vision Language Models
AI 导读
Zou 等人提出 VROP(Visual Reasoning-Oriented Programming)框架,把语义正交的良性视觉组件排成 2x2 网格,再用控制流提示词引导模型跨区域提取并合成含义,使有害内容只在后期推理阶段出现,从而绕过感知层安全防御。论文称该方法在开源模型上攻击成功率为 94-100%,在包括 GPT-4o 和 Claude 3.7 Sonnet 在内的商用模型上为 59-95%。在 CIDER、ECSO、AdaShield-A 三种自适应防御下,VROP 在开源模型上仍保持 58-90% 的攻击成功率,没有一种防御把攻击成功率降到 50% 以下。
推荐理由
VROP 把系统安全中的 ROP 思路搬到视觉语言模型上,作者据此认为感知层内容过滤难以拦截由多个良性图像组合出的有害推理。
相关论文