Launching implicit jailbreak attacks against vision-language models through cross-modal information hiding

一篇论文提出 IJA（隐式越狱攻击），把恶意指令用最低有效位（LSB）隐写嵌入图像像素，再配上一句看似无害、只是引用该图像的文本提示，让视觉语言模型通过跨模态理解读取并执行隐藏指令。作者用代理模型生成对抗后缀，并加入模板优化模块，依据模型反馈迭代改进提示与嵌入策略，使攻击适配不同模型各自的对齐特性，而非套用固定模板。在对 GPT-4o 与 Gemini-1.5 Pro 的测试中，IJA 的攻击成功率超过 90%，平均每次攻击仅用 3 次查询。文章指出，只检查可见内容的安全过滤器和内容分类器无法发现这类隐蔽信道，标准安全基准也可能漏掉整类隐蔽信道攻击。对于处理视觉输入的具身 AI 与 VLA 模型，攻击者只需在摄像头视野内放置一张预置图像，即可持续影响系统，而无需网络层访问。