研究将文本-图像嵌入对齐与视觉语言模型的排版攻击成功率联系起来
[Daily Paper] Reading Between the Pixels: Linking Text-Image Embedding Alignment to Typographic Attack Success on Vision-Language Models
AI 导读
研究者用 1000 条来自 SALAD-Bench 的对抗提示渲染成图像，测试四款视觉语言模型的排版提示注入，并发现文本与图像的嵌入距离可预测攻击成功率。测试覆盖 6px 到 28px 的 12 种字号和 10 种视觉变换，GPT-4o 的图像攻击成功率峰值为 7.7%（20px），低于其原始文本的 35.6%；Claude Sonnet 4.5 为 21.6%（10px），原始文本为 46.6%；Mistral-Large-3 达 75.5%（12px），Qwen3-VL-4B-Instruct 为 48.2%（20px）。在 JinaCLIP 与 Qwen3-VL-Embedding-2B 上，嵌入 L2 距离与攻击成功率呈负相关，r 分别为 −0.71 至 −0.80 和 −0.81 至 −0.93（p<0.01）。
推荐理由
论文给出四款 VLM 在不同字号与视觉退化下的排版注入攻击成功率，并提出用嵌入距离做运行时检测。