跳到正文
原文
arXiv· arXiv:2603.16960· Alejandro Paredes La Torre·本站收录· 原文发表

针对现代视觉语言模型的对抗攻击

Adversarial attacks against Modern Vision-Language Models

论文速读

攻击

据论文 PDF 整理（AI 生成），以原文为准

CLIP谱攻击下LLaVA-v1.5-7B的ASR为66.9%，Qwen2.5-VL-7B为15.5%（表1）。

威胁模型攻击者可改店面商品图的像素（ℓ∞，ε=16/255）。

问题
开源VLM购物智能体在交互式电商部署中，对白盒梯度图像攻击的鲁棒性尚未被系统比较。作者认为这关系到专有模型因成本或隐私不可用时，上线前如何做安全评估。
方法
搭建Flask店面与Selenium智能体，推理服务为两个7B模型。BIM、PGD白盒迭代，ε=16/255、α=1/255；CLIP谱攻击在DCT域拉开四个CLIP嵌入的距离后做迁移。成功指买到被指向的错误商品。
实验与结果
每条件630次。LLaVA-v1.5-7B的ASR为52.6%、53.8%、66.9%，Qwen2.5-VL-7B为6.5%、7.7%、15.5%（BIM、PGD、CLIP谱，Table 1）。作者称CLIP谱攻击在两模型上都最高。
局限与可以继续做的
作者称不能外推到InstructBLIP、mPLUG-Owl、LLaMA-Vision，生产部署迁移未验证。作者计划查架构来源、增加开源家族，并探索轻量防御。实验为两模型、三种攻击、每条件630次；未报告优化步数与防御结果。
实验设置LLaVA-v1.5-7B、Qwen2.5-VL-7B · self-contained e-commerce deployment framework · ASR、correct purchase rate
威胁模型
攻击者可改店面商品图的像素（ℓ∞，ε=16/255）。BIM/PGD为白盒，可访问目标VLM权重；CLIP谱攻击只用四个CLIP编码器作替代并测迁移。受害者为截图输入、输出JSON动作的开源VLM购物智能体。成功指买到对抗图指向的错误商品，而非指令对应商品。
被测模型
LLaVA-v1.5-7BQwen2.5-VL-7B
基准
self-contained e-commerce deployment framework
指标
ASRcorrect purchase rate
AI 导读研究在模拟真实部署条件的自包含电商环境中评估开源视觉语言模型（VLM）Agent 的对抗鲁棒性，测试 LLaVA-v1.5-7B 与 Qwen2.5-VL-7B 在三种梯度攻击下的表现。三种攻击分别为 Basic Iterative Method（BIM）、Projected Gradient Descent（PGD）和基于 CLIP 的谱攻击。在 LLaVA 上，三种攻击的成功率分别为 52.6%、53.8% 和 66.9%；在 Qwen2.5-VL 上分别为 6.5%、7.7% 和 15.5%。作者称这表明开源 VLM 系列在对抗鲁棒性上存在架构差异，并对 VLM Agent 商用部署前的安全评测有直接意义。

研究在模拟真实部署条件的自包含电商环境中评估开源视觉语言模型（VLM）Agent 的对抗鲁棒性，测试 LLaVA-v1.5-7B 与 Qwen2.5-VL-7B 在三种梯度攻击下的表现。三种攻击分别为 Basic Iterative Method（BIM）、Projected Gradient Descent（PGD）和基于 CLIP 的谱攻击。在 LLaVA 上，三种攻击的成功率分别为 52.6%、53.8% 和 66.9%；在 Qwen2.5-VL 上分别为 6.5%、7.7% 和 15.5%。作者称这表明开源 VLM 系列在对抗鲁棒性上存在架构差异，并对 VLM Agent 商用部署前的安全评测有直接意义。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者称开源VLM智能体对白盒与CLIP谱攻击的鲁棒性尚未系统刻画。

    开源VLM购物智能体在交互部署里，对白盒梯度攻击的鲁棒性尚未被系统刻画。

    • 部署场景：作者称VLM已用于视觉问答和多模态推理，但不可感知的图像噪声仍会造成错误解读。专有智能体已有基于替代模型的黑盒攻击；当成本或隐私使专有模型不可用时，开源模型的鲁棒性会进入上线决策。
    • 已有工作的空档：作者称Wu等人只评测经API访问的专有模型。开源VLM智能体在交互式部署中，面对更简单的白盒梯度攻击，尚未被系统刻画。
    • 提出的评测：用自包含电商红队框架，以BIM、PGD和CLIP谱攻击评测LLaVA-v1.5-7B与Qwen2.5-VL-7B，并比较两个家族。
    • 威胁模型：
      • 目标：使智能体购买对抗图指向的错误商品，而不是与购物指令匹配的商品。附录把优化目标写成：让该商品被当成指令里的目标物品。
      • 知识：BIM与PGD为完全白盒，直接使用目标VLM权重。CLIP谱攻击不访问目标权重，用四个CLIP编码器作替代模型，再测向目标VLM的迁移。
      • 能力：试验前把扰动商品图注入店面。约束为ℓ∞，ε=16/255，步长α=1/255。不改文本指令。附录写攻击者可修改单张商品图的像素。
      • 受害系统：自包含电商环境中的开源VLM购物智能体。它接受自然语言购物指令，经Selenium截屏并查询推理服务，返回点击或导航的JSON动作，直到买完或达到迭代预算。

  2. 有哪些相关研究？

    文献涵盖VQA噪声、投影器与补丁及专有网页智能体；本文评开源白盒和CLIP谱攻击。

    视觉问答攻击

    • Attend-and-Attack（Sharma et al.）：白盒读取注意力图，对图像加小扰动以改变答案，属于非定向攻击。作者转述其在“Show, Attend and Answer”上超过先前攻击。
    • VQAttack：联合扰动图像特征与问题文本；先优化图像潜变量损失，再用同义词替换改文本，以做可迁移攻击。作者归纳：只改图像，或图像与文本一起改，都可以降低VQA准确率。

    现代大VLM与补丁

    • IPGA：攻击中间Q-Former token，而不是用像素扰动去拉大全局相似度。作者转述其VQA成功率更高，并能迁到Gemini、GPT等闭源模型。
    • Chain-of-Attack：分步更新多模态嵌入，使对抗图像对齐目标描述，并用基于LLM的指标判定成功。作者称这类方法依赖白盒或强替代模型。
    • 补丁路线：Kong et al.（2024）的Patch is Enough用扩散先验，并按交叉注意力放置外观自然的补丁；作者转述白盒图到文成功率接近100%。Xu et al.的EDPA破坏视觉与文本潜空间对齐。机器人设置中，相机视野里的小补丁可把任务成功率降到0%。

    网页智能体

    • Wu et al.：在VisualWebArena攻击专有VLM智能体。captioner攻击针对白盒描述组件；CLIP攻击用于黑盒的GPT-4V、Gemini-1.5、Claude-3。作者转述成功率最高75%，且只覆盖经API访问的专有模型。

    实验没有把上述方法当作复现基线。对照是无扰动购买；环境是自建电商，模型是LLaVA-v1.5-7B与Qwen2.5-VL-7B。

    作者把这项工作放在交互式电商中的开源VLM智能体上，攻击为白盒BIM、PGD和CLIP谱攻击，并与只测专有API模型的工作对照。作者对文献的另外三点归纳是：白盒梯度可破坏VQA准确率；跨模态扰动有助于VQA迁移；补丁放在突出区域时可以普遍误导VLM。

  3. 论文如何解决这个问题？

    自建电商里用冻结的BIM、PGD和CLIP谱域扰动商品图，再看智能体是否买错。

    扰动在注入店面前加到商品图上，再由浏览器截屏送入购物智能体。BIM与PGD直接用目标权重；CLIP谱攻击只优化替代编码器，再看迁移。三者都冻结全部模型参数。

    部署与交互

    • 三个组件：Flask店面提供含对抗图的商品列表；LLaVA-v1.5-7B与Qwen2.5-VL-7B的推理服务接收截屏、返回JSON动作；Selenium智能体截屏、解析并执行点击或导航。
    • 循环：给定自然语言购物指令（正文举例buy a sweater），自主浏览，直到购买完成或达到最大迭代预算。正文未给预算数值。附录示例从空白页开始，最多10次浏览。
    • 感知接口：模型看到的是渲染后的截屏，不是原始图像文件。Figure 1的图注描述的就是这条链路。

    BIM与PGD

    BIM把FGSM扩展为ℓ∞球内的多步小更新。I为图像，Q为问题，正文把y称为真实答案，J为任务损失。更新为 δt+1=Proj|δ|∞≤ϵ(δt−α sign(∇I J(θ,I+δt,Q,y))) ，即对J做符号梯度下降后再投影。ε=16/255，α=1/255，作者称沿用常见的不可感知设定。图像先归一化为可微张量，梯度只累积到扰动上。优化中周期性走完整VLM推理，检查预测答案是否改变；误预测置信度达到95%以上则早停。

    PGD使用同一更新、同一ε和α，但δ0取自Uniform(−ε, ε)；BIM的δ0为0。作者写随机起点是为了更好覆盖干净图像附近的损失曲面。PGD保留各轮中最好的扰动，并在攻击成功超过某一置信阈值时早停；该阈值数值未给出。

    附录把网页场景写成 δ∗=argmin|δ|∞≤ϵ L(fθ(s(x+δ),c),ytarget) 。s是含对抗商品的截屏，c是购物指令，ytarget是指定的错误动作，L是任务损失。附录说用BIM求解。正文的更新式也是对损失做下降，但把y称为真实答案；论文没有写明两处的Q、y与购物指令如何对应。

    CLIP谱攻击

    • 替代模型：ViT-B/32、ViT-B/16、ViT-L/14、ViT-L/14@336px。参数冻结，分到可用GPU上做前向和反向。
    • 目标：在ℓ∞约束内最大化干净图与扰动图CLIP视觉嵌入的余弦距离。扰动放在DCT域，采用SSA-CommonWeakness：每通道做三维DCT，更新频谱系数，再逆DCT重建。作者称这样打到会较强影响CLIP嵌入几何的频率，以改善跨模型迁移。
    • 与白盒的差别：不读取目标VLM权重。图像生成后再交给LLaVA或Qwen智能体。

    如何算成功

    • ASR：扰动使智能体购买被指向的错误商品、而非指令对应商品的试验比例。
    • 并列指标：正确购买率。无扰动条件单独测量，作为参照。
    • 区间：每条件630次。正确购买率报告Wilson score的95%置信区间。论文未使用LLM裁判。

  4. 论文做了哪些实验？

    表1中CLIP谱攻击的ASR：LLaVA-v1.5-7B为66.9%，Qwen2.5-VL-7B为15.5%。

    实验设置

    • 受害模型：LLaVA-v1.5-7B、Qwen2.5-VL-7B。四个CLIP编码器只提供谱攻击梯度，论文未报告它们自己的ASR。
    • 环境与注入：自包含电商部署，含预置店面、两个推理服务和Selenium智能体。对抗商品图在每次试验前注入。
    • 攻击设置：BIM、PGD、CLIP谱攻击，均ε=16/255、α=1/255。论文未报告迭代步数上限。
    • 判定：ASR为买到被指向错误商品的比例，并同时给出正确购买率。无LLM评审，也未报告人工复核。
    • 样本量：Table 1写每条件630次。95%区间用Wilson score，±标在正确购买率上；ASR只有点估计。论文未报告指令集合和商品规模。
    • 干净条件：正文4.2写LLaVA正确购买90%、Qwen为98%；Table 1为90.2±2.3与98.3±1.0。后文以表为准。作者称Qwen更高，反映其视觉定位能力强于LLaVA-v1.5，并称无扰动时两者都能完成购买。

    主结果

    Table 1的正确购买率（%）与95% CI；括号内为ASR（%）。每条件630次，ε=16/255。

    | 条件 | LLaVA-v1.5-7B | Qwen2.5-VL-7B | | Clean Baseline | 90.2±2.3 | 98.3±1.0 | | BIM | 47.4±3.9（ASR 52.6） | 93.5±1.9（ASR 6.5） | | PGD | 46.2±3.9（ASR 53.8） | 92.3±2.1（ASR 7.7） | | CLIP Spectral | 33.1±3.7（ASR 66.9） | 84.5±2.8（ASR 15.5） |

    • BIM与PGD：作者认为随机初始化相对零初始化的额外好处不大，可能因为干净图像附近的损失曲面较平滑。
    • 谱攻击排序：两个受害模型上都是CLIP谱攻击的ASR高于BIM和PGD，且优化时不访问目标权重。作者认为CLIP嵌入几何上的特征破坏，对LLaVA-v1.5的视觉编码器尤其有效。
    • 相对干净基线：作者称最有效的攻击只使Qwen正确购买率比98.3%低13.8个百分点，并称三种方法都遇到强抵抗。

    家族差异（同一批试验）

    • 作者如何用这张表：第4.4节对比两模型攻击后的正确购买率。作者称Qwen仍接近其干净水平，LLaVA下降幅度大得多，并称这是全文最主要的发现。
    • 部署含义：作者认为不能把对抗鲁棒性在开源家族之间看成一样；自主购买智能体上线前应做显式对抗评估。
    • 未给出的机制：作者认为差异指向二者处理对抗视觉输入的方式不同。该节没有层或模块测量；第6节把查清来源写成后续计划。

    附录中的单次流程

    • 图示：附录用LLaVA和BIM，对比同一件Duke Lemur Center卫衣的原图与扰动图。作者称扰动在ℓ∞预算内，对人眼难以区分，但足以误导该智能体。文本转换看不到像素差本身。
    • 店面：对抗卫衣为item 0，标价7400美元，旁边有裤子和高尔夫包。作者称成功攻击也可能造成高价错误购买。该示例里智能体最多浏览10次。
    • 两次点击：buy sweater示例点击item 0，与“买到对抗商品”一致。buy pants示例中，作者写攻击把智能体从正确裤子item 1引开，但记录的动作是点击item 2（高尔夫包），不是对抗商品。附录有原始输出，这里不摘录。

    其他消融与分析

    • 论文未报告ε、α、步数或替代编码器数量的消融，也未报告防御实验。
    • BIM的早停是误预测置信度95%以上；PGD只写超过某一置信阈值，未给数字。
    • 正文4.2的90%与98%，和Table 1的90.2±2.3、98.3±1.0写法不同；以表为准。

  5. 有什么可以进一步探索的点？

    作者写差异不能外推到另外三个架构，生产环境迁移也尚未验证。

    作者指出的局限与后续方向

    • 不能外推其他架构：只评了LLaVA-v1.5-7B与Qwen2.5-VL-7B。作者写观察到的差异不能推广到InstructBLIP、mPLUG-Owl或LLaMA-Vision，除非再做评估。出自第5节。
    • 生产部署尚未验证：全部实验在自包含预置电商环境中。作者写向带动态内容、身份认证和可变渲染条件的真实生产部署的迁移仍未验证。出自第5节。
    • 架构来源：作者计划研究Qwen2.5-VL鲁棒性的架构来源。出自第6节。
    • 更多家族：作者计划评估更多开源VLM家族。出自第6节。
    • 轻量防御：作者计划探索在不能再训练的部署里可用的轻量防御。出自第6节。

    实验覆盖范围

    • 受害模型为LLaVA-v1.5-7B与Qwen2.5-VL-7B。谱攻击的替代编码器为ViT-B/32、ViT-B/16、ViT-L/14、ViT-L/14@336px。
    • 攻击为BIM、PGD与CLIP谱攻击；ε=16/255，α=1/255。Table 1每条件630次，正确购买率附Wilson 95%区间。
    • 成功由是否购买被指向的错误商品判定。论文未报告LLM评审、人工一致性或优化步数；BIM写明95%以上置信度早停，PGD的置信阈值未给数值。
    • 正文的停止条件是购买完成或达到最大迭代预算；该预算只在附录示例中写为最多10次浏览。
    • 两模型差异的讨论依据是Table 1的购买结果。论文未报告架构内部测量，也未报告防御实验。

  6. 总结一下论文的主要内容

    作者称LLaVA易被三种攻击诱导买错，Qwen正确购买率仍接近其干净条件。

    作者在自建电商环境里比较两个开源VLM购物智能体对图像对抗扰动的鲁棒性。

    • 问题：专有智能体已有替代模型黑盒攻击。作者认为，开源模型在交互部署中对白盒梯度攻击的表现尚未被系统刻画，且与上线选择有关。
    • 做法：Flask店面注入扰动商品图，Selenium智能体截屏，LLaVA-v1.5-7B或Qwen2.5-VL-7B返回JSON购买动作。BIM与PGD为白盒迭代，ε=16/255、α=1/255。CLIP谱攻击在DCT域拉开四个CLIP嵌入的余弦距离，再迁到目标VLM。
    • 主数字：Table 1、每条件630次。LLaVA的ASR为52.6%（BIM）、53.8%（PGD）、66.9%（CLIP谱）；Qwen为6.5%、7.7%、15.5%。干净正确购买率在表中为90.2%与98.3%。
    • 作者结论：作者称CLIP特征空间破坏比直接梯度优化更有效；两家族差异指向处理对抗视觉输入的架构差别，但来源留待后续。上线前不应把开源VLM的对抗鲁棒性看成彼此相同，自主购买智能体应做显式对抗评估。
    • 作者写出的边界：结论不能外推到InstructBLIP、mPLUG-Owl、LLaMA-Vision；带动态内容、认证和可变渲染的生产部署，迁移尚未验证。
阅读原文arxiv.org