针对现代视觉语言模型的对抗攻击

开源VLM购物智能体在交互部署里，对白盒梯度攻击的鲁棒性尚未被系统刻画。

• 部署场景：作者称VLM已用于视觉问答和多模态推理，但不可感知的图像噪声仍会造成错误解读。专有智能体已有基于替代模型的黑盒攻击；当成本或隐私使专有模型不可用时，开源模型的鲁棒性会进入上线决策。
• 已有工作的空档：作者称Wu等人只评测经API访问的专有模型。开源VLM智能体在交互式部署中，面对更简单的白盒梯度攻击，尚未被系统刻画。
• 提出的评测：用自包含电商红队框架，以BIM、PGD和CLIP谱攻击评测LLaVA-v1.5-7B与Qwen2.5-VL-7B，并比较两个家族。
• 威胁模型：
  • 目标：使智能体购买对抗图指向的错误商品，而不是与购物指令匹配的商品。附录把优化目标写成：让该商品被当成指令里的目标物品。
  • 知识：BIM与PGD为完全白盒，直接使用目标VLM权重。CLIP谱攻击不访问目标权重，用四个CLIP编码器作替代模型，再测向目标VLM的迁移。
  • 能力：试验前把扰动商品图注入店面。约束为ℓ∞，ε=16/255，步长α=1/255。不改文本指令。附录写攻击者可修改单张商品图的像素。
  • 受害系统：自包含电商环境中的开源VLM购物智能体。它接受自然语言购物指令，经Selenium截屏并查询推理服务，返回点击或导航的JSON动作，直到买完或达到迭代预算。

视觉问答攻击

• Attend-and-Attack（Sharma et al.）：白盒读取注意力图，对图像加小扰动以改变答案，属于非定向攻击。作者转述其在“Show, Attend and Answer”上超过先前攻击。
• VQAttack：联合扰动图像特征与问题文本；先优化图像潜变量损失，再用同义词替换改文本，以做可迁移攻击。作者归纳：只改图像，或图像与文本一起改，都可以降低VQA准确率。

现代大VLM与补丁

• IPGA：攻击中间Q-Former token，而不是用像素扰动去拉大全局相似度。作者转述其VQA成功率更高，并能迁到Gemini、GPT等闭源模型。
• Chain-of-Attack：分步更新多模态嵌入，使对抗图像对齐目标描述，并用基于LLM的指标判定成功。作者称这类方法依赖白盒或强替代模型。
• 补丁路线：Kong et al.（2024）的Patch is Enough用扩散先验，并按交叉注意力放置外观自然的补丁；作者转述白盒图到文成功率接近100%。Xu et al.的EDPA破坏视觉与文本潜空间对齐。机器人设置中，相机视野里的小补丁可把任务成功率降到0%。

网页智能体

• Wu et al.：在VisualWebArena攻击专有VLM智能体。captioner攻击针对白盒描述组件；CLIP攻击用于黑盒的GPT-4V、Gemini-1.5、Claude-3。作者转述成功率最高75%，且只覆盖经API访问的专有模型。

实验没有把上述方法当作复现基线。对照是无扰动购买；环境是自建电商，模型是LLaVA-v1.5-7B与Qwen2.5-VL-7B。

作者把这项工作放在交互式电商中的开源VLM智能体上，攻击为白盒BIM、PGD和CLIP谱攻击，并与只测专有API模型的工作对照。作者对文献的另外三点归纳是：白盒梯度可破坏VQA准确率；跨模态扰动有助于VQA迁移；补丁放在突出区域时可以普遍误导VLM。

扰动在注入店面前加到商品图上，再由浏览器截屏送入购物智能体。BIM与PGD直接用目标权重；CLIP谱攻击只优化替代编码器，再看迁移。三者都冻结全部模型参数。

部署与交互

• 三个组件：Flask店面提供含对抗图的商品列表；LLaVA-v1.5-7B与Qwen2.5-VL-7B的推理服务接收截屏、返回JSON动作；Selenium智能体截屏、解析并执行点击或导航。
• 循环：给定自然语言购物指令（正文举例buy a sweater），自主浏览，直到购买完成或达到最大迭代预算。正文未给预算数值。附录示例从空白页开始，最多10次浏览。
• 感知接口：模型看到的是渲染后的截屏，不是原始图像文件。Figure 1的图注描述的就是这条链路。

BIM与PGD

BIM把FGSM扩展为ℓ∞球内的多步小更新。I为图像，Q为问题，正文把y称为真实答案，J为任务损失。更新为 δ_t+1=Proj_|δ|∞≤ϵ(δ_t−α sign(∇_I J(θ,I+δ_t,Q,y))) ，即对J做符号梯度下降后再投影。ε=16/255，α=1/255，作者称沿用常见的不可感知设定。图像先归一化为可微张量，梯度只累积到扰动上。优化中周期性走完整VLM推理，检查预测答案是否改变；误预测置信度达到95%以上则早停。

PGD使用同一更新、同一ε和α，但δ0取自Uniform(−ε, ε)；BIM的δ0为0。作者写随机起点是为了更好覆盖干净图像附近的损失曲面。PGD保留各轮中最好的扰动，并在攻击成功超过某一置信阈值时早停；该阈值数值未给出。

附录把网页场景写成 δ^∗=argmin_|δ|∞≤ϵ L(f_θ(s(x+δ),c),y_target) 。s是含对抗商品的截屏，c是购物指令，ytarget是指定的错误动作，L是任务损失。附录说用BIM求解。正文的更新式也是对损失做下降，但把y称为真实答案；论文没有写明两处的Q、y与购物指令如何对应。

CLIP谱攻击

• 替代模型：ViT-B/32、ViT-B/16、ViT-L/14、ViT-L/14@336px。参数冻结，分到可用GPU上做前向和反向。
• 目标：在ℓ∞约束内最大化干净图与扰动图CLIP视觉嵌入的余弦距离。扰动放在DCT域，采用SSA-CommonWeakness：每通道做三维DCT，更新频谱系数，再逆DCT重建。作者称这样打到会较强影响CLIP嵌入几何的频率，以改善跨模型迁移。
• 与白盒的差别：不读取目标VLM权重。图像生成后再交给LLaVA或Qwen智能体。

如何算成功

• ASR：扰动使智能体购买被指向的错误商品、而非指令对应商品的试验比例。
• 并列指标：正确购买率。无扰动条件单独测量，作为参照。
• 区间：每条件630次。正确购买率报告Wilson score的95%置信区间。论文未使用LLM裁判。

实验设置

• 受害模型：LLaVA-v1.5-7B、Qwen2.5-VL-7B。四个CLIP编码器只提供谱攻击梯度，论文未报告它们自己的ASR。
• 环境与注入：自包含电商部署，含预置店面、两个推理服务和Selenium智能体。对抗商品图在每次试验前注入。
• 攻击设置：BIM、PGD、CLIP谱攻击，均ε=16/255、α=1/255。论文未报告迭代步数上限。
• 判定：ASR为买到被指向错误商品的比例，并同时给出正确购买率。无LLM评审，也未报告人工复核。
• 样本量：Table 1写每条件630次。95%区间用Wilson score，±标在正确购买率上；ASR只有点估计。论文未报告指令集合和商品规模。
• 干净条件：正文4.2写LLaVA正确购买90%、Qwen为98%；Table 1为90.2±2.3与98.3±1.0。后文以表为准。作者称Qwen更高，反映其视觉定位能力强于LLaVA-v1.5，并称无扰动时两者都能完成购买。

主结果

Table 1的正确购买率（%）与95% CI；括号内为ASR（%）。每条件630次，ε=16/255。

| 条件 | LLaVA-v1.5-7B | Qwen2.5-VL-7B | | Clean Baseline | 90.2±2.3 | 98.3±1.0 | | BIM | 47.4±3.9（ASR 52.6） | 93.5±1.9（ASR 6.5） | | PGD | 46.2±3.9（ASR 53.8） | 92.3±2.1（ASR 7.7） | | CLIP Spectral | 33.1±3.7（ASR 66.9） | 84.5±2.8（ASR 15.5） |

• BIM与PGD：作者认为随机初始化相对零初始化的额外好处不大，可能因为干净图像附近的损失曲面较平滑。
• 谱攻击排序：两个受害模型上都是CLIP谱攻击的ASR高于BIM和PGD，且优化时不访问目标权重。作者认为CLIP嵌入几何上的特征破坏，对LLaVA-v1.5的视觉编码器尤其有效。
• 相对干净基线：作者称最有效的攻击只使Qwen正确购买率比98.3%低13.8个百分点，并称三种方法都遇到强抵抗。

家族差异（同一批试验）

• 作者如何用这张表：第4.4节对比两模型攻击后的正确购买率。作者称Qwen仍接近其干净水平，LLaVA下降幅度大得多，并称这是全文最主要的发现。
• 部署含义：作者认为不能把对抗鲁棒性在开源家族之间看成一样；自主购买智能体上线前应做显式对抗评估。
• 未给出的机制：作者认为差异指向二者处理对抗视觉输入的方式不同。该节没有层或模块测量；第6节把查清来源写成后续计划。

附录中的单次流程

• 图示：附录用LLaVA和BIM，对比同一件Duke Lemur Center卫衣的原图与扰动图。作者称扰动在ℓ∞预算内，对人眼难以区分，但足以误导该智能体。文本转换看不到像素差本身。
• 店面：对抗卫衣为item 0，标价7400美元，旁边有裤子和高尔夫包。作者称成功攻击也可能造成高价错误购买。该示例里智能体最多浏览10次。
• 两次点击：buy sweater示例点击item 0，与“买到对抗商品”一致。buy pants示例中，作者写攻击把智能体从正确裤子item 1引开，但记录的动作是点击item 2（高尔夫包），不是对抗商品。附录有原始输出，这里不摘录。

其他消融与分析

• 论文未报告ε、α、步数或替代编码器数量的消融，也未报告防御实验。
• BIM的早停是误预测置信度95%以上；PGD只写超过某一置信阈值，未给数字。
• 正文4.2的90%与98%，和Table 1的90.2±2.3、98.3±1.0写法不同；以表为准。

作者指出的局限与后续方向

• 不能外推其他架构：只评了LLaVA-v1.5-7B与Qwen2.5-VL-7B。作者写观察到的差异不能推广到InstructBLIP、mPLUG-Owl或LLaMA-Vision，除非再做评估。出自第5节。
• 生产部署尚未验证：全部实验在自包含预置电商环境中。作者写向带动态内容、身份认证和可变渲染条件的真实生产部署的迁移仍未验证。出自第5节。
• 架构来源：作者计划研究Qwen2.5-VL鲁棒性的架构来源。出自第6节。
• 更多家族：作者计划评估更多开源VLM家族。出自第6节。
• 轻量防御：作者计划探索在不能再训练的部署里可用的轻量防御。出自第6节。

实验覆盖范围

• 受害模型为LLaVA-v1.5-7B与Qwen2.5-VL-7B。谱攻击的替代编码器为ViT-B/32、ViT-B/16、ViT-L/14、ViT-L/14@336px。
• 攻击为BIM、PGD与CLIP谱攻击；ε=16/255，α=1/255。Table 1每条件630次，正确购买率附Wilson 95%区间。
• 成功由是否购买被指向的错误商品判定。论文未报告LLM评审、人工一致性或优化步数；BIM写明95%以上置信度早停，PGD的置信阈值未给数值。
• 正文的停止条件是购买完成或达到最大迭代预算；该预算只在附录示例中写为最多10次浏览。
• 两模型差异的讨论依据是Table 1的购买结果。论文未报告架构内部测量，也未报告防御实验。

作者在自建电商环境里比较两个开源VLM购物智能体对图像对抗扰动的鲁棒性。

• 问题：专有智能体已有替代模型黑盒攻击。作者认为，开源模型在交互部署中对白盒梯度攻击的表现尚未被系统刻画，且与上线选择有关。
• 做法：Flask店面注入扰动商品图，Selenium智能体截屏，LLaVA-v1.5-7B或Qwen2.5-VL-7B返回JSON购买动作。BIM与PGD为白盒迭代，ε=16/255、α=1/255。CLIP谱攻击在DCT域拉开四个CLIP嵌入的余弦距离，再迁到目标VLM。
• 主数字：Table 1、每条件630次。LLaVA的ASR为52.6%（BIM）、53.8%（PGD）、66.9%（CLIP谱）；Qwen为6.5%、7.7%、15.5%。干净正确购买率在表中为90.2%与98.3%。
• 作者结论：作者称CLIP特征空间破坏比直接梯度优化更有效；两家族差异指向处理对抗视觉输入的架构差别，但来源留待后续。上线前不应把开源VLM的对抗鲁棒性看成彼此相同，自主购买智能体应做显式对抗评估。
• 作者写出的边界：结论不能外推到InstructBLIP、mPLUG-Owl、LLaMA-Vision；带动态内容、认证和可变渲染的生产部署，迁移尚未验证。