Grounding 驱动的攻击：提升基于编码器的对抗攻击对大型视觉语言模型的迁移性

现有编码器攻击在异构 LVLM 的零查询黑盒中，与更稳定的文本接地证据对齐不足。

• 场景：作者称 LVLM 接入视觉输入后，视觉模态比文本更易受不可感知扰动影响，可能放大脆弱性。文中点名的部署场景包括医疗图像分析与自动驾驶。
• 现有不足：端到端攻击优化最终输出，通常绑定特定模型，且需要完整前向与反向。编码器攻击只优化视觉编码器，但作者称多数工作假设受害编码器与替代编码器相同或高度相似；编码器与语言模块都异构的设定研究较少。
• 核心观察：作者称模型特定视觉证据跨模型不一致，文本条件接地更贴近描述所用证据。Table 1 中 LLaVA 与 Grad-ECLIP 的 IoU@Top20% 为 0.223±0.090，高于与 CLIP-L 的 0.112±0.034；SigLIP 与 CLIP-B 的 Spearman ρ 为 −0.067±0.163。Figure 3 中，作者称同等掩蔽比例下，接地掩蔽比随机掩蔽更降低关键词重叠。Table 2 中 VT-Attack 与接地区域的 Spearman 为 0.0524±0.0834，coverage@Top20%_sal 为 0.4108±0.0868。
• 本文提出：Grounding-Driven Attack（GDA），用接地感知扰动分配（GPA）和接地中心证据破坏（GED），把预算集中到文本接地区域并加强破坏。
• 威胁模型：
  • 目标：固定提示词 T，使 Fθ(I+δ, T) 不等于标签 y，且 ‖δ‖p ≤ ε（式 1）。Definition 2.1 把实例级成功写成受害输出不等于 y。
  • 知识：论文称为 zero-query black-box。不访问受害 LVLM 的架构、参数、视觉编码器或输出概率。
  • 能力：使用公开视觉–语言预训练模型（文中例子为 CLIP）的视觉编码器与文本编码器，只在替代模型上构造对抗图像，不查询受害模型即迁移。作者将其区别于靠反复交互近似梯度的 query-based 攻击。
  • 受害系统：架构异构的开源与商业 LVLM。作者把迁移拆成跨编码器改变受害视觉表示，以及该表示经对齐与语言模块后改变最终输出。

附录 D 与引言把相关工作分成 LVLM 对抗攻击，以及视觉任务上的迁移技巧。

LVLM 对抗攻击

• Schlarmann and Hein（2023）：端到端白盒，在输出层损失上构造扰动。论文称其需要全部参数且计算贵。
• 编码器攻击：Cui et al.（2024）最小化对抗视觉特征与目标文本嵌入的余弦相似度；Attack-Bard（Dong et al., 2023）拉大干净与对抗表示的距离；VT-Attack（Wang et al., 2024）从局部特征、token 关系与全局语义多层破坏对齐。论文称这些方法更轻，但多数默认替代编码器与受害编码器相同或相似，而现代 LVLM 常用多样甚至专有视觉骨干。
• 黑盒改进：Zhao et al.（2023）用受害模型反馈细化扰动，论文称查询开销高且有检测风险。Xie et al.（2025）用辅助描述模型产生语义标签作中间目标，论文称仍依赖部分架构或语义对齐，并实际上假设替代编码器与受害相似。Dong et al.（2023）用模型集成改善跨编码器对齐。论文称尽管如此，零查询黑盒下的编码器迁移仍少被系统研究。引言把 InstructTA 等一并列入“相同或高度相似编码器”这一假设的引用，未单独展开。

视觉任务的迁移攻击

• 通用策略：多替代模型集成（Liu et al., 2017）、动量更新（Dong et al., 2018）、随机缩放裁剪等输入变换（Xie et al., 2019）。论文称它们可兼容 LVLM，但不直接处理编码器迁移的特有问题。
• ViT 专用：PNA、PatchOut（Wei et al., 2022）与 TGR（Zhang et al., 2023）把可迁移性做在 [CLS] 或 token 梯度上。论文称这类方法依赖单一全局表示，难以直接用于靠分布式 patch 做跨模态对齐的 LVLM。

基线与基准

• 基线方法：Schlarmann and Hein、Cui et al.、Attack-Bard、VT-Attack；TGR、PNA、PNA+PatchOut 被接入 Cui et al. 的框架后再比较。
• 基准/数据集：Flickr30k 图像描述、CIFAR-10 分类、TextVQA 验证集 VQA；附录 E 的病例用 COVID-19 Radiography。

作者把本文定位为：在零查询约束下研究异构 LVLM 的编码器迁移，并把优化从替代编码器的模型特定证据，转到文本接地证据。

GDA 把可迁移优化拆成两问：扰动预算落在哪里，以及选中的文本接地区域要破坏到什么程度。Figure 4 与附录 F 的 Algorithm 1 给出流程。替代模型是公开图文对齐模型，视觉编码器记为 fv，文本编码器记为 ft。

问题设定与形式化

• LVLM 写作 y = Fθ(I, T) = Lτ(Mψ(fϕ(I)), T)，由视觉编码器、模态投影和语言模型组成。异构主要来自这三部分的设计差异。
• 编码器攻击不走完整 LVLM，也不使用生成结果，只在替代编码器上最大化特征距离。
• 迁移成功在 Definition 2.1 中是指示函数：替代模型上做出的 I+δ，使受害模型在同一提示词下的输出不等于 y。

Grounding-Aware Perturbation Allocation

• 接地参照：用预训练描述模型把图像 I 收成短描述 Td。实验使用的描述模型与提示见第 4 问；作者称这一步只需要主要视觉实体的粗描述。
• 定位：用 Grad-ECLIP 得到文本条件 patch 图。对归一化图文嵌入的余弦相似度反传到 [CLS] 输出，patch 分数由该 patch 的注意力权重与 value–梯度内积相乘得到，再双线性上采样为像素掩码 M。作者称，相对直接在编码器上用 Grad-CAM 或 attention rollout，用文本嵌入约束梯度可减少模型特定偏差；CLIP 的大规模图文预训练使这些区域成为相对稳定的代理，但不保证与其他 LVLM 的重要区域完全一致。
• 分配：设平均每像素预算为 ε，基础比例为 r。每像素先给均匀底量，剩余预算按 M 的归一化权重分到接地区域，使全图预算合计为 ε·R²。

Grounding-Centric Evidence Disruption

• 全局：文本–图像项拉大对抗图像与 Td 的嵌入余弦距离；图像–图像项在投影前的全部视觉 token（含 [CLS] 与 patch）上拉大对抗图像与干净图像的距离。作者称使用全部 token 是为同时覆盖粗粒度与细粒度接地表示。
• 局部：只对名词短语做区域–短语破坏。作者称动词常依赖相关物体或身体部位，名词短语是更稳定的视觉锚点。用 SpaCy en_core_web_sm 抽取名词块并去重、去掉停用词；每个短语再用 Grad-ECLIP，保留分数高于阈值 τ 的 patch，集合为空则该短语不进入损失。干净 token 在该集合上的平均作为短语特征，损失惩罚对抗 token 与该特征仍相似。
• 总损失与像素约束为 L_total=L_text−image+L_{image−image}+L_local，以及 |δ(x,y)|_∞ ≤ ϵ_map(x,y)。在该像素级 ℓ∞ 球内用 PGD 做梯度上升并投影。具体步数、步长与默认 r、τ 见实验设置。

成功判定

• 分类与 VQA：干净预测正确、对抗后错误的样本比例。
• 描述任务没有单一对错标签，使用 LVLM-as-a-Judge；附录 H 给出完整提示词。另用多种 CLIP 视觉骨干计算生成文本与干净图像的相似度，论文以更低相似度和更高 ASR 表示更强攻击。

实验设置

• 替代与受害模型：默认替代为 CLIP-L/14；另测 CLIP-B/16、SigLIP、DINOv2-B。端到端基线在 BLIP-2 上生成再迁移；受害模型为 BLIP-2 时，Table 8 注称该基线为白盒。商业描述实验加 diverse input（DI），并在 ViT-L/14、ViT-B/16、ViT-B/32 上做 model ensemble（ME）。受害模型为 LLaVA、Qwen2.5-VL、InternVL3、OpenFlamingo、BLIP-2、Kimi-VL、GPT-4o、Gemini 2.0 Flash、GPT-5.4；附录 E 另用 GPT-4.1。附录 H 写明 LLaVA 与 OpenFlamingo 使用 CLIP ViT-L/14，BLIP-2 使用 EVA-CLIP，Qwen2.5-VL、InternVL3、Kimi-VL 分别为另一种 ViT、InternViT、MoonViT。
• 数据：Flickr30k 描述、CIFAR-10 分类、TextVQA 验证集 VQA，各随机 1,000 条。描述提示与分类提示见 Section 5.1 与附录 H，此处不抄原文。胸片病例从 COVID-19 Radiography 均匀抽取 100 张，四类为 Normal、COVID-19、Viral Pneumonia、Lung Opacity。
• 指标：ASR。描述任务另报生成文本与干净图像的 CLIP 相似度，骨干为 RN-50、RN-101、ViT-B/16、ViT-B/32、ViT-L/14 及 Ensemble。分类/VQA 的 ASR 定义为把正确干净预测改成错误的比例。
• 评审：描述 ASR 用 LVLM-as-a-Judge，判为不匹配则成功；附录 H 给出提示词。主表未点名评审模型。附录 I.3 在 100 例（seed 7）上比较 GPT-4.1、GPT-4o、gemini-2.5-flash-image、gemini-3-flash-preview；Table 11 六对平均一致率为 91%，正文写 90.2%，此处以表为准；82/100 例全部评审一致。论文未报告与人工标注的一致性。
• 攻击设置：ℓ∞ 下 ε = 8/255，PGD 的 K = 100、步长 α = 1/255，默认 r = 0.2、τ = 0.3。Td 由 GPT-4o 生成，提示见 Section 5.1。硬件为 NVIDIA GeForce RTX 4090。论文未报告重复次数，也未报告对受害模型的查询次数（设定为零查询）。
• 基线：Cui et al.、Schlarmann and Hein、Attack-Bard、VT-Attack，以及接入 Cui et al. 框架的 TGR、PNA、PNA+PatchOut。

主结果

下表为默认替代模型下的图像描述。LLaVA 与 OpenFlamingo 的视觉骨干与 CLIP-L/14 同族。

Swipe horizontally to read the table

受害 LVLM	GDA ASR	VT-Attack ASR	GDA Ensemble 相似度	出处
LLaVA	55.4%	46.0%	0.2971	Table 3
Qwen2.5-VL	39.0%	31.4%	0.3169	Table 3
InternVL3	41.2%	31.6%	0.3176	Table 3
OpenFlamingo	99.8%	99.8%	0.1899	Table 8
BLIP-2	38.6%	27.6%	0.2968	Table 8
Kimi-VL	33.2%	28.2%	0.3037	Table 8

• 作者称 GDA 的图像–文本相似度更低、ASR 更高，并称在 Qwen2.5-VL、InternVL3 这类异构受害模型上增益清楚。
• 作者认为 TGR、PNA、PatchOut 主要扰动 CLS，对依赖细粒度 patch 的 LVLM 帮助有限；PatchOut 丢掉 patch，会降低接地区域上的扰动密度。
• 例外：OpenFlamingo 上 GDA 与 VT-Attack 的 ASR 相同。Table 8 注写明，Schlarmann and Hein 在 BLIP-2 上为白盒，该行 ASR 为 84.4%，高于表中黑盒方法。

商业 LVLM（DI+ME）

• 作者称闭源商业模型上，默认定向迁移因替代–受害差距更大而较弱，因此 Table 4 全部方法都加 DI 与 ME。论文未在该表给出不加二者的商业模型数字。
• Table 4 的 ASR：GPT-4o 上 GDA 80.0%、VT-Attack 64.3%、Cui et al. 52.0%、Attack-Bard 45.7%；Gemini 2.0 Flash 上依次为 66.8%、58.5%、45.6%、36.9%；GPT-5.4 上依次为 81.7%、63.7%、59.0%、53.3%。
• 作者称 GDA 改变的是攻击目标，与 DI 的输入多样性、ME 的多替代模型是正交的，可以一起使用。

分类、VQA 与胸片病例

• Table 9 分类任务的 Average ASR：GDA 60.7%，VT-Attack 57.4%，TGR 51.9%，Cui et al. 50.0%。GDA 在 LLaVA、Qwen2.5-VL、InternVL3、BLIP-2、Kimi-VL、GPT-4o、Gemini 2.0 上为 65.2%、51.0%、67.4%、84.0%、54.6%、32.0%、31.8%。OpenFlamingo 上 VT-Attack 为 100.0%，GDA 为 99.6%。论文未说明该表商业模型是否使用 DI+ME。
• VQA 以 Table 9 为准：GDA 的 Average 为 64.5%，各模型为 LLaVA 64.2%、Qwen2.5-VL 58.4%、InternVL3 60.2%、OpenFlamingo 98.2%、BLIP-2 93.6%、Kimi-VL 56.2%、GPT-4o 43.0%、Gemini 2.0 38.0%。同表 VT-Attack 的 Average 为 61.7%，Attack-Bard 为 62.4%；Gemini 2.0 上 Attack-Bard 亦为 38.0%。附录 I.3 写 GDA 的 VQA 平均 ASR 为 61.7%，与 Table 9 不一致。
• 附录 E：同一 Section 5.1 配置下，GPT-4.1 对 100 张胸片的 ASR 为 61%。Figure 5 一例中，诊断类别由 Lung Opacity 变为 COVID-19，置信度仍标为 High；不引发现原文。

输入预处理与感知质量

• Table 19 报告平均 ASR：无防御 43.25%，Bit-Red 41.95%，JPEG 29.39%，NRP 30.80%，DiffPure 25.83%。DiffPure 下 OpenFlamingo 仍为 54.0%。作者称 Bit-Red 增益有限，DiffPure 之后攻击仍部分成功。该表未写明是否使用 DI+ME；无防御行的 GPT-4o 为 16.6%、Gemini 2.0 为 12.4%，与 Table 4 不是同一组数字。Bit-Red 下这两格为 17.0%、13.3%。
• Table 10：GDA 的 SSIM 为 0.9161，LPIPS 为 0.0369，MS-SSIM 为 0.9857。FSIM、VIF 上 PNA+PatchOut 为 0.8320、0.6852，GDA 为 0.8095、0.6775；HaarPSI 上 Schlarmann and Hein 为 0.9450，GDA 为 0.9336。作者称 GDA 在大多数感知指标上更好，并把扰动约束在语义重要区域。

其他消融与分析

• 组件（Table 15，ASR）：LLaVA 上仅图像–图像项 39.0%，完整全局项 44.2%，加局部项 48.8%，再加 GPA 55.4%；Qwen2.5-VL 为 25.0%、30.0%、31.2%、39.0%；InternVL3 为 23.5%、28.7%、35.4%、41.2%。
• 替代模型（Table 12，数字与 LLaVA 的 CLIP-L/14 主表行一致）：GDA 的 ASR 在 CLIP-L/14 为 55.4%，CLIP-B/16 为 36.6%，SigLIP 为 34.2%，DINOv2-B 为 19.6%；该行 VT-Attack 为 19.2%。
• 对齐（Table 6，N=100）：相对 VT-Attack，GDA 的 Spearman 从 0.0524±0.0834 到 0.5994±0.0832，IoU@Top20% 从 0.1303±0.0443 到 0.2936±0.0709，coverage@Top20%_sal 从 0.4108±0.0868 到 0.5196±0.1019。
• r（Table 13）：Qwen2.5-VL 的 ASR 在 r=0.2 为 37.8%，r=1.0 为 31.2%。τ（Table 14）：LLaVA 在 τ=0.3 为 55.4%，τ=0.1 为 52.2%，τ=0.4 为 53.8%。
• 局部项加入动词后，LLaVA 的 ASR 从 55.4% 到 54.3%（Table 17）。Td 改由 BLIP-2 生成后为 55.3%，GPT-4o 为 55.4%（Table 18）。
• Figure 9：LLaVA 上 ε=16 时，作者称多数基线停在 40%–50%，GDA 达到 66%。Figure 8：作者称 ε=16 时 GPT-4o 与 Gemini 的 ASR 最高到 20%。Figure 10：InternVL 上增加步数后各方法 ASR 上升，作者称基线在 40 步后增益可忽略，GDA 在 100 步最高。Table 16：GDA 10.3353 秒/样本，Schlarmann and Hein 28.4024 秒/样本；作者称有 2.7× 加速。

作者指出的局限与后续方向

• 附录 J.2：当前攻击针对 LVLM，尚未扩展到音频–语言模型或具身智能体；作者把支持更多模态列为后续方向。
• 附录 J.2：研究以非定向攻击为主。定向攻击——压低原文本接地证据，并推向攻击者指定的描述或答案——留作后续，未在本文系统考察。
• 附录 J.2：防御评测限于输入级预处理，作者称效果有限；因资源约束未做对抗训练，并认为对抗训练或检测机制值得后续研究。

实验覆盖范围

• 受害模型为 LLaVA、Qwen2.5-VL、InternVL3、OpenFlamingo、BLIP-2、Kimi-VL、GPT-4o、Gemini 2.0 Flash、GPT-5.4，胸片病例另用 GPT-4.1（Section 5、附录 H、附录 E）。
• 任务为 Flickr30k 描述、CIFAR-10 分类、TextVQA，各 1,000 条；胸片 100 张、四类均匀抽取（Section 5.1、附录 E）。
• 默认替代模型为 CLIP-L/14，另报告 CLIP-B/16、SigLIP、DINOv2-B；商业描述实验使用 DI，以及 ViT-L/14、ViT-B/16、ViT-B/32 的集成（Section 5.2、Table 12）。
• 已报告的防御为 Bit-Red、JPEG、NRP、DiffPure（Table 19）。附录 J.2 写明未采用对抗训练。
• 描述 ASR 使用 LVLM-as-a-Judge；主结果表未写明评审模型。跨评审一致率来自 100 例，论文未报告与人工的一致性，也未报告实验重复次数及对受害模型的查询次数。

GDA 是面向异构 LVLM 的零查询黑盒编码器迁移攻击。

• 要处理的问题是：只在替代视觉编码器上优化的扰动，通常假设受害编码器与替代相同或相似。作者称跨模型的模型特定视觉证据不一致，而由图像描述约束的接地区域更稳定，现有攻击却没有把预算集中在这些区域上。
• 方法上，先用短描述和 Grad-ECLIP 得到接地掩码并分配像素预算，再同时拉大图文嵌入距离、全视觉 token 距离，以及名词短语对应 patch 与干净短语特征的距离，最后在像素级 ℓ∞ 预算内做 PGD。攻击不查询受害模型。
• 默认 CLIP-L/14 下的描述任务中，GDA 的 ASR 在 Qwen2.5-VL 为 39.0%、InternVL3 为 41.2%、Kimi-VL 为 33.2%，高于同表 VT-Attack；LLaVA 为 55.4%（Table 3、Table 8）。OpenFlamingo 上与 VT-Attack 同为 99.8%。LLaVA 与 OpenFlamingo 的视觉骨干为 CLIP ViT-L/14。
• 商业模型在 DI+ME 下，描述 ASR 为 GPT-4o 80.0%、Gemini 2.0 Flash 66.8%、GPT-5.4 81.7%（Table 4）。Table 9 中分类与 VQA 的 GDA 平均 ASR 为 60.7% 与 64.5%；分类里 OpenFlamingo 上 VT-Attack 为 100.0%、GDA 为 99.6%。GPT-4.1 的 100 张胸片 ASR 为 61%（附录 E）。
• 作者的结论是：文本接地视觉证据是理解异构设定下对抗迁移的一个有用视角，也可作为后续防御考虑跨模型接地证据的基础。附录 J.2 说明本文未扩展到其他模态和定向攻击，防御主要看了输入预处理。