XSPA：为针对 VLM 的可迁移攻击构造不可察觉的 X 形稀疏对抗扰动

固定几何、支持很小的扰动，是否已足以破坏 VLM 共享空间中的跨任务语义。

• 场景：作者认为 CLIP、BLIP-2 等靠共享视觉–文本表示支持零样本分类、图像描述和 VQA。扰动若影响视觉编码，可能沿该空间传播，使一次输入同时牵动多项决策；作者称这在交互和决策支持场景中尤其需要关注。
• 现有不足：作者把既有视觉攻击分为 Lp 约束下的稠密全图扰动，以及补丁、阴影、光学操纵等局部或物理干预。作者认为这些设定通常仍保留支持、形状或优化空间上的较大自由度，因此不足以回答自由度被同时限制时 VLM 是否仍然脆弱。
• 核心假设：作者不把扰动形状当作自由变量，而施加严格几何先验，用来探测多模态对齐在多小的几何自由度下会失稳。
• 本文提出：提出 XSPA（X-shaped Sparse Pixel Attack），把扰动限制在两条相交对角线上，并在该支持内联合优化分类目标、跨任务语义引导，以及幅度与沿线平滑正则。默认设置下作者称只修改约 1.04% 像素。
• 威胁模型：
  • 目标：诱导可迁移误分类，并推动描述与 VQA 的语义漂移，同时保持视觉上细微。分类损失分非定向 margin 与定向交叉熵。
  • 知识：论文写作 white-box surrogate / black-box downstream。梯度优化在 CLIP-style 代理上进行；附录写明下游描述和 VQA 评测不把扰动适配到那些模型。
  • 能力：只能修改预先固定的 X 形二值掩码内的像素，并受无穷范数上界约束。优化器不能另行选择支持。
  • 受害系统：零样本分类针对四个 CLIP-style 视觉编码器；描述和 VQA 针对六个下游 VLM。成功主要看准确率下降、T-ASR、U-ASR，以及 GPT-4 对开放输出的一致性或正确性。

论文按三条线组织相关工作，并在实验中单列基线。

稀疏与结构化视觉攻击

• 早期对抗样本：Goodfellow、Shlens 与 Szegedy（2015），Madry 等（2018），Moosavi-Dezfooli、Fawzi 与 Frossard（2016），Xie 等（2019），Andriushchenko 等（2020）讨论深度网络在多种威胁模型下对扰动的脆弱性。论文将其作为背景，没有逐篇对照 XSPA。
• 稀疏与物理形式：Su、Vargas 与 Sakurai（2019），Modas、Moosavi-Dezfooli 与 Frossard（2019），Zhong 与 Liu（2025）只改少量像素或受限区域。Brown 等（2018），Ran 等（2023），Zhong 等（2022），Huang 与 Ling（2022），Hsiao 等（2024）使用补丁、阴影或自然光照。作者认为这些方法仍主要优化支持大小、补丁面积或物理可实现性，而不是检验一种固定的高度受限几何先验。

视觉语言模型的攻击与鲁棒性

• 共享空间中的攻击：Radford 等（2021）的 CLIP 使跨模态嵌入的鲁棒性成为核心问题。Zhang、Yi 与 Sang（2022），Guo 等（2023），Zhao 等（2023），Cui 等（2024）讨论扰动经共享表示影响检索、分类和生成，以及大型 VLM 在分类与开放式设定下的脆弱性。
• 可迁移性与跨任务设计：Zhang 等（2025），Xie 等（2025），Liu、Ouyang 与 Cui（2025），Zhao 等（2025），Liu 等（2025），Li 等（2026a,b）改进攻击可迁移性或统一跨任务设计。论文这里是描述，没有逐篇写明与 XSPA 的差别。
• 鲁棒性方法：Wang 等（2024），Schlarmann 等（2024），Tong 等（2025），Sheng 等（2025），Dong 等（2025），Mirza 等（2026）探索认证、适配和测试时调节。

开放式任务的自动评测

• 词汇指标：Zhao 等（2023）与 Cui 等（2024）指出，精确匹配和词汇重叠往往抓不住语义上有意义的变化。
• LLM 评审：Zheng 等（2023）与 OpenAI（2024）讨论 LLM-as-a-Judge。作者采用 GPT-4 判断语义正确性与事实一致性，以便在同一协议下比较分类、描述和 VQA。

基线与数据集

• 基线方法：NaturalLightAttack、ShadowAttack、ITA，分别对应自然光、阴影和光照变换攻击。作者称它们的威胁模型与固定稀疏几何并不完全一致，比较应视为鲁棒性参照，而不是严格同条件排名。
• 基准/数据集：主评测沿用 ITA 协议，从 COCO-80 取 300 张图，三任务共用；零样本标签空间为 COCO-80。Table 4 另报 COCO-1000、ImageNet-1K、ImageNet-R。

作者称，据其所知本文提出了首个把扰动约束到固定几何、支持很小的 X 形稀疏像素攻击，并在该区域内同时使用动量优化、输入多样性、跨任务语义引导和源语义抑制。作者把 XSPA 同时当作攻击和受控诊断，用来刻画共享视觉–文本空间在强约束结构扰动下的脆弱边界。

XSPA 先固定 X 形稀疏支持，只在该支持内优化扰动，再迁移到下游 VLM。

问题设定

• 图像 x 属于 [0,1] 的 3×H×W。扰动 δ 只能落在固定二值掩码 M 上，对抗图像为 x_{\mathrm{adv}}=\mathrm{clip}(x+M\odot\delta,0,1)，即掩码外不变，结果裁剪到合法像素范围。
• 设定写为 white-box surrogate / black-box downstream：在 CLIP-style 代理上优化，再迁移到零样本分类、图像描述和 VQA。与全图 Lp 有界攻击不同，可改像素事先给定。
• 附录算法对代理编码器使用白盒梯度；下游模型评测时不针对它们改扰动。

X 形稀疏掩码

• 两条斜线段交于 cctr=(ρcol W, ρrow H)。给定角度集合 A={θ1, θ2}、相对长度 r 和线宽 b，支持是各线段按较短边比例取长、再扩展到宽度 b 后的并集。
• 稀疏比 ηM 为支持像素数除以 HW。默认 384×384 时支持为 1,532 像素，作者写 ηM≈1.04%。附录称实现方式是采样两条中心线、栅格化，再做宽度 b 的邻域扩展，并把越界坐标裁到图像边界。
• 作者给出的理由是：优化前固定支持，可把几何效应与自由选像素分开，避免优化器把扰动分到视觉上更方便的区域；可迁移性只能来自这条 X 结构上的取值。

跨任务联合目标

• 固定支持上的目标为 L=λ_clip^(t)L_clip+λ_tar^(t)L_tar+λ_src^(t)L_src+L_smooth。前三项是分类攻击、跨任务语义引导和源语义抑制，最后一项是结构正则。
• Lclip 在非定向时用源类 logit 减去其他类最大 logit，定向时用交叉熵。目标文本池与源文本池来自目标标签、描述侧语义漂移和 VQA 侧答案偏移。Ltar 是图像特征与目标文本内积的负平均，Lsrc 是与源文本内积的平均。
• 作者称两类文本由同一冻结文本编码器编码，因而处在同一嵌入空间，并定义与具体任务无关的语义方向。平滑项再分成幅度项和沿线项：前者抑制孤立尖峰，后者让每条有序中心线上相邻像素的取值接近。
• 对 clip、tar、src、mag、line 五类权重，t 小于 γN 用一组系数，之后换另一组。作者称早期强调分类引导以稳定方向，后期加强语义错位以促进跨任务迁移。论文未给出这些系数和 γ 的数值。

掩码约束优化

• 可行集要求掩码外扰动为 0，且无穷范数不超过 ε。每步对当前对抗图像做随机缩放填充式输入多样性，计算联合梯度，再按 MI-FGSM 方式累积动量；分母是梯度绝对值的均值加 10 的负 12 次方。
• 更新取动量的符号步，再投影回掩码和无穷范数界。作者称输入多样性减轻对代理的过拟合，动量稳定方向，投影保证改动留在 X 形支持内。附录给出完整伪代码，并写明动量与多样性分别对应 MI-FGSM 和 DI-FGSM。
• 主实验迭代次数在实验节给出，为 200。方法节未列出主实验的步长、ε，以及代理的具体模型名。

成功如何判定

• 零样本分类用 Top-1 准确率及其相对干净样本的绝对变化。T-ASR 是预测被推到预定义目标的比例，U-ASR 是非定向误分类比例，越高表示攻击越强。
• 描述和 VQA 不单靠精确匹配。GPT-4 在固定 LLM-as-a-Judge 提示和量表下评一致性与正确性；GPT-4o 用四分制评自然度，涵盖视觉自然度、物理一致性和对抗合理性。

实验设置

• 数据：沿用 ITA 协议，从 COCO-80 选 300 张图作为三任务统一评测集。附录称这是 300 张 COCO validation 图像，覆盖 COCO-80 标签空间；分类指标使用全部 300 个 image ID。
• 被测模型：零样本分类为 OpenCLIP ViT-B/16、Meta-CLIP ViT-L/14、EVA-CLIP ViT-G/14、OpenAI CLIP ViT-L/14。下游为 LLaVA-1.5（7B）、LLaVA-1.6（7B）、OpenFlamingo（3B）、BLIP-2（FlanT5XL ViT-L，3.4B）、BLIP-2（FlanT5XL，4.1B）、InstructBLIP（FlanT5XL，4.1B）。Table 2 和 Table 3 把前两个模型的图像编码器列为 OpenAI CLIP ViT-L/14，后四个列为 EVA-CLIP ViT-G/14。
• 代理与实现：主实验写在 CLIP-style 代理上优化后迁移，迭代 200 次，使用单张 NVIDIA RTX 4090 24GB；其余调度称遵循方法节。论文未写明主实验代理的具体名称、步长和 ε。消融冻结协议写明代理为 OpenCLIP ViT-B/16。
• 基线：NaturalLightAttack、ShadowAttack、ITA。作者称威胁模型不完全匹配，比较是鲁棒性参照，不是严格同条件排名。
• 指标与评审：分类报 Top-1 及相对干净样本的绝对变化。自然度由 GPT-4o 按四分制评分。描述一致性与 VQA 正确性由 GPT-4 在固定提示和量表下评分；表注称这些分数越低，攻击越符合其目标。
• 重复与附录样本：论文未报告 Table 1–3 的重复次数。附录匹配预算使用三枚优化种子。严格定向 VQA 计划是 224 张图上的 380 个问题；联合分析的共同合格图像为 214 张。

主结果

Table 1 的零样本 Top-1 与 XSPA 的 GPT-4o 自然度如下。干净样本的 GPT-4o 均为 3.65。括号为相对干净样本的绝对变化。

表格较宽，可左右滑动

编码器	Clean	ITA	XSPA	XSPA GPT-4o
OpenCLIP ViT-B/16	97	46（↓51）	30（↓67）	2.71（↓0.94）
Meta-CLIP ViT-L/14	98	64（↓34）	60.67（↓37.33）	2.89（↓0.76）
EVA-CLIP ViT-G/14	98	84（↓14）	63.71（↓34.29）	2.78（↓0.87）
OpenAI CLIP ViT-L/14	93	51（↓42）	40.67（↓52.33）	2.76（↓0.89）

• 作者称四个编码器上 XSPA 的准确率下降都大于表中三个基线，且在攻击方法中 GPT-4o 自然度最高。作者报告相对 ITA 再降 16.00、3.33、20.29、10.33 个百分点。摘要写 OpenCLIP 下降 67.00 点，Table 1 括号为 ↓67。
• 同表中 NaturalLightAttack 在 OpenAI CLIP ViT-L/14 上准确率仍为 93，没有下降。论文未说明主实验代理是哪一个编码器，因此不能把 Table 1 某一行直接当成白盒结果。
• Figure 2 给出干净图与 XSPA 图的类别标签变化。作者用 Grad-CAM 比较注意力；Figure 3 图注称对抗响应更分散或离开主物体。图中可见大象、熊、停止标志、鸟、飞机、电话、船等示例标签。

描述、VQA 与定性输出

Table 2、Table 3 中 XSPA 的 GPT-4 分数如下。括号为相对干净样本的绝对下降。

表格较宽，可左右滑动

模型	图像编码器	描述一致性	VQA 正确性
LLaVA-1.5	OpenAI CLIP ViT-L/14	46.40（↓32.20）	47.45（↓20.55）
LLaVA-1.6	OpenAI CLIP ViT-L/14	44.20（↓27.90）	48.87（↓15.13）
OpenFlamingo	EVA-CLIP ViT-G/14	11.60（↓58.60）	14.29（↓30.71）
BLIP-2 (FlanT5XL ViT-L)	EVA-CLIP ViT-G/14	21.90（↓53.20）	18.75（↓44.25）
BLIP-2 (FlanT5XL)	EVA-CLIP ViT-G/14	59.00（↓15.96）	19.78（↓34.22）
InstructBLIP (FlanT5XL)	EVA-CLIP ViT-G/14	40.90（↓35.60）	44.67（↓23.33）

• 作者称 XSPA 在六个模型上描述一致性最低；OpenFlamingo 从干净样本下降 58.60 点，是 Table 2 中最大降幅。作者称生成描述常不再保住物体类别、局部属性或场景关系。
• VQA 上，作者称 XSPA 在六个模型中的四个上正确性最低，在另外两个上仍有竞争力；四个 EVA-CLIP 图像编码器模型中有三个上 XSPA 最好。例外是 LLaVA-1.6 上 ITA 为 43.00（↓21.00），XSPA 为 48.87（↓15.13）；InstructBLIP 上 ITA 为 44.00（↓24.00），XSPA 为 44.67（↓23.33）。作者称最大 VQA 下降是 BLIP-2 (FlanT5XL ViT-L) 的 44.25 点。
• Figure 4 为两任务的定性例子。作者称干净描述大体保留主物体、场景和属性，对抗描述在物体身份、材质或细粒度属性上发生漂移；对抗 VQA 出现更多类别、颜色、计数和局部属性错误。

匹配预算、联合成功与评审校准

• 同预算支持选择：附录把 XSPA 与 saliency Top-k 比，代理为 OpenCLIP ViT-B/16，即目标就是代理本身。双方都是 1,532 像素、L∞=0.25、100 步、步长 0.03，300 张图、三枚种子。Table 6：Top-k 定向 ASR 为 94.44±0.38%，XSPA 为 83.44±0.77%；非定向分别为 94.78±0.19% 和 86.78±0.19%。作者报告 Top-k 减 XSPA 的定向差为 11.00 个百分点，20,000 次图像聚类 bootstrap 的 95% 区间为 [7.78, 14.44]；非定向差为 8.00 点，区间 [5.00, 11.11]。作者报告每枚种子的 exact paired McNemar 检验经 Holm 校正后显著，校正后最大 p 值为主 ASR 的 8.70×10−6、非定向 ASR 的 7.17×10−4。作者称 X 形支持在稀疏约束下有效，但不是同像素预算下最强的支持选择器。
• 三任务定向联合成功：种子 3407、214 张共同合格图像。描述输出来自 BLIP-2 FlanT5-XL，VQA 来自 LLaVA-1.6 Mistral-7B。Table 8：XSPA 的 CLIP 定向成功为 177/214（82.71%），描述定向双方都是 0/214，VQA any 为 9/214（4.21%），与 VQA 同时成立的联合成功为 0/214。作者称该结果不支持三任务定向失败彼此相关，而是把较强的代理分类效应和较弱的输出空间迁移分开。
• 评审与感知：Table 9 在 LLaVA-1.5 子集上比较 GPT-4 与 GPT-4o-mini，每任务 30 个干净输出加 30 个 XSPA 输出。描述的 ICC(A,1) 为 0.301 [0.120, 0.443]，Pearson r 为 0.580 [0.255, 0.801]；VQA 精确一致率为 0.933 [0.850, 1.000]，Cohen’s κ 为 0.815 [0.526, 1.000]。作者称这是模型间校准，不是人类一致率；GPT-4 的描述分在 0–30 量表上平均比 GPT-4o-mini 高 3.283。作者因此把基于评审模型的描述差异当作次要证据。Table 7 中 XSPA 的 SSIM 为 0.97285±0.00003、LPIPS-Alex 为 0.06516±0.00008，Top-k 的 PSNR 为 34.5981±0.0093 dB、MAE 为 0.001680±0.000003。作者称感知证据是混合的，不把攻击成功当作不可感知性的证据。

其他消融与分析

• 迭代、步长、ε 与面积：作者称增加迭代、扰动上界或面积会加强攻击，但增加 GPU 时间、降低 PSNR 或改动更多像素；更大迭代次数有收益递减（Figure 5a–d）。纯文本转换后，图中端点与坐标的对应不完整，这里不逐点引用。
• X 几何：作者称中心、角度、长度中等敏感，中心和角度扫描较平；线宽增大或像素间距减小使 U-ASR 与支持密度一起上升（Figure 5e–j）。
• 形状：同一 1,532 像素、末步长 0.03 下比较七种形状；作者称 XSPA 在 Full 300 和 Held-out 240 上 U-ASR 最高（Figure 5k）。论文未给出各形状的具体 U-ASR。
• 损失：作者称没有一种损失替代能在定向 ASR、U-ASR 和特征分离上同时占优（Figure 5l）。
• 跨数据集 U-ASR 均值（Table 4）：COCO-300 为 51.24%，COCO-1000 为 55.92%，ImageNet-1K 为 95.01%，ImageNet-R 为 62.82%。作者称 ImageNet-1K 最高，COCO 与 ImageNet-R 较低，并认为数据集构成和编码器预训练影响可迁移性，而不只是图像数量。该节代理为 OpenCLIP ViT-B/16，故其列是代理自身。
• 消融默认配置（Table 5）：384×384、1,532 像素、100 步、步长 0.03、L∞=0.25。主实验迭代为 200，与该冻结协议不同。

作者指出的局限与后续方向

• 结论：作者称结果促使后续考虑结构感知的防御和鲁棒性评测（Conclusion）。
• 支持选择：作者称 X 形支持在严格稀疏约束下有效，但不是同像素预算下最强的支持选择器；几何贡献应理解为受控的结构化支持压力测试，而不是相对自适应显著性选择的攻击强度优势（附录 Matched-budget）。
• 跨任务定向：作者称现有结果不支持三任务朝预定义目标发生相关失败，而是把较强的代理分类效应与较弱的输出空间迁移分开（附录 Same-image Cross-task Joint Success）。
• 不可感知性：作者称证据支持稀疏代理攻击和一种感知权衡，但不支持普遍更优、均匀不可感知，或稳定的三任务定向迁移（附录 Statistical and Artifact Audit）。
• 人类评测：作者称人类感知研究和人类–GPT 研究尚未完成，不作为发现报告；目前没有独立人类评分，因此现有校准不构成人类验证（附录 Judge Calibration 与 Audit）。
• 描述评审：作者称基于评审模型的描述差异只作为次要证据，不单独用来支持跨任务迁移主张（附录 Judge Calibration and Claim Boundary）。

实验覆盖范围

• 主结果覆盖四个 CLIP-style 编码器和六个下游 VLM，数据为 COCO 中 300 张图；分类使用全部 300 个 image ID（Experiments；附录 Evaluation）。
• 主实验基线为 NaturalLightAttack、ShadowAttack、ITA，迭代 200 次，单张 NVIDIA RTX 4090 24GB。论文未报告主实验的代理模型名称、步长、ε 和重复次数（Implementation Details）。
• 消融代理写明为 OpenCLIP ViT-B/16；冻结协议为 384×384、1,532 像素、100 步、步长 0.03、L∞=0.25。Table 4 另含 COCO-1000、ImageNet-1K、ImageNet-R，后三个集合各 1,000 张。
• 开放任务主分数由 GPT-4 给出，自然度由 GPT-4o 按四分制给出。附录在 LLaVA-1.5 子集上用 GPT-4 与 GPT-4o-mini 互校，每任务 30 个干净输出和 30 个 XSPA 输出。论文未报告评审与人工评分的一致性。
• 匹配预算对照为 saliency Top-k，三枚优化种子。联合定向分析使用种子 3407，描述模型写为 BLIP-2 FlanT5-XL，VQA 模型写为 LLaVA-1.6 Mistral-7B，共同合格图像 214 张；严格定向 VQA 计划为 224 张图上 380 个问题。

XSPA 是一种把对抗扰动限制在固定 X 形稀疏线上、再从 CLIP-style 代理迁移到下游 VLM 的攻击。

• 问题：作者要看共享视觉–文本空间在支持很小、几何被固定时，分类、描述和 VQA 是否仍会出现连带的语义失败。设定为 white-box surrogate / black-box downstream，下游评测不适配扰动。
• 方法：两条过指定中心的斜线段构成掩码；默认 384×384 下为 1,532 像素，ηM≈1.04%。目标包含分类 margin 或交叉熵、目标文本吸引、源文本抑制，以及幅度与沿线平滑。更新使用输入多样性和动量，并投影回掩码与无穷范数可行集。主实验迭代 200 次。论文未写明该次运行的代理名称、步长和 ε。
• 分类：在 COCO 的 300 张图上，Table 1 中 XSPA 把 OpenCLIP ViT-B/16 的 Top-1 从 97% 降到 30%（↓67），OpenAI CLIP ViT-L/14 从 93% 降到 40.67%（↓52.33）。四个编码器上，表中三个基线的准确率下降都更小；攻击方法里 XSPA 的 GPT-4o 自然度最高。
• 开放任务：Table 2 中 OpenFlamingo 的 GPT-4 描述一致性从 70.20% 降到 11.60%（↓58.60），六个模型上都是 XSPA 最低。Table 3 中最大 VQA 下降是 BLIP-2 (FlanT5XL ViT-L) 的 44.25 点；LLaVA-1.6 与 InstructBLIP 上 ITA 的正确性更低。
• 附录边界：同为 1,532 像素时，代理 OpenCLIP ViT-B/16 上 saliency Top-k 的定向 ASR 为 94.44±0.38%，XSPA 为 83.44±0.77%。种子 3407 的 214 张共同合格图像上，三任务定向联合成功为 0/214。作者称这不支持三任务定向失败彼此相关，也不支持把攻击成功当成均匀不可感知；描述评审差异被当作次要证据。人类评测未完成。
• 作者结论：作者称几何先验固定、预算很低时，VLM 仍会出现跨任务语义干扰，并称这促使后续做结构感知的防御和鲁棒性评测。作者同时把 XSPA 定位为受控诊断，而不是同预算下最强的支持选择器。