SGHA-Attack: Semantically Guided Hierarchical Alignment for Transferable Targeted Attacks on Vision-Language Models

定向迁移常只对齐单一参考和代理末层，换到异构黑盒 VLM 后指定描述难以保持。

• 出现场景：作者称大视觉语言模型被用于自动决策和工具增强智能体；攻击者可在可访问代理上优化扰动，在不知内部参数时让专有 API 生成指定描述，从而影响下游完整性。
• 现有不足：作者称既有方法依赖单一目标参考，并只在代理编码器末层做嵌入匹配，中间语义用得少，容易过拟合该代理，迁到指令微调或专有 VLM 时变差。
• 作者假设：多个语义锚点的加权混合，加上多层视觉结构与跨模态约束，能比单参考、末层匹配提供更稳的定向监督。
• 提出方法：SGHA-Attack 含语义引导锚点注入（SGAI）、分层视觉结构对齐（HVSA）和跨模态潜空间同步（CLSS）。引言把绕过安全护栏、引出违反策略的输出列为动机；实验测量的是指定图像描述，不是护栏绕过率。
• 威胁模型：
  • 目标：使受害模型生成攻击者指定的目标描述（targeted），而不是只降低性能。
  • 知识：black-box，不能访问受害模型参数或梯度；在可访问代理（文中例为 CLIP）上优化，再迁移到未见模型。
  • 能力：对干净图像加满足 ℓ∞ 预算的扰动；可用冻结文生图模型按目标文本采样参考图。闭源评测按 M-Attack 协议，用三个 CLIP 视觉编码器集成作代理。
  • 受害系统：六个开源 VLM 与三个商用 API。论文把 query-based 方法视为往往不实用，实验聚焦 transfer-based。

论文把相关工作分成视觉语言对齐、攻击设定和定向迁移三类，并把区别放在打开视觉骨干、同步中间层。

视觉语言架构与模态对齐

• 判别式到生成式：作者称 VLM 从任务专用架构转到生成式基础模型；大语言模型普及前，许多工作学习联合图文表示，用于图文检索和视觉问答。
• 两类投影：LLaVA（2023）、MiniGPT-4（2024）用线性层或 MLP 把视觉 token 投进语言模型空间；BLIP-2（2023）、InstructBLIP（2023）用 Q-Former 等查询模块，经交叉注意力聚合视觉信息后再接语言模型。
• 本文关注点：作者称要研究攻击在这些架构之间的迁移，并关注对齐模块与中间表示如何影响脆弱性和泛化。

攻击设定

• 知识与目标：论文把攻击分为 white-box（可访问全部参数）和 black-box（不能访问参数或梯度）；untargeted 只降低性能，targeted 把输出导向指定目标。作者称 targeted 的安全风险更大。
• 迁移而非查询：作者称现实黑盒里 transfer-based 攻击已成为相对 query-based 的主要范式，因为后者对大 VLM 往往受推理延迟和 API 成本限制。本文因此做在代理上优化、再迁到未见受害模型的定向攻击。
• 早期方向：作者称早期 VLM 鲁棒性研究主要做 untargeted 降质。

定向迁移攻击

• 约束扰动：引言把 AttackVLM（2023）归为在 ℓ∞ 预算内把全局图像嵌入与目标文本嵌入对齐；COA（2025）加入模态融合和迭代优化；M-Attack（2025）用随机缩放、裁剪等输入变换，以绕过商用模型预处理。
• 无约束与投影器：AdvDiffVLM（2025）用潜扩散生成对抗样本，并以注意力引导掩码保留关键特征；作者称其本质是重建图像内容，而不是加不可感知噪声。IPGA（2025）利用中间投影器表示（如 Q-Former）做细粒度对齐。
• 作者的批评：作者称这些方法主要作用在编码器输出或其后的投影阶段，把视觉骨干当成整体特征提取器，忽略从低层结构到高层语义的分层表示。

基线方法与数据集

• 基线方法：VLM 定向攻击为 MF-it、MF-ii、COA、AdvDiffVLM、M-Attack。论文还把图像分类方法 BSR、OPS 改用于 VLM：分类损失换成目标嵌入对齐损失。消融里 MF-it 对应只优化末层图文损失。
• 基准/数据集：从 ImageNet-1K 抽 1000 张干净图，从 MS-COCO 抽 1000 条目标描述并随机配对；用 Stable Diffusion 按目标描述合成参考图。协议跟随 AttackVLM 与 COA。

作者把本文与上述工作的区别写成：显式打开视觉骨干，把中间分层特征与对应文本表示同步，从而在整个特征提取过程中施加语义一致性，而不是只在输出或投影阶段匹配。

SGHA-Attack 在 CLIP 代理上构造多个目标锚点，并把对抗图像的中间层视觉特征与跨模态表示一起拉向这些锚点，而不只匹配末层嵌入。

问题设定与末层匹配

• 输入与约束：干净图 x 加扰动 δ 得到 xadv，满足 ∥δ∥∞ ≤ ε。ϕ、ψ 分别是代理图像编码器与文本编码器。
• 距离：余弦距离为 D(a, b) = 1 − cos(a, b)。末层目标是让对抗图嵌入靠近目标文本嵌入，记为 Ltxt。
• 单参考问题：图像–图像匹配把对抗图拉向一张参考图。作者称一张图只覆盖目标概念的一种外观，受害模型的骨干、对齐模块或处理流程不同时，定向迁移会变差。

语义引导锚点注入（SGAI）

• 参考池：用冻结文生图模型，以目标文本 Ttgt 为条件采样参考池 Xref。实验里该模型为 Stable Diffusion。
• 选择与加权：按代理上图像嵌入与 ψ(Ttgt) 的余弦相似度取 Top-K。权重是温度为 τ 的 softmax，更相关的锚点权重更大。
• 锚点损失：Lanc 等于 1 减去对抗嵌入与各锚点嵌入余弦相似度的加权和。锚点特征可预先计算并停止梯度，迭代时只前向对抗图。作者称加权混合比单参考更稳。

分层视觉结构对齐（HVSA）

• 层内目标：在选定 Transformer 层集合 L 上，用同一组锚点权重合成该层的加权特征目标。
• 两种粒度：CLS token 对齐整图语义；空间 token 先对 patch 做均值池化再对齐。作者称均值池化不要求逐 patch 对应，因而对 patch 尺寸以及缩放、裁剪更稳。
• 损失：Lfeat 为各层上 λcls 乘 CLS 距离与 λspa 乘空间距离之和。作者称两项互补，前者管全局语义，后者保留与目标相关的粗空间线索。

跨模态潜空间同步（CLSS）

• 不可直接比较：投影前，中间视觉特征与文本特征的维度和表示空间可能不同。每层取图像 CLS token，以及文本编码器对应深度的 EOS token。
• 共享子空间：用代理原有的视觉投影 Wproj 与文本投影 Ptxt 映射后，再对各层求余弦距离，得到 Lmid。
• 作者给出的作用：在多个深度提供跨模态梯度，使监督不只出现在最终投影；受害 VLM 的投影模块或对齐方式不同时，仍把中间视觉特征拉向目标文本。

总损失与优化

• 合并：总损失为 L_total = L_txt + λ_anc L_anc + λ_feat L_feat + λ_mid L_mid。四项依次是末层图文匹配、锚点引导、分层视觉对齐和中间跨模态同步。
• 更新：用 PGD，沿总损失对对抗图的梯度符号、以步长 α 更新，再投影回 x 附近的 ℓ∞ 球，并把像素裁到合法范围。Algorithm 1 先预计算锚点与层特征，再迭代更新扰动。
• 文中参数：对比实验统一 ε = 8/255、100 次迭代、L∞。本文 K = 5、τ = 5、λanc = 1。ViT-B/32 的层为 {7, 9, 11}，λfeat、λcls、λspa、λmid 为 1.5、1.0、0.7、2.5。论文写 ViT-L、ViT-G 会加大特征对齐权重，层映射例子为 {14, 18, 22} 与 {23, 30, 37}。商用实验把该策略接到 M-Attack 的三编码器集成协议，并另设 ε = 16/255、300 次迭代。

开源六模型上本文 ASRtarget 为 73.40%–96.40%（Table II）；商用增强设置下 GPT-4o 为 79%、Claude-3.5 为 26%（Table IV）。

实验设置

• 受害模型：开源为 UniDiffuser（1.4B）、BLIP-2（12.1B）、InstructBLIP（14.2B）、MiniGPT-4（14.2B）、LLaVA（13.3B）、LLaVA-NeXT（72.3B）；闭源为 GPT-4o、Gemini-2.0、Claude-3.5，内部配置写为 Undisclosed（Table I）。MiniGPT-4 与 InstructBLIP 同为 ViT-G/14（EVA-CLIP）、14.2B，对齐机制不同。
• 数据：开源从 ImageNet-1K 抽 1000 张图、从 MS-COCO 抽 1000 条描述并随机配对，作者称源图与目标文本通常语义不匹配。参考图由 Stable Diffusion 按目标描述合成。闭源为随机 100 对。论文未报告重复次数。
• 代理与预算：开源在 CLIP 代理上用 PGD，ε = 8/255，100 次迭代。实现细节以 ViT-B/32 为 base，并另给 ViT-L、ViT-G 的层映射；论文未逐个受害模型写明 Table II 的代理骨干是否相同。闭源遵循 M-Attack 协议，代理为三个 CLIP 视觉编码器的集成，并称把本文策略接入该框架。分 Standard（100 次，ε = 8/255）与 Enhanced（300 次，ε = 16/255）。
• 基线：MF-it、MF-ii、COA、AdvDiffVLM、M-Attack，以及改了损失的 BSR、OPS。闭源表主要对比 MF-ii、M-Attack 与无约束 AdvDiffVLM。
• 指标与判定：CLIP-Score 按 Table II 表头的 RN50、RN101、ViT-B/16、ViT-B/32、ViT-B/14 及 Ensemble 报告。正文称高分表示生成描述与目标提示对齐，并写到 vision encoders；表头写的是 Text Encoder。论文未给出 CLIP-Score 的计算式。ASR 由 GPT-4 评定，ASRfool 为非定向成功，ASRtarget 为定向成功。论文未说明判定提示词、阈值或与人工的一致性。SSIM、PSNR 衡量视觉质量。
• 推理问题：开源统一使用 “What is the content of the image?”。

主结果

据 Table II。SGHA-Attack，1000 对，ε = 8/255，100 次迭代。代理是 CLIP，不是表中受害模型。MF-ii、COA 列为同表 ASRtarget。

| 受害模型 | Ensemble | ASRtarget | MF-ii | COA | | UniDiffuser | 0.7705 | 89.40% | 72.10% | 73.20% | | BLIP-2 | 0.8282 | 94.70% | 82.80% | 80.20% | | InstructBLIP | 0.8264 | 95.70% | 84.00% | 81.30% | | MiniGPT-4 | 0.6366 | 95.60% | 81.00% | 78.70% | | LLaVA | 0.7042 | 96.40% | 61.00% | 42.40% | | LLaVA-NeXT | 0.5675 | 73.40% | 15.60% | 10.60% |

• 相对基线：作者称六个开源模型上 ASRfool、ASRtarget 与 Ensemble 都高于所列基线。本文 ASRfool 从 LLaVA-NeXT 的 92.60% 到 UniDiffuser 的 99.80%（Table II）。定向列已在表中，此处不重复。
• 语义分数：作者称 Ensemble 升高表示对抗描述与目标提示在多种评测编码器上更一致，而不是只拟合代理偏差。BLIP-2 上 COA 的 Ensemble 为 0.7654（Table II）。
• 规模与视觉质量：作者称结果覆盖线性投影与 Q-Former，并从 1.4B 的 UniDiffuser 到 72.3B 的 LLaVA-NeXT；作者称标准方法在 LLaVA-NeXT 上更困难。Table III 中本文 SSIM 为 0.89、PSNR 为 33.71，MF-ii 为 0.90 与 34.28，无约束 AdvDiffVLM 为 0.69 与 23.06。作者称 Fig. 3 中无约束方法有可见模糊，本文扰动对人眼不可感知。Fig. 4 在 ε = 8/255 下对比原图与对抗图，作者称生成描述跟随目标文本，图像仍与原图相近。

商用黑盒 API

• 测了什么：100 对，GPT-4o、Gemini-2.0、Claude-3.5。本文结果是接入 M-Attack 集成代理协议后的 SGHA，不是 Table II 的单代理设置。
• 数字：Standard 下本文 ASRtarget 为 GPT-4o 20%、Gemini-2.0 8%、Claude-3.5 3%；ASRfool 为 61%、37%、25%（Table IV）。Enhanced 下 ASRtarget 为 79%、67%、26%，M-Attack 为 47%、45%、7%；GPT-4o 的 ASRfool 为 97%（M-Attack 为 87%），Ensemble 为 0.6098（M-Attack 为 0.5714）。无约束 AdvDiffVLM 在 GPT-4o 上的 ASRtarget 为 12%，SSIM 为 0.69。
• 作者解读：作者称增强设置把对 GPT-4o 的定向控制从 47% 提到 79%，并在 Claude-3.5 上高于 M-Attack 的欺骗率与定向率。作者称约束攻击也高于 AdvDiffVLM 在 GPT-4o 上的 12%；该对照跨了扰动预算。Fig. 5 给出对抗图、目标文本和商用模型回复，作者称语义解释与视觉内容被分开，同时保持视觉真实感。

预处理与净化防御

• 测了什么：Bit Reduction（4-bit）、JPEG（QF=75）、ComDefend、DiffPure，六个开源受害模型（Table V）。
• 定向结果：作者称本文的 ASRtarget 与 Ensemble 持续高于基线。Bit Reduction 下 LLaVA 的 ASRtarget 为 76.40%（COA 为 23.20%）；JPEG 下为 38.10%（COA 为 3.80%）。DiffPure 下 LLaVA-NeXT 的 ASRtarget 为 3.80%，UniDiffuser 为 27.20%。
• 作者解释与例外：作者称 COA 的欺骗率可以接近本文，但防御下定向成功率下降更明显，并将其归因于 COA 依赖辅助网络的高频先验，净化后易被抹平。ASRfool 不是每格都最高：UniDiffuser 在 Bit Reduction 下 COA 为 98.40%、本文为 97.30%；DiffPure 下 COA 为 83.40%、本文为 70.10%。

其他消融与分析

• 模块：Table VI，LLaVA 上只加 Lanc 的 ASRtarget 为 66.10%，只加 Lfeat 为 92.90%，只加 Lmid 为 62.60%，三项全开为 96.40%；只优化 Ltxt 时为 27.60%。
• BLIP-2：同表 Lanc 加 Lfeat 的 ASRtarget 为 95.70%，全目标为 94.70%；Ensemble 从 0.8244 到 0.8282。作者称完整目标整体更好，该定向格并非全表最高。
• K 与 τ：正文写 UniDiffuser 上 K=1 使 Ensemble 从 0.6970 到 0.7418，并称峰值在 K=5，τ=5 定为默认，更大 K 略降。Fig. 6 逐点数字因文本列错位不转写。
• 层：作者称只对齐最深连续层次优，所测组合中 ViT-B 的 {7, 9, 11} 最高；ViT-L、ViT-G 的例子为 {14, 18, 22}、{23, 30, 37}。Fig. 7、Fig. 8 的轴为 Ensemble CLIP Score，文本未给出可核对的逐柱分数。
• 耗时：Table VII，单张 NVIDIA A100，本文 0.0656 秒/步、6.5801 秒/图；COA 为 18.3643 秒/图，OPS 为 65.3270 秒/图，MF-it 为 2.5007 秒/图。作者称约比 COA 快 2.8 倍、比 OPS 近 10 倍，正文另写 6.58 秒/图。
• 表间差异：LLaVA 的 ASRfool 在 Table II 为 99.10%，在 Table VI 全目标行中为 99.60%；论文未解释。

结论把商用专有策略下的提升变弱写成后续问题，并建议自适应迁移和保护特征层级的防御。

作者指出的局限与后续方向

• 商用系统：作者称改进在带有专有防御策略和复杂变换的先进商用系统上可能不那么明显（Conclusion）。
• 迁移策略：作者据此提出未来研究面向这类 policy-rich 黑盒设置的更自适应迁移策略（Conclusion）。
• 防御方向：作者称这些结果说明需要能保护内部特征层级、抵御语义级劫持的防御（Conclusion）。

论文没有单独的 Limitations 节。上述三条都出自结论。

实验覆盖范围

• 模型与样本：受害模型为 Table I 的 6 个开源 VLM 与 3 个商用 API。开源评测 1000 对 ImageNet-1K 图与 MS-COCO 描述，闭源为随机 100 对。
• 任务：测量固定问题 “What is the content of the image?” 下的图像描述是否被导向目标文本。开源优化为 PGD、ε = 8/255、100 次迭代；闭源另有 ε = 16/255、300 次迭代，代理为三个 CLIP 视觉编码器的集成。
• 防御与消融：防御为 Bit Reduction（4-bit）、JPEG（QF=75）、ComDefend、DiffPure，报告于六个开源模型（Table V）。模块消融在 UniDiffuser、BLIP-2、LLaVA（Table VI）。K、τ 消融在 UniDiffuser（Fig. 6）；层选择在 UniDiffuser，并在 BLIP-2、LLaVA 上做了验证（Fig. 7、Fig. 8）。
• 耗时：运行时间在单张 NVIDIA A100 上给出（Table VII）。
• 未写出的评测信息：论文未报告重复次数，也未报告 GPT-4 判定 ASR 的提示词、阈值或与人工的一致性。论文写道 query-based 方法因推理延迟和 API 成本往往不实用，因此实验聚焦 transfer-based 定向攻击。

SGHA-Attack 是对视觉语言模型的可迁移定向攻击：只在 CLIP 代理上优化扰动，让黑盒模型按指定文本描述图像。

要处理的困难是，单一参考加上只对齐代理末层，会使优化绑在该嵌入空间上，中间层语义用不上，异构 VLM 上的指定描述更容易失败。引言把绕过安全护栏列为动机，测的则是描述是否被导向目标文本。

做法分三块。SGAI 用冻结文生图模型为同一目标文本准备参考池，再取 Top-K 并按温度加权。HVSA 在若干中间层同时对齐 CLS 与均值池化后的空间特征。CLSS 把中间视觉 token 和文本 EOS token 经代理原有投影头拉到同一潜空间。三项与末层图文距离相加，用 PGD 在 ℓ∞ 球内更新。

• 开源：1000 对、ε = 8/255、100 次迭代时，Table II 的 ASRtarget 在 LLaVA 上为 96.40%，在 BLIP-2 上为 94.70%，在 LLaVA-NeXT 上为 73.40%。
• 商用：100 对、接入三编码器集成协议后，ε = 8/255 时 GPT-4o 的 ASRtarget 为 20%；ε = 16/255、300 次迭代时 GPT-4o 为 79%，Claude-3.5 为 26%（Table IV）。
• 防御与代价：作者称四种预处理或净化下定向指标仍高于基线；DiffPure 下 LLaVA-NeXT 的 ASRtarget 为 3.80%（Table V）。Table III 中 SSIM 为 0.89、PSNR 为 33.71。Table VII 中生成一张图为 6.5801 秒。

作者的结论是，定向迁移需要超出末层嵌入匹配；多锚点与分层跨模态监督能提高开源和商用黑盒模型上的指定描述成功率。作者同时认为，带专有策略和复杂变换的商用系统上这种提升可能不明显，并认为防御应保护内部特征层级。