面向多模态大语言模型的多范式协同对抗攻击

单范式代理上的独立优化，限制了针对 MLLM 的可迁移对抗样本。

• 场景：作者认为 MLLM 已用于视觉与文本的联合理解，但和单模态模型一样，视觉扰动可以改变其感知与推理，从而产生错误或误导性文本。作者称因此需要更强的攻击框架来评估安全性。
• 现有不足：作者指出，可迁移攻击常用单一学习范式的 white-box 代理（如 CLIP 式跨模态对齐），并在各自特征空间独立优化、简单融合。作者认为单一范式只覆盖部分语义，扰动易过拟合该范式偏差；缺少协同会使梯度方向冗余，优化停在局部最优。
• 观察：作者认为跨模态对齐、多模态理解与视觉自监督所捕获的语义互补，协同优化可以减轻表征偏差。
• 提出内容：提出 MPCAttack 与其中的 MPCO，聚合图像和文本语义后做对比匹配，支持 targeted 与 non-targeted 攻击。
• 威胁模型：
  • 目标：生成 x_adv = x_s + δ，使 black-box MLLM 对 x_adv 的响应尽量接近 x_t 的响应或标注答案。评测另设 untargeted，要求偏离源图像语义。
  • 知识：代理为 white-box surrogate，受害模型为 black-box target / victim black-box MLLM。
  • 能力：论文写明的操作是向视觉输入加入扰动，且 ||δ||_∞ ≤ ε。论文未写攻击者能否修改文本提示或模型权重。
  • 受害系统：开源与闭源 MLLM。成功由响应语义相似度，或 MME 上的 yes/no 误分类判定。

论文第 2 节把相关工作分成对抗攻击、MLLM 与大规模学习范式。

可迁移多模态对抗攻击

• AttackVLM（Zhao et al., 2023）：用预训练视觉语言模型对齐图像–文本与图像–图像特征，对 MLLM 生成 targeted 攻击。论文此处只作描述，未单列批评。
• AnyAttack（Zhang et al., 2025）与 X-Transfer（Huang et al., 2025）：前者在大规模无标注数据上用自监督对比学习，生成无需标签的 targeted 样本；后者从大搜索空间动态挑选少量代理，以生成更通用的可迁移样本。
• CoA、M-Attack 与 FOA-Attack：CoA（Xie et al., 2025）用多模态语义优化迭代更新对抗样本；M-Attack（Li et al., 2025）用图像增强和 CLIP 集成代理，针对 GPT-4o 等闭源 MLLM；FOA-Attack（Jia et al., 2025）用 Feature Optimal Alignment 与动态模型权重集成。引言对 [25, 29, 48] 的批评是依赖单一范式，并把不同代理特征当独立目标；第 4.2 节称 CoA 因轻量单范式模型而迁移有限。

多模态大语言模型

• 开源模型：论文列举 LLaVA、Qwen-VL、InternVL，称其在大规模图文数据上联合训练，可做图像描述、视觉问答和跨模态推理。
• 闭源模型：论文列举 GPT-5、Claude、Gemini，称其加强了复杂推理与真实场景适应。作者称理解能力强并不消除对抗鲁棒性上的挑战。

大规模学习范式

• 跨模态对齐：以 CLIP、SigLIP 为例，在共享空间学习图文对应。
• 多模态理解：以 InternVL、Qwen-VL 为例，在统一空间做跨模态推理，而不只做特征对齐。
• 视觉自监督：以 DINOv2 为例，从大规模无标注图像学习视觉表征。作者称三类视角互补，并作为 MPCAttack 的基础。

基线与基准

• 基线方法：AnyAttack、CoA、X-Transfer、M-Attack、FOA-Attack，均按各自原设置生成对抗样本。
• 基准/数据集：ImageNet 的 NIPS 2017 对抗竞赛子集、Flickr30K、MME。

作者把本文与上述工作的区别放在：同时使用三种范式的聚合特征，并用协同优化而不是单范式或独立融合来生成可迁移扰动。

MPCAttack 在白盒代理上聚合三种学习范式的视觉与文本特征，再用 MPCO 做对比匹配，以优化可迁移扰动。Figure 2 把流程分成对抗样本生成和攻击黑盒 MLLM 两段。

问题设定

给定源图像 x_s 与目标图像 x_t，在代理 f 上最小化特征距离或相似度损失，并满足不可感知约束：

min_δ L(f(x_s+δ), f(x_t)), s.t. ||δ||_∞ ≤ ε

其中 x_adv = x_s + δ，ε 为最大扰动强度。第 3.1 节的目标是让黑盒 MLLM 对 x_adv 的响应尽量接近 x_t 的响应或标注答案。targeted 与 untargeted 共用这一优化，差别主要在后文的成功判定。

多范式特征

• 图像支路：同时用跨模态对齐编码器 f_cI（如 CLIP）、多模态理解编码器 f_m（如 InternVL3）、视觉自监督编码器 f_v（如 DINOv2），抽取 x_s、x_t、x_adv 的图像特征。
• 文本支路：把 x_t、x_s 送入多模态理解模型的文本生成器 f_mg，得到 target / source description，再由跨模态对齐模型的文本编码器 f_cT 编码。
• 加权融合：跨模态对齐的图像与文本特征合成为 z^c = λ z^c_I + (1−λ) z^c_T。作者称 λ 平衡视觉与文本贡献。主实验 λ = 0.6。
• 拼接：三个范式的特征先做 ℓ2 归一化，再拼成 z_s、z_t、z_adv。作者称这是为了保持尺度一致。

MPCO

• 匹配方向：在拼接特征上拉近 z_adv 与 z_t，并推远 z_adv 与 z_s。相似度用余弦相似度。
• 两个系数：温度 τ 控制相似度分布的尖锐程度，平衡因子 ω 调节吸引正对与排斥负对的折中。主实验 τ = 0.2，ω = 2。
• 作者给出的理由：只在单一范式空间优化容易过拟合该范式的表征偏差；多范式对比匹配扩大全局感受野，并把优化集中到更具判别性的语义区域。
• 迭代：补充材料 Algorithm 1 对当前对抗图像做 random crop，用动量累积归一化梯度，再按符号方向更新并裁剪到 ℓ∞ 预算。论文列出动量因子 µ，但未给出取值。

推理与成功判定

• 响应：x_adv、x_s、x_t 分别输入同一 victim black-box MLLM。有标注时，可用标注代替模型生成的源/目标响应。
• 评审：三条响应交给 evaluation model（论文写 e.g., GPT-4o-mini），用 GPTScore 计算语义相似度。targeted 比较对抗响应与目标响应，untargeted 比较对抗响应与源响应。
• 阈值：第 4.1 节将阈值定为 0.5。targeted 要求对抗图像与目标图像的相似度超过 0.5；untargeted 要求与源图像的相似度低于 0.5。补充材料 Figure 7 给出完整评审提示词。
• MME：补充材料改用 yes/no 问题，且只用答案为 yes 的问题。targeted 把对抗样本与目标图的问题配对，响应显示误分类即成功；untargeted 与源图问题配对。

主实验中的代理与预算

• 代理：正文采用 CLIP、InternVL3-1B、DINOv2。补充材料 Table 5 写明主 CLIP 为 clip-vit-base-patch16、clip-vit-base-patch32 与 CLIP-ViT-G-14-laion2B-s12B-b42K，并称主要集成这三种尺寸。
• 预算：ϵ = 16/255，ℓ∞；步长 1/255；优化 300 次。实验在单张 NVIDIA RTX 3090 上进行。
• 受害侧提问：闭源模型的文本提示被设为用一句、不超过 20 个词描述图像。开源模型用 VLMEvalKit 评测。

实验设置

• 受害模型：开源 Qwen2.5-VL-7B、InternVL3-8B、LLaVa-1.5-7B、GLM-4.1V-9B-Thinking；闭源 GPT-4o、GPT-5、Claude-3.5、Gemini-2.0。MME 表把 Qwen 写成 Qwen2.5-VL-7B-Instruct。Figure 4 与 Figure 8 还展示 Gemini-2.0-flash、Gemini-2.5-flash、Claude-3.5-Sonnet、Claude-4.5-Sonnet 的响应，后两者未进入结果表。
• 数据：ImageNet 子集 1,000 张，取自 NIPS 2017 对抗竞赛子集。Flickr30K 约 31,783 张、每张五条人工描述，选取 1,000 张及 caption 作为 source–target pairs；补充材料写明按顺序取源图、逆序取目标图，评测直接用标注 caption。MME 有 1,187 张，每张配 yes/no 两问，评测只用 yes 问题。
• 基线：AnyAttack、CoA、X-Transfer、M-Attack、FOA-Attack。targeted 的 Table 1–4 未报告 X-Transfer。MME 的 Table 6–7 只报告 M-Attack、FOA-Attack、MPCAttack。
• 指标与评审：ASR 与 AvgSim。targeted 的 AvgSim 越高越好，untargeted 越低越好。相似度用 GPTScore，阈值 0.5；评审模型写为 e.g., GPT-4o-mini。论文未报告重复次数，也未报告与人工判定的一致性。
• 攻击设置：ϵ = 16/255，步长 1/255，300 次迭代，λ = 0.6，τ = 0.2，ω = 2。主代理为 CLIP、InternVL3-1B、DINOv2。受害 InternVL3-8B 与代理 InternVL3-1B 不是同一检查点。
• 开源评测工具：VLMEvalKit。闭源模型使用第 4.1 节给出的一句式描述提示。

主结果

下表为 ImageNet 上的 ASR（%）。前四行据 Table 1，后四行据 Table 2。

表格较宽，可左右滑动

受害模型	targeted MPCAttack	targeted FOA-Attack	untargeted MPCAttack	untargeted FOA-Attack
Qwen2.5-VL-7B	32.5	20.0	84.9	61.8
InternVL3-8B	88.7	72.3	99.1	93.0
LLaVa-1.5-7B	73.9	63.8	99.3	96.3
GLM-4.1V-9B-Thinking	58.2	38.3	85.1	68.1
GPT-4o	78.4	63.9	98.7	93.0
GPT-5	88.0	69.3	99.2	90.7
Claude-3.5	8.2	7.3	66.7	61.8
Gemini-2.0	78.9	50.4	97.6	85.0

• 平均：作者称 Table 1 与 Table 2 的 targeted、untargeted 上，MPCAttack 的 ASR 与 AvgSim 都高于表中其他方法。开源 Average：targeted 63.33%（FOA-Attack 48.60%），untargeted 92.10%（FOA-Attack 79.80%）。闭源 Average：targeted 63.38%（FOA-Attack 47.73%），untargeted 90.55%（FOA-Attack 82.63%）。这是各表四个模型的 Average，不是开源与闭源再合并。
• 基线例外：Table 1 untargeted 的 Qwen2.5-VL-7B 上，X-Transfer 的 ASR 为 66.2%，高于 FOA-Attack 的 61.8%，仍低于 MPCAttack 的 84.9%。作者称 CoA 迁移有限；其 Table 1 targeted 的 Average ASR 为 0.18%。
• Claude-3.5：同为 Table 2 targeted，MPCAttack 在 Claude-3.5 上为 8.2%，在 GPT-5 上为 88.0%。论文未单独解释这一差距。

Flickr30K 与 MME

• Flickr30K：作者称开源 targeted 平均 ASR 为 29.54%，FOA-Attack 为 15.41%；untargeted 平均为 63.99%（Table 3）。闭源 targeted / untargeted 平均为 19.09% / 54.89%（Table 4）。作者认为整体 ASR 相对较低，可能因为每张图有五条不同角度的 caption，模型描述未必覆盖全部语义。
• 并非每格都最高：Table 3 untargeted 的 Qwen2.5-VL-7B 上，MPCAttack 为 32.14%，低于 X-Transfer 的 42.84%、AnyAttack 的 35.20% 和 CoA 的 32.55%。Table 4 untargeted 的 Claude-3.5 上，MPCAttack 为 65.22%，X-Transfer 为 64.66%。
• MME：Table 6 开源平均 ASR，targeted 为 MPCAttack 39.34%、FOA-Attack 33.44%，untargeted 为 48.06% 与 38.77%；作者称相对 FOA-Attack 提高 5.90% 与 9.29%。Table 7 闭源平均 ASR，targeted 36.37% 对 31.02%，untargeted 48.90% 对 42.68%；作者称高出 5.35% 与 6.22%。MME 表未报告 AvgSim。

防御、噪声与图示

• Table 8：四个开源黑盒模型的平均结果。DiffPure 下 targeted ASR 为 MPCAttack 38.50%、FOA-Attack 17.43%、M-Attack 15.05%；Noisy 下为 50.85%、30.85%、27.75%。untargeted 的 DiffPure / Noisy 上，MPCAttack 为 78.13% / 83.03%。论文未写明数据集。作者称相对另两种方法，MPCAttack 在这些设置下下降更少。
• 图：作者称 Figure 3 中 MPCAttack 的扰动更能捕捉目标图像特征；正文未给出可回查的像素或范数。Figure 4 展示闭源模型对对抗图像的描述被带向目标语义。Figure 1(d) 作者称 MPCAttack 优于图中其他方法，正文未列逐模型读数。
• 补充可视化：Figure 8 展示商业 MLLM 对对抗图像的描述。论文未给这些例子的 ASR。

其他消融与分析

• 去掉成分（Figure 5，数据集论文未说明）：作者称去掉任一范式或 MPCO 都会降低 ASR 与 AvgSim；去掉跨模态对齐时下降最多；去掉 MPCO 在 GLM-4.1V-9B-Thinking 上尤其弱。正文未给柱高。
• 换骨干（Figure 5）：作者称 SigLIP2 替换 CLIP 会降低可迁移性；InternVL3-2B 替换 InternVL3-1B 会提高，同时计算成本增加；DINOv2 与 DINOv3 差距很小。正文未给 ASR。
• λ（Figure 6，开源 MLLM 平均，数据集论文未说明）：作者称 λ 过小会过度依赖文本，过大则强调图像；中间值折中最好；λ = 1（只用图像）不是最优。正文未给各 λ 的 ASR。
• 旧方法加 Multi-Paradigm（Table 9，数据集论文未说明；M-Attack、FOA-Attack、MPCAttack 行与 Table 1 相同）：targeted 下 M-Attack+Multi-Paradigm 四模型 ASR 为 24.2%、79.7%、69.6%、33.0%，FOA-Attack+Multi-Paradigm 为 32.7%、84.3%、72.9%、42.4%。Qwen 上后者 32.7% 高于 MPCAttack 的 32.5%。
• Table 9 反例：untargeted 的 GLM-4.1V-9B-Thinking 上，M-Attack+Multi-Paradigm 的 ASR 为 59.2%，低于 M-Attack 的 61.2%；AvgSim 为 0.3730，高于 M-Attack 的 0.3696（untargeted 下更高表示更差）。这与正文“所有受害模型上 ASR 与语义相似度都改善”不一致。targeted 的同一模型上，ASR 从 31.0% 到 33.0%，AvgSim 从 0.3118 到 0.3088。
• τ 与 ω（Table 10，数据集论文未说明）：作者称过小的 τ 使优化不稳定，过大则对比引导变弱，τ = 0.2–0.4 更好；ω 过小不利于 targeted 对齐，过大降低可区分性，ω = 2–3 更好。targeted、τ = 0.05、ω = 2 时四模型 ASR 为 6.6%、38.1%、37.1%、21.3%；τ = 0.2、ω = 0.5 时为 11.9%、36.9%、31.7%、22.7%。该表 τ = 0.2、ω = 2 一行与 Table 1 的 MPCAttack 不同，论文未说明原因。

作者指出的局限与后续方向

论文没有 Limitations、Discussion 中的局限清单、Future Work，结论也没有把某项结果写成待解决问题。第 5 节只称实验显示当前 MLLM 仍有可被迁移攻击利用的脆弱性，并称 MPCAttack 对设计更有效、更可迁移的对抗样本有重要作用。补充材料第 12 节所说的 limitation，指的是把 Multi-Paradigm 直接加到 M-Attack 与 FOA-Attack 后优化仍然相互独立，不是把 MPCAttack 自身列为局限。按上述范围，论文未专门讨论局限。

实验覆盖范围

• 第 4.1 节的黑盒受害模型为 4 个开源与 4 个闭源 MLLM。Figure 4、Figure 8 另展示 Gemini-2.5-flash 与 Claude-4.5-Sonnet 的响应，结果表未报告它们的 ASR。
• 定量数据为 ImageNet 子集 1,000 张、Flickr30K 1,000 张、MME 1,187 张；MME 评测只用 yes 问题。Flickr30K 评测用标注 caption，ImageNet 与闭源模型多用模型生成响应再算 GPTScore。
• 主对比方法为 AnyAttack、CoA、X-Transfer、M-Attack、FOA-Attack。targeted 的 Table 1–4 未报告 X-Transfer；MME 的 Table 6–7 未报告 AnyAttack、CoA、X-Transfer。
• 防御相关结果是 Table 8 的 DiffPure 与 Noisy，指标为四个开源黑盒模型的平均 ASR 与 AvgSim。论文未写明该表数据集，也未在该表报告闭源模型。
• 主代理为三种尺寸的 CLIP、InternVL3-1B、DINOv2；消融另用 SigLIP2、InternVL3-2B、DINOv3。扰动为 ℓ∞、ϵ = 16/255、步长 1/255、300 次迭代。论文未报告重复次数、对受害模型的查询次数，以及 Algorithm 1 中 µ 的取值。

MPCAttack 是针对 MLLM 的可迁移视觉对抗攻击，同一套优化同时服务 targeted 与 untargeted 评测。

• 问题：已有可迁移攻击多用单一学习范式的 white-box 代理，并在各特征空间独立优化。作者认为这会缩小扰动的搜索空间，并使扰动过拟合单一范式的表征偏差。
• 做法：CLIP、InternVL3-1B 与 DINOv2 抽取图像特征；理解模型生成的描述再经文本编码器融入跨模态支路。ℓ2 归一化后拼接，对比匹配把对抗特征拉向目标、推离源图像。预算为 ℓ∞、ϵ = 16/255，迭代 300 次，再迁移到 black-box MLLM。
• ImageNet：开源四模型平均 ASR 为 targeted 63.33%、untargeted 92.10%（Table 1）；闭源四模型为 63.38% 与 90.55%（Table 2）。作者称这两张表上 MPCAttack 高于表内基线。Claude-3.5 的 targeted ASR 为 8.2%。
• 其他数据：Flickr30K 开源 targeted 平均 ASR 为 29.54%（Table 3）。作者认为该数据集整体 ASR 较低，可能与每图五条 caption 有关；其中 Qwen2.5-VL-7B 的 untargeted ASR 低于 X-Transfer。MME 上作者称相对 FOA-Attack，开源平均 ASR 提高 targeted 5.90%、untargeted 9.29%。
• 作者结论：多范式协同优化能产生语义更一致、更可迁移的扰动；当前开源与闭源 MLLM 仍存在可被这类样本利用的脆弱性。论文未单列后续工作。