LAMP：通过预训练模型学习面向多图任务的通用对抗扰动

多图 MLLM 在攻击者无法改动全部输入图像时，缺少可迁移的黑盒通用对抗扰动。

• 场景： 作者称 Mantis、VILA 等已把多图输入用于指代、比较、推理与时序理解；模型先在无标注图文上预训练，再用标注图文对微调。作者称多图 MLLM 的对抗鲁棒性仍未被探索。
• 现有不足： 作者称现有攻击多针对单图，并常假设能获得微调模型梯度的白盒设定；实际攻击者通常只有公开预训练模型。作者称 Madry 等的实例级扰动泛化差，且除非每张图都被扰动，否则不适合攻击者无法控制图像数量与顺序的多图场景。
• 观察： 作者认为可只学习固定数量的 UAP，经自注意力影响未改动的干净 token，从而在下游只出现部分扰动图像时仍改变输出。
• 提出： 方法名为 LAMP。作者称据其所知，这是首个针对多图 MLLM 的对抗攻击，UAP 可跨模型迁移，不必为下游模型或任务单独定制。
• 威胁模型：
  • 目标： 学习不可感知 UAP，迁到训练时未知的下游 MLLM、数据集与任务，造成错误的图像–提示关联与回答。
  • 知识： 论文写作 black-box。不知目标架构与训练过程，不能控制微调模型，也不能控制已学习的文本嵌入；用代理模型与代理数据 Ds 学习扰动。
  • 能力： 只扰动子集，k < m，约束 ‖δk‖∞ ≤ ε。不知道推理时图像数量与顺序。
  • 受害系统： 接受多图查询的下游 MLLM。文中场景包括带噪广告图与评论图进入网页多图处理。

引言批评白盒与实例级扰动；Related Work 分三组。

多模态对抗攻击

• 像素与文本： Xu 等（2018）用迭代像素扰动欺骗 VQA；Agrawal 等（2018）与 Shah 等（2019）攻击多模态模型的文本模态。
• 跨模态联合扰动： Co-Attack（Zhang, Yi, and Sang 2022）与 SGA（Lu 等 2023）同时扰动视觉与文本。该段只作描述。
• 下游无关例子： 引言提到 AdvCLIP（Zhou 等 2023）。作者称已有做法常绑定特定模型，或因不可感知性不足而缺少实用性。

通用对抗扰动

• 样本无关 UAP： Moosavi-Dezfooli 等（2017）、Mopuri 等（2018）给出样本无关扰动；图像与文本域还有 Hayes and Danezis（2018）、Wallace 等（2019）等。作者称 UAP 在 VLP 与 MLLM 上的应用仍然有限。
• 视觉语言 UAP： UAP-VLP 做子区域优化，Doubly-UAP 做注意力操纵，二者针对仅图像 UAP；CPGC-UAP 用生成器覆盖两种模态。作者称 DO-UAP 用直接优化，但限于单图输入。
• 集成攻击： Jailbreak-MLLM（Schaeffer 等 2025）通过攻击 MLLM 集成提高可迁移性。附录 I 称它逐图优化且需要测试图像，其 universal 不是先前定义的通用扰动。

多图对抗攻击

• 帧与协同图像： AnyDoor（Lu 等 2024）在视频随机帧上使用 UAP；MLAI（Hao 等 2025）生成多张场景感知对抗图像做协同攻击。
• 排版与上下文： Broomfield 等（2024）把有害文本拆进多张字体图像；Wang 等（2025）用少样本对抗图文作上下文。作者称这些方法都未考虑交错图像子集上的通用对抗攻击。

基线与基准： 实验基线为 CPGC-UAP、UAP-VLP、Doubly-UAP、Jailbreak-MLLM；Table 6 的 Mantis-CLIP 行还含 Pandora’s box（Liu 等 2024a）与 X-transfer（Huang 等 2025）。正文称还与 Zhao 等（2023）比较，所附表未给出其数字。基准包括 NLVR2、Q-Bench、Mantis-Eval、BLINK、MVBench，以及 MM-Vet、LLaVA-Bench、OK-VQA、MSCOCO。

作者把本文定位为：在代理预训练模型上学习固定数量 UAP，使扰动经注意力影响干净 token，从而在未知下游模型与任务上攻击多图子集。

LAMP 在冻结的代理 MLLM 上只更新图像扰动，用五项损失学习固定数量的 UAP，再套到黑盒目标模型。

问题设定

• 子集扰动： 样本有 M 张图和文本 t。只对 k < M 张图加 δk，x′k = xk + δk，‖δk‖∞ ≤ ε。交错序列里其余图像 token 与文本保持干净。
• 未知下游： 训练时目标 MLLM、数据集与任务未知，也不能控制已学习的文本嵌入。代理数据记为 Ds。
• 优化对象： 图像编码器与语言模型参数冻结，只更新 δ。作者称因此 UAP 可迁到不同任务与模型。

五项损失

• 语言建模： Llm_adv 对正确下一 token 概率 Pθ 使用 −log(1−Pθ) 的平均，压低正确 token、抬高错误 token 的概率。
• 隐状态： Ldec_adv 对各解码层、按头平均后的隐状态算余弦相似度并最小化。Figure 2 图注则写成第 h 个头的隐状态；正文 Eq. 2 是按头平均。
• 注意力距离： 先对头平均注意力，再用放松的 Pompeiu-Hausdorff 距离衡量干净与扰动注意力的局部最大偏差。Lhadv 取该距离的相反数。作者称这不同于把差异摊到全部 token 的平均求和。
• 传染： 干净 token 集 C、扰动图像 token 集 N。最小化下面的损失会增大干净 token 对扰动 token 的注意力，使未改图像带上对抗特征。作者用它应对推理时图像数未知、只能准备固定数量 UAP 的情况。
• 索引抑制： 多图提示含图像索引 token，因果注意力会把图像 token 绑到位置。Lias_adv 惩罚图像 token 对对应索引 token 的注意力。作者称这样可使攻击对图像重排不敏感。

总目标是五项加权和 L_adv=λ₁ L^lm_adv+λ₂ L^dec_adv+λ₃ L^h_adv+λ₄ L^ctg_adv+λ₅ L^ias_adv（λ 均大于 0）。传染项为 L^ctg_adv=−1/LH∑_l,h∑_{i∈ C,j∈ N}A^(l)_:,h,i,j，L 为层数，H 为头数。

训练配置

• 代理： 预训练 Mantis-CLIP。作者称选用它是因为 Mantis 系列是多图任务上表现最好的开源模型。
• 优化： AdamW、余弦调度，学习率 10^-4，衰减 0.2；20 epoch，batch 128；Mantis Instruct 17,000 样本；上下文长度 8192。A100 GPU。
• 扰动： 形状 336×336，ε 一律 12/255。附录 J 把传染项与位置不变项的权重设为 1.2，其余 λ 为 1。
• 数量： 作者将 |δ|=2 称为 optimal。

迁移与判定

• 协议： 在 Mantis-CLIP 上学 UAP，再加到其他目标 MLLM 的图像子集上。Table 1 称除 Mantis-CLIP 自身外均为 zero-shot cross-model evaluation。
• ASR： 生成错误输出的对抗样本百分比，越高表示攻击越强。论文未写 LLM 裁判、阈值或人工复核。

实验设置

• 代理训练： Mantis-CLIP，编码器与语言模型冻结。AdamW、余弦调度，学习率 10^-4，衰减 0.2，20 epoch，batch 128，Mantis Instruct 17,000 样本。扰动 336×336，ε=12/255。作者将 |δ|=2 称为 optimal。
• 目标模型： Mantis-CLIP、Mantis-SIGLIP、Mantis-Idefics2、VILA-1.5、LLaVA-v1.6、Qwen-VL-Chat、Qwen-2.5；Table 4 另有 MiniGPT4。
• 基准规模： Table 5：NLVR2 6967、Mantis-Eval 217、BLINK 1901、Q-bench 1000、MVBench 4000。正文称后三个为 held-out。另有 MM-Vet、LLaVA-Bench、OK-VQA、MSCOCO。
• 基线： CPGC-UAP、UAP-VLP、Doubly-UAP、Jailbreak-MLLM。Table 6 的 Mantis-CLIP 行还含 Pandora’s box 与 X-transfer。
• 指标： ASR 为错误输出的对抗样本百分比。附录 K 用 LPIPS；附录 L 定义 CI 与 ΔCLIPScore。
• 未写明项： 论文未写 LLM 裁判、人工一致性与重复次数，也未写明 ASR 分母是否等于 Table 5 的全部实例。除阴影行 Mantis-CLIP 外，Table 1 称其余为零样本跨模型评测。

主结果

下表为 Table 1 各目标模型、跨数据集的平均 ASR（%）。“最强基线”是作者汇总的先前最强攻击，不是单一方法名。

表格较宽，可左右滑动

模型	最强基线	LAMP	Δ(pp)	设置
Mantis-CLIP	51.5	71.9	+20.4	非零样本
Mantis-SIGLIP	51.6	71.9	+20.3	零样本
Mantis-Idefics2	49.2	72.4	+23.2	零样本
VILA-1.5	56.1	76.2	+20.1	零样本
LLaVA-v1.6	58.5	78.9	+20.4	零样本
Qwen-VL-Chat	64.4	79.9	+15.5	零样本
Qwen-2.5	62.5	79.4	+16.9	零样本

• 作者称所有列出的设置都优于基线。总体平均 ASR 为 75.8%，对最强先前攻击的 Δ 为 +19.5 pp；该总体含 Mantis-CLIP。正文把同一数字写成 19.5% 的平均 ASR gain，此处以 Table 1 的 pp 为准。
• 按数据集、跨目标模型平均（Table 1）：Mantis Eval 77.7、NLVR2 59.7、BLINK 85.7、Q-Bench 76.0、MVBench 80.0。BLINK 最高，NLVR2 最低。论文未解释 NLVR2 偏低。
• Table 6 中，Qwen-VL-Chat 与 Qwen-2.5 在 BLINK 上的 LAMP ASR 均为 87.65%；Mantis-CLIP 在 NLVR2 上为 52.73%。Table 3 同一 Mantis-CLIP、BLINK 全损失设置写 84.86%，与 Table 6 的 84.46% 不同，论文未说明。

损失组合与单图任务

• 去掉传染与索引项： Table 3 在未写明模型的三任务上，全损失 ASR 为 Mantis Eval 73.43、NLVR2 52.73、BLINK 84.86；去掉 Lctg 与 Lias 后为 68.66、44.35、74.34。作者称去掉这两项后 LAMP 变差。
• Table 4： Mantis-CLIP 上 LAMP 为 Mantis Eval 70.32、MM-Vet 73.45、LLaVA Bench 68.31；同表 VILA-1.5 为 71.32、72.54、67.13，MiniGPT4 为 69.23、68.54、66.13。Mantis-CLIP 的 Mantis Eval 70.32 与 Table 6 的 73.43 不同，论文未说明。
• 选择无关任务： 附录 H 正文称报告输出与攻击者标签 “Unknown” 的语义相似度；Table 9 表题写 ASR（%），表注又称描述用 CIDEr、VQA 用准确率。表中 LAMP 为 Mantis-CLIP 72.6 / 73.4，LLaVA 73.1 / 74.5，MiniGPT4 78.3 / 80.7；X-transfer 对应为 23.2 / 29.5、29.6 / 31.5、28.9 / 30.1。论文未说明三处指标表述如何对应，也未说明表中 LLaVA 是否即 LLaVA-v1.6。

防御与注意力可视化

• query-based 防御： Table 2 在 Mantis Eval、Mantis-CLIP 上，LAMP 对 Qin 等（2021）的 ASR 为 70.23%，对 Li 等（2022a）为 69.21%；同表把 Liu 等（2024a）写成 56.33% 与 20.21%。附录 Table 8 将后两数归到 Huang 等（2025）。作者称在这些防御下攻击仍然有效。作者称 PatchCleanser 依赖可见补丁，不适用于本文这种不可感知扰动。
• 注意力： 作者称 Figure 4 中干净图像的高注意力在物体上，加不可感知扰动后转到其他位置；该例标注为 A，输出为 B。附录 A 称只优化传染项时，干净 token 更关注前两张扰动图的 token。Figure 5 纵轴刻度约 0.00051–0.00057，横轴为 token index。
• 位置： 附录 E 称加入所学扰动后输出与标注不一致；对调图像顺序后输出改变，且仍不正确。Figure 7 为预测 A、标注 B；Figure 8 为预测 B、标注 A。

其他消融与分析

• Table 7，Mantis-CLIP、Mantis Eval：仅 Llm 59.55，加 Ldec 63.68，再加 Lh 68.66，再加 Lctg 71.88；Table 6 五损失 LAMP 为 73.43。
• 附录 L，Mantis-Eval：无 Lctg 时 CI=0.14、ASR=61.1；有 Lctg 时 CI=0.31、ASR=73.4。与 Table 3 去掉 Lctg 后的 70.32 不同，论文未说明。
• 梯度相似度：Lctg 与其余损失 0.0032，Lias 与其余 0.0021。ΔCLIPScore=−0.33。该段称还报告了 CIDEr 与准确率，文本未给出这两个数字。
• Table 12：全部 λ=1 时 ASR 72.9；λ4、λ5=1.2 时 73.43。附录 K：LAMP 的 LPIPS 为 0.021，作者称最好基线为 0.068。
• 作者称 Figure 3 中 ASR 随 ε 上升，但大于 12/255 后提升不大且损害不可感知性；|δ| 从 1 到 2 提升大，再到 4、5 提升不大；扰动前两张时 ASR 最高，只扰动首尾时最低。文本未给出这些点的 ASR。
• 训练梯度更新约 48 GPU 小时（Table 10）。单条测试时间：LAMP 与 UAP-Unimodal 均为 0.5 秒，Jailbreak-MLLM 为 600 秒（Table 11）。Figure 6：作者称 epoch 20 之后 ASR 变化不大。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion 只重述方法与结果；附录 A–L 为实验补充。文中没有 Limitations、Future Work，也没有把某项结果明确写成不足或计划下一步的句子。

实验覆盖范围

• 代理模型为 Mantis-CLIP，在 Mantis Instruct 的 17,000 条样本上训练 20 epoch；目标模型为 Mantis-CLIP、Mantis-SIGLIP、Mantis-Idefics2、VILA-1.5、LLaVA-v1.6、Qwen-VL-Chat、Qwen-2.5、MiniGPT4（Experimental Setup、Table 4）。
• 多图基准实例数为 NLVR2 6967、Mantis-Eval 217、BLINK 1901、Q-bench 1000、MVBench 4000（Table 5）；另报告 MM-Vet、LLaVA-Bench、OK-VQA、MSCOCO。
• 主对比为 CPGC-UAP、UAP-VLP、Doubly-UAP、Jailbreak-MLLM；Pandora’s box 与 X-transfer 出现在 Table 6 的 Mantis-CLIP 行。防御数字来自 Qin 等（2021）与 Li 等（2022a），设置为 Mantis Eval、Mantis-CLIP（Table 2）。
• 作者称 PatchCleanser 使用双重掩码认证补丁攻击，而本文不依赖可见补丁，故该防御不适用。
• 论文未报告 ASR 的重复次数、评审模型与人工一致性，也未写明 ASR 分母是否等于 Table 5 的全部实例。

LAMP 是面向多图 MLLM 的黑盒通用对抗扰动方法。

• 问题： 作者称多图模型已用于指代、比较与时序理解，但鲁棒性未被研究。攻击者往往只能投放部分图像，不能控制推理时的图像数量、顺序或文本嵌入，也不能拿到下游微调模型的梯度。
• 做法： 在冻结的 Mantis-CLIP 上，用 17,000 条 Mantis Instruct 样本学习固定数量 UAP。五项损失分别压低正确 token 概率、拉远隐状态、拉大注意力的 Pompeiu-Hausdorff 距离、让干净 token 关注扰动 token，并抑制图像 token 对索引 token 的注意力。默认 ε=12/255，作者将扰动数 2 称为 optimal。
• 主结果： Table 1 总体平均 ASR 为 75.8%，相对最强先前攻击 +19.5 pp，其中含代理模型自身。零样本的 Qwen-VL-Chat 为 79.9%。按数据集平均，BLINK 为 85.7%，NLVR2 为 59.7%。
• 其他数字： Table 6 中 Qwen-VL-Chat 与 Qwen-2.5 在 BLINK 上均为 87.65%。Mantis-Eval、Mantis-CLIP 上，对两种 query-based 防御的 ASR 为 70.23% 与 69.21%（Table 2）。附录 K 中 LAMP 的 LPIPS 为 0.021，作者称最好基线为 0.068。
• 作者结论： 作者称传染约束可使未扰动 token 带上对抗特征，索引抑制使攻击对位置不敏感，实验结果优于所列 SOTA 基线，并可跨目标 MLLM、数据集与下游任务迁移。