研究者提出 CrossMPI：仅用图像扰动实现跨模态提示注入

现有 LVLM 提示注入不能只用图像扰动改写未改文本的任务理解。

• 场景：模型要联合视觉证据和文本指令完成视觉问答等任务。作者援引 OWASP，称提示注入是集成 LLM 应用的首要安全风险；多模态下指令还可隐含在图像中。
• 不足：Figure 1 把已有攻击分成两类。只改图像时，模型仍执行良性文本定义的任务，只是视觉感知被改。文本和图像都改时，文本侧误解来自文本扰动，不是图像。
• 观察：作者认为视文整合发生在隐状态空间，而不是嵌入空间。以 7B-MiniGPT4 为例，论文写视觉嵌入约 105 个参数、隐状态约 107 个参数；全空间优化开销大，且容易过拟合源模型、降低迁移。
• 方法：作者提出 CrossMPI。只加有界图像扰动，使未改文本和被攻击图像被解释为攻击者选定任务。融合关键层选择用来压低层数，距离递减预算用来压低有效像素范围。
• 威胁模型：
  • 目标：让模型执行攻击者选定任务并输出选定结果，扰动在视觉上不可感知；不是仅仅让答案变错。
  • 知识：black-box target setting。不能访问已部署目标的参数、梯度、中间隐状态、系统提示、安全策略或推理配置。
  • 能力：可自选目标文本和目标图像，并知道良性文本与原图。用公开 LVLM 离线优化有界扰动；部署时只提交被攻击图像和未改文本。
  • 受害系统：标准 LVLM 应用。作者举例称这类样本可误导基于 VLM 的 web agent，或干扰现实中的物体检测器。

按引言与 Related Work，相关工作分三条线；实验另设四组基线。

LLM 提示注入

• 手工策略：把注入内容与良性数据拼接，或用换行、制表符分隔，也使用显式任务覆盖指令（Branch et al. 2022；Perez and Ribeiro 2022；Harang 2023；Willison 2022）。Willison (2023) 还注入伪造的原任务回复，使模型把原任务当成已完成。
• 自动优化：Liu et al. (2024) 形式化提示注入并组合多种手工策略。GCG（Zou et al. 2023）按梯度搜索对抗 token；另一篇 Liu et al. (2024) 用它按回复行为优化注入串。Shi et al. (2024) 在 LLM-as-a-Judge 中把优化注入放进受控候选答案。

LVLM 提示注入

• 仅图像：Wu et al. 用多个 CLIP 作代理，使被攻击图像对齐目标回复，对应基线 ARE。Li et al. (2025) 把恶意指令画进图像，并调整位置、大小和颜色，对应基线 ATPI。
• 文本加图像：Wang et al. (2025) 将视觉嵌入推向目标图像语义，并用源模型优化欺骗性文本，对应基线 CI。引言称这一类的文本误解来自文本本身，而不是图像扰动。

其他 LVLM 攻击

• 对抗扰动：Wang et al. (2024) 优化模态一致性特征并加正交约束以做跨模型迁移；Cai et al. (2025) 最大化扰动与目标回复的互信息；MABA（Li et al.）是无目标黑盒攻击，同时压制判别性视觉特征并模拟跨模态适配器。
• 越狱、成员推断与后门：Qi et al. (2024) 在白盒下优化对抗图像以提高恶意输出似然；Yang et al. (2025) 拆分有害查询并构造对比子图。成员推断包括 Li et al. (2024) 的 MaxRényi-K% 与 Hu et al. (2025) 的 temperature 敏感度。后门包括 Lyu et al. 的分布外触发，以及 Liu and Zhang (2025) 在自监督预训练中使用的低频触发。

基线与数据

• 基线方法：ARE-W 在源模型上直接提高目标输出概率；ARE-B 用 CLIP 拉近扰动图像与目标输出嵌入；CI 在本文评测中只用图像侧，推向选定目标图像；ATPI 在图像中渲染恶意文字并优化颜色、大小和位置。
• 基准：MSCOCO、ImageNet、TextVQA。MSCOCO 与 ImageNet 的文本提示取自 VQA-v2。

作者把本文与这些工作的区别写成：只用图像扰动同时改变视觉解释和未改文本的任务解释，并把优化从嵌入空间转到隐状态空间；还称对这类扰动更有效的层在中部融合层，而不是以往对抗优化常选的末层。

CrossMPI 分三步：选出视文融合关键层，用距离递减掩码重分配图像扰动预算，再在源 LVLM 的隐状态上学习仅图像扰动。部署时文本不变。

问题设定

• 两种注入：多模态注入允许同时改文本和图像，且任务改变当且仅当文本扰动不为 0。跨模态注入只找图像扰动，使未改文本被解释成攻击者任务，且输出变为攻击者选定结果。
• 部署目标：写成 M(x_p, x_v+Δ_v)=y_t。优化阶段仍用目标文本–图像对作为隐状态参照，但提交给目标模型的只有被攻击图像和原文本。
• 搜索空间：作者称全隐状态优化复杂度至少为 O(mn)，m 为隐状态维、n 为图像规模；因此分别约束层和像素。

融合关键层选择

• 层组对比：在 MiniGPT4-llama2 上、不加预算掩码，比较 early {1, 2, 3}、middle {12, 13, 14}、final {30, 31, 32} 及两两组合。作者称中部融合层效果最好，并认为中部在形成任务表示，末层主要把已形成的决定映射到输出 token。
• 探测：用 ImageNet 五类狗图像，每类 500 张（400 训练 / 100 测试）。良性提示下取每层最后一个输入 token 的隐状态，各训一个 MLP 并冻结。
• 四种变体：指令措辞、句法、任务语义切换、无关任务替换；每种三条，列于 Table 6。作者把探测准确率随语义或任务变化大的层当作融合关键层。
• 选出的层：MiniGPT4-vicuna 为 13–15（Figure 2；作者称第一种任务语义切换下这三层准确率下降约 25%）。附录 Figure 6–8 给出 MiniGPT4-llama2 的 12–14、InstructBLIP 的 14–16、BLIVA 的 16–18。论文未给出 Qwen 系列的对应层号。

距离递减扰动预算

• 显著性：用通用参考模型生成一句图像描述（论文举例 GPT-5.4-mini），再用 Grad-ECLIP 把图文相似度回传到像素。
• 掩码：显著性归一化后，取 top-k% 像素的加权质心为语义中心；论文未给出 k。权重随相对重要性上升，并在低显著性且远离中心时下降。局部预算在基预算上按权重再分配，并用平均权重归一化，使平均预算不变。
• 系数：λ=0 时各像素预算相同；λ 越大，高权重像素分到越多。最终配置 λ=0.3，默认基预算 16/255。

跨模态扰动优化

• 有效扰动：被攻击图像等于原图加预算掩码与可学习扰动的逐元素积。掩码决定哪里允许更大扰动。
• 三项损失：在源模型上，输出损失是良性文本加被攻击图像条件下、目标 token 序列的负对数似然；融合损失是选定层上被攻击输入与目标任务输入隐状态的 L2 距离；频率项惩罚扰动傅里叶变换中、去掉中心低频后的高频幅度均值。
• 总目标：六个视图（恒等、缩放、旋转、亮度、模糊、加性噪声）上对 L_out+α L_fuse+β L_freq 取平均。论文未给出 α、β 和 Algorithm 1 中的步数 N。
• 作者给出的理由：只优化输出容易拟合源模型解码；融合层对齐用来改变对良性文本的解释并提高迁移；高频惩罚用来降低可见伪影和对源模型预处理的过拟合。

成功判定

• 定义：要同时满足新任务不同于原任务、新输出不同于原输出，且二者都由攻击者选定。
• 实验指标：ASR 统计被攻击图像使模型执行选定任务的样本比例；SS 用 all-MiniLM-L6-v2 计算回复与目标文本的余弦相似度。ASR 的逐条判定规则论文未说明。

实验设置

• 目标模型：MiniGPT4-llama2、MiniGPT4-vicuna、InstructBLIP、BLIP-2、BLIVA、Qwen2.5-VL。均用原始发布设置，不改架构或推理配置。
• 源模型：扰动在 MiniGPT4-llama2、MiniGPT4-vicuna、InstructBLIP、Qwen2-VL 上优化。对已部署目标是 black-box；源模型上的优化可用其梯度。源与目标相同时，论文另称白盒评测。
• 数据：MSCOCO、ImageNet、TextVQA 各随机 500 例，类别不同于目标图像。前两者提示来自 VQA-v2，Appendix D 写明分别为餐具、自行车是否可见；TextVQA 用原问题。目标任务：MSCOCO 为羊、ImageNet 为猫，问句是图中动物；TextVQA 为手机，问句是图中物体。
• 基线：ARE-W、ARE-B、CI、ATPI。本文评测只允许图像扰动，因此 CI 未使用其文本侧。ATPI 使用会促使模型阅读图像文字的原提示。Table 8 注明基于 CLIP 的 ARE-B 与 CI 不依赖源 LVLM。
• 指标：ASR 为执行攻击者选定任务的样本比例，判定规则未说明。SS 为 all-MiniLM-L6-v2 余弦相似度，表中记为百分数。不可感知性用 SSIM、MS-SSIM、FSIM、HaarPSI、LPIPS，Table 2 均乘 100。
• 默认优化：3 个融合关键层，预算 16/255。论文未报告重复次数、步数 N、α 和 β。

主结果

下表为 Table 1 中 CrossMPI 的 ASR（%），每格用该目标在该数据集上的 Best Source Model，且源与目标不同。MSCOCO 与 ImageNet：llama2 的源为 vicuna，vicuna、InstructBLIP、BLIP-2、BLIVA 的源为 llama2，Qwen2.5-VL 的源为 Qwen2-VL。TextVQA：InstructBLIP 与 BLIP-2 的源为 vicuna，BLIVA 的源为 InstructBLIP，其余与前两列相同。

Swipe horizontally to read the table

目标模型	MSCOCO	ImageNet	TextVQA
MiniGPT4-llama2	28.43%	27.18%	52.94%
MiniGPT4-vicuna	90.20%	69.90%	51.82%
InstructBLIP	90.57%	94.17%	82.35%
BLIP-2	96.08%	93.20%	81.37%
BLIVA	91.18%	94.17%	88.24%
Qwen2.5-VL	12.75%	29.41%	20.59%

• 作者的总括：作者称 CrossMPI 在各数据集和目标上最好。Table 1 末行平均 ASR 为 66.36%、SS 为 47.33%；四基线平均 ASR 为 8.24%、34.58%、54.57%、4.41%。作者称 ASR 平均高出 40.91 个百分点，SS 高出基线平均 11.68 点。
• 表内例外：Qwen2.5-VL 的 ASR 并非各行最高：MSCOCO 上 CI 为 26.19%，ImageNet 上 CI 为 67.27%。SS 也有反例：TextVQA、InstructBLIP 上 CI 为 64.74，Ours 为 44.93。
• 作者对基线的解释：作者认为 ARE-W 过拟合源模型生成行为；ARE-B 与 CI 能改变视觉理解，但良性文本仍被当成原任务；ATPI 的注入文字对用户可见。作者把差距归因于直接优化融合隐状态，并把预算分到语义关键区域。

跨源迁移

• 白盒：作者称源与目标相同时白盒 ASR 可达 99.24%。Table 8 中该设置的 Ours ASR 含多个 100%，以及 ImageNet 上 MiniGPT4-vicuna 的 97.09%、TextVQA 上 MiniGPT4-vicuna 的 96.08%。这些行的目标就是优化所用的源模型。
• 跨架构：TextVQA 上，对 Qwen2.5-VL 的 ASR 在源为 MiniGPT4-llama2、MiniGPT4-vicuna、InstructBLIP 时为 9.80%、8.82%、10.78%，源为 Qwen2-VL 时为 20.59%（Section 5.2.3、Table 8）。作者认为架构相近时隐状态与融合机制更可比。
• Figure 4：图注写四个源模型优化后再评到目标模型。正文未给出热力图各格的独立读数，定量结果以 Table 8 为准。

不可感知性

• Table 2：扰动在 MiniGPT4-llama2 上优化，五指标均乘 100。MSCOCO 上 ATPI 的 SSIM 为 99.38、LPIPS 为 1.45；Ours 为 73.12 与 18.44；ARE-B、CI 的 LPIPS 为 85.70、78.31。
• 作者解释：作者称 ATPI 分数高是因为加入可见文字而不是稠密噪声，恶意指令会直接暴露给用户。噪声优化方法中，作者称 CrossMPI 不可感知性最好。作者称 Figure 9 中 CrossMPI 仍在视觉上靠近原图，ARE-B 与 CI 外观变化更明显，CI 会出现与目标概念相关的可见图案。
• 另两个数据集：Ours 的 LPIPS 在 ImageNet、TextVQA 为 20.41、20.50；ATPI 为 3.66、1.72。作者把 CrossMPI 的视觉结果归因于预算集中、优化融合隐状态，以及频率项抑制高频。

防御评测

• 设置：Table 5 的扰动在 MiniGPT4-llama2 上优化，目标不含 Qwen2.5-VL。输入变换为 Randomization、RandomRotation、JPEG Compression（质量因子 75）；推理侧为 SmoothVLM（5 个视图、遮蔽 20% 像素后多数投票）和 DPS（三种裁剪加固定校正提示）。
• 作者称 SmoothVLM 在多数设置最有效：MSCOCO 与 ImageNet 上 ASR 低于 5%，TextVQA 上低于 10%。Table 5 中 SmoothVLM 最高格为 ImageNet 上 InstructBLIP 的 3.88%，TextVQA 上 BLIVA 的 9.80%。JPEG 也会压低 ASR；Randomization 与 RandomRotation 的剩余 ASR 更高。
• DPS 与附录：作者称没有一种防御完全消除攻击，DPS 不够稳定。源模型上 DPS 的 ASR 在 MSCOCO 为 52.94%、ImageNet 为 71.84%；ImageNet 上 BLIVA 为 65.05%。同表也有 0.00% 的格子，如 MSCOCO 上 BLIP-2 的 DPS。Table 9 中，源为 MiniGPT4-vicuna 时，DPS 在该源模型上的 ImageNet ASR 为 82.52%。

其他消融与分析

• 层组（Table 3，源 MiniGPT4-llama2，无掩码）：MiniGPT4-vicuna 上 fusion / early / final 的 ASR 为 90.16% / 89.20% / 87.25%；BLIP-2 上 early+final 为 97.14%，高于 fusion 的 96.08%；BLIVA 上 early+final 与 fusion+final 均为 92.10%，高于 fusion 的 90.12%。
• 预算掩码（Table 4，源 MiniGPT4-llama2）：λ=0.3 时 vicuna / InstructBLIP / BLIVA 的 ASR 为 90.20% / 90.57% / 91.18%；saliency-only 为 83.33% / 85.29% / 88.24%；无掩码为 90.16% / 89.18% / 90.12%。
• λ=0.6–1.0（Table 7）：λ=0.7 时 BLIP-2 ASR 为 98.04%，高于 λ=0.3 的 96.08%；λ=1 时 vicuna 为 81.37%，InstructBLIP 为 83.33%。
• 扰动预算（Figure 5 第一行，MSCOCO，源 MiniGPT4-llama2，ε 取 8/255 到 24/255）：作者称 ε=8/255 时所有目标 ASR 仍超过 70%，ε 增大时 ASR 大体上升。论文未给出各点精确读数。
• 优化层数 1–5（Figure 5 第二行）：作者称 3 层总体最好，增至 4 或 5 层不再提升。论文未给出各层数的精确 ASR。

作者指出的局限与后续方向

• 依赖特定提示：Section 7 写明，当前局限是攻击仍依赖特定文本提示。
• 提示无关攻击：同一节写，后续目标是探索与提示无关的仅图像攻击。
• 防御：同一节写，后续要开发针对此类提示注入的防御。

实验覆盖范围

• 模型：目标为 MiniGPT4-llama2、MiniGPT4-vicuna、InstructBLIP、BLIP-2、BLIVA、Qwen2.5-VL，共 6 个；优化源模型为前三者加 Qwen2-VL（Section 5.1）。
• 数据：MSCOCO、ImageNet、TextVQA 各随机采样 500 例，且样本类别不同于目标图像（Section 5.1、Appendix D）。
• 对照与防御：基线为 ARE-W、ARE-B、CI、ATPI；防御为 Randomization、RandomRotation、JPEG Compression、SmoothVLM、DPS（Section 5.1、5.4）。Table 5 的防御目标列不含 Qwen2.5-VL。
• 设置：默认优化 3 个融合关键层，扰动预算 16/255；另报告层组、掩码系数、预算、层数消融，以及源–目标交叉评测（Section 5.1–5.3、Table 8）。
• 未报告项：论文未报告 ASR 的逐条判定规则、优化步数 N、α 与 β、top-k 的取值，以及重复次数（Section 4、5，Algorithm 1）。

CrossMPI 是针对 LVLM 的跨模态提示注入：只改图像，却要改变模型对图像和未改文本的任务解释。

• 问题：只改图像的注入通常仍跟着良性文本走；要改任务的已有注入还要改文本。作者认为任务级整合在隐状态空间，而不是参数量更小的视觉嵌入空间。
• 做法：在公开源模型上选出中部融合关键层，用 Grad-ECLIP 和到语义中心的距离重分配扰动预算，再联合目标输出似然、融合层对齐和高频正则，并在六种图像变换上优化。默认三层、预算 16/255、λ=0.3。已部署目标按 black-box 使用，攻击者只提交被攻击图像和原文本。
• 主结果：Table 1 在三个数据集、六个目标上按各目标的最优源模型平均，ASR 为 66.36%，SS 为 47.33%。作者称 ASR 平均高出四个基线 40.91 个百分点。MSCOCO 上 BLIP-2 为 96.08%（源 MiniGPT4-llama2）。Qwen2.5-VL 在 MSCOCO、ImageNet 上低于 CI 的 26.19% 与 67.27%。
• 迁移、隐蔽与防御：作者称源与目标相同时白盒 ASR 可达 99.24%。Table 2 中，源为 MiniGPT4-llama2 时 MSCOCO 的 LPIPS（已乘 100）为 18.44，低于 ARE-W、ARE-B、CI，高于 ATPI。Table 5 中 SmoothVLM 把所列 ASR 压到个位数，但 DPS 在源模型上 ImageNet 仍有 71.84%。
• 作者结论：作者认为中部融合层比末层更适合这类扰动，并称方法在黑盒迁移、语义对齐和不可感知性上优于所列基线。写明的局限是攻击仍依赖特定文本提示；作者计划研究与提示无关的仅图像攻击，并开发相应防御。