MFA 框架在 17 个视觉语言模型上取得 58.5% 攻击成功率

多层防御保护下的视觉语言模型（VLM）在面对自适应、跨模型对抗攻击时是否存在系统性的安全脆弱性。

• 现实多层防御部署场景：领先的商业 VLM（如 GPT-4o、Gemini 等）部署了对齐训练、系统提示词和输入/输出内容审核过滤器的多层防御栈，声称具备生产级鲁棒性，但跨模型自适应攻击下的真实安全裕度仍未得到充分探究。
• 现有 VLM 越狱研究的割裂：以往研究多孤立关注基于文本提示词的对齐破坏，或在无审核过滤器环境下探索视觉对抗扰动，且主要局限于开源模型，未考虑现实部署中完整防御栈的协同效应。
• 威胁模型（Threat Model）：
  • 攻击目标：诱导受多层防御保护的目标 VLM 违反对齐策略，生成满足有害意图的高危内容。
  • 攻击者知识：对商业系统与内容审核器仅具备黑盒访问权限（black-box），对代理模型具备白盒梯度。
  • 攻击者能力：可向系统输入带有良性元任务包装的文本提示词、优化生成的对抗签名后缀，以及由代理视觉编码器生成的对抗图像。
  • 受害系统：部署了强化学习对齐（RLHF/RLAIF）、系统提示词以及输入/输出内容审核过滤器的开源及商业 VLM。
• 核心观察与假设：作者认为单标量奖励函数存在固有缺陷，良性元任务会争夺注意力引发奖励黑客；同时视觉编码器的通用特征表示会导致跨模型共性脆弱性。
• 论文提出的方案：论文提出了 Multi-Faceted Attack（MFA）框架，通过协同的三项技术层层瓦解防御栈。

• 基于提示词的文本越狱（Prompt-Based Jailbreaking）：
  • Yu 等人（2023）提出 GPTFuzzer，通过遗传算法变异提示词来覆盖模型的安全指令。
  • Zou 等人（2023）提出 GCG，基于梯度的贪婪坐标搜索生成通用对抗后缀；论文指出此类白盒/灰盒方法在无过滤器环境下运行，难以直接迁移至配备完整防御栈的商用部署系统。
• 基于视觉的对抗攻击（Vision-Based Adversarial Attacks）：
  • Li 等人（2024）提出 HADES 将有害排版文本嵌入图像；Yang 等人（2025）提出 CS-DJ 利用复杂视觉构图分散注意力；Gong 等人（2023）提出 FigStep 将有害指令分步呈现于图像中；Teng 等人（2025）提出 HIMRD 将有害指令分割到图像与文本中。论文指出这些工作未显式考虑现实世界的多层安全栈。
  • Qi 等人（2023）与 Li 等人（2024）使用端到端梯度优化对抗图像以诱导模型生成肯定短语（如 "Sure"）。
• 强化学习中的奖励黑客（Reward Hacking）：
  • Ng 与 Russell 等人（2000）在强化学习中研究通过操纵代理信号破坏预期目标的奖励黑客现象。
  • Pan 等人（2024）与 Denison 等人（2024）在 RLHF 训练的大语言模型中报告了类似的奖励黑客行为。作者称本文在形式上将奖励黑客理论与越狱攻击相连接。
• 基线方法与基准数据集：
  • 基线方法包括纯文本攻击 GPTFuzzer，以及 5 种基于图像的攻击 Visual-AE、FigStep、HIMRD、HADES、CS-DJ；内容审核消融中对比了 GCG 和 BEAST。
  • 评测基准为有害评测套件 HEHS（Qi 等人，2023）与 StrongReject（Souly 等人，2024）。
• 与既有工作的定位区别：作者称以往方法主要局限于单模态、忽略现实输入输出审核系统或缺乏理论分析，MFA 结合奖励黑客理论与多模态协同攻击，填补了这一空白。

论文提出了 Multi-Faceted Attack（MFA） 框架，通过注意力转移攻击（ATA）、针对过滤器的迁移攻击算法以及针对视觉编码器的图像攻击三项技术，分层瓦解防御栈。

问题形式化与奖励黑客理论

• 单标量奖励函数缺陷：RLHF 对齐训练将安全性与有用性合并为一个标量奖励函数 R(x, y)。面对直接有害提示词 x，对齐模型倾向于输出安全拒绝 y_refuse。
• 注意力转移攻击（ATA）：ATA 将有害提示词重构为良性元任务 x_adv（如要求提供两个相反视角的回答），诱导模型产生包含一个有害和一个安全回答的双重响应 y_dual。
• 形式化条件：当满足 R(x_adv, y_dual) > R(x_adv, y_refuse) 时，PPO 目标中的优势项推动策略网络偏向生成双重回答，从而构成奖励黑客。作者称据其所知这是首个对 VLM 越狱的形式化理论解释。

过滤器绕过与对抗签名生成

• 利用预训练重复偏差：利用大模型预训练中形成的文本重复能力，指示 VLM 在生成回答末尾重复一段专门优化的对抗签名 p_adv，以此欺骗后置的输出内容审核器。
• 多 Token 优化加速（Algorithm 1）：总长度为 ℓ = 20 的签名被拆分为 p_adv1（15 tokens）和 p_adv2（5 tokens）。在梯度引导下保留每个位置 top-k=256 的候选，随机抽取 q=512 个提示词，相比单 token 搜索实现 3 至 5 倍收敛加速。
• 弱监督迁移目标：为避免在单一审核器上过拟合，定义弱监督损失 L_ws = M₁(p + p_adv1^(j)) + λ · M₂(p + p_adv1^(j))（其中 λ = 1），梯度仅通过 M₁ 回传，优化完成后再对 p_adv2 在 M₂ 上重复该流程，每次最多运行 50 步或提前终止。

视觉编码器靶向对抗图像生成

• 绕过系统提示词机制：针对 VLM 结构 y = F(W · E(x), p)，利用投影矩阵 W 和冻结视觉编码器 τ_θ，生成将恶意系统提示词 p_target 写入像素空间的对抗图像。
• 余弦相似度优化：采用投影梯度下降（PGD）更新图像：

x_adv^t+1 = x_adv^t + α   sign(∇_xadv^t cos(h(τ_θ(x_adv^t)), E(p_target))) 其中 h 为线性适配层。通过平铺目标提示词 token 匹配 128 维视觉嵌入，避免了端到端解码器攻击的脆弱性。

• 分辨率与代理设置：在 LLaVA-1.6 上以 50 次 PGD 迭代和 ℓ_∞ = 128/255 预算生成 224 px 图像；在 InternVL-Chat-V1.5 上以 100 次 PGD 迭代和 ℓ_∞ = 64/255 预算生成 448 px 图像。 open-source 模型按输入分辨率适配，商用模型测试两种分辨率取较优者。

实验设置

• 被测模型：共 17 个 VLM，包括 8 个开源模型（LLaMA-4-Scout-Inst、LLaMA-3.2-11B-Vision-Instruct、MiMo-VL-7B、MiniGPT-4、NVLM-D-72B、mPLUG-Owl2、Qwen-VL-Chat、LLaVA-1.5-13B）与 9 个商业模型（GPT-4.1、GPT-4.1-mini、GPT-4o、GPT-4V、Gemini-2.5-flash、Gemini-2.0-Pro、Google-PaLM、Grok-2-Vision、SOLAR-Mini）。
• 数据集：HEHS 与 StrongReject，涵盖欺骗、非法服务、仇恨言论、暴力、非暴力犯罪、色情内容共 6 类违规提示词。
• 基线方法：文本攻击 GPTFuzzer，图像攻击 Visual-AE、FigStep、HIMRD、HADES、CS-DJ；过滤器消融中包含 GCG 与 BEAST。
• 评估指标：5 位标注者多数投票判定的真实攻击成功率（Human ASR, HM）以及 LlamaGuard-3-8B 自动标记子回答不安全的有害率（Harmfulness Rate, LG）。
• 实验环境与样本量：硬件采用 NVIDIA A800（80 GB）与 NVIDIA RTX 4090（24 GB）；开源模型采用公开权重与默认推理设置，商业模型通过官方 API 及 Poe 平台默认配置进行黑盒测试。

主结果

Table 3 呈现了 HEHS 数据集上的主实验结果（表中数值单位为 %）：

表格较宽，可左右滑动

• 商业模型防线的攻破：在具备现代内容过滤器的 GPT-4.1 和 GPT-4.1-mini 上，GPTFuzzer 成功率为 0.0%，而 MFA 取得了 20.0% 和 42.5% 的 HM ASR（Table 3）。
• 开源对齐模型的表现：在仅依赖对齐训练的开源模型上，MFA 取得具有竞争力的表现，但由于缺乏过滤器，部分模型上纯提示词方法（如 GPTFuzzer 在 LLaMA-3.2-11B-V-I 取得 85.0% HM ASR）略高（Table 3）。
• 防御协同缺失：作者认为当前堆叠防御中的各机制虽然并行运作，但未能形成有效协同，留下了可被顺序利用的漏洞。

过滤器攻击消融（Table 4）

• 测了什么：在 7 种内容审核器（LlamaGuard、ShieldGemma、SR-Evaluator、Aegis、LlamaGuard2、LlamaGuard3、OpenAI-Mod）上对比 Fast、Transfer 变体与 GCG、BEAST 的 ASR。
• 实验结果：在 HEHS 上，Transfer 变体的平均 ASR 为 80.00%，高于 Fast 的 67.50%、GCG 的 59.11% 与 BEAST 的 57.50%；在 StrongReject 上，Transfer 变体的平均 ASR 为 68.70%（Table 4）。
• 作者解读：以 LlamaGuard2 生成签名并以 LlamaGuard 弱监督能有效提升跨审核器的迁移绕过能力。

三要素协同效应消融（Table 5）

• 测了什么：在 6 个开源 VLM 上测试无攻击、仅视觉编码器攻击、仅 ATA、仅过滤器攻击及三者结合的 MFA 的 ASR。
• 实验结果：无攻击基线平均 ASR 为 17.50%；单独视觉攻击为 59.58%，单独 ATA 为 63.33%，单独过滤器攻击为 20.00%；三者结合的 MFA 达到 72.92%（Table 5）。
• 作者解读：三项技术各自针对防御栈中的特定脆弱环节，组合后产生协同叠加效应。

其他消融与分析

• 在 3 个奖励模型（Skywork、Tulu、RM-Mistral）上，双重回答相对拒绝回答的胜率在 57.5% 至 97.5% 之间（Table 1）。
• 在 ATA 提示词变体测试中，LLaMA-4-Scout-Inst 拒绝率在 25.0% 至 40.0% 之间，Grok-2-Vision 拒绝率在 2.5% 至 12.0% 之间（Table 2）。
• 计算成本对比：MiniGPT-4 上视觉攻击参数量为 1.26B vs Visual-AE 的 14.11B，GMACs 为 266.86G vs 1543.33G（Figure 5a）。
• 求解时间对比：在 NVIDIA A800 上对 LlamaGuard，Fast 变体单样本平均耗时 17.00s，GCG 为 43.66s（Figure 5b）。
• 失败案例分析：mPLUG-Owl2 与 ShareGPT4V 因推理能力较弱常出现极短回复（如 "Yes and No"），LLaVA-1.5 会插入占位符而未输出实际有害文本（附录 E）。

作者指出的局限与后续方向

• 模型推理对比能力不足导致的失败：作者在第 5 节与附录 E 指出，攻击失败主要发生在 VLM 缺乏推理对比能力时（如 mPLUG-Owl2 与 ShareGPT4V 往往重复或给出过于简短的回答如“Yes and No”或“Do not do it”），限制了攻击展开。
• 强对齐模型的占位符防御现象：作者在附录 E 指出，LLaVA-1.5 会输出带有格式的占位符而非实际有害文本，反映出模型存在特定的对齐屏障。
• 图像审核器未纳入核心评测：作者在附录 B.4 指出，虽然测试了 LLAMAGUARD-VISION 且对抗图像可通过，但由于视觉审核器尚未在生产环境 VLM 栈中广泛部署，因而未将其纳入核心评测。
• 商用模型内部机制的透明度受限：作者在附录 B.3 指出，由于商用模型的奖励模型具体细节和过滤阈值属于专有信息，评测严格局限于黑盒设置。
• 负责任披露与开源发布计划：作者在第 5 节表示，所有研究产物将在负责任披露机制下发布，以促进 AI 安全社区探讨更安全的 VLM 设计。

实验覆盖范围

• 被测目标模型：评测覆盖了 17 个 VLM，包括 8 个开源模型和 9 个商业模型。
• 评测数据集与违规类别：实验基于 HEHS 和 StrongReject 两个数据集，涵盖 6 类策略违规提示词。
• 内容审核器评测范围：过滤器绕过实验针对 7 个主流文本内容审核模型进行了评测。
• 对抗样本代理设置：视觉对抗图像在 LLaVA-1.6 与 InternVL-Chat-V1.5 两个代理模型上生成，文本对抗签名在 LlamaGuard2 与 LlamaGuard 上生成。
• 未报告信息：论文未报告主实验中每个模型测试的具体样本条数，亦未报告人工评估与自动评估的具体一致性统计指标。

• 论文定位：论文系统评估配备多层防御栈（对齐训练、系统提示词、输入输出审核）的视觉语言模型在对抗攻击下的安全脆弱性。
• 核心问题：现有防御声称达到生产级安全，但针对自适应且跨模型迁移的多模态协同攻击的实际防护能力尚不明确。
• 方法架构：提出多面攻击（MFA），由三项技术协同组成：通过双对比任务诱导奖励黑客的 ATA、基于重复偏差与多 token 弱监督生成的过滤器绕过签名，以及将恶意系统提示词编码进像素空间的视觉编码器扰动。
• 核心实验结果：
  • 在 HEHS 数据集上对 17 个 VLM 的评测中，MFA 取得 58.5% 的整体人工 ASR，LG 害性率为 60.0%（Table 3）。
  • 在商用模型 GPT-4.1 上，文本基线 GPTFuzzer 取得 0.0% 成功率，而 MFA 取得 20.0% 人工 ASR 与 40.0% LG 率（Table 3）。
  • 针对 LLaVA-1.6 优化的单一对抗图像在 9 个未见模型上迁移取得 44.3% ASR（第 3.3 节）。
  • 在 7 个内容审核器上，Transfer 攻击在 HEHS 和 StrongReject 分别取得 80.00% 和 68.70% 的平均 ASR（Table 4）。
• 作者结论与启示：作者认为当前堆叠防御机制缺乏协同，多层防线容易被顺序瓦解；跨模型迁移现象反映出共享视觉表示存在共性安全风险，呼吁在奖励设计中解耦安全与有用性信号并增强视觉前端的多样性防御。