Constructing Adversarial Inputs for Large Vision-Language Models with Black-Box Optimization

如何在拿不到梯度的黑盒设置下，用视觉扰动越狱大型视觉语言模型（LVLM）。

• 出现场景： 作者称 LVLM 已用于多种多模态任务，但视觉模态带来新的脆弱性；对抗方可构造视觉输入，绕过安全对齐并触发有害输出。
• 现有不足： 作者称已有对抗越狱多依赖白盒和基于梯度的优化，需要看到全部参数，计算开销大，且向黑盒迁移不足。Figure 1(a) 中，梯度反传生成的图像越狱了 MiniGPT-4，但未能迁到架构与对齐策略不同的 LLaVA。
• 作者的问题： 在梯度不可用时，怎样生成能越狱 LVLM 的对抗样本。
• 本文提出： ZO-SPSA（Zeroth-Order Simultaneous Perturbation Stochastic Approximation）。只用输入–输出做无梯度近似，优化时不使用替代模型；作者称 GPU 显存更低。
• 威胁模型
  • 目标： 构造视觉输入，配合任意有害文本，在单轮对话中绕过目标模型的安全对齐，触发有害指令并生成被禁止内容；优化后的图像还要使模型服从攻击过程中未显式优化过的有害提示。
  • 知识： 黑盒。无模型知识，不访问内部梯度，只允许输入–输出交互。
  • 能力： 用 ZO-SPSA 迭代更新对抗图像。扰动幅度受集合 B 约束，实现上按 PGD 投影。
  • 受害系统： InstructBLIP、LLaVA、MiniGPT-4。并评估对抗图像在不同 LVLM 之间的迁移。

LVLM 与安全对齐

• Zhang et al. (2024a) 把常见 LVLM 写成视觉模块、投影器与 LLM 文本模块：视觉侧提取特征（如 CLIP 的 ViT），投影器对齐到文本潜空间，再联合生成自由文本。
• 文本模块通常是做过安全对齐的预训练 LLM。论文引用 Solaiman and Dennison (2021)、Bai et al. (2022)、Korbak et al. (2023) 以及 Ji et al. (2023) 综述的安全技术，只作背景，没有与本文做方法对比。
• 作为系统实例提到 LLaVA (Liu et al., 2023)、InstructBLIP (Dai et al., 2023)、MiniGPT-4 (Zhu et al., 2023)、OpenFlamingo (Awadalla et al., 2023) 和 Multi-modal GPT (Gong et al., 2023)。

针对 LVLM 的越狱

• Carlini et al. (2023)、Tu et al. (2023)、Zhao et al. (2023)：视觉对抗样本可使 LVLM 产生有害输出。Dong et al. (2023) 被引言用来说明视觉模态带来新的脆弱性。
• Niu et al. (2024) 用基于最大似然的越狱做不可感知扰动，使模型对多个未见提示和图像产生不当回应。Qi et al. (2024) 用小型贬损语料做基于梯度的视觉对抗攻击，本文称为 VAJA。Wang et al. (2024) 在白盒下联合优化对抗图像前缀与文本后缀。
• 排版方向：Shayegani et al. (2024) 做跨模态攻击，在编码器嵌入空间诱导有毒激活；Gong et al. (2025) 的 FigStep 把文本有害内容渲染成排版视觉形式以绕过对齐。作者称本文要扩展的是视觉模态扰动，目标是黑盒下的安全对齐。

零阶优化

• Zhang et al. (2024b)、Chen et al. (2024) 的 DeepZero、Malladi et al. (2023) 用零阶方法微调 LLM，并降低 GPU 显存。Liu et al. (2020) 是零阶优化综述。
• 黑盒对抗方面：Chen et al. (2017) 的 ZOO 用零阶随机坐标下降，不训练替代模型；Liu et al. (2019) 的 ZO-signSGD 与 Chen et al. (2019) 的 ZO-AdaMM 用于生成对抗扰动。SPSA 来自 Spall (1987, 1992)。投影更新引用 Madry et al. (2018) 的 PGD。
• 作者称 ZO-SPSA 能在 LVLM 上做黑盒对抗攻击，且计算开销更低。论文没有给出与 ZOO、ZO-signSGD、ZO-AdaMM 的数值对照。

基线方法与基准

• 基线方法： 白盒 VAJA (Qi et al., 2024)。无攻击对照为 benign image。
• 基准/数据集： AdvBench (Zou et al., 2023)；VAJA 的有害语料及 40 条测试指令；RealToxicityPrompts (Gehman et al., 2020) 的 1,225 条子集。人工评测协议跟随 Wang et al. (2024)。

作者把本文放在白盒梯度越狱之外：不访问梯度、优化时不用替代模型，只靠输入–输出查询估计梯度，并考察跨 LVLM 迁移。

ZO-SPSA 把白盒梯度更新换成只依赖前向查询的差分估计，再沿估计梯度的符号更新图像，使少量有害回复语料的生成概率变大。

问题设定与形式化

• 受害 LVLM 参数为 θ。输入是对抗图像与有害文本 xt。语料 Y = {yi} 来自少量有害回复，n 为条数。
• 优化目标是在扰动集合 B 内最小化负对数似然之和：x_adv=argmin_{x̂adv∈ B}∑_i −log p(y_i∣ x̂_adv,x_t,θ)。含义是让模型在对抗图像和有害文本条件下，更倾向于生成语料中的有害回复。该式要梯度，黑盒下不可用。
• 评测成功与优化目标分开：若模型生成有害输出，而不是仅仅表现出某些关键词倾向，则攻击成功，否则失败。另外做人工评估。

ZO-SPSA 梯度估计

• 采用 SPSA 与对称差分。在任意点 x 只使用目标函数值 f(x)，不反向传播。
• 估计式为 ĝ=[f(x+hΔ)−f(x−hΔ)]/(2hΔ_i)，分量 Δi 独立取自标准正态 N(0,1)。作者称两次函数求值给出与维度无关的 ∇f(x) 近似。
• 全部主实验取 h = 0.0001。对当前估计取符号，再按 PGD 把更新投影回允许扰动。

算法流程与实验参数

1. 用原始图像初始化 xadv。
2. 迭代 T 次：采样随机种子，构造 +hΔ 与 −hΔ 两个扰动输入，计算两侧损失，用差分得到 estimated_grad。
3. 更新为在 (x, ε) 上裁剪后的 x − α · sign(estimated_grad)。扰动函数按同一种子逐维采样 Δ。

• 论文给出的运行参数：batch size 8，步长 α = 1，前向传播总预算 50,000。生成时温度 T = 1，nucleus sampling 的 p = 0.9。单张 A100（80GB），无额外系统提示。Table 6 写 ZO-SPSA 为 50,000 次迭代，白盒 VAJA 为 5,000 次。
• 直接攻击不训练、不查询替代模型。迁移实验另把一个 LVLM 当作 surrogate 生成图像，再放到其他模型上测，这与“优化本身不用替代模型”是两套设置。

消融中的另一种估计

• 主估计用高斯方向。消融把差分幅度固定为 δ = 1×10^−5，并把迭代从 5,000 变到 40,000。
• 另一组用 Rademacher 扰动：每个分量以等概率取 +1 或 −1，估计式中除以噪声改为乘法。论文未说明这两组消融用的是哪个 LVLM。

成功判定与毒性评分

• ASR： AdvBench 用人工判断是否绕过安全约束。VAJA 的 40 条指令用 GPT-4o，每个提示重复 10 次，类别为 Identity Attack、Disinformation、Violence/Crime、X-risk。正文称对各有害类别的 ASR 取平均以降低随机性；附录称十次中至少一次含不当内容则该次尝试成功。两处口径不同，论文未说明如何统一。附录 A 给出该固定评审提示。
• 毒性率： Perspective API 与 Detoxify 各评六个属性，分数从 0 到 1。统计分数超过 0.5 的回复比例，重复三次，报告均值和标准差。迁移实验报告至少出现一个毒性属性的输出比例。

实验设置

• 被测模型： InstructBLIP、LLaVA、MiniGPT-4。前两者与 MiniGPT-4 中，InstructBLIP 和 MiniGPT-4 以 Vicuna-13B 为冻结 LLM 骨干（基于 LLaMA），视觉编码器为 ViT；LLaVA 使用 LLaMA-2-13B-Chat，并经过指令微调与基于红队数据的迭代 RLHF。
• 数据： AdvBench 有害行为，66 条训练、100 条测试，协议跟随 Wang et al. (2024)。VAJA 小型有害语料用于生成对抗图像；评测为 40 条指令、四类风险。RealToxicityPrompts 挑战子集 1,225 条。论文未报告四类各自的条数。
• 对照： 无攻击 benign image；白盒 VAJA。扰动为 ε = 16/255、32/255、64/255 与 unconstrained。
• 指标： ASR；毒性率为六属性中分数 > 0.5 的比例。迁移另报至少一种毒性属性的比例。
• 评审与重复： AdvBench 为人工，表头为 Test ASR。VAJA 集为 GPT-4o，每提示 10 次。毒性工具各重复 3 次。论文未报告人工评估者人数，也未报告与自动评审的一致性。
• 运行： batch size 8，α = 1，h = 0.0001，前向预算 50,000，T = 1，p = 0.9，单张 A100 80GB，无额外系统提示。

主结果

Swipe horizontally to read the table

模型	训练时间	单样本测试时间	Test ASR
InstructBLIP	10.3h	0.91s	83.0%
LLaVA	19.4h	6.35s	73.0%
MiniGPT-4	29.5h	55.03s	60.0%

据 Table 3，AdvBench 有害指令；正文称对应无约束扰动图像。

• 作者称无约束扰动图像提高了 ASR，三个模型中 InstructBLIP 最高、MiniGPT-4 最低。
• 作者称模型架构会改变优化时间与单样本攻击时间：InstructBLIP 最短，MiniGPT-4 最长。
• 摘要把 MiniGPT-4 生成样本迁到其他 LVLM 的结果称为 ASR 达 64.18%。Table 5 将该数记为 Perspective API 毒性率（MiniGPT-4 → InstructBLIP，对照 VAJA 为 57.5）。

VAJA 四类上的 GPT-4o 评测

• 测了什么： 40 条指令、四类风险，对照 benign image，预算从 ε = 16/255 到 unconstrained（Table 1）。Table 2 只在 MiniGPT-4 上与 VAJA 比 Diff。
• 结果： InstructBLIP 的 Identity Attack 从 benign 5.0% 到无约束 80.0%，Violence/Crime 到 93.8%。LLaVA 无约束时这两类为 70.0%（表中 +57.8）和 90.0%（表中 +74.6）。MiniGPT-4 在 ε = 64/255 的 Disinfo 为 100.0%，benign 为 48.9%。同格 VAJA 为 84.4%，Diff +15.6；Identity Attack 的 Diff 为 +14.6。ε = 32/255 的 X-risk 为 50.0%，VAJA 为 73.3%，Diff −23.3。
• 作者解读与例外： 作者称各类、各预算下有害回复比例相对无攻击上升；小预算下 ZO-SPSA 不如 VAJA，更大预算和无约束时仍有竞争力。Table 1 并非随 ε 单调上升，例如 InstructBLIP 的 Violence/Crime 在 ε = 32/255 为 87.5%，ε = 64/255 为 81.3%；MiniGPT-4 的 Identity Attack 在 ε = 64/255 为 92.3%，无约束为 80.0%。

毒性率与跨模型迁移

• RealToxicityPrompts，Perspective API 的 Any（Table 4，括号为 VAJA）： InstructBLIP 从 clean 34.2±0.5 到无约束 64.0±1.1（55.7）；LLaVA 从 9.2±0.3 到无约束 60.1±0.4（50.6）；MiniGPT-4 从 34.8±1.6 到无约束 54.1±0.6（66.0）。Detoxify 的 Any 无约束分别为 61.2±1.4（56.9）、50.6±0.3（40.5）、45.0±0.8（61.0）。
• 作者称与表内反例： 作者称有约束时括号内 VAJA 更高，无约束时 ZO-SPSA 在 LLaVA 与 InstructBLIP 上更高。LLaVA 的有约束 Any 并不符合前半句：ε = 16/255 时 Perspective 为 61.4±1.7，括号内为 30.3。MiniGPT-4 无约束 Any 低于括号内 VAJA，与“只在前两个模型上更高”一致。
• 迁移： Table 5 取各 ε 中较强的一次，Perspective API。MiniGPT-4 作 surrogate 时，InstructBLIP 为 64.18（VAJA 57.5），LLaVA 为 61.52（17.9），自身 54.11（67.2）；无攻击基线为 34.2、9.2、34.8。作者称 MiniGPT-4 作 surrogate 时迁移最强。迁到 LLaVA 的一列中，InstructBLIP 为 61.58，高于 61.52。Table 9 将 64.18±1.11 标在 MiniGPT-4 → InstructBLIP、unconstrained、Any。Table 5 的 Detoxify 行与 Table 10 列对不齐，不引用该行；Table 10 中同一对、unconstrained、Detoxify Any 为 61.05±0.61。

显存、时间、损失与可视化

• Table 6（VAJA 数据集）： ZO-SPSA / VAJA 为 MiniGPT-4 16 GB、55 h 对 32 GB、9 h；LLaVA 30 GB、48 h 对 62 GB、6 h；InstructBLIP 29 GB、22 h 对 38 GB、3 h。正文写 MiniGPT-4 的 ZO-SPSA 为 5 小时，与表中 55 h 不一致，此处以表为准。作者称显存更低，但迭代更多、处理时间更长。
• Figure 2 是 AdvBench 与 VAJA 上的损失箱线图。作者称损失在有界范围内波动，而不是单调下降，并认为进入准平稳区；完全理论收敛不是生成对抗样本的必要条件。文本未给出箱线端点。
• Figure 3 为 ℓ∞、ε = 32、50,000 次迭代下的干净图、扰动与对抗图。作者称扰动对人眼几乎不可感知，且对抗图配合有害提示可触发有害回复，干净图在同一提示下失败。有害回复原文不转述。

其他消融与分析

• 差分幅度 δ = 1×10^−5、迭代 5K–40K（Table 7，论文未说明模型）：Perspective Any 为 39.7±1.9、54.0±0.6、37.5±0.2、36.0±0.4、47.2±1.1。作者称迭代增加后毒性率更低，且更小扰动会削弱攻击；表中 10K、40K 高于 20K、30K。该表 Detoxify 的 5K 行与 Perspective 的 5K 行数字完全相同，不采用。
• Rademacher 扰动（Table 8，论文未说明模型）：Perspective Any 为 5K 42.2±0.8、30K 49.7±2.3、40K 35.2±0.3；Toxicity 在 30K 为 43.5±2.2。Detoxify Any 在 30K 为 40.3±1.8、40K 为 28.2±0.5。作者称峰值在 30,000 次迭代，不同迭代次数上表现不一致。

作者指出的局限与后续方向

• 方法需要对目标模型做大量前向传播，作者称这带来计算上的低效（Limitations）。
• 优化依赖有噪声的梯度近似，作者称因此耗时（Limitations）。
• Limitations 只有这两点。结论重述了 ASR、迁移和计算复杂度，没有另列后续方向。论文未专门写出未来工作计划。

实验覆盖范围

• 被测 LVLM 为 InstructBLIP、LLaVA、MiniGPT-4，共 3 个；骨干为 Vicuna-13B 与 LLaMA-2-13B-Chat，视觉侧为 ViT。
• 数据为 AdvBench（66 条训练、100 条测试）、VAJA 的 40 条四类指令、RealToxicityPrompts 的 1,225 条子集。论文未报告四类各自的条数。
• 对照包括 benign image 与白盒 VAJA；扰动为 ε = 16/255、32/255、64/255 与 unconstrained。直接攻击的前向预算为 50,000，h = 0.0001；Table 6 写 VAJA 为 5,000 次迭代。
• 评审为 AdvBench 人工、VAJA 集 GPT-4o（每提示 10 次）、Perspective API 与 Detoxify（各重复 3 次）。论文未报告人工评估者人数，也未报告人工与自动评审的一致性。正文与附录对“十次重复如何计一次成功”的写法不同。
• 迁移在这三个 LVLM 之间进行，一个模型作 surrogate、其余作 target；附录 Table 9、Table 10 按 ε 列出毒性属性比例。消融改变迭代次数、差分幅度和 Rademacher 方向，论文未说明消融所用模型。

ZO-SPSA 是对 LVLM 的黑盒视觉越狱：不读梯度，只靠两次前向的损失差分估计梯度，再以符号步和 PGD 更新图像。

• 问题： 作者认为白盒梯度攻击要完整参数、计算开销大，且 Figure 1 中能越狱 MiniGPT-4 的梯度样本不能迁到 LLaVA。受害系统是单轮对话中的 LVLM，攻击者只控制图像扰动和有害文本，目标是绕过安全对齐并生成被禁止内容。
• 做法： 在少量有害回复语料上最小化负对数似然。SPSA 用 h = 0.0001 的对称差分，Δ 取标准正态；实验步长 α = 1，前向预算 50,000。优化阶段不使用替代模型。
• AdvBench 人工 Test ASR（Table 3，无约束图像）： InstructBLIP 83.0%，LLaVA 73.0%，MiniGPT-4 60.0%。优化时间分别为 10.3h、19.4h、29.5h。
• VAJA 四类（Table 1–2，GPT-4o）： 相对 benign image，各类 ASR 上升。MiniGPT-4 在 ε = 64/255 的 Disinfo 为 100.0%，相对 VAJA 的 Diff 为 +15.6；ε = 32/255 的 X-risk Diff 为 −23.3。若干类别并不随 ε 增大而上升。
• 毒性与迁移： RealToxicityPrompts 上，无约束 ZO-SPSA 的 Perspective Any 在 InstructBLIP 为 64.0±1.1、LLaVA 为 60.1±0.4，高于表中括号内 VAJA；MiniGPT-4 为 54.1±0.6，低于括号内 66.0（Table 4）。MiniGPT-4 迁到 InstructBLIP 的 Perspective 毒性率为 64.18（Table 5）；摘要把该数称为 ASR。
• 作者的结论： 黑盒越狱在其所称的实际约束下可行，并暴露当前 LVLM 安全机制的弱点；把梯度计算换成梯度估计后计算复杂度下降。Table 6 中 ZO-SPSA 显存更低、平均优化时间更长。作者另指出大量前向和噪声梯度使优化耗时。结论称迁移不需要替代模型；迁移实验仍用一个 LVLM 生成图像再测另一个。