Jailbreaking vision-language models via multimodal reasoning

如何让有害视觉–语言查询更隐蔽，并同时利用推理与多模态反馈绕过 VLM 安全过滤。

• 场景：作者认为 VLM 已用于视觉问答、图像描述和文生图。文本与图像编码安全线索的方式不同，形成 modality gap；只在语言设置下安全的系统，配上某些图像时可能给出有害或违反政策的输出。
• 已有做法：作者称 LLM 越狱依赖提示变换、角色扮演或其他语言技巧；VLM 上还可改视觉骨干，例如把扰动混入图像。作者转述 BAP：对图像做小的、不可感知的改动可以提高 ASR。作者认为这类方法离线、扰动固定，没有利用模型的动态反馈。
• 作者的问题：如何自适应地利用推理和多模态反馈，使有害视觉–语言查询更隐蔽。
• 本文提出：用后训练的 Chain-of-Thought（CoT）提示构造隐蔽查询，具体实现为 ReAct 循环：联合改写提示，并按反馈迭代扰动图像。另提出利用 VLM 内部推理轨迹的安全评分，不依赖关键词过滤。作者称要保持文本与视觉的自然度及输出合理性，论文未给自然度指标。
• 威胁模型：
  • 目标：绕过安全过滤、提高 ASR，并保持输出合理性。
  • 知识：贡献列表称之为 black-box。使用的反馈是提示是否被拦截、违规类别，以及图像中违规内容的坐标。论文未写权重或梯度。
  • 能力：攻击者提交图像和文本；可多步改写提示，并只对标出的不安全区域做高斯模糊、DCT 滤波或重着色。实验中循环上限为 5，全部失败则用静态回退。
  • 受害系统：实验中为闭源 Gemini-2.0-Flash。可调安全过滤器设为 BLOCK NONE，拒答由其内置安全策略判定。

相关工作按论文第 2 节分成三组；对照基线在实验节列出。

• 视觉–语言模型：论文引 GPT-3 [2] 与 PaLM [3]，称 transformer 与大规模预训练改变了语言理解；VLM 在此之上联合视觉与文本，用于 VQA、图像描述和多模态推理。论文引 VLM-Guard [4]，称视觉与文本线索之间的 modality gap 会削弱只在文本 LLM 上学到的安全对齐。论文引 MSTS [5]，称不安全回答常常只在两种模态交互时出现。
• 越狱攻击：论文引综述 [6]，称 LLM 可通过提示工程或对齐利用绕过防护。论文引 [7][8]，称 VLM 上攻击者还可向视觉骨干注入对抗扰动。[8] 被引为利用视觉脆弱性越狱多模态大语言模型。论文引 BAP [1]：把不可感知噪声混入图像以逃避过滤。论文点名的区别只有这一处：BAP 的离线、固定扰动不能适应实时安全反馈。
• ReAct：ReAct [9]（Yao et al., 2022）把推理与行动耦合以改进决策。论文引 [10]，称先前有工作把 ReAct 用于防御，例如生成安全理由或提醒。论文把区别写在这里：将其转用于对抗测试，由推理解释安全反馈，由行动生成改写后的提示和扰动。
• 基线与数据：实验对照为 Vanilla Text、Static Prompt-Rewriting、ReAct Adaptive Text-Prompt Rewriting、Adaptive Image Noising only，以及二者合并。数据为论文称为安全偏好对齐数据集的 VLGuard [11] 与 SPA-VL [12]。

作者把本文定位为 Thought–Action–Observation 循环下的跨模态攻击：随 VLM 反馈同时改写提示并加噪，以区别于静态提示或静态扰动。

作者提出 ReAct 双策略：在同一 Thought–Action–Observation 循环里改写文本，并只对模型标出的不安全图像区域加噪。Fig. 1 把两条支路画成：图像被判不安全则按类别加噪，文本被判不安全则按类别改写，通过后再送最终回答。论文未描述额外训练；“后训练 CoT”在方法节落实为对已有 VLM 的多步提示。改写、分类和标区域都写成询问 VLM，论文未单列另一个攻击模型。

文本改写

• 输入与观察：先给原始不安全指令。再让模型判断改写后的查询会被 Blocked 还是 Allowed。若被拦截，归入八类之一：KeywordTrigger、ContextMismatch、PersonalViolation、HateSpeech、Criminal、PrivateHealth、Terrorism、UncertaintyHigh。
• 思考与行动：按违规类别把不安全指令分解成良性意图，再提出一条改写后的提示。正文给了改写例句，此处不复述。
• 停止：仍为 Blocked 就用更新后的推理重复；Allowed 则把该提示提交给 VLM。实验中固定最多 5 步。全部失败则用静态回退。

图像加噪

• 定位：让 VLM 找出会“违反安全政策”的内容；若判为不安全，给出类别和坐标。该段原文写 “list categories here”，未列出与文本八类对应的完整图像类别表。
• 只处理标出区域：高斯模糊用于一般暴力和仇恨符号；DCT 滤波用于皮肤/裸露，作者称遮盖的同时保留物体痕迹；重着色用于武器等物体，改变颜色并保留形状。作者在方法里用 finetune 描述这一多步调噪，不是训练模型。
• 停止：最多 5 步，或直到 VLM 不再把该图判为 unsafe，再与问题配对送入 VLM。Fig. 3 展示三种变换的原图与过滤后图像；作者称这些变换降低人类可感知性，并改变 VLM 所用特征。纯文本读不出图中数值。

静态回退

用少样本固定模板把不安全提示改成良性变体，不按 VLM 反馈调整。作者将其作为对照，称改写不如完整流程隐蔽，但比较点稳定。模板原文不复述。

输出如何标为不安全

• 两分：Factual Safety Score 询问模型对“该输出是 SAFE”的置信度，范围 0–100；Counterfactual Safety Score 询问同一输出不安全的置信度。作者称这是模型自评的正反两面。
• 间隔规则：事实分比反事实分高出超过 10 分才标 Safe，否则标 Unsafe。作者称该间隔用来降低自评不确定性和噪声；两边置信度接近时保守标为 Unsafe。
• 与拒答分开：提示被接受（非拒答）另记为文本安全绕过；图像侧另有图像安全绕过。Table 1 把主数字称为 ASR，论文未另给 ASR 公式。

实验设置

• 受害模型：只评测闭源 Gemini-2.0-Flash，经 Google Generative AI API。可调安全过滤器设为 BLOCK NONE，使所有提示都返回答案；拒答由内置安全策略判定。作者在同段写，更严拦截设置上的测试应当再做，以核对结果。
• 数据：VLGuard 有 1000 张图（442 张不安全、558 张安全）；安全图像各配一条无害文本和一条有害文本，共 1558 个图文对、5 个有害类别。SPA-VL 有 530 个图文对，一半有害、一半安全，6 个主要有害类别。论文未列出这些类别的名称，也未写重复次数。
• 变体：Original（原始图文）、Static Rewriting、Only Image Noising、Only ReAct Rewriting、ReAct & Noise。ReAct 上限为 5 步。
• 指标：Table 1 的 ASR，表注写越高越好。Fig. 5 为被接受前的尝试次数和 Text Safety Bypass Rate；Fig. 6 为 Image Safety Bypass。
• 评审：第 4 节写由模型自评，事实分须比反事实分高出超过 10 分才标 Safe。实验只运行了 Gemini-2.0-Flash，未另写评审模型。论文未报告与人工标注的一致性。
• 对照子集：表注把 SPA-VL Help 和 VLGuard Safe 子集当作对照，用来看改写和过滤是否影响本应保持安全的输出。

主结果

Gemini-2.0-Flash 的 ASR（Table 1；越高越好）：

Swipe horizontally to read the table

行名	Original	Static	仅图像加噪	仅 ReAct	ReAct+噪
SPA-VL Harm	10.57%	24.15%	13.96%	49.81%	52.08%
SPA-VL Help	6.42%	21.89%	10.19%	35.09%	32.83%
VLGuard (All)	18.80%	24.60%	17.88%	41.50%	41.30%
Text Unsafe	6.81%	15.41%	6.26%	32.80%	34.59%
Image Unsafe	33.94%	36.20%	32.58%	52.49%	49.77%
Safe	7.35%	5.56%	8.44%	7.17%	7.53%

• 作者称两种 ReAct 改写的 ASR 最高，并称全数据集上难以直接看出自适应加噪的效果。对照 Table 1，ReAct+噪并非每一行都高于仅 ReAct：SPA-VL Help、VLGuard (All)、Image Unsafe 上组合方法更低。
• 表注称组合策略在 SPA-VL Harm 和 VLGuard 不安全子集上 ASR 最高。可直接核对的是 SPA-VL Harm 一行，组合方法为该行最高。论文未说明 Text Unsafe、Image Unsafe、Safe 是否就是表注所说的 VLGuard 拆分；Image Unsafe 一行上，仅 ReAct 高于组合方法。
• 表注称 Help 与 Safe 对照用于确认安全输出不受改写和过滤影响。Safe 行五列都留在 Table 1 所示的个位数百分比。

提示被接受前的轮数（Fig. 5）

• 左图是提示被接受（非拒答）前的 ReAct 尝试次数分布，横轴为 0–5 与 R；右图是 Text Safety Bypass Rate 随尝试次数的变化，纵轴刻度为 0.0–1.0。子图为 SPA-VL Harm、SPA-VL Help、VLGuard。纯文本只留下轴刻度，读不出柱高。
• 作者称 VLGuard 与 SPA-VL Help 中多数尝试次数为 0；SPA-VL Harm 中多数为 1。作者称随后每次尝试都让提示更隐蔽，直到文本安全被绕过；若把迭代上限再提高，被拒提示会更少。论文未给超过 5 步的数字。
• 仍被拒的提示改用静态模板。作者称 VLM 会回答，但语义常常丢失，提示变得更良性、不够隐蔽。

图像过滤与绕过率（Fig. 6）

• 左图比较有无自适应图像过滤时、各伤害类别的 Image Safety Bypass；右图比较 dct filter、gaussian blur、image recoloring，并对照 Filter 与 No Filter。纵轴刻度为 0.0–1.0。类别名在纯文本中错位，不转写；柱高读不出。
• 作者称在给定提示下把加噪图与原图直接比较时，自适应加噪提高了图像安全绕过率。图注称过滤效果随伤害类型和变换策略变化。

流程示例

Fig. 2 与 Fig. 4 各给出图像过滤和提示改写的两轮示意。作者称这些多模态推理越狱绕过了 Gemini 的过滤系统。示例含具体请求，此处不复述。

其他消融与分析

• 迭代上限固定为 5；超过 5 步的 ASR 未报告。
• Safe/Unsafe 间隔固定为事实分高出超过 10 分；其他间隔未报告。
• 可调过滤器固定为 BLOCK NONE；更严设置的 ASR 未报告。
• 仅图像加噪相对 Original：VLGuard (All)、Text Unsafe、Image Unsafe 三行更低（Table 1）。
• ReAct+噪相对仅 ReAct：SPA-VL Help、VLGuard (All)、Image Unsafe 三行更低（Table 1）。

作者指出的局限与后续方向

• 防御需求：Conclusion（第 5 节）称，发现指出需要改进 VLM 在拦截不安全输出方面的防御。该节没有把某一设计选择写成方法缺陷，也没有列出后续实验。
• 专节：论文没有 Limitations、Discussion 或 Future Work 专节。实验节里“应在更严的可调过滤器设置上再测”是结果小节中的呼吁，不计入这里。

实验覆盖范围

• 被测模型为 Gemini-2.0-Flash，经 Google Generative AI API；可调安全过滤器设为 BLOCK NONE（第 4 节）。
• 数据为 VLGuard（1000 张图、1558 个图文对、5 个有害类别）和 SPA-VL（530 个图文对、一半有害一半安全、6 个有害类别）（第 4 节）。
• 对照为 Original、Static Rewriting、Only Image Noising、Only ReAct Rewriting、ReAct & Noise；ReAct 上限为 5 步（第 3–4 节，Table 1）。
• 输出由模型自评：事实分比反事实分高出超过 10 分才标 Safe（第 4 节）。论文未报告单独的攻击辅助模型、查询次数、重复次数，以及评审与人工的一致性。
• Victim Model 段写到更严 block 设置上的测试应当进行；正文未给出这些设置下的 ASR。

这是针对视觉–语言模型的黑盒越狱：用模型自己的拦截反馈，同时改写文本并局部改图像。

• 问题：作者认为图文两侧的安全线索编码方式不同，只在文本上对齐的系统遇到某些图像仍可能给出违反政策的输出。作者认为 BAP 一类固定图像扰动不能跟着实时反馈更新。
• 做法：ReAct 循环先问 VLM 提示会不会被拦截，并归入八个违规类别，再按类别改写成更良性的查询。图像侧由 VLM 标出违规区域和坐标，只在该区域做高斯模糊、DCT 滤波或重着色。最多 5 步；仍被拒则换静态模板。输出用同一模型的事实分与反事实分判定，事实分须高出超过 10 分才标 Safe。
• 主数字：受害模型只有 Gemini-2.0-Flash，过滤器设为 BLOCK NONE。Table 1 中 SPA-VL Harm 的 ASR，Original 为 10.57%，仅 ReAct 为 49.81%，ReAct 与加噪为 52.08%。VLGuard (All) 上仅 ReAct 为 41.50%，组合为 41.30%。Image Unsafe 一行上仅 ReAct 为 52.49%，组合为 49.77%。
• 作者的读法：作者称 ReAct 改写的 ASR 最高，组合策略在 SPA-VL Harm 与 VLGuard 不安全子集上最高；全数据集上难以直接看出加噪的效果。静态回退能让 VLM 作答，但作者称语义常常丢失。Conclusion 称，这类隐蔽改写加上图像加噪，说明 VLM 拦截不安全输出仍需要更好的防御。