针对大型视觉语言模型的多轮自适应提示攻击

如何在 LVLM 上做多轮越狱，使文本与视觉的有害线索逐轮加强，而不是被一次放入的恶意图像触发更保守的防御。

• 场景：作者称，相对单轮攻击，多轮越狱更有效也更难防，因为有害内容是逐轮引入而非一次注入。把该路线扩到能同时处理语言和视觉的 LVLM，以及让两种模态互相加强而非互相抵消，作者认为仍少有研究。
• 现有做法的不足：作者称，护栏变复杂后，单轮 LVLM 攻击对安全对齐模型常常失败（第 4.2 节）。直接套用多轮 LLM 方法，或朴素加上与查询相关的图像，会因恶意信息触发防御，使响应更保守。
• 观察：Figure 1 在 LLaVA-V1.6-Mistral-7B 上用同一任务对比三种输入。图中标注：仅文本的 jailbreak score 为 1、3、3，失败；文本加相关图像为 3、3、3，失败；组合输入为 1、3、10，并标为越狱。附录 A 给了完整对话，此处不复述。图中评审模型论文未说明。Table 4 被作者用来核对这一现象。
• 提出的方法：作者提出 MAPA（multi-turn adaptive prompting attack）。每轮交替文本–视觉动作，取恶意程度最高的响应；跨轮用回退式调整改变攻击轨迹，逐步提高响应的恶意程度。度量是响应与越狱目标的语义相关度。
• 威胁模型：
  • 目标：给定恶意任务 t，构造 text–vision 提示序列，使某一轮响应有害且与 t 相关，此前各轮不成功，并在至多 L 轮内尽量减少成功轮数（式 2）。
  • 受害系统：被查询的 LVLM。实验为三个开源模型与商业 GPT-4o-mini。
  • 能力：每轮可提交图像和/或文本。Attacker LLM 产文本，Connector LLM 改写并给出图像提示，Stable Diffusion 生成图像。可用历史响应决定前进、重生成或回退；一次失败后可换攻击链再试。
  • 知识：方法使用模型输出和语义相关度。论文未写 MAPA 使用梯度或内部参数，也未把它标成 white-box、black-box 或 gray-box。相关工作里的结构类攻击被作者称为可打 black-boxed LVLM，扰动类攻击被写成需要 white-box。

单轮 LVLM 越狱

• 扰动类（Qi 等，2024；Niu 等，2024；Wang 等，2024）——经 white-box 访问优化对抗扰动。论文称该优化计算重，且在无法访问模型内部时不实用。
• 结构类（Gong 等，2025；Ma 等，2024；Wang 等，2024）——不需梯度或内部参数，作者称可直接攻击 black-boxed LVLM。
• VRP 与 MML——VRP 让模型扮演图像中的高风险角色，并回应排版里的有害请求；MML 用镜像把有害请求放进图像，再用文本模板让模型解密。作者称护栏变复杂后，现有方法对安全对齐 LVLM 常常失败，并指向第 4.2 节。该节 Table 1 并非一律很低，例如 VRP 在 LLaVA 为 66.67%、在 Qwen 为 5.00%，MML 在 Qwen 为 65.00%、在 Llama 为 00.00%。

多轮 LLM 越狱

• CoA（Yang 等，2024）——红队 LLM 设计攻击链，并按对话细化后续提示。MAPA 的策略选择作者称与之相似，但扩展了记忆与回退。
• ActorAttack（Ren 等，2024）——用一组通用攻击线索生成更多攻击路径。
• FootInTheDoor（Weng 等，2025）——受 foot-in-the-door 效应启发，随对话提高查询的恶意程度。论文称上述工作多沿预生成攻击序列推进，或依赖性质相近的提示（另引 Zhou 与 Arel，2025），这可能妨碍越狱效果。

基线与基准

• 基线方法：多轮为 CoA、ActorAttack、FootInTheDoor；单轮为 VRP、MML。HarmBench 上另有 CoA+visual(SD) 与 CoA+visual(UltraBreak)。红队模型与 MAPA 的攻击器、连接器同为 Mistral-Small-3-24B-Instruct-2501。
• 基准：HarmBench、JailbreakBench、AdvBench、RedTeam-2K。抽样规模见第 4 问。

作者把本文定位为第一次尝试处理前述两个缺口，并称据其所知此前没有提出过有力的多轮 LVLM 越狱。结论中作者又称，据其所知这是第一项展示部分常用 LVLM 在跨模态多轮对话中安全弱点的工作。

MAPA 分两层：每轮在三种文本–视觉动作中选出语义相关度最高的响应；若该轮未成功，再按相关度前进、重生成或回退，使恶意程度逐步升高。攻击链在 Turn 0 生成，之后才进入这两层。

任务形式化

• 第 i 轮提示为 Pi={QVi, QTi}，分别为图像与文本。受害模型 T 的响应依赖全部历史： ri=T(P1∥ r1∥⋯∥ Pi)
• 评审 J 可以是人或 Judge LLM。J(ri, t)=1 表示响应有害且与任务 t 相关，否则为 0。目标是在至多 L 轮内成功，并尽量减少成功轮数： (P1⋆,…,Pi⋆⋆)=argmini≤ L{(P1,…,Pi)∣ J(ri,t)=1, J(rj,t)=0 ∀ j<i}
• 作者由此提出两个问题：恶意内容如何逐轮注入；一种模态的有害线索如何与另一种对齐并加强，而不是互相抵消。

每轮交替攻击动作

• 候选从哪来：Attacker LLM 先生成未连接文本 uc QT。Connector LLM 按 Chain-of-Thought 找出其中的恶意概念，写出图像生成提示，并把这些概念替换掉，得到连接文本 c QT。Stable Diffusion 再生成图像 c QV。作者称这保留该轮的对抗意图，同时把有害性从文本转到视觉，以避开更强的文本防御。附录 D 给出完整提示词，此处不列其中的句式、字数和用词约束。
• 三种动作：Action 1 只有 uc QT，覆盖“加图像可能损害攻击”；Action 2 是 uc QT 加 c QV，覆盖两模态各自加强、互不矛盾；Action 3 是 c QT 加 c QV，覆盖只有对齐的图文才加强。
• 贪心选择：三个动作都查询受害模型，得到三个响应。任一动作被 J 判为 1，则该次尝试成功。否则计算响应与任务编码表示的余弦相似度 SEM(r, t)，选最高者，保存对应提示与响应。论文引用 [9]，正文未写出编码器名称。流程为附录 B.1 的 Algorithm 1。作者称攻击链生成类似已有工作，差别是每轮从多条候选里换用最有效动作。

跨轮调整轨迹

• 轮与迭代：最终攻击序列只保留该轮最优迭代的提示；构造过程中，同一轮 i 可以有多次迭代 s。论文预设最大迭代数和最大轮数，避免在两轮之间循环。同一轮在一串调整里只允许再生一次，不能连续再生两次。实验上限见第 4 问。
• 三种策略：Advance 表示当前轮进展够，i 加 1。Regen 表示当前轮无进展，重生成提示与动作，s 加 1。Back 表示上一轮看似有效、但本轮新信息说明并非如此，于是 i 减 1 且 s 置 0。
• 触发条件：比较含历史的 SEM 与不含历史的 SEM′。Advance：当前含历史 SEM 高于上一轮，且高于自身的 SEM′。Back：含历史 SEM 低于上一轮，但 SEM′ 高于上一轮。其余走 Regen，包括恶意程度上升但不渐进，或两种 SEM 都低于上一轮。若下一次再生更差，只把 s 加 1，仍保留原来的动作和响应。
• 回写攻击器：Advance 把当前响应拼进历史；Regen 不加入新信息；Back 从历史删去上一轮最近响应。附录 B.2 的 Algorithm 2 给出细节。作者称相对 CoA 增加两点：记住再生后的输入–响应对，以免迭代造成退化；允许快速回退，去掉攻击链中的无效部分。

失败后的 Reflection

• 作者称，Turn 0 的攻击链若差，会限制后续 MAPA。因此把 LLM 当作优化器，让攻击器在同一任务内从失败策略学习，再设计下一条链。
• 每个恶意任务最多尝试三次，或直到成功。反思时喂入失败策略、对应攻击链和受害模型的最终响应。不带反思的变体只尝试一次。附录 D 的 Figure 9 与 Figure 10 分别是带反思和不带反思的指令。

实验设置

• 受害模型：LLaVA-V1.6-Mistral-7B、Qwen2.5-VL-7B-Instruct、Llama-3.2-Vision-11B-Instruct，以及商业 GPT-4o-mini。
• 数据：按 [34] 的协议，HarmBench 从 6 类各随机抽 10 条行为，共 60 个任务；JailbreakBench 从 10 类各抽 6 条，共 60 个任务。AdvBench 与 RedTeam-2K 各随机抽 100 个任务。
• 基线：多轮为 CoA、ActorAttack、FootInTheDoor；单轮为 VRP、MML。HarmBench 另有 CoA+visual(SD) 与 CoA+visual(UltraBreak)。红队代理统一为 Mistral-Small-3-24B-Instruct-2501，不微调，也未使用论文所称的 SOTA LLM。基线保持其代码中的默认超参。
• 指标与评审：ASR 为成功攻击占任务集的比例。全部方法用 HarmBench judge 判定成功；论文称该评审是微调的 Llama-2-13B，用于分类安全违规。Table 3 另设 Advanced Judge，由 GPT-4o-mini 自己打分。轨迹选择用的 SEM 不是这条 ASR 的判定器。
• 生成与预算：红队 temperature 0.3、top_p 0.7；受害模型 temperature 0、top_p 0。受害模型最多 300 token，红队最多 2000。各方法提出的对抗查询数设为 5。MAPA 的（迭代, 轮, 反思尝试）上限为（10, 5, 3）。Stable Diffusion 为 20 步、guidance scale 5.5、512×512。
• 论文未写明：主结果表的重复次数或随机种子；Table 3 使用哪一个基准；Figure 1 示例分数由哪个评审给出；SEM 编码器的具体模型名。

主结果

据 Table 1，HarmBench 上的 ASR（%）。简写：LLaVA 为 LLaVA-V1.6-Mistral-7B，Qwen 为 Qwen2.5-VL-7B-Instruct，Llama 为 Llama-3.2-Vision-11B-Instruct。GPT-4o-mini 不在此表。

Swipe horizontally to read the table

方法	LLaVA	Qwen	Llama	平均
VRP	66.67	5.00	65.00	45.56
MML	20.00	65.00	00.00	28.33
CoA	75.00	73.33	63.33	70.55
CoA+visual(SD)	68.33	71.67	31.67	57.22
CoA+visual(UltraBreak)	76.67	66.67	58.33	67.11
ActorAttack	25.00	25.00	31.67	27.22
FootInTheDoor	66.66	41.67	68.33	58.89
MAPA	98.33	100.00	91.66	96.66

• 作者称两种 CoA 视觉变体的平均 ASR 低于原始 CoA，并据此支持“朴素加入视觉会降低攻击表现”。作者另称 MAPA 平均高出 CoA 26.11%。摘要写相对已有方法提高 15-30%；引言把该范围写在 HarmBench 与 JailbreakBench 上。
• Table 2 只比较多轮基线与 MAPA（JailbreakBench 另列出单轮）。MAPA 平均 ASR：JailbreakBench 91.11%，AdvBench 96.11%，RedTeam-2K 93.89%。作者称相对次优平均分别高出 23.33%、14.45% 与 32.22%。VRP、MML 在 JailbreakBench 三模型均为 00.00%；AdvBench 与 RedTeam-2K 未列单轮结果。作者将 ActorAttack 较低归因于围绕攻击线索提教育性问题，响应可能有害但不直接回应恶意请求。
• Table 3 攻击 GPT-4o-mini，论文未说明基准。Default Judge 下 CoA、ActorAttack、FootInTheDoor、MAPA 为 53.33%、45.76%、41.66%、88.33%。Advanced Judge 下为 73.33%、64.40%、60.00%、93.33%；表中 improvement 行写为 +20.00、+18.24、+18.34、+5.00。作者称即便 Default Judge 下的 MAPA，也高于 Advanced Judge 下的最高基线。

消融：动作、策略与 Reflection

• 测了什么：Table 4 为效率起见，从 HarmBench 每类随机抽 5 条，共 30 个任务。跨轮变体包括去掉 Reflection、用三次重复代替 Reflection、去掉策略调整。轮内以 MAPA w/o Reflection 为对照，分别只用 Action 1、2 或 3；另有带 Reflection 的 text-only MAPA。
• 结果：默认平均 ASR 为 88.89%（LLaVA 93.33，Qwen 86.66，Llama 86.67）。去掉 Reflection 为 80.00%，表中降幅 -8.89%；其中 Qwen 为 0，LLaVA -10.00，Llama -16.67。三次重复但不反思平均 84.44%（-4.45%），Qwen 仍为 0。去掉策略调整平均 76.66%（-12.23%），Llama 从 86.67 到 60.00。相对 w/o Reflection，单独 Action 1/2/3 平均为 72.22%、62.22%、47.78%，表中降幅 -7.78%、-17.78%、-32.22%。text-only MAPA 平均 82.22%，表中相对默认 -6.67%；Qwen 那一格写为 -6.66。
• 作者解读：作者称失败经验有助于改写攻击链，单纯重复不如 Reflection。作者称只走 Action 3 最差，因为它不能清楚表达原请求；保留未连接文本并加图像的 Action 2 高于 Action 3。作者称 Llama 对含恶意语义的图像更抗拒，因此在该模型上 Action 1 高于 Action 2 和 3，并据此重申朴素加视觉会使多轮越狱更容易被防御。论文未解释 Qwen 上去掉 Reflection 降幅为 0。

查询预算、防御与动作分布

• 固定查询预算：Table 5 在 HarmBench(sampled) 上，以 MAPA 消耗的目标查询总数为预算，基线重复运行直到用尽，再报 ASR 与平均目标查询数。MAPA 为 LLaVA 98.33%（#17.88）、Qwen 100.00%（#16.47）、Llama 91.66%（#34.30）。同表 CoA 为 83.33%（#20.17）、86.66%（#20.00）、85.00%（#34.33）；ActorAttack 为 65.00%（#22.47）、48.33%（#18.48）、71.67%（#35.43）；FootInTheDoor 为 75.00%（#24.47）、50.00%（#26.87）、85.00%（#34.50）。作者称可比预算下 MAPA 高于这些多轮基线。该表 ASR 与 Table 1 的单次协议不同。论文未在 Table 5 重申 sampled 的条数。
• 动作分布：作者称 Figure 3 中，含图像的 Action 2 与 3 主导 LLaVA 与 Qwen 的成功越狱，Action 3 多出现在 Turn 1，Turn 2–3 再由 Action 2 与 3 推动。图例写 Uncorrected Text 与 Corrected Text，正文写 Unconnected 与 Connected。转换文本中的柱高对不齐，不摘逐柱数字。
• 防御：Table 6 在 HarmBench(sampled) 上重做攻击。AdaShield-Static 为 LLaVA 78.33%、Qwen 58.33%、Llama 71.66%、平均 69.44%。Llama-Guard-3-Vision-11B 为 78.33%、78.33%、68.33%、平均 75.00%。作者称相对未防御设置下降 19.45% 与 13.89%。Table 4 默认平均为 88.89%，与这两个差值相符，但 Table 6 未单列对照行。论文写这是初步稳健性检查，未针对具体防御设计自适应攻击。

其他消融与分析

• Table 7，HarmBench(sampled)，红队 temperature 默认 0.3：-20% 与 +20% 时，平均 ASR 变化为 +4.45 与 +3.33。
• 受害模型 temperature 从 0.0 改为 0.3：平均变化 +4.44（Llama 一格为 +6.66）。
• max_token 红队默认 2000：-20%/+20% 的平均变化为 +0.00 与 -1.12。
• max_token 受害模型默认 300：-33%/+33% 的平均变化均为 +1.11。
• max_turn 默认 5：-20%/+20% 的平均变化为 +1.11 与 +2.22；Llama 的 -20% 一格为 -0.01。
• Table 8，HarmBench(sampled) 成功/失败平均 SEM：Llama 0.6738/0.5773，LLaVA 0.6740/0.6572，Qwen 0.6735/0.6490。作者称成功样本更高。附录 C 对 LLaVA 各抽 5 次成功与失败，作者称成功尝试上升更明显；Figure 8 的曲线读数在转换文本中不可可靠摘录。

作者指出的局限与后续方向

• 计算开销：作者在附录 F 写 MAPA 有不可忽略的计算开销，可能限制其在资源受限设置中的适用性。
• 更大商业模型：作者写评估在有代表性的开源 LVLM 上进行，缺少对更大商业模型的评估，发现的泛化仍是开放问题。原文说的是 larger commercial models；第 4.2 节另有 GPT-4o-mini，附录 F 没有把它算作该项评估。
• 自适应攻击：作者写对两种有代表性的防御做了初步稳健性检查，但没有针对具体已部署防御设计自适应攻击，并称那会给出更完整的威胁模型。
• 后续方向：作者写把上述几点留作未来工作（附录 F）。论文其他章节没有另列 Future Work 清单。

实验覆盖范围

• 受害模型为 LLaVA-V1.6-Mistral-7B、Qwen2.5-VL-7B-Instruct、Llama-3.2-Vision-11B-Instruct 与 GPT-4o-mini，共 4 个（第 4.1 节）。
• 基准为 HarmBench 与 JailbreakBench（各 60 个任务）、AdvBench 与 RedTeam-2K（各随机 100 个任务）。HarmBench 为 6 类各 10 条，JailbreakBench 为 10 类各 6 条（第 4.1 节）。
• 对照包括 CoA、ActorAttack、FootInTheDoor、VRP、MML；HarmBench 另有 CoA+visual(SD) 与 CoA+visual(UltraBreak)（Table 1、Table 2）。红队模型为 Mistral-Small-3-24B-Instruct-2501。
• 防御实验为 AdaShield-Static 与 Llama-Guard-3-Vision-11B，标注为 HarmBench(sampled)（Table 6）。消融在每类 5 条、共 30 个 HarmBench 任务上进行（Table 4）。正式成功判定为 HarmBench judge（微调 Llama-2-13B）；Table 3 另用 GPT-4o-mini 作 Advanced Judge。
• 流水线上限为迭代 10、轮 5、反思尝试 3（第 4.1 节）。论文未报告主实验重复次数，也未说明 Table 3 的基准；Table 5–7 的 HarmBench(sampled) 未再次写明条数。

MAPA 是面向 LVLM 的多轮自适应提示攻击。作者要处理的缺口是：恶意视觉如何逐轮加入，以及文本与视觉如何互相加强；他们报告，一次放入过强恶意图像更容易触发安全对齐模型的保守响应。

• 做法：Attacker LLM 生成未连接文本，Connector LLM 把部分恶意概念转到图像提示，Stable Diffusion 作图。每轮在“仅未连接文本”“未连接文本加图像”“对齐文本加图像”中，按响应与任务的余弦语义相关度贪心选取。未成功时，比较含历史与不含历史的相关度，决定前进、重生成或回退。每个任务最多尝试三次，失败链会喂回攻击器。正式成功由 HarmBench judge 判定，而不是由 SEM 判定。
• HarmBench：三个开源 LVLM 上 MAPA 平均 ASR 为 96.66%；Qwen2.5-VL-7B-Instruct 为 100.00%，Llama-3.2-Vision-11B-Instruct 为 91.66%（Table 1）。作者称平均高出 CoA 26.11%，并称给 CoA 朴素加视觉后平均 ASR 下降。
• 其他基准：JailbreakBench、AdvBench、RedTeam-2K 上，MAPA 三模型平均为 91.11%、96.11%、93.89%（Table 2）。作者称相对同表次优平均高出 23.33%、14.45% 与 32.22%。VRP 与 MML 在 JailbreakBench 为 00.00%。
• GPT-4o-mini：Table 3 未写基准。Default Judge 下 MAPA 为 88.33%，同表最高基线 CoA 为 53.33%；Advanced Judge 下 MAPA 为 93.33%，表中 improvement 为 +5.00。
• 其他：30 个 HarmBench 任务上，去掉策略调整的平均 ASR 从 88.89% 到 76.66%；只走对齐文本加图像时平均 47.78%（Table 4）。两种防御下，HarmBench(sampled) 平均为 69.44% 与 75.00%（Table 6）。

作者在结论中称，由语义相关度驱动的动作可以在每轮选出更恶意的响应，并跨轮放大；他们强调多轮攻击里用视觉模态隐蔽注入有害信息。作者称据其所知，这是第一项展示部分常用 LVLM 在跨模态多轮对话中安全弱点的工作，目的是推动更现实恶意设置下的安全对齐。摘要写 ASR 提高 15-30%；引言把该范围写在 HarmBench 与 JailbreakBench。附录 F 把计算开销、更大商业模型评估和针对已部署防御的自适应攻击列为后续事项。