Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.03416· Xiangdong Hu, Yangyang Jiang, Qin Hu, Xiaojun Jia·Indexed by this site · Originally published

GAMBIT: a gamified jailbreak framework for multimodal large models

GAMBIT: A Gamified Jailbreak Framework for Multimodal Large Language Models

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

GAMBIT用拼图与竞赛场景攻击MLLM，HADES上Gemini 2.5 Flash的Pass@5 ASR为92.13%。

Threat model黑盒查询下攻击MLLM。攻击者提交打乱后的拼图图像和带遮蔽关键词的文本，并在提示中加入对手与计分压力，使安全过滤不拒绝且响应满足有害意图。

Questions
多模态越狱多靠加重修改后的视觉任务，作者称推理模型仍可能在认知阶段拒绝。GAMBIT要利用模型自己的推理激励，使其为赢得游戏而重构并回答有害查询。
Methods
GAMBIT把有害图切成网格，按关键词哈希打乱，文本关键词改为占位符，再包进带对手与落后计分的智力竞赛。基线被拒后，辅助模型变异角色、情境和沟通方式，预算T=5。
Experiments and results
HADES上以Llama-Guard-3判Pass@5。GAMBIT在Gemini 2.5 Flash为92.13%，QvQ-Max为91.20%，GPT-4o为85.87%，均高于同表已报告基线；OpenAI o4-mini为31.33%。
Limitations and future work
作者指出依赖模型愿玩，token高于单次攻击，且评审只用Llama-Guard-3。实验覆盖8个MLLM与HADES；防御只报告GPT-4o上的AdaShield-S。
Experimental setupQwen2.5-VL、InternVL 2.5 et al. · HADES · ASR、Pass@5
Threat model
黑盒查询下攻击MLLM。攻击者提交打乱后的拼图图像和带遮蔽关键词的文本，并在提示中加入对手与计分压力，使安全过滤不拒绝且响应满足有害意图。主实验搜索预算T=5，成功按Pass@5计。
Evaluated models
Qwen2.5-VLInternVL 2.5GPT-4oGrok-2-visionGLM-4.1V-thinkingQvQ-MaxGemini 2.5 FlashOpenAI o4-mini
Benchmarks
HADES
Metrics
ASRPass@5
AI summaryThe researchers propose GAMBIT, a gamified jailbreak framework for multimodal large models, which reconstructs malicious intent and answers by decomposing and reassembling harmful visual semantics and constructing gamified scenarios, leading the model to pursue game goals. The paper states that the framework achieves an attack success rate of 92.13% on Gemini 2.5 Flash, 91.20% on QvQ-MAX, and 85.87% on GPT-4o, higher than baseline methods. The authors note that previous attacks mostly focused on increasing the complexity of the modified visual task itself and did not explicitly exploit the model's own reasoning incentives, so they performed worse on reasoning models with chain of thought than on non-reasoning models.

The researchers propose GAMBIT, a gamified jailbreak framework for multimodal large models, which reconstructs malicious intent and answers by decomposing and reassembling harmful visual semantics and constructing gamified scenarios, leading the model to pursue game goals. The paper states that the framework achieves an attack success rate of 92.13% on Gemini 2.5 Flash, 91.20% on QvQ-MAX, and 85.87% on GPT-4o, higher than baseline methods. The authors note that previous attacks mostly focused on increasing the complexity of the modified visual task itself and did not explicitly exploit the model's own reasoning incentives, so they performed worse on reasoning models with chain of thought than on non-reasoning models.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者要补的缺口是：现有攻击不利用推理激励，在推理模型上往往更弱。

    现有多模态越狱主要加重视觉任务复杂度，却不利用模型自己的推理激励，作者称其在带思维链的推理模型上往往弱于非推理模型。

    • 场景：作者称 MLLM 已进入真实交互与决策，安全失败的影响被放大。RLHF、Constitutional AI 等对齐主要针对显式有害模式或静态视觉对抗样本。
    • 不足：作者称加长推理（改图像或藏线索）能降低安全注意，但模型仍是被改视觉任务的被动求解者；感知层绕过后，推理模型仍可能在认知阶段拒绝。
    • 假设：若模型能像人一样思考，就可以影响其认知阶段决策，使其主动完成越狱。作者假设安全过滤对认知负荷敏感，高复杂度游戏化状态会压低其敏感度。
    • 做法：提出 GAMBIT（Gamified Adversarial Multimodal Breakout via Instructional Traps）：拆解并重排有害视觉语义，再构造竞赛场景，驱动模型探索、重构意图并作答。
    • 威胁模型：
      • 目标：找到图像–提示词对，使安全过滤 Fs 为 0，且评审 J 判定响应满足有害意图 H。
      • 知识：自适应搜索按 black-box 讨论，不使用梯度或内部状态；失败时读取目标模型的拒绝反馈。
      • 能力：攻击者构造图像与文本，并在提示中写入游戏状态。论文称标准 API 多为单轮、无状态，故用提示词做伪强化，而不是真正的强化学习。
      • 受害系统：带安全对齐的多模态模型 M，输入为图像与文本提示。

  2. What related research exists?

    作者把GAMBIT放在视觉混淆之外，用竞赛参与改写认知阶段决策。

    作者按文本越狱、多模态越狱、优化与游戏化三条线定位本文。

    文本越狱

    • 角色扮演：Shen 等人（2023）的 DAN、AIM、Developer Mode 用角色扮演绕过限制。
    • 自动搜索：GCG（Zou 等人，2023）、PAIR（Chao 等人，2023）、AutoDAN（Liu 等人，2024）用梯度或迭代寻找对抗后缀；Anil 等人（2024）研究 many-shot，Shah 等人（2023）利用 persona。
    • 综述：Raheja 等人（2024）、Wang 等人（2024a；2025a）综述红队与推理模型安全。论文未与 GAMBIT 逐篇对比。

    多模态越狱

    • 视觉混淆：Qi 等人（2023）用视觉噪声干扰对齐；VisCRA（Sima 等人，2025）走视觉链式推理并利用 OCR 弱点；HADES（Li 等人，2024）用字体与视觉隐喻；SI-Attack（Zhao 等人，2025）用打乱不一致性；FigStep（Gong 等人，2023）用字体视觉提示。
    • 论文的批评：作者称上述方法大多聚焦视觉混淆。引言还把 Niu 等人（2024）、Jia 等人（2025）、Luo 等人（2024）归入同类，并称改图像（Zhao 等人，2025）或藏线索（Miao 等人，2025）仍让模型被动求解，在强推理 MLLM 上往往更弱。

    优化与游戏化

    • CL-GSO（Huang 等人，2025）：用遗传算法搜索 Role、Content Support、Context、Communication Skills。作者称 black-box 下单一全局最优难以定义，故只在基线失败后改编角色、情境与沟通方式，并把 Context 收成游戏化场景。
    • 心流：Csikszentmihalyi（1990）与 Deterding 等人（2011）。作者称首次把 gamified flow 用于对 MLLM 的对抗攻击。

    基线与基准

    • 攻击基线：HADES、VisCRA、SI-Attack。SI-Attack 还用基于查询的 black-box 优化挑选打乱输入。
    • 基准：HADES，750 对指令–图像，Violence、Financial、Privacy、Self-Harm、Animals 各 150。

    作者把 GAMBIT 放在延长推理之外：用竞赛参与改写认知阶段决策，而不是只做视觉混淆。

  3. How does the paper address this problem?

    GAMBIT先打乱有害图文并包进竞赛，被拒后才搜索提示组件。

    GAMBIT 先把有害图文打成可重构的拼图，再包进智力竞赛；只有基线被拒，才改提示词的角色、情境和沟通方式。

    问题设定

    • 判定：M 把图像 I 与提示 P 映到响应 R。Fs 为 1 表示拒绝、0 表示遵从。攻击要 Fs=0 且 J(R,H)=1。
    • 假设：Fs 对 (Iadv, Padv) 带来的认知负荷敏感；高复杂度游戏化状态 Sg 会压低敏感度。
    • 资源解释：作者给出概念模型，不声称是精确概率。安全余量为任务占用之后所剩，Rsafety=Rtotal−Rtask(x)；维持安全的可能性写成 sigmoid，P(Safe|x)=σ(Rtotal−Rtask(x)−τ)。对齐被写成余量须超过阈值 τ。拼图与竞赛被设计成增大 R_task。

    模块一：拼图式多模态编码

    • 图像：有害图按光栅顺序切成 N×N 块，置换种子来自关键词 K 的哈希，再拼回 Ipuzzle。块内局部保留，整体轮廓被打断。
    • 文本：关键词换成占位符，要求模型补回，以增加一次文本重构。附录 A.1 给出完整提示词。
    • 网格：作者取 N=4。称 2×2 已有增益，并给出 GPT-4o、Self-Harm 上 +13.34% 的例子；8×8 可能超出推理范围，导致幻觉或无法遵守游戏规则。

    模块二：游戏化场景

    • 框架：交互被写成 Intelligence Competition。作者援引心流：高挑战、高技能任务把计算分给任务执行，安全检查分到的资源更少。
    • 伪强化：论文称 API 通常单轮、无状态，不能做真正强化学习，于是注入表示对手领先的游戏状态，使推理盯住翻盘。
    • 结构：系统提示分角色设定、规则说明、目标激励。附录 A.1 与 Figure 5–7 给出案例，此处不复述措辞、禁用词或句式。

    模块三：提示词组件自适应搜索

    • 触发：先固定模块二的基线。仅当 Fs=1，辅助模型按遗传式更新改 Role、Context、Communication Skills。预算 T=5，超出记为高敏感失败。附录 A.6 写明辅助模型为 GPT-4o。
    • 空间：角色含领域专家、权威组织、多数、普通人；情境含威胁、群体压力、虚拟环境；沟通方式含鼓励、负面干预、诱导、铺垫、统一立场。不改拼图规则与问题本身。
    • 作者的理由：black-box 下输出随机、对表面形式敏感，全局最优说不清；任务复杂度与意图隐蔽是主因，角色与文风是次因。附录 Figure 9 用加长提示说明长度即可改变拒绝，故搜索是限额启发式，不是最优保证。

  4. What experiments did the paper conduct?

    HADES上8个MLLM的Pass@5中，Gemini 2.5 Flash为92.13%，o4-mini为31.33%。

    实验设置

    • 被测模型：非推理为 Qwen2.5-VL、InternVL 2.5、GPT-4o、Grok-2-vision；推理为 GLM-4.1V-thinking、QvQ-Max、Gemini 2.5 Flash、OpenAI o4-mini。共 8 个。
    • 基准：HADES，750 对指令–图像，五类各 150。
    • 基线：HADES、VisCRA、SI-Attack。方法与基线（适用时）查询上限 T=5，5 次内未引出有害响应记失败。
    • 指标：ASR，Pass@5。每样本跑 5 次，任一次有害即成功。
    • 评审：Llama-Guard-3-8B，分为 Safe 或 Unsafe。论文未写数值阈值，实验节也未报告与人工的一致率。
    • 运行：专有模型走官方 API，开源模型本地推理（8×A100）。自适应搜索的辅助模型为 GPT-4o，它同时也是被测模型。论文未报告采样温度。

    主结果

    下表为 Table 1–2 的 ALL 行：HADES 五类平均、Pass@5、Llama-Guard-3，单位 %。表中 “–” 写为未报告。

    Swipe horizontally to read the table

    模型HADESVisCRASI-AttackGAMBIT
    Qwen2.5-VL33.8779.7348.0091.33
    InternVL 2.522.0061.2053.6088.40
    GPT-4o18.9356.6049.6085.87
    Grok-2-vision45.60未报告52.4091.07
    GLM-4.1V-thinking55.73未报告54.5389.47
    QvQ-Max35.6066.2747.8791.20
    Gemini 2.5 Flash14.8066.0062.1392.13
    OpenAI o4-mini0.6711.739.3331.33
    • 非推理模型：作者称游戏化上下文绕过商用模型的安全过滤，并点名 GPT-4o 上最强基线为 VisCRA。数字见表，此处不重复。
    • 推理模型：第 4.3 节以 Gemini 2.5 Flash 为例，称思维链把计算集中在程序步骤，游戏状态成为竞争目标，有害输出被当成完成任务的一步。表中 OpenAI o4-mini 一行远低于其余 GAMBIT，作者在该节未讨论这一行。
    • 类别：Table 1–2 中 Animals 的 GAMBIT 低于同模型其他类，如 GPT-4o 64.67%、Gemini 2.5 Flash 80.67%。作者未在主结果段解释该差距。

    模块消融

    • 设置：Table 3，GPT-4o，Self-Harm 与 Animals。None 均为 0.00%。M1 为拼图编码，M2 为游戏化场景，M3 为自适应搜索。
    • 结果：Self-Harm 依次为 40.67%、69.33%、88.00%；Animals 为 14.67%、37.33%、64.67%。
    • 作者解读：三模块都需要，游戏化场景是单步增益最大的一块；作者称提升来自认知负荷，而不只是提示更长。Figure 3 中 Self-Harm 从初始 64.67% 到 20 次搜索后 94.00%。脚注称 20 次只为画收益曲线，主实验仍为 T=5。

    对 AdaShield-S

    • 设置：Table 7，GPT-4o，Privacy、Financial、Violence。防御在回答前要求检查图像是否含有害内容。
    • 结果：无防御为 95.33%、92.00%、92.00%；有防御为 92.00%、88.67%、82.67%。
    • 作者解读：作者称各类降幅不到 10 个点，输入级提示防御不能稳定挡住 GAMBIT。

    迁移

    • 设置：Table 8。GPT-4o 上自适应搜索得到的样本，不改动地迁到另三个模型，只报 Self-Harm 与 Animals。
    • 结果：Gemini 2.5 Flash 为 93.33% / 82.67%；Grok-2-vision 为 94.00% / 87.33%；Qwen2.5-VL 为 95.33% / 92.67%。
    • 作者解读：作者称多数超过 90%，并把该弱点看成跨架构共有，而非绑在某一视觉编码器上。Animals 的前两格低于 90%。

    其他消融与分析

    • 网格（Table 4）：GPT-4o 的 Privacy 为 1×1 81.33%、2×2 91.33%、4×4 95.33%。同表 Animals 为 40.00%、71.33%、64.67%；OpenAI o4-mini 的 Violence 为 11.33%、42.67%、36.00%，Financial 为 19.33%、36.00%、28.67%。作者称 4×4 大体最高，Financial 在 2×2 已很高。
    • 关键词（Table 5）：隐藏为 Self-Harm 75.33%、Animals 42.00%；不隐藏为 88.00%、64.67%。论文未标明模型。作者称重构关键词有时妨碍跟随有害指令。
    • 提示策略（Table 6，无 M3）：GAMBIT 为 69.33% / 37.33%，Question-Based 为 40.67% / 14.67%，DAN 为 8.00% / 2.67%，AIM 为 10.67% / 11.33%。论文未标明模型。
    • 失败（附录 A.4）：约 15% 的失败是视觉重构失败，8×8 最常见；其余为顽固拒绝，作者特别提到 OpenAI o4-mini 上的 Self-Harm。

  5. What are some points that can be further explored?

    作者指出方法依赖愿玩、token更高，且只靠单一自动评审。

    作者指出的局限与后续方向

    • 愿玩：方法依赖模型愿意进入游戏；拒绝一切角色扮演的刚性模型可能免疫（第 6 节）。
    • 开销：相对单次攻击 token 更高；在保留认知干扰的同时降低开销，作者称为开放方向（第 6 节）。
    • 评审：评测只靠 Llama-Guard-3。作者称采用了双重核验以减少评审特异偏差，更稳的自动评审仍是后续工作（第 6 节）。论文未描述该协议。
    • 防御提议：作者建议在思维链中强制安全评估，并在系统提示中写明安全优先于游戏规则；又称表征层检测可能作为事后层（第 6 节）。这些是提议，文中没有对应实验结果。

    实验覆盖范围

    • 被测模型为第 4.1 节的 8 个 MLLM；指标为 HADES 上的 Pass@5 ASR，评审为 Llama-Guard-3-8B。
    • 攻击基线为 HADES、VisCRA、SI-Attack；VisCRA 在 Grok-2-vision 与 GLM-4.1V-thinking 的 Table 1–2 中未报告。
    • 主实验搜索预算 T=5，辅助模型为 GPT-4o；Figure 3 另测到 20 次，脚注称只用于收益曲线。
    • 防御实验为 GPT-4o 上的 AdaShield-S、三类（Table 7）。迁移为 GPT-4o 优化样本转到三个模型、两类（Table 8）。
    • 论文未报告采样温度、查询次数分布，以及评审与人工一致性的数值。

  6. Summarize the main content of the paper

    GAMBIT用拼图与竞赛改写认知决策，表中ASR高于已报告基线，o4-mini较低。

    GAMBIT 是面向 MLLM 的越狱框架：把有害图文包进竞赛，让模型为了赢而重构并回答。

    • 问题：作者称只加长视觉推理的攻击仍把模型当被动求解者，在强推理模型上往往更弱。目标是让安全过滤不触发，且响应满足有害意图。
    • 方法：图像按关键词哈希打乱，N 取 4；文本关键词改为占位符；提示写成带对手领先状态的智力竞赛。基线被拒后，GPT-4o 在角色、情境、沟通方式上变异，主实验预算 T=5。
    • 主结果：HADES、Pass@5、Llama-Guard-3。GAMBIT 的 ALL 为 Gemini 2.5 Flash 92.13%、QvQ-Max 91.20%、Qwen2.5-VL 91.33%、GPT-4o 85.87%；OpenAI o4-mini 为 31.33%（Table 1–2）。八行都高于同表已报告基线。Animals 在各类中偏低。
    • 其他证据：GPT-4o 上逐步加模块，Self-Harm 从 0.00% 到 88.00%（Table 3）。AdaShield-S 下三类为 92.00%、88.67%、82.67%，作者称降幅不到 10 个点（Table 7）。自 GPT-4o 迁出的 Self-Harm 为 93.33%、94.00%、95.33%（Table 8）。
    • 作者结论：作者称把模型写成竞赛参与者会重排认知阶段决策，并称结果达到 state-of-the-art，希望 GAMBIT 成为复杂多模态任务下的安全评测基准。第 6 节同时写明：依赖愿玩、token 更高、只靠单一自动评审。
Read originalarxiv.org
#Jailbreaks and attacks