GAMBIT：面向多模态大模型的游戏化越狱框架

现有多模态越狱主要加重视觉任务复杂度，却不利用模型自己的推理激励，作者称其在带思维链的推理模型上往往弱于非推理模型。

• 场景：作者称 MLLM 已进入真实交互与决策，安全失败的影响被放大。RLHF、Constitutional AI 等对齐主要针对显式有害模式或静态视觉对抗样本。
• 不足：作者称加长推理（改图像或藏线索）能降低安全注意，但模型仍是被改视觉任务的被动求解者；感知层绕过后，推理模型仍可能在认知阶段拒绝。
• 假设：若模型能像人一样思考，就可以影响其认知阶段决策，使其主动完成越狱。作者假设安全过滤对认知负荷敏感，高复杂度游戏化状态会压低其敏感度。
• 做法：提出 GAMBIT（Gamified Adversarial Multimodal Breakout via Instructional Traps）：拆解并重排有害视觉语义，再构造竞赛场景，驱动模型探索、重构意图并作答。
• 威胁模型：
  • 目标：找到图像–提示词对，使安全过滤 Fs 为 0，且评审 J 判定响应满足有害意图 H。
  • 知识：自适应搜索按 black-box 讨论，不使用梯度或内部状态；失败时读取目标模型的拒绝反馈。
  • 能力：攻击者构造图像与文本，并在提示中写入游戏状态。论文称标准 API 多为单轮、无状态，故用提示词做伪强化，而不是真正的强化学习。
  • 受害系统：带安全对齐的多模态模型 M，输入为图像与文本提示。

作者按文本越狱、多模态越狱、优化与游戏化三条线定位本文。

文本越狱

• 角色扮演：Shen 等人（2023）的 DAN、AIM、Developer Mode 用角色扮演绕过限制。
• 自动搜索：GCG（Zou 等人，2023）、PAIR（Chao 等人，2023）、AutoDAN（Liu 等人，2024）用梯度或迭代寻找对抗后缀；Anil 等人（2024）研究 many-shot，Shah 等人（2023）利用 persona。
• 综述：Raheja 等人（2024）、Wang 等人（2024a；2025a）综述红队与推理模型安全。论文未与 GAMBIT 逐篇对比。

多模态越狱

• 视觉混淆：Qi 等人（2023）用视觉噪声干扰对齐；VisCRA（Sima 等人，2025）走视觉链式推理并利用 OCR 弱点；HADES（Li 等人，2024）用字体与视觉隐喻；SI-Attack（Zhao 等人，2025）用打乱不一致性；FigStep（Gong 等人，2023）用字体视觉提示。
• 论文的批评：作者称上述方法大多聚焦视觉混淆。引言还把 Niu 等人（2024）、Jia 等人（2025）、Luo 等人（2024）归入同类，并称改图像（Zhao 等人，2025）或藏线索（Miao 等人，2025）仍让模型被动求解，在强推理 MLLM 上往往更弱。

优化与游戏化

• CL-GSO（Huang 等人，2025）：用遗传算法搜索 Role、Content Support、Context、Communication Skills。作者称 black-box 下单一全局最优难以定义，故只在基线失败后改编角色、情境与沟通方式，并把 Context 收成游戏化场景。
• 心流：Csikszentmihalyi（1990）与 Deterding 等人（2011）。作者称首次把 gamified flow 用于对 MLLM 的对抗攻击。

基线与基准

• 攻击基线：HADES、VisCRA、SI-Attack。SI-Attack 还用基于查询的 black-box 优化挑选打乱输入。
• 基准：HADES，750 对指令–图像，Violence、Financial、Privacy、Self-Harm、Animals 各 150。

作者把 GAMBIT 放在延长推理之外：用竞赛参与改写认知阶段决策，而不是只做视觉混淆。

GAMBIT 先把有害图文打成可重构的拼图，再包进智力竞赛；只有基线被拒，才改提示词的角色、情境和沟通方式。

问题设定

• 判定：M 把图像 I 与提示 P 映到响应 R。Fs 为 1 表示拒绝、0 表示遵从。攻击要 Fs=0 且 J(R,H)=1。
• 假设：Fs 对 (Iadv, Padv) 带来的认知负荷敏感；高复杂度游戏化状态 Sg 会压低敏感度。
• 资源解释：作者给出概念模型，不声称是精确概率。安全余量为任务占用之后所剩，R_safety=R_total−R_task(x)；维持安全的可能性写成 sigmoid，P(Safe|x)=σ(R_total−R_task(x)−τ)。对齐被写成余量须超过阈值 τ。拼图与竞赛被设计成增大 R_task。

模块一：拼图式多模态编码

• 图像：有害图按光栅顺序切成 N×N 块，置换种子来自关键词 K 的哈希，再拼回 Ipuzzle。块内局部保留，整体轮廓被打断。
• 文本：关键词换成占位符，要求模型补回，以增加一次文本重构。附录 A.1 给出完整提示词。
• 网格：作者取 N=4。称 2×2 已有增益，并给出 GPT-4o、Self-Harm 上 +13.34% 的例子；8×8 可能超出推理范围，导致幻觉或无法遵守游戏规则。

模块二：游戏化场景

• 框架：交互被写成 Intelligence Competition。作者援引心流：高挑战、高技能任务把计算分给任务执行，安全检查分到的资源更少。
• 伪强化：论文称 API 通常单轮、无状态，不能做真正强化学习，于是注入表示对手领先的游戏状态，使推理盯住翻盘。
• 结构：系统提示分角色设定、规则说明、目标激励。附录 A.1 与 Figure 5–7 给出案例，此处不复述措辞、禁用词或句式。

模块三：提示词组件自适应搜索

• 触发：先固定模块二的基线。仅当 Fs=1，辅助模型按遗传式更新改 Role、Context、Communication Skills。预算 T=5，超出记为高敏感失败。附录 A.6 写明辅助模型为 GPT-4o。
• 空间：角色含领域专家、权威组织、多数、普通人；情境含威胁、群体压力、虚拟环境；沟通方式含鼓励、负面干预、诱导、铺垫、统一立场。不改拼图规则与问题本身。
• 作者的理由：black-box 下输出随机、对表面形式敏感，全局最优说不清；任务复杂度与意图隐蔽是主因，角色与文风是次因。附录 Figure 9 用加长提示说明长度即可改变拒绝，故搜索是限额启发式，不是最优保证。

实验设置

• 被测模型：非推理为 Qwen2.5-VL、InternVL 2.5、GPT-4o、Grok-2-vision；推理为 GLM-4.1V-thinking、QvQ-Max、Gemini 2.5 Flash、OpenAI o4-mini。共 8 个。
• 基准：HADES，750 对指令–图像，五类各 150。
• 基线：HADES、VisCRA、SI-Attack。方法与基线（适用时）查询上限 T=5，5 次内未引出有害响应记失败。
• 指标：ASR，Pass@5。每样本跑 5 次，任一次有害即成功。
• 评审：Llama-Guard-3-8B，分为 Safe 或 Unsafe。论文未写数值阈值，实验节也未报告与人工的一致率。
• 运行：专有模型走官方 API，开源模型本地推理（8×A100）。自适应搜索的辅助模型为 GPT-4o，它同时也是被测模型。论文未报告采样温度。

主结果

下表为 Table 1–2 的 ALL 行：HADES 五类平均、Pass@5、Llama-Guard-3，单位 %。表中 “–” 写为未报告。

表格较宽，可左右滑动

模型	HADES	VisCRA	SI-Attack	GAMBIT
Qwen2.5-VL	33.87	79.73	48.00	91.33
InternVL 2.5	22.00	61.20	53.60	88.40
GPT-4o	18.93	56.60	49.60	85.87
Grok-2-vision	45.60	未报告	52.40	91.07
GLM-4.1V-thinking	55.73	未报告	54.53	89.47
QvQ-Max	35.60	66.27	47.87	91.20
Gemini 2.5 Flash	14.80	66.00	62.13	92.13
OpenAI o4-mini	0.67	11.73	9.33	31.33

• 非推理模型：作者称游戏化上下文绕过商用模型的安全过滤，并点名 GPT-4o 上最强基线为 VisCRA。数字见表，此处不重复。
• 推理模型：第 4.3 节以 Gemini 2.5 Flash 为例，称思维链把计算集中在程序步骤，游戏状态成为竞争目标，有害输出被当成完成任务的一步。表中 OpenAI o4-mini 一行远低于其余 GAMBIT，作者在该节未讨论这一行。
• 类别：Table 1–2 中 Animals 的 GAMBIT 低于同模型其他类，如 GPT-4o 64.67%、Gemini 2.5 Flash 80.67%。作者未在主结果段解释该差距。

模块消融

• 设置：Table 3，GPT-4o，Self-Harm 与 Animals。None 均为 0.00%。M1 为拼图编码，M2 为游戏化场景，M3 为自适应搜索。
• 结果：Self-Harm 依次为 40.67%、69.33%、88.00%；Animals 为 14.67%、37.33%、64.67%。
• 作者解读：三模块都需要，游戏化场景是单步增益最大的一块；作者称提升来自认知负荷，而不只是提示更长。Figure 3 中 Self-Harm 从初始 64.67% 到 20 次搜索后 94.00%。脚注称 20 次只为画收益曲线，主实验仍为 T=5。

对 AdaShield-S

• 设置：Table 7，GPT-4o，Privacy、Financial、Violence。防御在回答前要求检查图像是否含有害内容。
• 结果：无防御为 95.33%、92.00%、92.00%；有防御为 92.00%、88.67%、82.67%。
• 作者解读：作者称各类降幅不到 10 个点，输入级提示防御不能稳定挡住 GAMBIT。

迁移

• 设置：Table 8。GPT-4o 上自适应搜索得到的样本，不改动地迁到另三个模型，只报 Self-Harm 与 Animals。
• 结果：Gemini 2.5 Flash 为 93.33% / 82.67%；Grok-2-vision 为 94.00% / 87.33%；Qwen2.5-VL 为 95.33% / 92.67%。
• 作者解读：作者称多数超过 90%，并把该弱点看成跨架构共有，而非绑在某一视觉编码器上。Animals 的前两格低于 90%。

其他消融与分析

• 网格（Table 4）：GPT-4o 的 Privacy 为 1×1 81.33%、2×2 91.33%、4×4 95.33%。同表 Animals 为 40.00%、71.33%、64.67%；OpenAI o4-mini 的 Violence 为 11.33%、42.67%、36.00%，Financial 为 19.33%、36.00%、28.67%。作者称 4×4 大体最高，Financial 在 2×2 已很高。
• 关键词（Table 5）：隐藏为 Self-Harm 75.33%、Animals 42.00%；不隐藏为 88.00%、64.67%。论文未标明模型。作者称重构关键词有时妨碍跟随有害指令。
• 提示策略（Table 6，无 M3）：GAMBIT 为 69.33% / 37.33%，Question-Based 为 40.67% / 14.67%，DAN 为 8.00% / 2.67%，AIM 为 10.67% / 11.33%。论文未标明模型。
• 失败（附录 A.4）：约 15% 的失败是视觉重构失败，8×8 最常见；其余为顽固拒绝，作者特别提到 OpenAI o4-mini 上的 Self-Harm。

作者指出的局限与后续方向

• 愿玩：方法依赖模型愿意进入游戏；拒绝一切角色扮演的刚性模型可能免疫（第 6 节）。
• 开销：相对单次攻击 token 更高；在保留认知干扰的同时降低开销，作者称为开放方向（第 6 节）。
• 评审：评测只靠 Llama-Guard-3。作者称采用了双重核验以减少评审特异偏差，更稳的自动评审仍是后续工作（第 6 节）。论文未描述该协议。
• 防御提议：作者建议在思维链中强制安全评估，并在系统提示中写明安全优先于游戏规则；又称表征层检测可能作为事后层（第 6 节）。这些是提议，文中没有对应实验结果。

实验覆盖范围

• 被测模型为第 4.1 节的 8 个 MLLM；指标为 HADES 上的 Pass@5 ASR，评审为 Llama-Guard-3-8B。
• 攻击基线为 HADES、VisCRA、SI-Attack；VisCRA 在 Grok-2-vision 与 GLM-4.1V-thinking 的 Table 1–2 中未报告。
• 主实验搜索预算 T=5，辅助模型为 GPT-4o；Figure 3 另测到 20 次，脚注称只用于收益曲线。
• 防御实验为 GPT-4o 上的 AdaShield-S、三类（Table 7）。迁移为 GPT-4o 优化样本转到三个模型、两类（Table 8）。
• 论文未报告采样温度、查询次数分布，以及评审与人工一致性的数值。

GAMBIT 是面向 MLLM 的越狱框架：把有害图文包进竞赛，让模型为了赢而重构并回答。

• 问题：作者称只加长视觉推理的攻击仍把模型当被动求解者，在强推理模型上往往更弱。目标是让安全过滤不触发，且响应满足有害意图。
• 方法：图像按关键词哈希打乱，N 取 4；文本关键词改为占位符；提示写成带对手领先状态的智力竞赛。基线被拒后，GPT-4o 在角色、情境、沟通方式上变异，主实验预算 T=5。
• 主结果：HADES、Pass@5、Llama-Guard-3。GAMBIT 的 ALL 为 Gemini 2.5 Flash 92.13%、QvQ-Max 91.20%、Qwen2.5-VL 91.33%、GPT-4o 85.87%；OpenAI o4-mini 为 31.33%（Table 1–2）。八行都高于同表已报告基线。Animals 在各类中偏低。
• 其他证据：GPT-4o 上逐步加模块，Self-Harm 从 0.00% 到 88.00%（Table 3）。AdaShield-S 下三类为 92.00%、88.67%、82.67%，作者称降幅不到 10 个点（Table 7）。自 GPT-4o 迁出的 Self-Harm 为 93.33%、94.00%、95.33%（Table 8）。
• 作者结论：作者称把模型写成竞赛参与者会重排认知阶段决策，并称结果达到 state-of-the-art，希望 GAMBIT 成为复杂多模态任务下的安全评测基准。第 6 节同时写明：依赖愿玩、token 更高、只靠单一自动评审。