Jailbreak Connectivity:迈向多样、可迁移与通用的多模态大语言模型越狱
Jailbreak Connectivity: Towards Diverse, Transferable, and Universal Multimodal Large Language Model Jailbreak
作者提出多模态越狱框架 JC,在 MM-SafetyBench 上白盒平均 ASR 84.01%–97.95%,黑盒迁移到 GPT-5.6 平均 ASR 41.94%。
攻击者操纵图像输入(加 ∥xp−x∥∞≤ϵ 的扰动)使目标 MLLM 回答有害问题;单轮交互;分 white-box(可访问模型参数和梯度)与 black-box(仅查询、无内部知识)两种设定,黑盒下用开源基座模型生成图像迁移到闭源模型。
- 现有多模态越狱方法只优化孤立的对抗样本,作者认为这导致多样性不足、跨模型迁移性差、缺乏对多种有害查询的通用性,难以暴露 MLLM 的真实风险面。
- 提出 Jailbreak Connectivity(JC):假设越狱有效性在图像空间形成连通低损失区域,用二次 Bézier 曲线连接两个越狱端点并沿路径采样;再用 CLIP 骨干的安全分类器与越狱成功预测器引导迁移,并把目标扩展为有害输出分布实现通用越狱。
- 在 MM-SafetyBench 13 个场景上,JC 白盒平均 ASR 在三个开源模型上为 84.01%–97.95%;以 Qwen3-VL-8B-Instruct 为基座黑盒迁移到 GPT-5.6、Gemini 3.1 Pro,平均 ASR 41.94%、47.05%,高于 FigStep 的 17.25%、19.71%。
- 作者指出 PPL 只反映在固定评测模型下的流畅度、不直接衡量有害性(Conclusion)。实验覆盖 5 个目标模型、MM-SafetyBench 与 AdvBench,有害语料取 AdvBench 的 100 句;代理分类器保真度、超参数敏感性等细节论文称在补充材料,正文未给出。
- 被测模型
- Qwen3-VL-8B-InstructInternVL3.5-8BGemma-3-12B-ITGPT-5.6Gemini 3.1 Pro
- 基准
- MM-SafetyBenchAdvBench
- 指标
- ASRPPL
研究者提出针对多模态大语言模型的视觉越狱攻击框架 Jailbreak Connectivity(JC),在 MM-SafetyBench 上对 Qwen3-VL-8B-Instruct、InternVL3.5-8B 和 Gemma-3-12B-IT 分别取得 84.01%、85.77% 和 97.95% 的平均攻击成功率,最高超出最强基线 68.36 个百分点。JC 基于有效对抗输入可通过图像空间低损失区域相连的观察来优化连续对抗路径:路径采样生成多样的越狱图像,轻量代理分类器引导跨模型迁移,分布级目标实现对不同有害查询的通用攻击。黑盒评测中,JC 在 GPT-5.6 和 Gemini 3.1 Pro 上的攻击成功率比 FigStep 分别高出 24.69 和 27.34 个百分点。作者称这些发现揭示了多模态大语言模型安全对齐中的结构性脆弱点,可用于更全面的安全评估。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
周报:预训练投毒可植入智能体后门
- 公众号 大模型安全研究引用了论文编号或链接大模型安全周报:首次证明预训练投毒可植入远程代码执行后门,技能供应链成为攻防主战场
Jailbreak Connectivity: Towards Diverse, Transferable, and Universal Multimodal Large Language Model Jailbreaks(https://arxiv.org/abs/2610.38091)
深度解读
这篇论文试图解决什么问题?
作者针对多模态越狱多样性、迁移性、通用性不足,提出基于连通低损失区域的 JC 框架。
核心问题:现有多模态大模型(MLLM)视觉越狱方法只优化孤立的对抗样本,作者认为这导致多样性、迁移性和通用性三方面的不足。
- 场景与重要性:MLLM 结合视觉编码器与 LLM 骨干,视觉模态扩大了攻击面;作者援引已有分析称多模态对齐仍脆弱,而这类模型正部署到医疗、自动驾驶等高风险领域。
- 现有方法的不足(按论文说法):(1) 多数方法对一条有害查询只生成一张越狱图像,攻击面窄、更易被防御;(2) 越狱图像往往不能迁移到生成时所用模型之外的其他 MLLM;(3) 很少有方法追求 Universal Jailbreak,即一张图像无论配合什么文本提示都能让模型回答多种有害查询。
- 核心观察/假设:作者提出越狱有效性在图像空间构成连通的低损失区域而非孤立点;一旦找到该区域,采样产生多样性、引导优化找到可迁移的稳定子区域、分布级目标扩展到通用行为,三种能力是同一几何原理的自然结果。
- 论文提出的方法:Jailbreak Connectivity(JC)框架,用二次 Bézier 曲线构建并优化连续对抗路径,配合两个轻量代理分类器引导迁移,并把目标从单条有害查询扩展为有害输出分布。
- 威胁模型:
- 目标:操纵图像输入使目标 MLLM 回答有害问题 th 并产生有害内容 yh。
- 知识:分 white-box(可完全访问模型参数与梯度)与 black-box(仅查询交互、无内部知识)两种设定。
- 能力:对原始图像加 ∥xp−x∥∞≤ϵ 的扰动;黑盒下用开源基座模型生成图像再迁移到闭源模型。
- 受害系统与范围:开源与商用 MLLM;论文限定单轮交互,模型在无对话历史的孤立提示上测试。
有哪些相关研究?
相关工作分文本越狱、多模态越狱两类,作者称前者局限于文本模态、后者多为孤立点优化。
文本模态越狱攻击
- GCG [6]——梯度优化对抗后缀,在多种提示上诱导有害回复;FuzzLLM [23] 把模糊测试用于黑盒对抗指令生成;MJP [24] 利用多轮对话结构维持越狱状态;ReNeLLM [25] 通过提示词改写与场景嵌套形式化越狱机制。
- PAIR [26]——引入迭代精炼、多模型协作与思维链动态提升攻击可靠性。
- 通用后缀攻击 [6]、[7] 与随机改写、集成优化方法——研究文本越狱的迁移性与多样性。论文指出这些技术只作用于文本模态,对视觉输入与 LLM 安全过滤器交互产生的多模态漏洞提供的认识有限。
多模态越狱攻击(论文按三个方向组织)
- Prompt-to-Image Injection [9]–[11]、[27]——把有害指令编码进图像、文本提示保持无害,以绕过纯文本安全过滤。
- Prompt-to-Image Perturbation [12]–[14]、[28]、[29]——加入微小视觉扰动(有时与文本联合优化),利用多模态融合漏洞。
- 代理模型迁移攻击 [15]–[17]、[30]、[31]——在代理 MLLM 上生成对抗图像并迁移到未见目标,显示多模态越狱漏洞常可跨架构泛化。
本文对比的基线与基准
- 基线方法:白盒设定对比 Adv Example [45]、Query Image [42] 与 Plain Text;迁移设定对比 FORCE [46](通过 layer-aware regularization 与 spectral feature rescaling 减少模型特异特征依赖以提升迁移性);黑盒设定对比 FigStep [9](把有害文本直接嵌入图像)。
- 基准:MM-SafetyBench [42](13 个禁用场景)与 AdvBench [6](520 条有害行为,按 BAP [43] 的方法去重并映射到 MM-SafetyBench 场景)。
作者的定位:作者称已有方法多优化孤立越狱图像、迁移性随架构变化下降、少有通用有效性;JC 通过探索图像空间的连通低损失区域,把多样性、迁移性、通用性统一在一个区域级框架内。方法上借鉴 mode connectivity [32],论文脚注说明:已有 mode connectivity 研究关注模型参数或同任务解的损失几何,本文研究的是多模态模型输入空间的对抗连通性。
论文如何解决这个问题?
JC 用 Bézier 路径采样实现多样性、双代理分类器引导迁移、分布级目标实现通用越狱。
整体思路:把越狱生成从逐点优化改为对连通低损失对抗区域的发现、精炼与泛化,对应多样性、迁移性、通用性三种能力。框架名 Jailbreak Connectivity(JC)。
问题设定
- MLLM 输出建模为条件概率 p(y|x,t),x 为图像、t 为文本;攻击者在扰动约束 ∥xp−x∥∞≤ϵ 下最小化越狱损失 Ljail(xp) := −log(p(yh|xp,th)),即最大化有害输出 yh 的生成概率。
- 限定单轮交互;white-box 设定可访问参数与梯度,black-box 设定仅查询。
区域发现:路径采样实现多样性
- 端点搜索:随机初始化,用 PGD 运行 1000 次迭代找到两个不同的局部极小值 x1、x2 作为路径端点。
- 路径构建:用二次 Bézier 曲线 ϕxc(u)=(1−u)²x1+2u(1−u)xc+u²x2(u∈[0,1])连接端点,训练目标为 minxc Eu∼ U(0,1) Ljail(ϕxc(u)),约束路径上每点满足扰动界限;控制点 xc 用线性插值初始化,训练时采样 u 并用 PGD 反传梯度更新 xc。
- 连通性验证:在 Qwen3-VL-8B-Instruct 上,Figure 2 显示线性插值在中点附近损失达 5.26、21 个采样点成功 12/21(57.14%),优化后的 Bézier 曲线全程最大损失仅 10⁻⁴、21/21(100%)成功;作者称这为连通越狱解的存在提供了经验证据。
区域精炼:代理模型引导迁移
- 行为分解:作者把成功越狱分解为两个顺序条件——先绕过拒答机制,再诱导有害内容生成。
- 两个代理分类器:均以 CLIP-ViT-Base-Patch32 为骨干。Safety Classifier(SC)预测图像被目标模型视为安全并触发回答的概率;Jailbreak Success Predictor(JSP)预测在模型作答条件下图像诱导有害内容的概率。论文假设可拿到目标 MLLM 的越狱图像数据集(可用现有方法在白盒或黑盒下构建)来训练这两个分类器。
- 迁移目标:对基座 MLLM 用其直接越狱损失,对其余 n−1 个模型各训练一对 SC/JSP,迁移损失 Ltransfer 为各模型两个交叉熵损失的加权和;总目标中 α 平衡基座效果与迁移性,β 平衡 SC 与 JSP。作者称较高 α 偏向基座模型攻击效果,较高 β 偏向生成更"安全"的图像以利于迁移。
区域泛化:分布目标实现通用越狱
- 把攻击目标从预定义 yh 改为有害输出分布 Yh,并移除文本输入,迫使对抗信号完全编码在视觉模态;通用损失 Luni(xp)=E_{yh∼Yh}[−log(p(yh|xp))]。
- 实践中用 AdvBench 的 100 句有害语料近似 Yh;Eq. (5) 是最一般形式,限定单条查询时退化为迁移设定,α=1 时退化为多样性设定。
成功判定与评测方式
- ASR:有害查询中诱导出禁用回复的比例,用 GPT-6 作二元有害性判定;为应对生成随机性做 5 次独立运行,报告均值与标准差。
- PPL:沿用 FigStep 的做法,用 Qwen3-8B 按 token 级负对数似然计算回复困惑度,越低表示评测语言模型下似然越高;同样 5 次运行报均值与标准差。
论文做了哪些实验?
白盒三模型平均 ASR 84.01%–97.95%,黑盒迁移 GPT-5.6/Gemini 3.1 Pro 达 41.94%/47.05%。
实验设置
- 被测模型:开源 Qwen3-VL-8B-Instruct、InternVL3.5-8B、Gemma-3-12B-IT;商用 GPT-5.6、Gemini 3.1 Pro(黑盒)。
- 数据集:MM-SafetyBench(13 个禁用场景,按 OpenAI 使用政策定义);AdvBench(520 条有害行为,按 BAP 方法去重并映射到 MM-SafetyBench 场景);通用目标用 AdvBench 的 100 句有害语料近似。
- 基线:白盒对比 Plain Text、Adv Example、Query Image;迁移对比 FORCE;黑盒对比 FigStep。论文称所有方法在相同优化预算下评估。
- 指标与评审:ASR 用 GPT-6 作二元有害性判定;PPL 用 Qwen3-8B 计算;均做 5 次独立运行报告均值±标准差。
- 代理分类器:SC 与 JSP 以 CLIP-ViT-Base-Patch32 为骨干;其训练集是论文中唯一的 LLM 生成数据,与评测查询不重叠。
- 实验时间:2026 年 9 月 16 日至 10 月 20 日。
主结果
白盒 ASR(%,据 Table I,13 场景平均,5 次运行):
表格较宽,可左右滑动
模型 Plain Text Adv Example Query Image JC Qwen3-VL-8B-Instruct 5.86±0.56 22.97±0.88 24.55±0.93 84.01±1.61 InternVL3.5-8B 5.04±0.48 26.17±1.09 27.83±0.90 85.77±1.05 Gemma-3-12B-IT 5.18±0.48 24.93±0.90 29.59±1.03 97.95±0.49 - 作者称 JC 在三个模型上相对各自最强基线的平均 ASR 分别提升 59.46、57.94、68.36 个百分点,且在 Economic Harm、Health Consultation、Political Lobbying、Sex 四个场景对三个模型均达 100% ASR。
- 例外:Malware Generation 场景 JC 在 InternVL3.5-8B 上仅 9.59%,低于 Query Image 的 42.33%;Qwen3-VL-8B-Instruct 在 Government Decision(41.19%)和 Fraud(57.54%)上 ASR 较低。作者认为越狱效果仍依赖目标模型与场景。
- PPL(Table II):JC 平均 PPL 为 5.07、4.57、5.07,低于 Plain Text 的 7.16、6.79、6.86,且在每个模型 13 个场景中的 11 个取得最低 PPL;Government Decision 场景 JC 在三个模型上 PPL 均升高。
迁移攻击(Table III)
- 设置:以 Qwen3-VL-8B-Instruct 为源模型生成图像,迁移到 InternVL3.5-8B 与 Gemma-3-12B-IT,对比 FORCE。
- 结果:JC 在源模型上平均 ASR 74.56%(FORCE 72.52%),在两个迁移目标上为 70.01%、78.56%(FORCE 为 66.14%、74.62%)。
- 例外与作者解读:FORCE 在部分场景更好,包括 Economic Harm(两个迁移目标)和 Gemma-3-12B-IT 上的 Privacy Violence;作者称 JC 平均迁移性更强,但效果依赖目标模型与场景。
黑盒攻击(Table IV)
- 设置:以 Qwen3-VL-8B-Instruct 为基座生成图像,不访问 GPT-5.6、Gemini 3.1 Pro 的参数或梯度,对比 FigStep。
- 结果:GPT-5.6 上 JC 平均 ASR 41.94%(FigStep 17.25%,+24.69 个百分点);Gemini 3.1 Pro 上 47.05%(FigStep 19.71%,+27.34 个百分点);JC 在两个模型的全部 13 个场景上 ASR 均高于 FigStep。
- PPL:JC 平均 PPL 11.41(GPT-5.6)、13.11(Gemini 3.1 Pro),低于 FigStep 的 14.52、16.41,且在全部 13 个场景上更低。
通用攻击与消融
- 通用攻击:在 40 条未见有害查询上,JC 在 Qwen3-VL-8B-Instruct 上 5 次运行平均成功 34/40,Adv Example 为 17/40;同一张通用图像迁移到 InternVL3.5-8B 后平均对 22 条查询有效。
- 消融(Table V,迁移设定,源模型 Qwen3-VL-8B-Instruct):去掉路径构建(w/o Path)后三个模型 ASR 分别降 45.91、42.33、43.52 个百分点;去掉 JSP 使两个迁移目标 ASR 降 15.16、24.52 个百分点,去掉 SC 降 30.69、22.94 个百分点;源模型上去掉任一分类器 ASR 反而略升(作者解释:源模型不用代理引导,释放的优化能力用于源目标)。完整 JC 在所有配置上 PPL 最低(5.84、3.46、5.77)。
- 作者解读:连续路径驱动攻击有效性,两个代理分类器驱动跨模型迁移,三者共同带来最低回复困惑度。
有什么可以进一步探索的点?
作者仅指出 PPL 不直接衡量有害性;实验覆盖 5 个模型、两个基准,多项细节在补充材料。
作者指出的局限与后续方向
- PPL 指标的局限(Conclusion):作者指出困惑度只反映在固定评测模型下的流畅度,并不直接衡量有害性。
- 对防御的启示而非防御方案(Conclusion):作者称 MLLM 的安全对齐可能在区域层面而非孤立输入层面失效,防御需要推理结构化的对抗区域而非单个样本;论文未提出或评估具体防御。
- 论文没有专门的 Limitations 小节,除上述外未明确列出其他局限或未来工作。
实验覆盖范围
- 被测模型:开源 Qwen3-VL-8B-Instruct、InternVL3.5-8B、Gemma-3-12B-IT,商用 GPT-5.6、Gemini 3.1 Pro,共 5 个;迁移与黑盒实验均以 Qwen3-VL-8B-Instruct 为源/基座模型。
- 数据与规模:MM-SafetyBench 13 个场景;AdvBench 去重后映射到这些场景;通用目标用 AdvBench 的 100 句语料;通用攻击在 40 条未见查询上评测。
- 重复次数:主表结果均为 5 次独立运行的均值±标准差;ASR 判定用 GPT-6,PPL 用 Qwen3-8B。
- 交互范围:论文明确限定单轮交互,模型在无对话历史的孤立提示上测试。
- 正文未报告的细节:代理分类器的训练细节、保真度分析、超参数 α/β 敏感性、扰动幅度 ϵ 的具体取值、感知质量分析、部署时图像变换(缩放、压缩、裁剪、模糊)下的评测,论文称均在补充材料,正文未给出数字;评审判定与人工标注的一致性论文未报告。
总结一下论文的主要内容
JC 把多模态越狱从逐点优化改为区域探索,白盒与黑盒 ASR 均超基线,作者称暴露区域级漏洞。
一篇多模态越狱攻击论文,提出 Jailbreak Connectivity(JC) 框架,面向"现有方法只优化孤立对抗样本"的问题。
- 核心假设:作者认为 MLLM 的越狱有效性在图像空间构成连通低损失区域;多样性、迁移性、通用性是探索同一区域的自然结果,而非独立设计目标。
- 方法要点:用 PGD 找两个越狱端点并以二次 Bézier 曲线构建低损失路径,沿路径采样得到多样越狱图像;用以 CLIP-ViT-Base-Patch32 为骨干的 Safety Classifier 与 Jailbreak Success Predictor 引导优化朝向可迁移子区域;把目标扩展为有害输出分布并移除文本输入,实现单图通用越狱。
- 连通性证据:Qwen3-VL-8B-Instruct 上优化路径 21 个采样点全部攻击成功(21/21),线性插值仅 12/21,路径中点损失从 5.26 降到 10⁻⁴ 量级(Figure 2)。
- 白盒结果:MM-SafetyBench 13 场景平均 ASR 84.01%(Qwen3-VL-8B-Instruct)、85.77%(InternVL3.5-8B)、97.95%(Gemma-3-12B-IT),作者称相对最强基线提升 59.46–68.36 个百分点(Table I)。
- 黑盒结果:以 Qwen3-VL-8B-Instruct 为基座迁移到 GPT-5.6、Gemini 3.1 Pro,平均 ASR 41.94%、47.05%,高于 FigStep 的 17.25%、19.71%,且 13 个场景上 PPL 全部更低(Table IV)。通用攻击在 40 条未见查询上成功 34/40(Adv Example 为 17/40)。
- 例外:Malware Generation 场景 JC 在 InternVL3.5-8B 上仅 9.59%,低于 Query Image 的 42.33%;作者称效果仍依赖目标模型与场景。
- 作者结论:MLLM 安全对齐可能在区域层面失效,防御需针对结构化对抗区域;作者同时指出 PPL 只反映流畅度、不直接衡量有害性。