文本锚定的语义扰动:面向多模态大模型的可迁移越狱攻击
Text-Anchored Semantic Perturbations for Transferable Jailbreak Attacks on Multimodal Large Language Models
作者提出黑盒越狱框架 TA-SPA,在文本锚定语义空间优化可迁移扰动,在 9 个模型-数据集组合中 8 个取得最高 G-ASR。
标准黑盒(black-box)设置:攻击者只能通过 API 提交多模态输入和文本提示词并观察响应,无法访问模型参数 θ 或内部安全机制,也不能修改、移除或引入任何系统消息,攻击仅通过用户侧输入进行;目标是让模型对恶意查询给出有害或违规内容而非拒答。
- MLLM 的安全对齐主要在文本表示空间学习,难以迁移到融合跨模态表示,恶意多模态输入可绕过拒答。现有多模态越狱攻击依赖表面视觉形式或词法线索,跨模型迁移性有限,且易被输入级防御缓解。
- 提出黑盒越狱框架 TA-SPA:TASF 用冻结 CLIP 编码器把图文表示分解为跨模态语义因子与模态残差,SPA 在固定语义因子的同时扰动文本侧残差构造多样化目标锚点,再用对比间隔损失在该语义空间做 PGD 优化扰动并迁移到受害模型。
- 在 LLaVA-7B、MiniGPT-4、InstructBLIP 和三个基准上,TA-SPA 在 9 个模型-数据集组合中 8 个取得最高 G-ASR;对 GPT-4o、Gemini、ERNIE 的迁移平均 G-ASR 为 52.3%,高于最强基线 IDEATOR 的 49.4%;在四种防御下平均 ASR 最高。
- 作者指出:仅在图文 MLLM 和固定基准/防御集合上验证,其他模态、安全策略和部署管线下的表现待验证;自动指标可能无法刻画细粒度危害程度;表示层防御的协同评估留作未来工作。评测每个设置基于 40 条代表性请求。
- 被测模型
- LLaVA-7BMiniGPT-4InstructBLIPGPT-4oGeminiERNIE
- 基准
- AdvBenchMM-SafetyBenchVAJM
- 指标
- D-ASRG-ASRToxicity (Google Perspective API)
研究者提出文本锚定的语义扰动攻击(TA-SPA),一种针对多模态大模型的黑盒越狱框架,在文本锚定的语义空间中优化可迁移的扰动。该方法结合文本锚定语义分解(TASF),把跨模态语义因素与模态特有残差分离;还结合语义保持增强(SPA),在保持语义一致的前提下扩充有害目标锚点。实验显示,该攻击有效性强,能够迁移到商用多模态大模型,在若干代表性防御下也有竞争力。作者称,额外的对照实验与探针结果支持这种语义分解,但这并不意味着实现了完全解耦;这也说明除了输入层过滤,还需要从表征层推进安全对齐。
深度解读
这篇论文试图解决什么问题?
作者针对多模态大模型安全对齐难以从文本空间迁移到跨模态表示的问题,提出可迁移的黑盒越狱攻击。
核心问题:MLLM 的安全对齐在文本表示空间学习,却无法可靠迁移到融合跨模态表示,使多模态输入可被越狱;作者研究如何构造可迁移的黑盒多模态越狱攻击。
- 问题场景与重要性:MLLM 已广泛部署于多模态推理、视觉问答等任务,但作者认为其安全对齐仍然脆弱,恶意多模态输入可诱导有害或违规响应,影响实际部署安全。
- 现有方法的不足:作者称现有攻击(如 FigStep、HADES、MML)依赖表面视觉形式、排版布局或显式跨模态解码模式,跨模型迁移性有限,且可被 OCR 过滤、视觉清洗、提示词级筛查等防御缓解;在像素空间或纠缠特征空间优化容易过拟合到特定代理模型的纹理与噪声。
- 核心观察与假设:作者假设上述局限与高层语义意图和底层模态伪影的纠缠有关;安全机制可能依赖词法线索或模态残差等表面捷径,一旦这些线索被移除或跨模态重分配,有害意图仍对模型语义可达、却对过滤器不可见。
- 论文提出的方法:提出 Text-Anchored Semantic Perturbation Attack(TA-SPA),在文本锚定语义空间而非纠缠多模态特征空间中优化对抗扰动,包含 TASF(语义-残差分解)与 SPA(语义保持增强)两个组件。
- 威胁模型:
- 目标:构造对抗多模态输入 xadv,使模型对恶意查询给出可操作或实质性的有害协助,而非维持拒答。
- 知识:标准 black-box 设置,攻击者无法访问模型参数 θ 和内部安全机制。
- 能力:仅能通过 API 提交多模态输入和文本提示词并观察响应;不能修改、移除或引入任何系统消息,攻击只通过用户侧输入进行。
- 受害系统:开源 MLLM(LLaVA-7B、MiniGPT-4、InstructBLIP)及商业系统(GPT-4o、Gemini、ERNIE)。
有哪些相关研究?
相关工作分三组:MLLM 及其对齐、多模态越狱攻击、迁移攻击;本文与 5 个多模态和 5 个文本攻击基线对比。
多模态大模型与安全对齐
- ViECap、LLaVA 等——通过投影模块将视觉编码器与语言模型(如 GPT-2、Vicuna)连接,实现图文理解与生成;作者指出这类系统的安全鲁棒性并未随能力同步提升。
- SFT、RLHF、DPO、RLAIF 等对齐技术——作者称它们主要围绕文本指令与响应设计,迁移到融合多模态表示时,模型仍可能被以文本对齐未充分覆盖的形式编码的有害意图误导。
多模态越狱攻击
- ImgJP(Niu et al., 2024)——证明对抗视觉扰动可引导 MLLM 产生不安全响应,将视觉通道本身作为攻击面。
- FigStep(Gong et al., 2025)——将有害指令渲染为排版式视觉提示词,利用视觉文字识别绕过以文本为中心的防护。
- HADES(Li et al., 2024b)——用精心制作的图像隐藏并放大恶意意图;IDEATOR(Wang et al., 2025a)——用 LVLM 自身自动生成并评估越狱提示词;MML(Wang et al., 2025b)——将恶意意图分散到图像与文本两个通道,通过多模态链接重构有害指令。
迁移攻击
- Feature-space 攻击(Inkawhich et al., 2019)与 Intermediate Level Attack(Huang et al., 2019)——通过优化中间层特征表示提升黑盒迁移性;论文指出 TA-SPA 的不同之处在于将成对图文表示分解为文本锚定语义与模态残差分量并优化跨模态越狱目标,而非攻击未分解的 CNN 特征图。
基线与基准
- 多模态基线:imgJP、FigStep、HADES、IDEATOR、MML;文本基线:GCG、AutoDAN、PAIR、TAP。防御评测包括 VLGuard、ProEAT、AdaShield、BlueSuffix。基准为 AdvBench、MM-SafetyBench、VAJM。
作者将本文定位为:现有攻击依赖模态特定的表面模式,迁移性受限且暴露于输入级防御;TA-SPA 改为扰动文本锚定语义表示,以降低对表面视觉或词法线索的依赖。
论文如何解决这个问题?
TA-SPA 先用 TASF 分解语义与残差因子,再用 SPA 多样化目标锚点,最后在文本锚定语义空间做对比式 PGD 优化。
整体思路:不在像素空间或纠缠特征空间直接优化,而是借助公开 CLIP 编码器构建文本锚定语义空间,在其中优化可迁移扰动,再将对抗图像迁移到受害 MLLM。框架名为 TA-SPA,由 TASF 与 SPA 两个组件构成。
问题形式化
- MLLM 定义条件分布 pθ(y | x, t),攻击者构造 xadv 使有害目标响应概率最大:maxxadv log pθ(yh | xadv, t),约束 |xadv − x|∞ ≤ ϵ 保证扰动准不可感知。
- 成功判定:模型对恶意查询给出可操作或实质性协助,而非拒答。
TASF:文本锚定语义分解
- 用冻结的 CLIP 图像/文本编码器 Fx、Ft 作为公开代理,将每个表示分解为语义因子 s 与残差因子 u:s 捕获文本锚定的跨模态不变命题内容,u 吸收跨模态语义一致性不需要的模态形式变化。
- 训练目标为多项损失:Lsim 对齐成对图文语义因子,Ldiff 通过软正交抑制语义与残差通道冗余,Lrec 保证原始 CLIP 特征可重构,Lclip 用对称 CLIP 对比目标把学习空间锚定到公开 CLIP 几何;总目标为 LTASF = λsimLsim + λdiffLdiff + λrecLrec + λclipLclip。
- 梯度只作用于轻量分解模块 {Esx, Eux, Est, Eut, Rx, Rt},CLIP 编码器保持冻结;TASF 在 128 条锚定请求上离线训练,与受害模型无关。
SPA:语义保持增强
- 固定源图像语义因子 ss,仅对文本侧残差 ut 施加 dropout 和高斯噪声得到扰动残差,再与 ss 重组,构成共享固定语义因子、残差实现不同的源条件锚点集合 Aspa。
- 优化时这些锚点作为负样本,把对抗表示推离源代理残差捷径;作者称这可降低对单一词法触发器的依赖。作者明确说明语义保持是设计目标,而非残差无意图的证据。
攻击流程与优化
- 用辅助 LLM 生成 m 条语义等价的恶意查询改写(附录 A.5 给出完整改写提示词,用 GPT-4 生成,默认 m = 5),提取对抗图像语义因子 sadv 并与各改写查询的文本残差重组。
- 对比间隔损失 L(δ) = max(0, γ − Star + β Ssrc):增大对抗表示与多条改写查询的对齐(Star),抑制其与源条件残差锚点的相似(Ssrc);默认 β = 0.7、γ = 0.3。
- 扰动用 PGD 优化:∥δ∥∞ ≤ 8/255,T = 100 步,步长 η = 1;完整流程见附录 Algorithm 1。
评测方式
- 指标:词典匹配 ASR(D-ASR)、GPT-4 作为评审的 G-ASR(二值判定:给出可操作有害协助且非拒答记 1,附录 A.3 给出评审提示词)、Google Perspective API 毒性分数。
- 对纯文本基准(AdvBench、VAJM)用 Stable Diffusion 3 Medium 以 512×512 合成源视觉代理。
论文做了哪些实验?
在 3 个开源模型 × 3 个基准上 8/9 组合 G-ASR 最高,商业模型迁移平均 52.3%,四种防御下平均 ASR 最高。
实验设置
- 被测模型:开源 LLaVA-7B、MiniGPT-4、InstructBLIP;迁移评测商业系统 GPT-4o、Gemini、ERNIE。
- 数据集:AdvBench(520 条有害请求)、MM-SafetyBench(4,680 条)、VAJM(1,225 条);TASF 用 128 条请求训练,按先前工作在 40 条代表性请求上报告对比结果。
- 基线:多模态攻击 imgJP、FigStep、HADES、IDEATOR、MML;文本攻击 GCG、AutoDAN、PAIR、TAP。
- 指标:D-ASR(词典匹配)、G-ASR(GPT-4 评审)、毒性分数(Google Perspective API)。
- 代理与超参:冻结 CLIP ViT-B/32 为代理编码器;∥δ∥∞ ≤ 8/255,PGD 100 步,η = 1,β = 0.7,γ = 0.3,m = 5。
- 重复次数:论文未报告。
主结果
据 Table 1(D-ASR / G-ASR / Tox.,%):
表格较宽,可左右滑动
模型 方法 AdvBench G-ASR MM-SafetyBench G-ASR VAJM G-ASR LLaVA-7B Ours 82.0 78.5 78.5 LLaVA-7B 最强基线 HADES 76.5 75.5 72.0 MiniGPT-4 Ours 75.0 60.0 76.0 MiniGPT-4 最强基线(按列) 75.5 (HADES) 71.0 (HADES) 66.5 (FigStep) InstructBLIP Ours 70.5 80.0 57.0 InstructBLIP 最强基线 HADES 67.5 78.5 41.0 - 作者称 TA-SPA 在 9 个模型-数据集组合中 8 个取得最高 G-ASR;例外是 MiniGPT-4 × AdvBench,HADES 的 75.5 高于 Ours 的 75.0(Table 1)。
- 作者指出部分基线(FigStep、IDEATOR、MML)D-ASR 较高但 G-ASR 与毒性低,认为它们更多触发浅层关键词级失效;TA-SPA 在三个指标上较均衡。
- 对文本攻击对比(Table 2,AdvBench):Ours 在 MiniGPT-4 上 D-ASR/G-ASR/Tox 为 80.5/75.0/0.61,LLaVA-7B 上为 85.5/82.0/0.61,均超过 GCG、AutoDAN、PAIR、TAP;作者认为纯文本越狱受限于安全对齐主要施加的离散文本空间。
商业模型迁移
- 据 Table 3(MM-SafetyBench,G-ASR):Ours 在 GPT-4o、Gemini、ERNIE 上分别为 52.3、68.9、35.7,平均 52.3%,高于最强基线 IDEATOR 的平均 49.4%(GPT-4o 45.5、Gemini 64.2、ERNIE 38.6)。
- 例外:ERNIE 上 IDEATOR 的 38.6 高于 Ours 的 35.7;作者称可能源于语言先验或对齐策略差异,并认为 Ours 是唯一在三个平台都接近最优的方法。
消融与扰动控制
- 据 Table 4(MiniGPT-4,三基准平均 G-ASR):直接 CLIP 目标匹配 18.2%,加 TASF 23.4%,加目标改写 43.1%,加源排斥 55.6%,完整 TA-SPA 60.0%。
- 据 Table 5(MiniGPT-4 匹配控制):干净代理(δ = 0)已达 45.0% G-ASR,随机有界噪声 46.0%,完整 TA-SPA 60.0%;作者称在相同代理、查询、受害模型与评审设置下,增益不能仅由代理或任意有界扰动解释。
防御鲁棒性
- 据 Table 9(G-ASR):在 VLGuard、ProEAT、AdaShield、BlueSuffix 四种防御下,Ours 取得最高平均 ASR,并在 12 个防御-模型组合中 10 个排名第一。
- 例外:MiniGPT-4 在 ProEAT 下 FigStep 28.5 高于 Ours 27.1,BlueSuffix 下 FigStep 28.5 高于 Ours 28.0;作者称 Ours 在 MiniGPT-4 上仍有最佳跨防御平均值。
其他消融与分析
- 分解验证(Table 6):冻结 TASF 特征做线性探测,危害类别 macro-F1 在语义因子 s 上为 0.75、残差 u 上为 0.46;作者称这支持预期分离,但不构成完全解耦的证据。
- 代理架构(Table 7):换用 SigLIP、BLIP 时 ASR 分别为 50.0%、55.0%,CLIP 为 60.0%;作者称编码器族接近可能有帮助,但迁移并非仅由 CLIP 族共享解释。
- 评审校准(Table 8):人工多数投票、Qwen3、DeepSeek 判定的 ASR 分别为 77.0%、65.0%、68.0%;作者将 G-ASR 定位为自动指标而非金标准人工标签。人工样本量论文未写明。
- 超参敏感性(附录 A.3):β ∈ {0.3, 0.5, 0.7, 0.9} 时 ASR 为 72.2%、75.4%、76.2%、75.1%;m ∈ {1, 3, 5, 7} 时 ASR 为 72.6%、75.3%、80.1%、80.0%,运行时间 86s、130s、180s、245s。
- 效率(Figure 2):作者称 TA-SPA 每样本约 120s,ASR 与耗时权衡优于基线;Figure 3 为跨数据集泛化矩阵,作者称 AdvBench 与 VAJM 是更强的源域,MM-SafetyBench 可迁移性相对较弱(图中具体数值因文本转换无法全部对应行列,未列出)。
有什么可以进一步探索的点?
作者指出模态与基准覆盖、自动指标粒度和表示层防御协同评估三方面局限,留作未来工作。
作者指出的局限与后续方向
- 模态与设置覆盖:TA-SPA 主要在图文 MLLM 和固定的基准/防御集合上验证,其他模态、安全策略和部署管线下的表现仍待验证(Limitations 节)。
- 指标粒度:词典 ASR、GPT-ASR 和毒性等自动指标可能无法完整刻画细粒度的危害严重程度(Limitations 节)。
- 表示层防御:更强的表示层防御协同评估留作未来工作(Limitations 节)。
- 机制层面:作者称结果与表示层脆弱性一致,但并未建立因果机制(Conclusion 节);分解验证支持预期分离但不构成完全解耦的证据(Factorization Validation 节)。
实验覆盖范围
- 被测模型为 3 个开源 MLLM(LLaVA-7B、MiniGPT-4、InstructBLIP)和 3 个商业系统(GPT-4o、Gemini、ERNIE),共 6 个(5.1 节)。
- 基准为 AdvBench、MM-SafetyBench、VAJM;TASF 训练用 128 条请求,对比结果在 40 条代表性请求上报告(5.1 节)。
- 防御评测包括 VLGuard、ProEAT、AdaShield、BlueSuffix 四种(5.2 节)。
- 评审校准含 5 名人类志愿者的多数投票与 Qwen3、DeepSeek 两个非 GPT 评审(Table 8);论文未报告人工评审的具体样本量,也未报告人类与自动评审之间的一致性数值。
- 论文未报告每个设置的重复次数和查询预算;效率方面报告每样本约 120s(Figure 2)。
总结一下论文的主要内容
TA-SPA 在文本锚定语义空间优化可迁移越狱扰动,黑盒条件下对开源与商业 MLLM 均报告了较高的攻击成功率。
一篇多模态越狱攻击论文:作者认为 MLLM 的安全对齐学习于文本表示空间,难以迁移到融合跨模态表示,而现有攻击依赖表面视觉或词法线索、迁移性有限。
- 方法:TA-SPA 用冻结 CLIP 编码器将图文表示分解为跨模态语义因子与模态残差(TASF),在固定语义因子的同时扰动文本残差构造多样化目标锚点(SPA),再以对比间隔损失在该语义空间做 PGD 优化(∥δ∥∞ ≤ 8/255,100 步),黑盒条件下迁移到受害模型。
- 主结果:在 LLaVA-7B、MiniGPT-4、InstructBLIP × AdvBench、MM-SafetyBench、VAJM 的 9 个组合中,TA-SPA 在 8 个上取得最高 G-ASR,如 LLaVA-7B × AdvBench 达 82.0%(Table 1)。
- 迁移:对 GPT-4o、Gemini、ERNIE 的平均 G-ASR 为 52.3%,高于最强基线 IDEATOR 的 49.4%;ERNIE 上 IDEATOR 更高(Table 3)。
- 防御:在 VLGuard、ProEAT、AdaShield、BlueSuffix 下平均 ASR 最高,12 个组合中 10 个第一(Table 9)。
- 控制与校准:干净视觉代理本身已有 45.0% G-ASR,完整方法 60.0%(Table 5);人工多数投票 ASR 77.0%(Table 8)。
- 作者结论:结果与表示层脆弱性一致,作者认为需要超越输入级过滤的表示层安全对齐,但承认未建立因果机制,且仅在图文模态与固定基准/防御集合上验证。