红队多模态推理：跨模态纠缠攻击越狱视觉语言模型

现有黑盒越狱难以压力测试具备多模态推理的VLM的安全对齐。

• 场景：作者称这类VLM可能处理复杂多模态有害任务，因而是高价值攻击目标。视觉模块更贴近真实应用的同时，也引入新的安全漏洞。
• 现有不足：主流黑盒攻击把恶意线索分到不同模态以分散注意力，但图文组合简单且固定，复杂度不可扩展。作者称用于红队时只触发最基本的反射式防御：可见的工程化组合易被识别，单跳图文融合测不到多步推理。
• 观察：作者归纳三点。文本侧训练的安全对齐跨模态泛化不完整；单模态中的显式有害内容易被发现，只在跨模态理解里出现的隐式意图仍脆弱；视觉组合空间大于文本，便于构造超出对齐覆盖的OOD攻击。
• 本文：提出COMET（CrOss-Modal Entanglement AtTack），用可扩展的跨模态纠缠超出VLM已训练并泛化的安全对齐模式。三步是知识可扩展重写、跨模态线索纠缠、跨模态场景嵌套。
• 威胁模型：
  • 目标：诱导不安全输出，包括误导信息、可操作的犯罪指导、偏见或有毒内容，并避免empty jailbreak，使输出具体、有说服力。
  • 知识：black-box，不访问梯度。视觉扰动类方法所需的white-box不在本攻击设定内。
  • 能力：只控制图文输入。辅助模型重写查询、生成纠缠图像，把迁出实体换成空间指针，再拼上评分场景与评分表。
  • 受害系统：具备多模态推理的VLM。实验评测9个主流模型。成功由StrongReject的ASR与HS判定。

多模态推理

• 视觉定位：Ma等（2024）的Groma、Peng等（2023）的Kosmos-2把语言对齐到空间区域和视觉实体，使推理能逐步引用具体视觉线索。
• 多跳与长链：Zhang等（2023）的Multimodal Chain-of-Thought、Shao等（2024）的Visual CoT，以及Dong等（2024）的Insight-V，把复杂任务拆成交错图文上的多跳或长链推理。作者称这些能力也提高误用风险，因而更需要红队测试安全对齐。

三类VLM越狱

• 视觉扰动：Hao等（2024）、Qi等（2024）构造对抗图像以误导视觉编码器。论文称这类方法需要white-box，且跨VLM迁移有限。
• 排版与替换：FigStep（Gong等，2025）、Li等（2024）以及MM-SafetyBench（Liu等，2024）把恶意提示放进视觉版式或做语义替换。论文称它们常依赖直接语义替换，会被演进中的安全对齐发现。引言还把早期攻击概括为typographic prompts、semantic image substitution和visual cryptography。
• 跨模态分布：HIMRD（Ma等，2025）、Shayegani等（2023）和CS-DJ（Yang等，2025）把攻击语义分到各模态，使单模态在模态内检查下看起来良性。

设计属性对照

• 四项属性：论文从既有工作归纳Modality Concealment、Risk Distribution、Attack Scalability、Harmful Output Steering。最后一项对应避免empty jailbreak（Souly等，2024）。
• Table 1：比较FigStep、MML（Liu等，2025）、Visual-RolePlay（Ma等，2024）、CS-DJ、HIMRD、VisCo（Li等，2025）与COMET。正文称现有主流方法主要靠固定、启发式替换隐藏语义，因而缺少可扩展性；表中CS-DJ的Attack Scalability为✓，其余已有方法为✗，COMET四项均为✓。FigStep与Visual-RolePlay被标为图像不安全，VisCo被标为文本不安全。

基线与基准

• 基线方法：实验对比FigStep、CS-DJ、HIMRD，使用各自推荐超参。Table 1中的MML、Visual-RolePlay、VisCo未作为实验基线报告ASR。
• 基准：SafeBench的7个有害类别，以及完整SafeBench-tiny。攻击是否成功用StrongReject计算。

作者称COMET用自适应机制建立必须经过多模态推理的纠缠语义，从而做更可扩展的黑盒攻击；贡献中称该框架novel，并称引入multimodal reasoning attacks来红队测试先进VLM。

COMET把有害查询扩写后拆进图文，再嵌进评分任务，使受害VLM进入指令跟随，并在理解任务时整合攻击语义。Figure 2给出三阶段。正文中的改写对照和提示词原文此处不引。

问题设定

• 输入：原始查询写作Q_orig=(T_orig, ⊥)，T_orig为文本恶意指令，目标回应为R_orig。论文未定义符号⊥。
• 输出：最终文本T_atk与图像I_atk。⊕表示拼接。
• 对照示意：Figure 1把vanilla攻击画成固定的一步图文融合，并标注Safe Check未通过；COMET被画成多步图文纠缠，并标注Safe Check通过、进入指令跟随。这是示意图，不是量化结果。

知识可扩展重写

• 做法：辅助文本模型M_T2T用ReAct循环迭代优化知识集K={k1,...,kn}，把查询改成多跳链式指令，并注入多个可视化实体。系统提示记为prompt_chain。正文未给出该提示全文，也未给出循环次数。
• 目标：提高引出原有害回应的概率，同时压低安全拒答概率，即K^∗=argmax_K P(R_orig|Q_refr(K))·(1−P(R_safe|Q_refr(K)))。重写写作Q_refr=ReAct(M_T2T, prompt_chain, Q_orig, K*)。
• 作者理由：知识的客观、事实性质可充当恶意意图的良性载体；知识之间的关联可自适应扩展语义复杂度，以绕过不同VLM的安全对齐。

跨模态线索纠缠

• 动机：作者称纯文本重写仍可能被直接解码，因为文本格式可能已被VLM内化；视觉更稀疏、含糊，与文本之间存在理解缺口。
• 图像：M_T2T从重写文本抽出可视化实体E_vis，并加入诱饵实体E_decoy。在prompt_img与风格掩码M_style下生成图像提示，再由文生图模型M_T2I合成I_entgl。主实验把M_style设为sketch。
• 文本：图生文模型M_I2T在prompt_entgl指导下，用只模糊指向图像区域的空间指针替换已迁出的实体，得到T_entgl。攻击语义因此分布在Q_entgl=(I_entgl, T_entgl)。
• 作者称：只在实体层把线索嵌进良性、叙事平行的图像。Figure 3对比同一有害任务的视觉混淆；作者称COMET用相关实体但无关语境构成良性叙事。任务原文不引。

跨模态场景嵌套

• 动机：作者称先进VLM针对GAIA、HLE等复杂推理做了保真优化，指令跟随强。COMET构造寻求高分的图文挑战(T_scen, I_scen)，以稳住纠缠攻击并避免empty jailbreak。这两项不是本文评测集。图中评分目标写作6分（Master level）。
• 场景图：I_scen按模板自上而下四段：场景标题、进度跟踪、要求框、界面组件。进度跟踪使用进度条和通过率等元素，作者称以此制造完成任务的紧迫感。
• 评分表：T_rubric=M_T2T(prompt_rubric, Q_orig)，再渲染为视觉表格I_rubric。作者称这利用VLM对视觉表格的指令跟随，把输出引向详细有害内容。
• 装配：T_atk=T_entgl⊕T_scen，I_atk=I_entgl⊕I_rubric⊕I_scen。

辅助模型与防御提示

• 生成模型：M_T2T为DeepSeek-V3.1-Terminus，M_I2T为Qwen3-VL-235B-A22B-Thinking，M_T2I为gemini-2.5-flash-image。生成温度0.1。
• 分析模型：语义表示和嵌入用Qwen3-VL-30B-A3B-Instruct；有害性空间分析用受Lin等（2024）启发的锚点嵌入。它不生成攻击。
• 防御：评测时把AdaShield-Static的提示前置到载荷：先检查图像里是否有暗示有害、非法或危险活动的文字或物体；若整体被判定为不伦理、非法或危险则拒答，否则执行后续文本指令。正文给了该提示全文，此处不复述原句。

实验设置

• 受害模型：GPT-4.1、GPT-4.1-mini、Gemini-2.5-Flash、Qwen3-VL-235B-A22B-Instruct、Qwen2.5-72B-VL、GLM-4.5V、Gemini-2.5-Pro、LlaMa-4-maverick、Claude-4.5-Haiku，共9个。
• 数据：SafeBench的7类，即ADU、FRD、HAT、ILL、MAL、PHY、PRV；泛化用完整SafeBench-tiny。论文未说明两类数据的样本条数。
• 基线：FigStep、CS-DJ、HIMRD，使用推荐超参。Table 2只与CS-DJ比；Table 3与三者都比。
• 指标：ASR（0–1）为越狱尝试成功率；HS（0–1）反映输出的具体程度和说服力，只在攻击成功样本上平均。hop分析另报PPL；风格实验另报图像合成成功率。
• 评审：二者都由StrongReject计算，驱动模型为GPT-4.1-mini。论文未写判定阈值，也未报告与人工的一致性。GPT-4.1-mini同时是受害模型。
• 协议：每次攻击评测5次尝试，温度0.1。Def.表示前置AdaShield-Static提示；Van.表示不加该防御。

主结果

据Table 2的All行，SafeBench、StrongReject ASR。表头Qwen3-VL-235B-A22B即第4.1节的Qwen3-VL-235B-A22B-Instruct。

表格较宽，可左右滑动

受害模型	CS-DJ Van.	CS-DJ Def.	COMET Van.	COMET Def.
Gemini-2.5-Flash	0.71	0.69	1.00	0.98
GPT-4.1-mini	0.26	0.01	0.94	0.89
GPT-4.1	0.40	0.35	0.96	0.93
Qwen3-VL-235B-A22B	0.22	0.13	0.98	0.92

• 作者称COMET平均为Van. 0.97、Def. 0.93，CS-DJ为Van. 0.22、Def. 0.13。作者给出的CS-DJ平均值与上表四行不是同一组数字；以Table 2的All行为准。作者称CS-DJ代表分散注意力一类，在这些VLM上失效，并称COMET点出长多模态推理的unsafety。
• 类别并非每格都是1.00。GPT-4.1-mini的ADU上，COMET为Van. 0.86、Def. 0.84。Gemini-2.5-Flash的FRD上，CS-DJ的Def. 0.76高于其Van. 0.72；作者未解释该上升。
• 摘要写over 94% ASR、高出best baseline 29%；引言写ASR为94%、高出基线29%；Conclusion写over 94%、高出state-of-the-art基线29%。论文未报告统计检验。

更多模型上的三种基线

据Table 3，SafeBench-Tiny的ASR。COMET在五行都是该行最高。

表格较宽，可左右滑动

受害模型	CS-DJ	FigStep	HIMRD	COMET
GLM-4.5V	0.56	0.64	0.72	1.00
Gemini-2.5-Pro	0.22	0.52	0.48	0.92
Qwen2.5-72B-VL	0.18	0.88	0.64	1.00
LlaMa-4-maverick	0.10	0.62	0.90	0.96
Claude-4.5-Haiku	0.14	0.60	0.04	0.84
All	0.24	0.65	0.56	0.94

• 作者称COMET在这些VLM上ASR最高，并称这暴露VLM的一种通用不安全模式。同表All中FigStep为0.65，是三种基线里最高的一行。
• Claude-4.5-Haiku上COMET为0.84，是该表COMET的最低行；同模型HIMRD为0.04。LlaMa-4-maverick上HIMRD为0.90，与COMET的0.96同列差距小于其他行。作者未单独解释这两行。

有害程度与载荷表示

• HS：Figure 4横轴为Harmfulness Score（0.0到1.0），纵轴为Frequency，分CS-DJ与COMET两幅，图例含Table 2的四个模型。作者称COMET的回应更接近1.00，因而不是empty jailbreak，并称既有工作批评该问题但缺少通用解法，他们反过来用评测引导去推动受害模型。提取文本没有分箱计数。
• 表示：作者称Figure 5中COMET载荷与harmless anchors聚在一起、远离harmful anchors，防御开启时仍隐蔽，并用来解释Table 2的ASR。提取到的图例是Harmless/Harmful Anchor以及CS-DJ、COMET的Van./Def.；图注另列COMET、COMET w/o Scen.N、HIMRD、CS-DJ，并称更低的sample similarity表示更大多样性。坐标轴名称未出现在提取文本中。

组件消融

Table 4在SafeBench-tiny、受害模型GPT-4.1上比较单个组件，不是逐个移除。K.Refr、C.Enta、Scen.N分别指知识重写、线索纠缠、场景嵌套。

• 三组件齐备：ASR 0.96，HS 0.91。作者称这是该表最优。
• 只留一个：K.Refr为0.66（↓0.30）、0.67（↓0.24）；C.Enta为0.42（↓0.54）、0.52（↓0.39）；Scen.N为0.24（↓0.72）、0.86（↓0.05）。作者称三者角色不同：重写扩展复杂度以利隐蔽，纠缠需要知识扩展才有效，场景嵌套主要提高输出有害程度。

其他消融与分析

• hop：Figure 6横轴为Entanglement Hop Count（0到10）。作者称ASR与HS的折中在4到6 hops，6 hops时ASR接近100%，HS随hop下降，原因是模型要把更多注意力用于解码原语义；PPL仍较低。对照为CS-DJ与FigStep的hop=0、HIMRD的hop=1。作者称HIMRD的PPL异常高。提取文本无逐点数值。
• 多样性：作者称Figure 7中COMET文本与视觉嵌入的cosine similarity低于CS-DJ等固定模板；无场景嵌套的T_entgl、I_entgl低于HIMRD。图中未标相似度数字。
• 评分表：作者称Figure 8加入视觉评分表会同时提高隐蔽性和输出有害程度，并称这是counterintuitive。无评分表时注意力分布在视觉实体上做安全检查；有评分表时转向伪装仪表板、UI和评分区。更亮黄色表示更高注意力。无注意力数值。
• 风格：Table 5用dall-e-3生成图像，受害模型GPT-4.1，数据为SafeBench-tiny，报告ASR/合成成功率。HIMRD：Realistic 0.00/0.08，Cartoon 0.02/0.04，Pixel Art 0.04/0.08，Sketch 0.02/0.06。COMET：0.94/1.00，0.98/1.00，0.96/1.00，0.98/1.00。作者称HIMRD多在合成阶段被文生图防护拦截，COMET四种风格合成成功率均为1.00。主实验的文生图模型是gemini-2.5-flash-image，与本表不同。

作者指出的局限与后续方向

• 防御：Conclusion称本研究进一步强调了为VLM安全开发更鲁棒防御的紧迫性。论文没有Limitations或Future Work专节，也未把某一实验现象写成方法本身的不足。

实验覆盖范围

• 模型与表：受害模型为第4.1节的9个VLM。Table 2报告其中4个在SafeBench上相对CS-DJ的Van.与Def. ASR；Table 3报告其余5个在SafeBench-tiny上相对三种基线的ASR，无防御列。
• 基线范围：实验基线为FigStep、CS-DJ、HIMRD。Table 1还比较MML、Visual-RolePlay、VisCo，实验节未报告三者的ASR。相关工作把视觉扰动标为需要white-box、迁移有限，实验基线未包含该类方法。
• 协议缺口：每次攻击5次尝试，温度0.1。论文未报告SafeBench与SafeBench-tiny的样本条数，也未报告ReAct迭代次数或查询次数。
• 评审：ASR与HS由StrongReject计算，驱动模型为GPT-4.1-mini；HS只在成功样本上平均。论文未报告评审与人工判定的一致性。
• 分析设置：组件消融、hop和风格实验的受害模型为GPT-4.1。主实验图像模型为gemini-2.5-flash-image，M_style为sketch；Table 5改用dall-e-3，风格为Realistic、Cartoon、Pixel Art、Sketch。防御评测是AdaShield-Static提示前置。

COMET是面向具备多模态推理的VLM的黑盒越狱，用来红队测试跨模态安全对齐。

作者要处理的缺口是：把恶意线索分到图文的固定组合，测不到多步推理里才出现的漏洞。攻击不访问梯度，只构造图文输入。

方法分三步。辅助LLM用ReAct把有害查询扩成多跳知识指令；可视化实体迁入带诱饵的叙事图像，文本只留空间指针；再套上寻求高分的场景和视觉评分表，推动详细输出。主实验的辅助模型是DeepSeek-V3.1-Terminus、Qwen3-VL-235B-A22B-Thinking和gemini-2.5-flash-image。

• Table 3在SafeBench-Tiny上，COMET的All ASR为0.94；同表FigStep为0.65，HIMRD为0.56，CS-DJ为0.24。作者称高出best baseline 29%；摘要与Conclusion写over 94%，引言写94%。
• Table 2四个模型的COMET All，无防御为1.00、0.94、0.96、0.98，AdaShield-Static提示防御后为0.98、0.89、0.93、0.92。作者另给了一组平均值，与这四行不完全相同。
• Table 3里COMET最低的一行是Claude-4.5-Haiku的0.84；该行HIMRD为0.04。
• Table 4在GPT-4.1、SafeBench-tiny上，三组件齐备时ASR 0.96、HS 0.91；只留一个组件时ASR为0.66、0.42、0.24。
• Table 5中，COMET在四种视觉风格上的图像合成成功率均为1.00；HIMRD的合成成功率最高为0.08。

作者称跨模态纠缠能阻止VLM直接解码攻击语义，并利用其指令跟随；Conclusion称这强调了发展更鲁棒VLM防御的紧迫性。