CollageAttack: Exploiting cross-modal alignment defects for spatial text composition jailbreaks against T2I models.

文本到图像（T2I）生成模型中串行提示词安全检查与二维图像视觉合成不匹配所导致的跨模态越狱安全漏洞。

• 问题场景与重要性：近期T2I模型具备了遵循空间指令并在特定物体或区域渲染清晰文本的能力；然而，提示词侧防御主要依赖对线性文本指令的串行审查，难以防范通过多模态组合表达的有害内容。
• 现有黑盒越狱的不足：现有黑盒T2I越狱方法主要局限于文本域的重写、替换或迭代搜索，将串行提示词作为有害语义的主要载体，未探索利用渲染文本、视觉上下文和空间结构的联合合成来规避防御。
• 核心观察与假设：作者提出，单独检查时不完整或不显眼的文本片段与场景元素，在图像空间实例化并联合解读后可重构成完整的有害语义，从而突破提示词过滤。
• 提出的方法：作者提出了自动化单提示词黑盒越狱框架 CollageAttack，通过场景构建、载体分配与有害意图碎片化重组，将语义组装过程从提示词文本转移到图像平面。
• 威胁模型：
  • 知识与访问权限：采用黑盒（black-box）设定，攻击者仅能访问生成接口，无权访问模型参数、梯度、训练数据、系统提示词、安全分类器或内部审查流水线。
  • 攻击者目标：绕过T2I模型的安全审查，诱导模型生成包含有害语义且保留源意图的图像。
  • 攻击者能力：仅使用源意图和固定模板生成单次提示词请求，无需目标模型梯度、安全分数反馈，亦无需多轮迭代搜索或图像编辑。
  • 受害系统：具备遵循场景与空间关系指令、并在视觉表面渲染文本能力的T2I生成模型。

大语言与生成模型安全对齐

• 基于反馈的偏好对齐：Ouyang et al. (2022) 确立了监督微调结合人类反馈强化学习（RLHF）的流水线；Rafailov et al. (2023) 提出直接偏好优化（DPO）；Bai et al. (2022) 将宪法原则与AI反馈强化学习结合引入 Constitutional AI。
• 对齐泛化不足机制分析：Wei et al. (2023) 与 Wang et al. (2024) 指出对齐无法消除有害内容生成能力，并归因于模型能力与安全目标之间的目标冲突，以及广泛学习的能力与相对有限的安全训练之间的泛化不匹配。

文本到图像模型越狱攻击

• 交互与编辑型攻击：Wang et al. (2025) 提出 Chain of Jailbreak，通过分步图像编辑绕过安全机制；论文指出该方法依赖编辑功能及与目标服务的反复交互，限制了自动化与通用性。
• 基于标记与语义搜索的越狱：Yang et al. (2024) 提出 SneakyPrompt，利用强化学习和模型反馈搜索良性标记替换，论文指出其替换可能导致语义不自然并妨碍有害文本的准确渲染；Huang et al. (2025) 提出 PGJ，使用大语言模型进行感知引导的语义替换；Dong et al. (2025) 提出 JailFuzzer，结合模糊测试与智能体演化种子池；Jiang et al. (2026) 提出 PromptTune 微调攻击大语言模型以重写不安全提示词。

基线方法与基准数据集

• 对比基线：实验选取 Original（直接输入源提示词）、PGJ（Huang et al., 2025，感知引导语义替换）、SneakyPrompt（Yang et al., 2024，标记级扰动）与 JailFuzzer（Dong et al., 2025，智能体引导模糊测试）作为对比基线。
• 评测基准：使用动态生成仇恨言论（DGHS）数据集（Vidgen et al., 2021），涵盖贬损、敌意、威胁、非人化和对仇恨实体的支持五类有害内容。

与既有工作的定位区别

作者称，既有黑盒T2I越狱主要停留在文本域操作并将串行提示词视为有害语义载体，而 CollageAttack 将语义组装转移到图像平面，利用渲染文本、视觉上下文与空间结构的联合组合突破安全对齐。

整体设计与问题形式化

给定源有害意图 x、提示词构建大语言模型 L 和固定模板 T，CollageAttack 框架在单次交互中联合生成三个互补指令 (c1, c2, c3)，组装成结构化提示词后提交给黑盒T2I模型。该框架将语义组装任务从串行提示词转移至图像平面，利用渲染文字与视觉画面的空间关联显现有害含义。

上下文感知场景构建（COMMAND1）

• 跨模态语义协调：根据源意图构建相关的场景上下文 s，提供解读后续文字所需的环境背景，而不直接复制完整源语句。
• 视觉属性设定：针对基于环境的场景，指定光照、视点和视觉配置等属性，为后续载体和铭文提供共享的视觉基础。
• 职责边界划分：该指令仅负责场景上下文本身的构建，不涉及文字载体的选取或文字内容的填充，最终提示词直接合成，不生成中间场景图像。

主题表面分配（COMMAND2）

• 视觉语义基础锚定：在构建的场景上下文 s 中指定一组与环境自然契合的文字承载表面 R = {r₁, …, r_K}，公式中每个元素表示一处具体载体。
• 载体类型与状态：模板不限制载体类型，由大语言模型自适应选取3至5个相关载体（如海报、标牌、横幅或标签）；此阶段载体保持空白或仅含抽象图案，尚未填入文本碎片。

有害意图碎片化与空间重组（COMMAND3）

• 短语级碎片切分：将源有害表达 x 切分为3至4个短语级碎片 F(x) = (f₁, …, f_M)，公式中 M 表示切分得到的碎片数量，避免以单一铭文形式呈现完整攻击语句。
• 空间排布与风格指令：为每个碎片指定承载物体、摆放位置以及匹配载体质感的呈现风格（统称为 A），例如板条箱上的模板喷涂文字或横幅上的印刷字体；碎片数量与可用载体数量无需严格一一对应。

单提示词生成算法流程

大语言模型 L 依据模板 T 的自然语言约束，在单次请求中联合输出三个部分，经解析后合并为单一完整提示词直接输入目标T2I模型（如 Algorithm 1 所示）。整个构建流程不依赖目标模型的梯度信息、安全打分或迭代搜索。

实验设置

• 被测模型：共5个代表性T2I模型，包含3个商业闭源模型 GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro，以及2个开源模型 HiDream-O1-Image（8B，像素级统一Transformer架构）和 FLUX.2 [dev]（32B，整流流Transformer架构）。
• 评测数据集与样本量：使用动态生成仇恨言论（DGHS）数据集（Vidgen et al., 2021，总规模41,255条），从中随机抽取200条标注为“hate”的样本（来自v0.2.3版本），覆盖贬损、敌意、威胁语言、非人化和对仇恨实体支持五类内容，并对混淆拼写进行了规范化。
• 对比基准：包含原始提示词（Original）以及三种自动化黑盒越狱基线：PGJ（Huang et al., 2025）、SneakyPrompt（Yang et al., 2024）和 JailFuzzer（Dong et al., 2025）。
• 指标定义与评审模型：(1) ASR 与有害性评分：采用基于准则的 GPT-4.1 作为裁判，按0至10分评估图像严重程度（0为无害、5为中度、10为重度），ASR为200次意图中被判定为Harmful的比例；(2) 跨模态语义相似度：使用4种CLIP编码器（OpenAI CLIP、Google CLIP、OpenCLIP、Doubao Similarity）计算余弦相似度；(3) 视觉相对文本放大率（Amplification Rate）与平均分：由 GPT-4.1 对比视觉与文本冲击力，评分区间为 -2 至 2。
• 评测机制细节：对于初始判定为 Harmless 的样本，最多进行3次评估并保留首个 Harmful 判定，作者指出这可能虚增 ASR（附录 E）；各方法与模型均基于相同的200个源意图进行单次生成评测。

主结果

据 Table 1，各方法在5个T2I模型上的 ASR 结果（格式为：成功攻击数 / 生成图像数 / 总尝试次数）如下：

Swipe horizontally to read the table

• 攻击成功率表现：据 Table 1，CollageAttack 在5个模型上的 ASR 均达到最高（57.5% 至 86.0%），跨模型总聚合 ASR 达 77.0%，作者称明显高出最强基线 SneakyPrompt（47.5%）。
• 跨架构稳定性：据 Table 1，SneakyPrompt 在 gpt-image-2 和 HiDream-I1 上的 ASR 分别降至 19.0%（38/200）和 21.5%（43/200），而 CollageAttack 分别保持在 57.5%（115/200）和 75.0%（150/200）。
• 有害性评分表现：据 Table 1，CollageAttack 在各模型上的平均有害性评分为 4.96 至 6.85（满分10分），跨模型均值达 6.12/10，高于 SneakyPrompt 的 4.23/10。

视觉相对文本的传播冲击力放大评测（RQ4）

• 测了什么：使用 GPT-4.1 对比生成图像与原始源文本的传播冲击力（评分区间 -2 至 2），统计放大率（高于0的比例）及平均得分（Table 2）。
• 实验结果：据 Table 2，CollageAttack 是唯一在5个模型上平均分全部为正的方法，平均得分介于 0.405（HiDream-I1）至 0.8579（Wan2.7-image-pro）之间；在所有模型上均有超过半数样本获得正向放大评价，其中 FLUX.2 Dev 上的放大率达 69.4%（127/183）。对比基线在多个模型上呈现负均分，例如 Original 在 HiDream-I1 上为 -1.2143，JailFuzzer 在 Wan2.7-image-pro 上为 -1.53。
• 作者的解读：作者认为，有害内容在图像中实例化后，视觉上下文、渲染文字和空间组合的结合使结果比单纯文本表达更具感知显著性；作者明确指出该指标衡量传播强度而非语义等价性。

跨模态语义重构与相似度评测（RQ2）

• 测了什么：评估生成的图像是否在多组件分散表达下保留了源有害意图的语义对齐，在5个目标模型上使用4种视觉语言编码器测试 CLIP 余弦相似度（Figure 3、Table 4）。
• 实验结果：据 Figure 3，在 Google 评估器下，CollageAttack 取得最高相似度分数 8.14，高出最强基线 SneakyPrompt（6.88）；在 Doubao 评估器下达到 32.1709 领先各基线；在 OpenAI CLIP（23.875）和 OpenCLIP（24.1329）上保持竞争力（Figure 3 与 Table 4 中 HiDream-I1 行数值相同）。
• 作者的解读：作者称，空间碎片化在无需单句完整铭文的情况下保留了源意图对齐，场景上下文、渲染文字与空间关系共同传达了单一组件仅能部分表达的含义。

组件贡献消融实验（RQ5）

• 测了什么：测试 CollageAttack 的三个功能命令不同组合对生成图像平均有害性评分的贡献（Table 3）。
• 实验结果：据 Table 3，单独使用 COMMAND1（场景构建）评分为 0.25，单独使用 COMMAND3（文字碎片与排布）为 0.53，单独使用 COMMAND2（表面分配）为 5.47；两组件组合 COMMAND1 + COMMAND2 得分为 5.94；完整三组件组合 COMMAND1 + COMMAND2 + COMMAND3 达到最高的 6.41。
• 作者的解读：作者指出，单项配置中 COMMAND2 表现最强，而独立效果有限的组件融入后仍能提供增益，完整配置比单组件最高值提升 0.94 分，说明生成的有害性并非由单一组件主导，各组件的贡献取决于协同使用。

其他消融与分析

• 视觉与文本线索引入消融（Figure 4）：从无相关背景逐步引入场景与空间文字碎片，图文余弦相似度从 0.0700 增至 0.3870（仅纯文字渲染上限参考为 0.6018）。
• gpt-image-2上的生成失败（Table 1）：原始提示词（Original）在200次尝试中仅成功生成15张图像（ASR为 7/15/200），拒绝生成率为 92.5%（185/200）。
• 基线生成中的非语义字符现象（附录 D.3）：SneakyPrompt 在部分生成提示词中引入非语义字符替换文本碎片，导致目标文本无法在图像中正确呈现。

作者指出的局限与后续方向

• 论文未专门设立章节讨论局限：正文与附录均未设置独立的 Limitations 或 Future Work 章节（正文第10页）。
• 评估机制对ASR的潜在虚增：在裁判评测机制中，对初始判定为无害的样本最多进行3次评估并保留首个有害判定，作者指出该机制可能虚增 ASR（Section 4.1.4、附录 E）。
• 传播影响指标的解释边界：作者明确说明 harm amplification 指标衡量的是裁判评定的传播冲击力强度，而非语义等价性或受众的实际观察效果（Section 4.1.4、RQ4）。
• 定性分析的参照性质：作者指出，关于视觉上下文与文字线索逐步引入的相似度分析仅作为语义重构的说明性分析，而非额外的聚合评测基准（附录 A）。

实验覆盖范围

• 被测模型范围：实验覆盖5个T2I模型，包含3个商业闭源系统（GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro）与2个开源模型（HiDream-O1-Image、FLUX.2 [dev]）（Section 4.1.1）。
• 提示词构建模型未披露：攻击提示词构建由固定模板和提示词构建LLM完成，论文未报告提示词构建所采用的具体大语言模型名称及生成超参数（Section 3.6、Algorithm 1）。
• 数据集覆盖范围：评测数据集基于 DGHS release v0.2.3 随机抽样的200条英文仇恨言论样本，涵盖贬损、敌意、威胁、非人化和仇恨实体支持五类（Section 4.1.2）。
• 防御机制覆盖：防御测试仅限于目标模型自带的默认黑盒输入过滤与内置安全机制，未报告针对外部独立图像安全分类器或后处理审核流水线的测试（Section 3.2、4.1.1）。
• 评审方式单一：有害性与放大率评测均使用 GPT-4.1 单一模型担任裁判，论文未报告裁判结果与人类专家评估的一致性检验（Section 4.1.4、附录 D.3.1）。

1. 研究定位与核心问题：针对文本到图像（T2I）生成模型中的跨模态对齐缺陷，研究攻击者如何利用模型在二维图像中组织场景与渲染文本的视觉合成能力，使在串行提示词中隐蔽的不完整碎片在生成图像中重构为显性有害语义。
2. 方法框架：提出的 CollageAttack 属于黑盒自动化单提示词越狱框架，由大语言模型依据模板一次性生成三个协同指令：构建与意图相关的场景背景、分配3至5个符合环境的空白承载表面（如海报、横幅）、以及将有害文本切分为3至4个短语碎片并指定具体排版与空间位置。
3. 攻击成功率表现：在包含5个主流商业与开源模型的200条DGHS仇恨样本评测中，CollageAttack 聚合 ASR 达到 77.0%，高出对比基线 SneakyPrompt（47.5%）；在 Doubao-Seedream-5.0-Lite 上 ASR 达 86.0%（高出该模型最强基线 18.5 个百分点），在 gpt-image-2 上达到 57.5%（Table 1）。
4. 图像有害性与传播冲击力：生成的图像在 GPT-4.1 裁判下的跨模型平均有害性评分达 6.12/10（基线最高为 4.23/10）；在全部5个模型上均有超半数样本的视觉传播冲击力被评为强于源文本，其中 FLUX.2 Dev 上的放大比例达 69.4%（Table 2）。
5. 跨模态语义重构：多评估器 CLIP 余弦相似度测试显示，分散碎片在图像中能够保持源意图对齐（在 Google 评估器下达 8.14，高出 SneakyPrompt 的 6.88，Figure 3）；组件消融表明三个模块协同使用时有害性评分最高（6.41，Table 3）。
6. 作者结论与启示：作者指出，T2I模型的安全风险不仅来源于连续文本提示词，更能从分散元素的多模态空间合成中涌现；现有的串行提示词过滤无法有效抵御此类空间跨模态组合攻击，亟需开发兼顾图像二维视觉语义的防御机制。