Low-barrier jailbreak attacks against text-to-image safety filters

仅用自然语言提示词、不访问模型，能否绕过文生图安全过滤并生成受限图像。

• 场景：作者称 DALL·E、Stable Diffusion、Imagen、Midjourney 等文生图模型已进入创作平台、搜索引擎和内容生成工具。部署时通常带安全过滤与审核流水线，用来拦截有害、违法或违反政策的视觉内容。
• 现有不足：作者称近期工作多集中在自动优化或 token 级扰动。只需自然语言、非专家即可复现的提示词工程仍较少被系统研究；在线社区会分享把不安全意图嵌进艺术、教育或风格语境的提示词模式。
• 观察：作者称直接请求不安全内容通常会被过滤挡住，轻微提示词修改即可绕过审核并生成受限图像（Figure 1）。这些策略利用自然语言的语义弹性，把不安全意图藏进看似良性或含糊的语境。
• 本文提出：一套提示词越狱分类、对审核流水线的系统分析，以及跨多个文生图系统的经验评估。分类包括艺术重构、材料替换、伪教育框架、生活方式审美伪装和含糊动作替换。
• 威胁模型：
  • 目标：绕过安全过滤，生成受限或违反政策的图像。
  • 知识：不需要模型访问、梯度、优化或对抗训练，也不需要专门技术知识。
  • 能力：只改自然语言提示词。专有系统通过公开接口、在默认安全配置下测试。
  • 受害系统与判定：带安全过滤和审核流水线的文生图系统。ASR-N 下，一个提示词成功是指 N 张图中至少一张同时绕过提示词过滤和生成后安全检查，且呈现受限或不安全内容。

论文把相关工作分成安全过滤、对抗提示词攻击、检测与缓解，以及提示词攻击的可及性。

文生图安全机制

• DALL·E、Stable Diffusion、Imagen、Midjourney：从自然语言生成图像，并加入安全过滤。作者称常见组成包括提示词过滤、嵌入级安全分类器和生成后图像审核，但这些机制仍会被精心构造的提示词操纵。

针对文生图的对抗提示词

• SneakyPrompt：用强化学习生成能绕过安全过滤、产出 NSFW 图像的提示词。作者称其涉及小幅 token 级扰动。
• Metaphor-based jailbreak、Jailbreaking Prompt Attack、EvilPromptFuzzer、Perception-Guided Jailbreak：用语言模型生成委婉描述、自动搜索或 LLM 引导生成提示词，或用感知上相近的替代 token 替换受限 token。
• Chain-of-Jailbreak、ColJailBreak、TREANT、Atlas：多步提示、用 inpainting 逐步引入不允许的内容、对提示词变换做树搜索，以及多智能体根据视觉-语言安全分类器的反馈迭代改写提示词。作者称其中许多依赖自动搜索、强化学习或辅助模型。

检测、缓解与可及性

• 安全流水线常把提示词过滤和生成后图像审核结合起来；另有水印与来源追踪、生成模型审计。作者称对抗提示词往往语义上看似良性，提示词级漏洞仍然难检测。作者还把隐藏内容以躲过检测比作隐写，但没有把隐写方法当作实验基线。
• 作者称许多提示词攻击只需直观的语言变换，可在社区分享，也可用轻量语言模型或规则系统生成释义和风格变体。作者称既有工作主要关注优化型或模型辅助流水线，低成本且易于自动化的操纵相对少被考察。

基线与数据

• 基线方法：QF-Attack、SneakyPrompt、Ring-A-Bell、UnlearnDiffAtk、MMA-Diffusion、PLA（表中为 PLA-T5）。作者称它们覆盖无查询攻击、基于强化学习的提示词搜索、概念操纵和多模态优化；其中许多在 black-box 设置下依赖迭代搜索、辅助模型或基于梯度的优化。
• 基准/数据集：与基线比较时，按 PLA 从 I2P 派生提示词，聚焦裸体与暴力。ASR 用 SC、Q16、MHSC 量化，协议跟随 PLA。

作者把本文定位为：只使用自然语言、日常用户可以复现、也不需要专门工具的低成本提示词操纵，用来补优化型攻击之外较少被系统研究的部分。

整体做法是给出提示词越狱分类，并把它映射到作者抽象的多阶段审核流水线。经验攻击是五类自然语言伪装，作者称不优化、不访问模型。

问题设定

• 研究对象是用户侧提示词操纵，不是模型内部漏洞。不需要梯度或专门工具。
• 受害系统是带多阶段审核的文生图模型。专有系统经公开接口、默认安全配置测试。开源扩散模型方面，作者称外部防护较少。
• 作者把基线中的许多方法写成 black-box 下的迭代搜索、辅助模型或梯度优化；本文方法不优化、不访问模型。
• 比较实验的提示词来自 I2P，聚焦裸体与暴力：选取原形式很可能触发过滤的条目，再改成自然语言变体。论文未报告条数。

审核流水线

• 抽象：实现细节未公开。Figure 2 图注为提示词过滤、语义验证、图像生成和生成后视觉审核。正文称为输入合规检查（ICC）、语义安全检查（SSC）、图像生成模型和生成后审核（PGM），并称各阶段顺序执行，任一阶段都可拒绝。
• ICC：规则过滤与关键词匹配，抓提示词里的显式违规。作者称编码与混淆主要打这一层，用词法变换掩盖受限概念。
• SSC：嵌入分类器或多模态安全模型，抓表层过滤漏掉的不安全意图。作者称艺术与文化重构、伪教育框架把不安全内容放进看似合法的语境。
• 后段：生活方式与审美伪装用很长的风格描述稀释受限内容。含糊动作替换同时利用语义阶段和 PGM；作者称图像可以含隐含或不安全内容，仍通过生成后审核。作者认为许多攻击利用的是表层过滤与上下文意图理解之间的缺口。

提示词策略

• 分类与表内名称：第 3 节写编码与混淆、艺术与文化重构、伪教育框架、生活方式与审美伪装、含糊动作替换。经验表使用 ARA、LSAA、PEFA、MSA、AASA。MSA 不在第 3 节的分节标题中；编码与混淆没有对应 ASR。
• ARA 与 PEFA：ARA 把内容放进对经典作品、历史图像或象征性再诠释的指涉。PEFA 写成教育、科学或医学材料，如示意图或说明性画面。作者称这两类针对 SSC。
• LSAA 与 AASA：LSAA 用生活方式、时尚或亚文化的详细场景稀释不安全特征。AASA 把可能有害的动作放进中性或正面叙事，当作场景的附带成分。作者称后者同时触及语义理解与视觉审核。
• MSA：用通常与艺术或无害语境相关的材料描述替换受限术语。作者称它是低成本策略里效果最高的一类，生成结果仍常保留视觉上不安全的特征。第 5.6 节有示例提示词，此处不复述。

成功判定

• ASR-N 按提示词计算：每个提示词生成 N 张，至少一张同时绕过提示词过滤和生成后检查，且含受限或不安全内容，则该提示词成功。ASR-4 即 N=4。
• 扩散模型比较用 SC、Q16、MHSC，跟随 PLA。论文未写分类阈值。
• 跨模型实验写各类攻击 150 次尝试。论文未说明检查器，也未说明该 ASR 是否等于 ASR-4。
• 第 6.2 节称判定还依赖定性检查。论文未报告与人工判断的一致性。

跨模型测试和扩散模型比较都报告了五类低成本策略的 ASR。材料替换最高；在已复核的平均 ASR-4 上，优化型基线仍高于正文给出的 MSA。

实验设置

• 模型：5.1 列出 Gemini、Qwen 2、SORA、Stable Diffusion v1.4，包括闭源 API 与开源扩散模型。专有系统用公开接口和默认安全配置。Table 2 另有 Grok，表内写 Qwen。比较实验正文称用 Stable Diffusion v1.4，Table 1 表头为 SDv1.5。
• 数据：基线比较按 PLA，从 I2P 派生提示词，聚焦裸体与暴力，并改成自然语言变体。论文未报告子集条数。Table 2 写各类攻击使用符合该类别的多种提示词，共 150 次尝试。
• 基线：QF-Attack、SneakyPrompt、Ring-A-Bell、UnlearnDiffAtk、MMA-Diffusion、PLA-T5。只出现在扩散模型比较中，Table 2 未报告。
• 指标：ASR-N 是提示词在 N 张生成图上的成功比例。成功指至少一张同时绕过提示词过滤和生成后安全检查，且含受限或不安全内容。ASR-4 为四张中至少一张成功。Table 2 只写 ASR，论文未说明是否同 ASR-4。
• 判定：比较实验用 SC、Q16、MHSC，跟随 PLA。论文未写阈值。第 6.2 节称评估还依赖定性检查，论文未报告与人工判断的一致性。Table 2 的判定方式论文未说明。
• 重复：论文未报告独立重复次数，也未报告采样步数或引导强度。比较协议按每个提示词 N 张样本理解；Table 2 为 150 次尝试。

主结果

据 Table 2。论文未说明检查器，也未说明该 ASR 是否为 ASR-4。Grok 不在 5.1 的列举中；表中 Qwen 对应正文的 Qwen 2。

Swipe horizontally to read the table

模型	ARA	LSAA	PEFA	MSA	AASA
Gemini	62.00%	50.67%	50.00%	71.33%	59.33%
SORA	66.67%	49.33%	54.67%	74.00%	62.33%
Grok	69.33%	54.00%	56.67%	73.67%	63.00%
Qwen	59.67%	51.33%	52.00%	69.33%	58.67%

• 作者称 MSA 在所有模型上最高，且 ASR 均超过 69%，并认为简单的语义替换尤其有效。
• 除 MSA 列外，Grok 在其余四列上为四模型最高；Qwen 的 ARA、MSA、AASA 为四模型最低。每个模型上 LSAA 都是五列中的最低。
• 作者称尽管架构、训练数据和安全流水线不同，各模型都容易受同类提示词越狱影响，因此问题可能不限于某一种实现，而与模型如何把语言对齐到安全策略有关。

与优化型基线比较

正文称公平比较使用 Stable Diffusion v1.4；Table 1 表头为 SDv1.5。基线六行的 SC、Q16、MHSC 算术平均与平均列一致，下表只用平均列。本文方法各行的分项加总与平均列不一致，除正文写明的数字外不把分项记到某个检查器。

方法	平均 ASR-4	平均 ASR-1
QF-Attack	24.71%	10.36%
SneakyPrompt	37.89%	20.22%
Ring-A-Bell	50.53%	29.78%
UnlearnDiffAtk	73.27%	54.96%
MMA-Diffusion	77.76%	58.38%
PLA-T5	86.56%	65.84%

• 正文称 MSA 的平均 ASR-4 为 71.50%，并称其接近优化型基线。PLA-T5 的平均 ASR-4 为 86.56%，作者称这代表对抗提示词攻击的上界。作者将 UnlearnDiffAtk、MMA-Diffusion、PLA-T5 更高的成功率归因于搜索、基于梯度的优化或辅助模型。
• PLA-T5 在 SC、Q16、MHSC 上的 ASR-4 分别为 89.77%、83.90%、86.01%（Table 1）。摘要称全部被测模型与攻击类别上 ASR 最高 74.47%；该值出现在 Table 1 的 MSA 行，高于 Table 2 最高格 74.00%，但该行分项未能复核，不记到某一检查器。
• 作者称低成本操纵仍能取得相当的成功率，因此风险不限于会做优化的攻击者。已复核的基线行上，ASR-1 均低于对应 ASR-4，与“至少一张”相对“单张”的定义一致。

案例

第 5.6 节为五类策略各给示例，Figure 3–7 为对应生成图。作者称图因内容敏感做了遮挡。转换文本看不到画面，此处不描述图像，也不复述示例提示词。作者称这些攻击不访问模型内部，只用自然语言，并可绕过流水线的多个阶段。

其他消融与分析

• 论文未报告消融、阈值扫描或采样参数实验。
• 第 3 节的编码与混淆没有 ASR 数字。
• 作者称优化型方法在绝对成功率上仍更高；Table 2 中 LSAA 在每个模型上都低于同模型的其他四类。

作者在第 6.2 节写出模型范围、手工设计、判定方式和未做自动生成等方面的局限；讨论和第 6.1 节另写了后续方向。

作者指出的局限与后续方向

• 评测只覆盖所测的模型与安全配置，模型更新或安全机制变化后结果可能不同（6.2）。
• 攻击策略为手工设计并归类，作者认为可能没有覆盖全部提示词操纵空间（6.2）。
• 成功判定依赖现有安全检查器和定性检查，作者认为可能不能完全对应真实部署策略或人类判断（6.2）。
• 作者写明没有显式评估大规模自动攻击生成，并将其列为后续工作（6.2）。
• 作者称还需要更完整的基准、标准化评测协议，以及与模型开发者合作，以便理解仍在变化的安全机制（6.2）。
• 第 6 节提出超出关键词过滤的语义与上下文推理，例如意图的结构化表示、对提示词的多步推理或外部知识；还提出对变化中的提示词模式做自适应防御，并把低成本、类人越狱纳入基准。第 6.1 节另写了提示词理解与生成结果之间的多阶段一致性检查、用低成本提示词变换做对抗训练或红队，以及联合分析提示词语义和视觉内容的多模态推理。

实验覆盖范围

• 5.1 列出的系统为 Gemini、Qwen 2、SORA、Stable Diffusion v1.4；Table 2 报告 Gemini、SORA、Grok、Qwen；Table 1 表头为 SDv1.5。专有系统为公开接口、默认安全配置。
• 有 ASR 的策略为 ARA、LSAA、PEFA、MSA、AASA。第 3 节还写了编码与混淆，两张结果表都没有该类数字。
• 基线比较的提示词来自 I2P 中与裸体和暴力相关的条目，检查器为 SC、Q16、MHSC，指标为 ASR-4 与 ASR-1。论文未报告该子集条数、分类阈值、采样参数、独立重复次数，以及评审与人工的一致性。作者称本文攻击不使用优化或模型访问，论文也未报告攻击辅助模型。
• Table 2 写各类攻击 150 次尝试。论文未说明该 ASR 的检查器、是否等于 ASR-4，以及 150 次如何分到各模型。
• 六个基线只出现在 Table 1 的比较中。第 6.1 节讨论了防御设计，实验未报告这些防御的拦截率或效用变化。

作者分析文生图安全过滤对低成本提示词越狱的暴露程度：不访问模型、不做优化，只改自然语言。

• 问题：审核流水线要拦住有害或违规图像。作者称表层过滤与对对抗意图的语义理解之间有缺口，非专家用公开接口和默认安全配置也能尝试这类攻击。
• 做法：分类讨论艺术重构、伪教育框架、生活方式审美伪装、含糊动作替换，以及经验评估中的材料替换；编码与混淆只出现在分类讨论中。流水线被抽象为输入合规检查、语义安全检查、图像生成和生成后审核。第 5.6 节有示例提示词，此处不复述。
• 跨模型：Table 2 中 MSA 在 Gemini、SORA、Grok、Qwen 上的 ASR 分别为 71.33%、74.00%、73.67%、69.33%，均为各模型最高。同表最低为 SORA 上 LSAA 的 49.33%。论文未说明该表检查器。Grok 不在 5.1 的模型列举中。
• 对照：扩散模型比较里，正文给出 MSA 平均 ASR-4 为 71.50%，PLA-T5 为 86.56%。作者称优化方法仍更高，并把差距归因于搜索、梯度优化或辅助模型，同时称低成本提示词已能取得相当的成功率。摘要写 ASR 最高 74.47%，该值出现在 Table 1 的 MSA 行。正文称比较用 Stable Diffusion v1.4，表头为 SDv1.5。
• 作者结论：作者认为现有流水线更针对显式违规，难以处理良性或含糊语境里的隐含意图；并认为需要更深的语义与上下文推理、自适应防御，以及把低成本、类人越狱纳入评测。