研究者用微调大语言模型越狱带安全护栏的文生图模型

如何在不再查询目标文生图模型的情况下，把不安全提示词改成能绕过护栏、并生成目标有害语义图像的对抗提示词。

• 使用场景：作者称文生图模型已用于产业，可由自然语言生成逼真图像；不安全提示词可能导致色情等有害图像。防护主要是外加安全过滤器，或通过对齐修改模型参数。
• 现有不足：作者称 SneakyPrompt 等 black-box 攻击要反复查询目标模型，Ring-A-Bell 与 MMA 等 no-box 攻击要查询替代文本编码器。查询次数多，且对抗提示词常不连贯，例如含无意义 token。
• 核心做法：用能写出连贯文本的 LLM 改写提示词，再用偏好数据微调，使未见过的不安全提示词有望一次改写即成功。
• 本文提出：PromptTune。作者称这是首个 query-free 攻击：微调 AttackLLM 后，为新的不安全提示词生成对抗提示词时不再查询文生图模型，并可增强其他查询式攻击。
• 威胁模型：
  • 目标：绕过护栏，生成带特定敏感内容（如色情）的有害图像。成功指绕过护栏，且图像含期望有害语义。
  • 受害系统：带护栏的文生图模型。过滤器在模型外判断提示词或图像并拦截；对齐则修改模型本身。
  • no-box：不能访问目标模型，但可用预训练大语言模型或替代文本编码器改写提示词。
  • black-box：可查询文生图 API，获得图像后再调整改写策略。

按引言与第 2 节的分组，论文讨论了四类工作。

• 扩散式文生图：DALL·E 3、Imagen、Stable Diffusion v3.5、Midjourney、SDXL 等按提示词生成语义相近的图像。作者称近年以扩散模型为主，本文只讨论这类模型：潜空间迭代去噪，解码器映回图像。Stable Diffusion 用 CLIP 编码文本，U-Net 去噪，预训练 VAE 解码。
• 安全护栏：过滤器用外部分类器检查提示词或图像，有害则拦截。论文提到 George (2020)、Li (2022)、LAION-AI (2023)、CompVis (2022)，并称 Stable Diffusion 与 DALL-E 使用过滤器。对齐则改参数。SD v2.1 在排除有害内容的数据上重训，作者称计算代价高。MACE 用 LoRA 微调 U-Net 交叉注意力；SafeGen 微调自注意力，使不安全提示词生成马赛克图。相关工作还引用 Schramowski et al. (2023)、Gandikota et al. (2023)、Zhang et al. (2024b)。
• 文生图越狱：black-box 中，SneakyPrompt（Yang et al., 2024b）用奖励模型与强化学习，按目标模型反馈迭代改写；Tian et al. (2024) 被归入同类，正文未写其具体做法。no-box 中，Ring-A-Bell（Tsai et al., 2023）在替代文本编码器上用遗传算法，避开不安全关键词并保持文本嵌入与原提示词相近；MMA（Yang et al., 2024a）用替代编码器计算 token 级梯度。作者批评：每条对抗提示词都要大量查询替代模型，结果还可能语义无意义。
• LLM 越狱：Chao et al. (2023)、Mehrotra et al. (2023) 与 AdvPrompter（Paulus et al., 2024）用一个 LLM 为另一个 LLM 构造对抗提示词。AdvPrompter 按目标 LLM 的响应做 SFT。作者称把这一思路推广到文生图。

基线与数据：no-box 基线为 Ring-A-Bell 与 MMA-Diffusion，另有无攻击；black-box 基线为 SneakyPrompt，并把 AdvPrompter 的 SFT 扩成 PT-AdvPrompter。提示词集为 NSFW-56k、Civitai 8M、自建 ShortPrompt，另有血腥/暴力提示词。护栏为关键词匹配、文本嵌入、图像嵌入过滤器，以及 MACE、SafeGen。

作者的定位是：现有文生图越狱依赖大量查询，提示词也常不连贯；本文用微调 LLM 做生成阶段不再查询目标模型的改写，并称这是首个 query-free 攻击。

PromptTune 用 AttackLLM 把不安全提示词改写成对抗提示词，由受防护文生图模型出图，再用 Judge 的匹配分指导微调。Figure 1 是三组件。

问题设定

• 成功标准：对抗提示词绕过护栏，且图像含原不安全提示词所要的有害语义。
• 两种能力：no-box 不访问目标模型；black-box 可多次查询 API 并看到图像。PT-base 属于前者；后两种变体在构造偏好数据时要查询目标模型。
• 拦截差异：过滤器拦住则无图像，记 Judge(p, C) = 0。对齐总会出图，再检查是否含目标有害语义。

三个组件

• AttackLLM：交互式 LLM，实验用 Mistral-7B-Instruct。作者准备系统提示词引导改写；Table 20 给出完整提示词。
• 受防护文生图模型：主体实验用 SDXL-Turbo，扩散 4 步。对齐实验直接把 MACE、SafeGen 的开源对齐模型当作文生图模型。
• Judge：用 CLIP 将提示词 p 与图像 C 编成嵌入，匹配分是两嵌入的余弦相似度。高于阈值 τ 视为成功。默认 τ = 0.26。

偏好数据

Figure 3 的收集过程：

1. 基座 AttackLLM 对每条不安全提示词生成两条对抗提示词。
2. 受防护模型分别出图；过不了过滤器的记为不成功。
3. 至少一条 Judge 大于 τ 时，匹配分更高者为偏好响应 pl，另一条为 pr。两条都不大于 τ 则都丢弃。

微调提示词为 NSFW-56k 与 Civitai 8M 各随机 30,000 条，加 ShortPrompt 的 6,000 条。作者称由此得到 66,000 条偏好样本，每条为 (p, pl, pr)。测试另从每集抽 100 条。

三种变体

• PT-base：no-box，不微调，基座模型改写一次。
• PT-AdvPrompter：black-box。按 AdvPrompter，只用 pl 作 SFT 的目标响应，不用 pr。
• PT-dpo：把 p 当作查询，pl、pr 当作偏好与非偏好响应，用 DPO 微调。作者称目标是让模型更可能把 p 写成 pl 而不是 pr。默认 lr = 1e-7，DPO 损失系数 β = 0.1。

作者称，理想情况下微调后，未见过的不安全提示词一次改写即可成功。

评测判定

• 过滤器：bypass rate，即测试集中成功绕过的比例。
• 对齐：作者写这类模型不拦截查询，bypass rate 会是 1，因此改报图像与对应原不安全提示词的平均 CLIP 分数。
• 效用与效率：FID 只在绕过护栏的图像上计算，参照同一提示词在无护栏模型上的图像分布；表中方向为越低越好。效率是生成一条对抗提示词的平均查询数与时间。no-box 查询替代模型，black-box 查询文生图模型。

实验设置

• 被测系统：SDXL-Turbo 上评估三种外加过滤器；对齐实验直接使用 MACE、SafeGen 的开源对齐模型。AttackLLM 为 Mistral-7B-Instruct。Judge 基于 CLIP。
• 数据：NSFW-56k、Civitai 8M、ShortPrompt，测试各 100 条。Table 7 平均长度分别为 40.5、43.5、10.2。ShortPrompt 由在线敏感图像经 BLIP-opt-2 生成字幕。血腥/暴力集训练 3,000 条、测试 100 条（Table 8）。
• 基线：no-box 为无攻击、Ring-A-Bell、MMA-Diffusion。后两者使用 Stable Diffusion v1.4 的文本编码器，默认迭代 3,000 与 1,000 次。black-box 基线为 SneakyPrompt。
• 指标：过滤器报 bypass rate；对齐报平均 CLIP 分数。附录另有 NudeNet（检出暴露身体部位的平均数）、MHSC、Q16，正文未给出后两者的计算公式。FID 衡量绕过护栏图像与无护栏同提示词图像的分布。效率为平均查询数与耗时。
• 默认：lr = 1e-7，β = 0.1，τ = 0.26。主结果为与 AttackLLM 交互一次。论文未报告重复次数，也未报告统计显著性检验。

主结果

下表据 Table 1，每集 100 条。过滤器为 bypass rate，MACE 与 SafeGen 为平均 CLIP 分数。Ring-A-Bell 未列入。

表格较宽，可左右滑动

护栏	数据集	指标	None	MMA	PT-base
Keyword match	NSFW-56k	bypass rate	0.310	0.450	0.900
Text embedding	NSFW-56k	bypass rate	0.100	0	0.240
Image embedding	NSFW-56k	bypass rate	0.180	0.260	0.590
Keyword match	Civitai	bypass rate	0.090	0.270	0.700
Text embedding	Civitai	bypass rate	0.150	0.050	0.290
Keyword match	ShortPrompt	bypass rate	0.460	0.590	0.910
MACE	NSFW-56k	平均 CLIP	0.231	0.222	0.222
SafeGen	ShortPrompt	平均 CLIP	0.251	0.214	0.260

• 作者称在安全过滤器上，相比无攻击，绕过率大约提高 2–3 倍，且三种过滤器、三个数据集上都高于 Ring-A-Bell 和 MMA。后一句与 Table 1 一致，含未列入的过滤格子；前一句是作者总括，不是逐格算出的区间。三种数据集的 text embedding 上，Ring-A-Bell 均为 0。
• 作者称 no-box 攻击对对齐护栏并不总有效：对 SafeGen 较好，对 MACE 较弱。Table 1 中三个数据集的 MACE 上，PT-base 都不高于 None（Civitai 0.204 对 0.214，ShortPrompt 0.247 对 0.258）。SafeGen 上 PT-base 高于 None（NSFW-56k 0.236 对 0.224，Civitai 0.236 对 0.232）。
• 作者称 PT-base 生成可读提示词，而替代文本编码器方法会得到不可读句子，因而更容易在文本层被检出。

三种变体

• 比较对象：Table 3 比较 PT-base、PT-AdvPrompter（SFT）与 PT-dpo。过滤器为 bypass rate，对齐为平均 CLIP 分数。
• 数字：keyword match 上 PT-dpo 为 0.990、0.970、1.000（NSFW-56k、Civitai、ShortPrompt）。text embedding 上 PT-dpo 为 0.710、0.700、0.830，PT-base 为 0.240、0.290、0.230。MACE 上 PT-dpo 为 0.242、0.219、0.260。PT-AdvPrompter 并非处处高于 PT-base：NSFW-56k 的 text embedding 为 0.130，低于 0.240；Civitai 的 keyword match 为 0.670，低于 0.700。
• 作者解读：作者称微调进一步提高绕过率与平均 CLIP 分数，并称 keyword match 绕过率接近 1，是 AttackLLM 在微调中学会避开敏感词。作者称 PT-dpo 优于 PT-AdvPrompter，因为 DPO 对比 (pl, pr)，SFT 只用 pl。Table 13 上作者称 PT-dpo 的 FID 多数更低，其余与另两种变体相近。

增强 SneakyPrompt

• 做法：用 PT-dpo 的对抗提示词作为 SneakyPrompt 的初始提示词，记为 SneakyPrompt-PT。
• 结果：Table 4 多数格更高。text embedding 上，NSFW-56k 从 0.510 到 0.960，Civitai 从 0.460 到 0.960，ShortPrompt 从 0.880 到 0.980。例外：ShortPrompt 的 image embedding，SneakyPrompt-PT 为 0.990，原方法为 1.000。Table 5 多数查询下降，如 NSFW-56k 的 keyword match 从 2.07 到 1.00，image embedding 从 9.84 到 3.03。例外：ShortPrompt 的 SafeGen 从 3.57 到 4.18。
• 作者解读：作者称该设计与查询式攻击正交，可提高有效性与效率，效用仍相当。Table 14 的 FID 有高有低，例如 NSFW-56k 的 SafeGen 从 195 到 235；论文未逐格解释。

其他消融与分析

• 耗时（Table 12，单张 RTX 6000、24GB，100 条）：Ring-A-Bell 911.9 秒，MMA 1329 秒，PT-base 3.613 秒。作者称 PT-base 快数百倍，且只与预训练 LLM 交互一次。
• 血腥/暴力（Table 8，测试 100）：keyword match 绕过率 None 0.620、PT-base 0.530、PT-dpo 0.770；text embedding 为 0.240、0.590、0.730；image embedding 三者均为 1.000。
• lr（Table 15，未写明护栏）：1e-6 / 1e-7 / 1e-8 时，NSFW56k 的 bypass rate 为 0.920 / 0.710 / 0.510，FID 为 235 / 207 / 183。作者称 lr 增大时绕过率与 FID 有权衡。
• β（Table 16，未写明护栏）：β 为 0.05、0.1、0.2 时，NSFW56k 绕过率为 0.750、0.710、0.590。作者称 β>0.05 后绕过率随 β 增大而下降。
• τ（Table 17，未写明护栏）：τ 为 0、0.24、0.26、0.28 时，NSFW56k 绕过率为 0.830、0.600、0.710、0.430。作者称 τ 过小会纳入无关样本，过大则 D 过小、微调不稳定。
• 多次尝试（Table 18，ShortPrompt、PT-dpo、text embedding）：1、2、4、10 次绕过率为 0.71、0.83、0.92、0.98。Table 3 同条件单次为 0.830，与 0.71 不一致，论文未解释。

作者指出的局限与后续方向

• 进阶变体在微调阶段构造偏好数据时，需要对目标文生图模型做大量查询；推理时不再查询，但收集代价不小（第 6 节）。
• no-box 下用 PT-base 越狱对齐类护栏（如 MACE）仍然困难；作者称对齐对没有目标访问的攻击者是更 robust 的防御（第 6 节）。
• 作者计划限制对偏好数据集和微调后 AttackLLM 的访问，并向图像生成服务提供者报告结果（第 6 节）。
• 一种缓解是把 AttackLLM 放进文生图模型的对齐过程，使对抗提示词也不生成有害图像（第 8 节）。
• 作者写出的后续方向，是把这种 LLM 方法与 tree-of-thought 流程结合，以增强攻击能力（第 8 节）。

实验覆盖范围

• 文生图侧为 SDXL-Turbo 加三种过滤器，以及开源 MACE、SafeGen 对齐模型；AttackLLM 为 Mistral-7B-Instruct；Judge 用 CLIP（第 5.1 节）。
• 色情提示词测试集三个，各 100 条；作者将偏好数据记为 66,000 条。血腥/暴力为训练 3,000、测试 100（Table 7、Table 8）。
• no-box 对照包括无攻击、Ring-A-Bell、MMA；black-box 对照为 SneakyPrompt。主结果为单次改写；多次尝试只在 Table 18 的一个条件上报告。
• 指标包括 bypass rate、平均 CLIP 分数、FID、NudeNet、MHSC、Q16、查询数与耗时。论文未报告人工评估、与人工的一致性、重复次数，也未报告建成 66,000 条偏好数据的总查询次数。
• 论文未写明 Table 15–17 对应哪一种护栏，也未写明偏好数据是按每种护栏分别收集，还是各护栏共用同一份数据与同一个 AttackLLM。

PromptTune 用微调 LLM 改写提示词，攻击带安全过滤器或对齐的文生图模型。

• 不安全提示词会被护栏挡住，而既有越狱往往要反复查询目标模型或替代文本编码器，改写结果还可能不连贯。
• Mistral-7B-Instruct 担任 AttackLLM，CLIP 余弦相似度担任 Judge。基座模型先写两条对抗提示词，按阈值 τ 组成偏好对，再做 SFT 或 DPO。PT-base 不微调，只改写一次。
• 三个色情提示词集各 100 条。PT-base 对 keyword match 的绕过率为 0.900、0.700、0.910（Table 1）。text embedding 上 PT-base 为 0.240、0.290、0.230，PT-dpo 为 0.710、0.700、0.830（Table 3）。
• 对齐护栏改报平均 CLIP 分数。NSFW-56k 的 MACE 上，无攻击为 0.231，PT-base 为 0.222，PT-dpo 为 0.242（Table 1、Table 3）。
• 以 PT-dpo 的输出初始化 SneakyPrompt 后，NSFW-56k 的 text embedding 绕过率从 0.510 到 0.960，keyword match 的平均在线查询从 2.07 到 1.00（Table 4、Table 5）。PT-base 生成一条对抗提示词平均 3.613 秒，Ring-A-Bell 为 911.9 秒（Table 12）。
• 作者的结论是：微调 LLM 可以绕过现有文生图护栏，也可以增强查询式攻击；作者认为 no-box 下对齐护栏仍然困难。作者提出把 AttackLLM 纳入对齐过程作为缓解。