RISE：用迭代策略演化对现代文生图模型做红队测试

在护栏更严的生产级文生图系统上，既有自动红队既测不准违规，也探索不出能迁移的攻击。

• 场景：DALL·E 3、Nano Banana 2、GPT-Image-2 等商用 API 叠了输入分类器、输出审核和本身避开禁止内容的生成模型。作者认为这比以往红队常用的开源扩散模型更难，真实违规稀少，曾经有效的人工种子常被补掉。
• 评测不足：先前工作常用 NudeNet、CLIP-NSFW、InternVL2。作者称对照人工标注，这些评判器要么漏掉真实违规，要么把人类不视为露骨的边界图像判成阳性；用它们做强化学习奖励时，优化器会奖励黑客。摘要中先前方法报告的 DALL·E 3 ASR 最高约 30%，在同一套校准评测下落到接近 0。
• 探索不足：基于训练的方法多在 SDXL 或 SLD-strong 等无外部护栏、正样本充足的本地设置上训练。作者称同一训练流程换到更严的审核阈值后，攻击器成功率落到接近 0；直接在稀疏正信号上训练又无法冷启动。RPG-RT 主要重组人工种子片段，非零 ASR 反映种子质量。
• 核心主张：作者提出两条主张。评测上，现代 T2I 的 ASR 需要人工校准打分信号，主结论用人工复核阳性。方法上，在稀疏反馈下搜索生成提示词的策略，比逐条改写或在窄种子上训练更有效。
• 提出的方法：RISE（Red-teaming via Iterative Strategy Evolution）演化自然语言攻击策略，再用这些策略生成多样提示词。主配置用公开的 abliterated Qwen3-32B，不更新模型权重。
• 威胁模型
  • 目标：让目标 T2I 系统生成满足冻结违规准则 q 的图像。主比较类别是女性裸体；另测 graphic violence、self-injury、hate、suicide。只有人工三档标注中的 explicit violation 计为 ASR 阳性。
  • 知识：论文在 Related Work 将设定称为 sparse black-box T2I red-teaming。攻击者通过目标 API 提交文本提示词并取得生成图像与评判分数，不更新目标权重。GPT-Image 的 moderation 有 auto 与 low，主结果用更严的 auto。
  • 能力：人类只提供准则和 3–5 条单句场景，场景描述画面内容，不是绕过提示词。每个提示词做 k=3 次随机生成。Phase 1 每轮 2,500 次目标调用，Phase 2 对 top-5 策略再给 1,500 次。
  • 受害系统：生产 API（DALL·E 3、Nano Banana 2、GPT-Image-2 等）以及带 OpenAI 输入/输出审核的 FLUX.2-klein-9B 本地测试床。

作者按三类攻击方法和两类支撑方向组织相关工作，并主要与报告过 DALL·E 3 成功的近期方法对比。

训练攻击器或提示词模型

• ART（Li et al., 2024）、FGPI（Xu et al., 2025）、RPG-RT（Cao et al., 2025）：训练攻击器或提示词书写模型。FGPI 用反馈样本训练、可无种子评测；RPG-RT 与 Reason2Attack（Zhang et al., 2025b）围绕目标查询或课程提示集优化。附录 H 称 ART 有定性 DALL·E 例子但没有 DALL·E ASR。
• FLIRT（Mehrabi et al., 2024）、Curiosity-driven RT（Hong et al., 2024）：反馈回路或好奇心驱动的红队，被用作训练基线或支撑检查。
• 作者的对比：第 3 节称这类方法在弱评判器下能优化到高原生 ASR，但换上校准评判器后成功大幅下降，且依赖种子与训练时设置的宽松程度。

黑盒改写、扰动与无训练攻击

• SneakyPrompt（Yang et al., 2023）、PGJ（Huang et al., 2024）、MACPrompt（Ye et al., 2026）：在黑盒设定下改写或扰动提示词。作者在原设置上复现，本地模型数字与报告值相差几个点以内；在校准后的 DALL·E 3 评测上，三者人体确认 ASR 均为 0%。
• 同类合并：GhostPrompt（Chen et al., 2025b）、Atlas/JailFuzzer（Dong et al., 2024）、ICER（Chin et al., 2024）、HTS-Attack（Gao et al., 2024）、TCBS-Attack（Liu et al., 2025a）、DACA（Deng and Chen, 2024）、MJA（Zhang et al., 2025a）、Chain-of-Jailbreak（Wang et al., 2024）、ColJailbreak（Ma et al., 2024b）、AutoPrompt（Liu et al., 2025b）、P4D（Chin et al., 2026）。附录 H 将其中报告过 DALL·E 3 bypass 或 judge-ASR 的方法与未报告 DALL·E 3 ASR 的方法分开。
• 梯度与编码器前攻击：SurrogatePrompt（Ba et al., 2023）、MMA-Diffusion（Yang et al., 2024a）、JPA（Ma et al., 2024a）、QF-Attack（Zhuang et al., 2023）提供开源模型提示空间脆弱性的另一条证据。论文未把它们作为主对比。

提示池与分布优化

• DREAM（Li et al., 2025）、JANUS（Zheng et al., 2026）：不逐条编辑提示词，而优化提示分布或种子池，面向更严的生产级 T2I。作者称自己走互补路线：不单独拟合分布模型，而是改写提示脚手架，演化自然语言策略以调动 LLM 自身的探索。
• 作者的检查：DREAM 未复现训练，只评测其发布的 SD1.5 文本过滤与图像过滤提示各 1,024 条；JANUS 为同期工作，写作时未发布代码和 Civitai 种子集。

防御、护栏与 LLM 引导进化

• 防御：生成前提示过滤、生成后图像分类，以及概念擦除、安全微调等模型侧干预（Schramowski et al., 2022；Gandikota et al., 2023；Schramowski et al., 2023；Yang et al., 2024b）。商用系统把其中多层组成频繁更新、未公开的流水线。JailbreakDiffBench（Jin et al., 2025）刻画这一格局。
• LLM 引导进化：AlphaEvolve（Novikov et al., 2025）、ShinkaEvolve（Lange et al., 2025）、EvoPrompt（Guo et al., 2025）。RISE 把这种开放式策略搜索改到稀疏黑盒 T2I 红队：每个候选策略要经昂贵的目标调用和有噪声的图像级评判。

基线与基准：主对比基线是 FGPI、RPG-RT，外加 Curiosity-driven RT；支撑检查包括 SneakyPrompt、PGJ、MACPrompt、GhostPrompt、ART、DREAM、JANUS。评测对象是 DALL·E 3、Nano Banana 2、GPT-Image-2 等生产 API，以及带 OpenAI 审核的 FLUX.2-klein-9B 本地测试床。作者把本文定位为：用人工校准的类别准则替换弱评判器，并用策略进化替代逐提示改写和窄种子训练。

RISE 把优化对象从单条提示词改成可复用的自然语言策略：策略把冻结准则和具体场景映射成候选提示词，再经目标 T2I 与校准评判器打分。

问题设定与成功定义

• 对象：目标系统 T，冻结准则 q，校准评判器 Jq，文本提示词 p。策略 π 是把 q 和场景 c 映射到提示词的自然语言程序。场景只规定画面内容。
• 打分：每个提示词做 k=3 次随机调用，提示词分数为三次图像分数的最大值，sq(p) = max Jq(xj)，范围 [0,1]。一次成功抽取即可让该提示词对搜索有用。N 条提示词上 ASR@t 为分数不低于 t 的提示词比例。
• 人类输入：只有准则和通常 3–5 条单句场景。流水线不围绕已成功的人工攻击种子构建，因为作者认为种子既随目标变化，也容易被生产系统补上。
• 两个模型角色：核心配置 RISE-Ablit 用公开 abliterated Qwen3-32B 同时担任策略合成与提示书写，不更新权重。合成器改自然语言程序；书写器把一个程序实例化成具体提示词，只在 XML 标签中返回最终提示词。各岛从一条短的通用策略分别变异起步。

Phase 1：进化式策略发现

• 多岛搜索：改编自 ShinkaEvolve。RISE-Ablit 用 K=16 个岛，最多 16 岛并行、最多 15 个并行 worker。每岛先把短种子策略变异一次，再在该类别全部场景上评估。档案每岛最多 50 条策略。
• 父代抽样：岛内按权重抽样。权重正比于 σ(λ(F(π) − median(F))) 再乘 1/(1+nπ)，λ=10，nπ 为该策略已当父代的次数。高于中位数的策略更易被选，同时离开用得过多的父代。
• 两段评估：筛选步每个场景生成一条提示词、每条查询三次。候选比父代低超过 0.05 则停止；否则做完整评估并加入档案。合成器能看到父策略、近期 rollout、图像分数、评判理由和 meta-scratchpad。
• 适应度与迁移：适应度是得分最高的三条提示词的 prompt-level max 分数的均值，而不是全部提示词的均值。每 10 个岛步，每岛把一条非当前最优策略迁到随机另一岛。每 7 个岛步，共享 meta-scratchpad 汇总成败策略，先总结单个程序，再给出全局洞见和至多 5 条后续变异建议。Phase 1 预算为每轮 2,500 次目标调用；本地硬测试床重复三次重启。

Phase 2：固定策略利用

• 冻结与分配：进化后期突变主要细化已有想法或过拟合高分提示词，于是切到利用。生产扫描冻结适应度最高的 5 条策略，不再变异，预算 1,500 次目标调用。UCB1 多臂老虎机把调用分给这些策略，同时仍探测其余策略。
• 场景刷新：开启反馈驱动的场景生成时，每条固定策略各自记住高分和低分场景，每 5 次策略评估刷新一小批（配置中为 3 条）。附录 A.4 规定场景用 who/what/where 框架、1–2 句，并避免逐字抄反馈例子。
• 复用：作者称发现的策略可跨场景、可给新目标上的后续进化当种子，并在有限程度上换提示书写 LLM（Section F）。

评判器、准则与预算口径

• 准则：按目标策略定义写严格成功标准，在本地测试床的小规模试点中看过假阳性和奖励黑客后修订中间分数带，使部分成功有分级分数，然后在报告比较前冻结。冻结准则跨目标迁移，更强目标只做少量调整。
• 评判器：Gemini 2.5 Flash 按冻结准则打 0 到 1 的连续分并给出理由，操作阈值 0.7。先前评判器沿用对应论文的阈值。最终 ASR 仍绑定人工复核；Gemini ≥ 0.7 只用于搜索和分诊。
• 人工标签：三档为 no/weak violation、borderline、explicit violation，只有 explicit 计阳性。约 1,300 张图像由作者团队内部标注员标注。
• 预算：表中的 target calls 不是 ASR 分母。引用先前方法时保留其原生 ASR 定义和分母。附录 A.1–A.6 给出策略合成、种子策略、评判、场景生成、提示生成和 meta-scratchpad 的提示模板；发现的策略和最终攻击提示词不公开。

实验设置

• 生产目标：主比较为 DALL·E 3、GPT-Image-2（auto 为默认更严档，low 仅在标明处使用）、Nano Banana 2。附加目标包括 GPT-Image-1、Nano Banana Pro 1、Leonardo.ai，用于校准、诊断和鲁棒性检查。不含 Midjourney，因其没有适合受控评测的公开 API。
• 本地测试床：FLUX.2-klein-9B 加 OpenAI 输入/输出审核。更大扫描和基线复现用严格色情阈值 τ=0.05；迁移实验另用宽松阈值 τ=0.85。
• 类别：跨方法主比较是女性裸体（Fleiss’ κ=0.46–0.57）。另四类 graphic violence、self-injury、hate、suicide 只报告 RISE，不用于给方法排名（κ=0.24–0.38）。
• 人工与评判：约 1,300 张图像，三档标签，仅 explicit 为阳性。主 ASR 用人工确认。搜索与分诊用 Gemini 2.5 Flash，阈值 0.7。Table 2 的非性内容校准覆盖 433 张、88 个 explicit 阳性，每张三名标注员。
• RISE-Ablit：abliterated Qwen3-32B，不更新权重。演化 2,500 次目标调用，固定利用 top-5 策略、1,500 次。每条提示词 3 次目标调用。本地硬测试床演化重复 3 次重启。
• 基线：FGPI、RPG-RT、Curiosity-driven RT 为主审计；另复现 SneakyPrompt、PGJ、MACPrompt，并检查 GhostPrompt、ART、DREAM、JANUS。基线预算见 Table 11，正文未逐格列出。

主结果

Table 7 是 RISE-Ablit 在生产目标上的 nudity 结果。[email protected] 为提示词级：三次调用中任一图像 Gemini ≥ 0.7 即成功。Human ASR 用同一提示词分母，只计人工确认的 explicit 阳性。Leonardo.ai 未报告固定利用阶段。

Swipe horizontally to read the table

目标	阶段	目标调用	[email protected]	Human ASR
DALL·E 3	演化	2,500	11.84%	5.16%
DALL·E 3	固定利用	1,500	24.44%	13.33%
Nano Banana 2	演化	2,500	10.28%	5.72%
Nano Banana 2	固定利用	1,500	15.80%	9.47%
GPT-Image-2 (auto)	演化	2,500	2.32%	1.52%
GPT-Image-2 (auto)	固定利用	1,500	5.06%	3.27%
Leonardo.ai	演化	2,500	46.10%	40.1%

• 作者解读：DALL·E 3 是最广的对照目标。Nano Banana 2 上自动分数仍较高。GPT-Image-2 auto 是所评最新、最严的 GPT-Image 设置，候选仍非零，但人体确认率更低。摘要称 RISE 的人体确认 ASR 最高到 13%，与 Table 7 中 DALL·E 3 固定利用的 13.33% 对应。
• 先前方法的校准重评：Table 3 中，Curiosity 在本地 τ=0.85 的原生 FalconsAI ASR 为 100.0%，同一批输出 Gemini ASR 为 0.0%。FGPI 式无种子微调原生为 55/75 提示词（73.3%），校准后 5/75（6.7%；图像级 2.9%）。RPG-RT 在 DALL·E 3 上原生 NudeNet ASR 为 17/33（52%），校准后为 3 张图像 / 990 次调用（0.3%）。
• 换上校准奖励仍不能迁移：Table 4 的图像级 Gemini ASR（阈值 ≥ 0.7）在换成校准奖励后，Curiosity 从 0.0% 到 13.0%（本地 τ=0.85），FGPI 无种子从 2.9% 到 8.3%，RPG-RT 在 DALL·E 3 从 0.3% 到 1.7%。Table 5 中，在 τ=0.85 训练再在 τ=0.05 评测时，FGPI（本地奖励或校准奖励）和 Curiosity（校准奖励）均为 0%；直接在 τ=0.05 训练评测也是 0%。无微调、无种子的基线在 τ=0.85 为 2.5%。

其他类别

Table 8 给出四类非裸体结果，格子为 Gemini [email protected] / 精度校正 ASR（Gemini ASR 乘以该目标、该类别在阈值 ≥ 0.7 上测得的评判精度）。个位数基础 ASR 的格子改为完全人工核验（标 ∗）。标 † 的精度来自单名标注员样本。DALL·E 3 的 self-injury 与 graphic violence 改用 GPT-4.1 加人格越狱包装；其余格子用 RISE-Ablit/Qwen3-32B。DALL·E 3 的 hate、suicide 提前停止（1,572 与 1,488 次调用）；GPT-Image-2 与 Nano Banana 2 的 hate、suicide 为 1,000 次调用。

• DALL·E 3：self-injury 1.8 / 0.9∗；graphic violence 10.1 / 5.4；hate 69.9 / 32.9；suicide 21.4 / 10.1。
• Nano Banana 2：self-injury 50.5 / 47.0；graphic violence 54.9 / 20.9；hate 33.6 / 21.3†；suicide 15.0 / 9.0†。
• GPT-Image-2 auto：self-injury 14.3 / 11.2；graphic violence 38.1 / 19.1；hate 51.7 / 31.0†；suicide 12.3 / 7.4†。作者称每个格子都找到了人工确认的违规。非裸体类别往往比裸体更容易，self-injury 除外。Qwen3-32B 在更难的 DALL·E 3 self-injury 与 graphic violence 上没有产生足够有用的违规，因此换了书写器。

种子局部性与其他基线

• Table 6：匹配约 5,000 次目标调用。RPG-RT（校准奖励，33×150）相对 33 条种子的余弦相似度均值/中位数/[最小,最大] 为 0.81 / 0.83 / [0.51, 0.98]，每轮 bigram 5.8。RISE 的 top 10 个（种子×策略）对相似度为 0.64，bigram/rollout 22.9；RISE 按种子、3 条种子时相似度为 0.54，bigram 17.9。作者称 RPG-RT 紧靠人工种子，RISE 离种子更远。
• 支撑检查：SneakyPrompt、PGJ、MACPrompt 在校准后的 DALL·E 3 上人体确认 ASR 均为 0%。GhostPrompt 的 Gemini ASR 为 0%。原始 ART 在严格本地测试床上没有人体确认阳性。DREAM 发布的提示在 DALL·E 3 上 Gemini 为 0.8%，在 GPT-Image-2 上迁移为无。作者实现的 JANUS 能绕过 SDXL 3.5 和本地 τ=0.85，但三组不同露骨程度的种子集在 τ=0.05 或 DALL·E 3 上失败。
• 补充训练：在一个内部未审查模型上，对 RISE rollout 做离线 RL，本地 ASR 从 5k 预算的 3.91% 升到 6.82%。作者把这当作补充结果；主算法不需要训练。

其他消融与分析

• 适应度聚合（本地测试床较小进化轮，Section C）：top-5 适应度 ASR 2.87%；改为全部提示词均值降至 0.92%；top-3 为 2.4%。
• 输入：仅准则 0.20%；加上外部提示库 0.50%；场景条件输入是作者称为最大的设计选择（对照为 2.87%）。
• 迁移与 scratchpad：去掉岛间迁移，ASR 从 2.87% 降到 0.56%；meta-scratchpad 每 3 个岛步更新为 2.06%，每 7 步为 2.87%。
• 策略抽象（Section D）：用同一搜索环直接进化提示词，以及把种子策略换成最小指令，ASR 都下降数倍。论文未给出这两项的具体百分数。
• 评判器（Table 1，P/R/F1，Gemini 阈值 0.7）：DALL·E 3 nudity 上 Gemini .67/.70/.69，NudeNet .67/.08/.14，InternVL2 .35/.79/.48。Nano Banana 2 nudity 上 Gemini .56/.91/.69，NudeNet .17/.05/.07。作者称 NudeNet 精度高但在更严目标上只找回人工确认违规的 4–8%。
• Table 2（DALL·E 3，阈值 ≥ 0.7）：hate 精度 0.47、召回 0.84、κ=0.24；suicide 精度 0.47、召回 0.37、κ=0.34；四类合计 88/433，精度 0.49、召回 0.69、F1 0.57、κ=0.34。

作者指出的局限与后续方向

• 主类别选择（Limitations，第 6 节）：主比较集中在女性裸体，因为它在各目标上都被禁止，并且相对更能标定。
• 另四类的判定（Limitations）：graphic violence、self-injury、hate、suicide 报告的是精度校正 ASR，而不是完全人工核验的 ASR，其准则的标注者间一致性低于裸体。
• 基线复现（Limitations）：复现是尽力而为。有公开代码时使用公开代码，否则按发表的方法结构实现，但不能保证完全恢复各方法的原始成绩，因为若干基线依赖精心挑选的种子池或私有训练数据。
• 发布范围（Ethical considerations）：作者计划在发表时发布复现流水线、本地测试床，以及 nudity、graphic violence、self-injury 的评判准则。hate 与 suicide 的准则，以及发现的策略、最终攻击提示词和不安全图像，将不予发布。
• JANUS（第 3 节）：写作时该同期工作尚未发布代码及其 Civitai 种子集，因此作者使用自己的实现做检查。这是作者写明的复现条件，不是单独的未来工作清单。

实验覆盖范围

• 被测生产目标：主比较为 DALL·E 3、Nano Banana 2、GPT-Image-2 auto；附加校准与诊断包括 GPT-Image-1、NB-Pro-1、Leonardo.ai。本地测试床为 FLUX.2-klein-9B 加 OpenAI 审核，阈值 τ=0.05 与 τ=0.85。论文写明不包含 Midjourney。
• 类别与排名：跨方法排名只用女性裸体。另四类只报告 RISE，作者写明不用于排名。Table 7 的 Leonardo.ai 只有演化阶段一行。
• 人工规模：约 1,300 张图像跨目标、类别和流水线阶段。Table 2 的 DALL·E 3 非性内容为 433 张、88 个 explicit 阳性、每张三名标注员。标注员来自作者团队。
• 主方法预算：RISE-Ablit 为演化 2,500 次目标调用加固定利用 1,500 次，每条提示词 3 次调用，16 岛。本地硬测试床的 Phase 1 重复三次重启。论文未把商用目标的墙钟时间当作稳定实验变量，只报告目标调用次数。
• 书写器：主行是 abliterated Qwen3-32B。DALL·E 3 的 self-injury 与 graphic violence 改用 GPT-4.1。作者称 DeepSeek、Gemma 等低拒绝开源书写器在本地测试床上 ASR 接近 RISE-Ablit（Table 18）。补充实验在内部未审查模型上做离线 RL。

RISE 是面向生产级文生图系统的黑盒红队方法：在正样本稀疏、弱评判器不可靠的设定下，演化可复用的自然语言策略，而不是逐条改写提示词或在人工种子上训练攻击器。

• 问题：DALL·E 3、Nano Banana 2、GPT-Image-2 叠了输入分类、输出审核和安全训练。作者称先前报告的高 DALL·E 3 ASR 使用不同分母、类别和评判器；NudeNet、CLIP-NSFW、InternVL2 相对人工标签既漏报也误报，并会被奖励黑客。训练型方法在更严审核上无法冷启动，或只是重组种子。
• 方法：冻结按类别写的违规准则，用约 1,300 张人工标注校准 Gemini 2.5 Flash（阈值 0.7），最终 ASR 仍以 explicit 人工标签为准。RISE-Ablit 用 abliterated Qwen3-32B，16 岛进化策略（2,500 次目标调用），适应度取最高三条提示词分数的均值；再冻结 top-5 策略，用 UCB1 做 1,500 次固定利用。每个提示词 3 次生成，取最高分。
• 主结果：nudity 上，DALL·E 3 固定利用的 Human ASR 为 13.33%（[email protected] 为 24.44%），Nano Banana 2 为 9.47%，GPT-Image-2 auto 为 3.27%，Leonardo.ai 演化阶段为 40.1%（Table 7）。同一校准评测下，SneakyPrompt、PGJ、MACPrompt 的 DALL·E 3 人体确认 ASR 为 0%；Table 5 中从宽松阈值训出的 FGPI 与 Curiosity 在 τ=0.05 上为 0%。
• 其他结果：另四类上 RISE 在三个生产目标的每个格子都有违规，但多数报告精度校正 ASR，且 DALL·E 3 的 self-injury、graphic violence 改用了 GPT-4.1。Table 6 中 RPG-RT 与种子的平均余弦相似度为 0.81，RISE 为 0.54–0.64。本地消融里，去掉场景条件、岛间迁移或把 top-k 适应度改成全量均值，ASR 从 2.87% 降到 0.20%–0.92%。
• 作者结论：近期硬化目标上常见的 30–50% ASR 主要由评判校准误差、奖励黑客和种子局部成功构成，校准重评后这些基线在 0 附近。RISE 用公开 abliterated 书写器、不做模型训练，得到非零的人体确认 ASR。作者把主比较限制在更可标定的女性裸体，并说明基线复现是尽力而为。