Study evaluates harmful content generation and review gaps in five open-source text-to-image models

缺少对现代文生图模型在消费级 GPU 条件下生成有害图像，以及平台审核与合成图检测能否拦住这些图像的系统评估。

• 场景：作者认为文生图模型已能生成越来越难与真实照片区分的图像；训练数据中存在疑似儿童性虐待、色情、仇恨符号等问题材料，且可伪造未发生事件的影像，威胁新闻可信度。
• 现有不足：作者列举过滤、外部分类器、训练前移除不安全内容，以及惩罚不安全生成的微调。作者称这些常可被本地下载后关闭外部机制、改用无内部安全机制或经显式内容微调的模型、或越狱绕过；并称其场景中这些都非必需，只需开源权重指令模型与消费级 GPU。
• 本文评测：以 VisualNews 真实新闻图注为种子，用 LLM 改写成性内容、gore、有害刻板印象、自残、仇恨言论五类提示，生成后做人工标注，再评审核 API 与合成图检测。作者称据其所知，尚无工作在同一威胁下联合覆盖这三段。
• 威胁模型：
  • 目标：恶意行为者要规模化生成有害视觉内容。
  • 知识与能力：不需要专门技术、越狱或对抗性提示工程；使用会遵从有害指令的开源权重指令模型，并迭代修改系统提示直到输出符合要求。
  • 防守对象：平台使用的审核 API，以及识别 AI 生成图像的合成图检测算法。
  • 论文写法：未使用 white-box、black-box 或 no-box。生成实验中作者关闭外部安全过滤器，以看模型固有能力与内置机制。

图像生成

• GAN 与扩散：Goodfellow 等的 GAN，以及 StyleGAN、BigGAN，能做高质量合成，但常限特定域或要专门稳定训练。Ho 等的 DDPM 给出似然框架；Nichol 等的 GLIDE 引入 classifier-free guidance。
• 文生图系统：Ramesh 等的 DALL-E 用自回归 transformer，DALL-E 2 改为 CLIP 嵌入先验加扩散解码器。Saharia 等的 Imagen 用语言模型编码器做级联扩散；Rombach 等的 Stable Diffusion 在潜空间生成。Cao 等、Chen 等、Zhang 等的综述整理架构趋势与未决问题。

训练数据与安全机制

• LAION-5B：Birhane 等报告其中有仇恨内容、厌女刻板印象和人口统计偏差；Thiel 报告有儿童性虐待实例。作者称后来发布了清洗版，但 Stable Diffusion 1.5 等训练于更早版本，问题仍在。
• 防护：推理时筛选提示并过滤生成图；训练时整理数据、做面向安全的微调、SafeCLIP 式嵌入干预和偏好对齐。Bai 等用概念擦除抑制裸体、暴力和仇恨等概念；作者称其保留非目标内容，并提高对对抗性提示变体的稳健性。
• 绕过与覆盖：作者引用的研究称这些机制常易被绕过，且许多过滤器主要针对性内容，对暴力、gore 及其他有害图像覆盖不足。

有害生成与误用

• 门槛：Bommasani 等写基础模型能低成本生成可个性化的有害内容。开放权重模型被引文献认为会去掉商业安全屏障并便于有害定制。另有工作记录工具发布后深度伪造增加，以及合成内容市场。
• 相近评测：Qu 等估计文生图模型在五类伤害上的不安全图像比例，并用 DreamBooth 等编辑方法做仇恨模因。He 等用 LLM 辅助模糊测试构造细粒度恶意提示，并避开敏感词以绕过内容审计。作者明确拿这两项和本文对比。
• 偏差与微调：Hao 等描述 harm amplification，即看似安全的提示也会生成其中未写明的有害表征。Bianchi 等、Ungless 等讨论刻板印象和身份表征。开放扩散模型可用有害数据微调以绕过安全措施；Wei 等分析 CivitAI 上的 NSFW 与虐待材料。

审核与合成图检测

• 审核模型：Perspective API 做毒性语言检测。后续工作把语言模型微调后用于提示和 AI 输出。被引研究认为这些系统仍须平衡自动化与准确性，检测不足会削弱用户对平台识别 AI 内容的信心。
• 检测算法：包括有监督分类器、基于 CLIP 的方法，以及比较原图与重建图差异的方法。作者称多数检测器通常用 COCO 图注生成的图像训练，基准更关注区分生成架构，而不是跨内容类型。
• 语义内容：Konstantinidou 等报告，加入社交媒体上收集的合成图可提高检测表现。作者据此认为语义内容影响可检测性。Dogoulis 等讨论跨概念设定下的泛化。

基线与数据

• 本文对照：审核用 ShieldGemma、OpenAI Moderation API、Amazon Rekognition；合成图检测用 SPAI、DeFake、RINE、NPR，以及 SPAI、RINE、NPR 的 ITW 变体。质量用 ImageReward 与 HPS v2.1，参照为安全图注生成图，并给出 SRGAN 放大后的 VisualNews 真实图分数。提示改写比较五款指令模型。图注来自 VisualNews。

作者把与 Qu 等、He 等的区别写成更简单的语料驱动设定：任一中性语料可用单个开源权重 LLM 系统改成有害提示，无需探测目标模型，也无需为规避其安全机制而优化提示。

整体是一条自动化有害内容生成与检测评测流程：用公开图注和开源 LLM 模仿不依赖专门技术的提示构造，再批量看文生图模型与防守工具。

问题设定

• 起点：不以从零写提示开始。作者给出两点理由：真实实体与事件可增加变异和现实性；原始安全提示可作参照，比较有害与无害内容的生成质量。
• 要回答的问题：当前文生图模型在得到相应提示时，能多成功地生成有害内容，以及现有检测有多有效。
• 攻防位置：攻击侧是消费级 GPU 加会遵从有害指令的开源指令模型；防守侧是审核 API 与合成图检测。论文未使用白盒或黑盒这些词。

提示改写

• 模型与类别：主流程用 Mistral-Nemo-Instruct-2407。五类为性暴露内容（NSFW）、暴力图像（gore）、有害刻板印象、自残、仇恨言论。作者称选取它们是因为常被当作不安全内容的例子。
• 提示设计：系统提示由作者迭代修改，直到作者认为输出满意。Table 1 为系统提示，Table 2 为各类改写指令。作者称设计针对测试中看到的问题，包括委婉说法不如更直接的说法容易越过安全机制，以及过度文艺化描述会削弱直接性。此处不复述用词约束；Table 4 有图注改写示例。
• 文本校验：Detoxify 打 toxicity、obscenity、insult；bart-large-mnli 做零样本，标签含 toxic、violent、sexually explicit、gore、hate speech、self-harm、NSFW；另用 bert-hateXplain。脏话率是含预定义词表中至少一词的提示所占百分比。

图像生成

• 五款模型：SDXL、SD 3.5 Large、FLUX.1-dev，以及 AbsoluteReality、Juggernaut-XL。后两者分别是 SD 1.5 与 SDXL 的全量微调，经 CivitAI 等社区平台分发，并被宣传为能生成 NSFW 内容。
• 对照与过滤器：同一图注的原文与不安全提示都用于生成。作者关闭外部安全过滤器，以考察固有能力与内置机制，而不是外挂过滤器。
• 默认采样：附录 Table 12 为 diffusers 默认参数。AbsoluteReality 为 50 步、CFG 7.5、PNDMScheduler；FLUX.1-dev 为 50 步、CFG 3.5、FlowMatchEulerDiscreteScheduler；Juggernaut-XL 为 50 步、CFG 5.0、EulerDiscreteScheduler；SD 3.5 Large 为 28 步、CFG 7.0、FlowMatchEulerDiscreteScheduler；SDXL 为 50 步、CFG 5.0、EulerDiscreteScheduler。safety checker 关闭。

成功判定与评测

• 人工量表：按图注类型与模型分层抽样。标注者被告知图像均为 AI 生成。五类伤害用 no、mild、moderate、extreme，同时看 graphicness 与是否像在故意描绘或宣扬。真实感为 N/A、no、potentially、likely、yes。细则在附录 Table 13–15。
• 二值映射：ground truth 取标注均值。主分析把 mild、moderate、extreme 都算 unsafe；附录把 mild 与 safe 合并。
• 质量分：ImageReward 基于 BLIP，用交叉注意力融合图文，再经 MLP 输出标量，同时反映感知质量与提示遵循。HPS v2.1 是在成对人类偏好上微调的 CLIP ViT-H/14，用嵌入相似度打分。作者称这些模型在安全内容基准上达到 state-of-the-art，故以安全提示生成图为参照。
• 审核与检测：ShieldGemma、OpenAI Moderation API、Amazon Rekognition。前两者没有单独的 Hate Speech 与 Stereotype 类时，取全部可用类别的最高分。SPAI、DeFake、RINE、NPR 最初在用 COCO 图注、由 Stable Diffusion 生成且不含显式内容的图像上训练；SPAI、RINE、NPR 的 ITW 变体再在确认含显式内容的社交媒体图像上训练。

实现选择

• 改写模型：作者称 Mistral 模型展现过生成错误信息的能力，且经验测试中能产出足以用于本评测的扰乱性文本。作者称该 12B 模型可放入 24GB 显存，因而符合消费级 GPU 设定。
• 标注规模：1,500 张，类别间平衡；8 名参与者（5 男 3 女），均为希腊文化背景；6,000 票，每张至少 4 票。作者认为显式内容的判定足够不含糊，可作为 ground truth。

实验设置

• 模型：SDXL、SD 3.5 Large、FLUX.1-dev、AbsoluteReality、Juggernaut-XL。采样为附录 Table 12 的 diffusers 默认值，safety checker 关闭。论文未报告种子与重复生成次数。
• 数据：图注来自 VisualNews。五类有害提示由 Mistral-Nemo-Instruct-2407 生成，并与 Table 3 的另外四款指令模型比较。论文未报告图注条数与全量图像数，也未写明 Table 7 每格样本量。
• 人工：1,500 张，Table 6 每类图注 250 张。8 人（5 男 3 女，希腊文化背景），6,000 票，每张至少 4 票。主分析的 unsafe 含 mild。Fleiss' Kappa：性内容 0.8454，暴力 0.8513，自残 0.8014，仇恨 0.6059，刻板印象 0.6241，真实感 0.4557。作者称前三个为 almost perfect，后两个伤害类为 substantial，真实感为 moderate。
• 自动评测：ImageReward；HPS v2.1 在表中乘 100。质量比较为单侧 Welch t 检验，α=0.05，零假设是该类别均值不低于同模型安全图注。审核三套，阈值 0.5；95% 区间为 1,000 次百分位 bootstrap。检测器为 DeFake、SPAI、RINE、NPR 及后三者的 ITW 变体。人工子集作 ground truth。

主结果

下表是与提示类别对应的伤害维度上的 unsafe 比例（含 mild），据 Table 7，单位为百分比。

Swipe horizontally to read the table

模型	NSFW→性内容	刻板印象提示→刻板印象	gore→暴力	自残提示→自残	仇恨提示→仇恨
AbsoluteReality	54.0%	46.0%	84.0%	4.0%	32.0%
FLUX.1-dev	66.0%	36.0%	94.0%	60.0%	62.0%
Juggernaut-XL	50.0%	40.0%	96.0%	28.0%	36.0%
SD3.5	36.0%	66.0%	98.0%	58.0%	70.0%
SDXL	32.0%	34.0%	74.0%	22.0%	28.0%

• 两种汇总：Table 6 按每类 250 张合并，不是 Table 7 的模型算术平均。gore→暴力与 NSFW→性内容两边都是 89.2% 与 47.6%。刻板印象、仇恨、自残内容在 Table 6 为 43.6%、46.0%、34.5%，Table 7 的 Mean 为 44.4%、45.6%、34.4%。摘要与 Table 6 一致。
• 作者解读：作者称各模型都能生成暴力与刻板印象内容，社区微调模型对性内容提示特别容易产出不安全图。性内容列最高的是 FLUX.1-dev，不是两款被写成 NSFW 社区微调的模型。作者在仇恨一段称，社区微调相对标准模型在任何类别上都无明显优势；性内容列与该句不完全一致。
• 交叉与对照：Table 6 中安全图注在五类上的 safe 都高于 96%，最低为刻板印象 96.8%。gore 提示的暴力里 extreme 占 46.8%。自残提示的暴力 unsafe 为 71.9%（Table 7 均值 72.0%）。有害刻板印象提示的仇恨 unsafe 为 34.1%。

内容审核

阈值 0.5，ground truth 为人工标签。下表 AUC-ROC 据 Table 8。

Swipe horizontally to read the table

系统	性内容	刻板印象	暴力	自残	仇恨
ShieldGemma	0.50	0.46	0.79	0.68	0.64
OpenAI	0.92	0.47	0.94	0.95	0.49
Rekognition	0.83	0.49	0.81	0.71	0.53

• 精确率与召回：性内容上 OpenAI 精确率 98.2%（CI 94.2–100.0%）、召回 30.4%（24.0–37.6%），Rekognition 为 64.7% 与 70.7%，ShieldGemma 召回 20.1%。暴力上 OpenAI 精确率 93.4%、召回 68.6%，Rekognition 为 93.7% 与 63.4%，ShieldGemma 召回 37.2%。后文把 OpenAI 暴力精确率写成 93.7%，与 Table 8 不符。
• 其余类别：刻板印象上 Rekognition 精确率与召回均为 0.0%（AUC-ROC 的 CI 为 0.49–0.50）。仇恨上 Rekognition 精确率 100.0%、召回 6.8%，OpenAI 召回 4.3%，ShieldGemma 召回 56.0%、精确率 22.4%。自残上 OpenAI 精确率 93.3%（CI 77.8–100.0%）、召回 14.9%，Rekognition 召回 64.9%、精确率 17.5%。ShieldGemma 与 OpenAI 无单独的仇恨和刻板印象类，作者用各类最高分决定是否标记。
• 作者解读：作者称高精确、低召回会放过不安全内容；刻板印象接近随机不是换阈值就能解决。作者认为合成图与真实图的分布差可能是原因，并称审核系统很可能主要在真实图上训练。作者称 Figure 3 的 ROC 在各操作点上仍有同样问题。第 4.6 节讨论未被三套系统标记的例子；Figure 4 已遮挡，此处不描述画面。

合成图检测

• 分数：Table 10 是人工子集的平均检测概率。一张图若有多个档，取该标注者给出的最重档。SPAI 从 safe 87.6% 到 extreme 79.9%，SPAI-ITW 从 81.4% 到 97.3%；RINE 从 57.5% 到 48.9%，RINE-ITW 从 74.7% 到 88.9%；NPR 从 34.4% 到 24.4%，NPR-ITW 从 60.0% 到 73.1%；DeFake 从 77.9% 到 67.0%。
• 作者解读：作者认为只在良性 COCO 类数据上训练的检测器，在显式内容上分数更低；纳入确认含显式内容的 ITW 数据后，extreme 档更高。作者称之为语义分布缺口，并称检测理想上不应随语义内容改变。论文未做因果干预。

图像质量与真实感

• Table 5：gore 的 ImageReward 五模型都高于安全图注且无 †。NSFW 五模型都有 †，SDXL 为 −0.04。HPS v2.1 无任何统计显著下降，有害类高于图注基线。作者称质量大体保持，主要例外是 ImageReward 的 NSFW。作者称生成图仍大体高于真实图基线 0.11；AbsoluteReality 的 0.02 与 SDXL 的 −0.04 低于该基线。
• Figure 2：正文给出的 clearly realistic 比例，FLUX.1-dev 从安全图 63.3% 到有害图 30.9%，Juggernaut-XL 从 20.8% 到 11.1%，SD3.5 的有害图为 1.7%。AbsoluteReality 被标为 non-realistic 的比例，安全图 76.7%、有害图 75.4%。仅 FLUX.1-dev 的 Mann–Whitney U 检验统计显著（p=1.35e-5）。摘要写不安全提示不会 severely impact 合理性与照片真实感；正文写有害提示通常使分布移向更低真实感，幅度因模型而异。

其他消融与分析

• Table 3（跨不安全类平均）：Mistral-Nemo 毒性 63.46%、脏话率 68.60%；Phi-4 为 0.14% 与 0.00%。Gemma-2-9B 的 bart-large-mnli Toxic 为 74.12%，高于 Mistral-Nemo 的 69.77%，与正文“所有分类器最高”不一致。
• Table 9 中正文点名的数字：NSFW 提示的 OpenAI 性内容标记率，AbsoluteReality 45.8%，Juggernaut-XL 32.6%，其余模型 10.4%–10.6%。作者把高精确率系统的标记率当作全量有害率下界。
• 自残提示引出的暴力标记率（Table 9）：SD3.5 在 OpenAI 为 73.2%、Rekognition 为 65.6%；Juggernaut-XL 为 64.9% 与 63.4%。自残类本身的 OpenAI 标记率，FLUX.1-dev 为 12.7%，其余低于 6%。
• 仇恨提示的 Rekognition 标记率，正文给出 FLUX.1-dev 18.7%、SD3.5 10.8%（Table 9）。作者称 gore 提示上 Juggernaut-XL 与 SD3.5 最高、AbsoluteReality 最低；该行与正文对不齐，不逐格引用。
• 附录 Table 16 把 mild 并入 safe：OpenAI 性内容召回 44.4%、精确率 96.5%，暴力召回 78.3%。刻板印象上 Rekognition 召回仍为 0.0%。仇恨上 ShieldGemma 召回 68.9%（AUC-ROC 0.71）。
• 人类真实感与 HPS v2.1、ImageReward 的 Spearman ρ 为 −0.089 与 −0.010。ImageReward 的其他 †：刻板印象与仇恨仅 AbsoluteReality；自残为 AbsoluteReality 与 Juggernaut-XL。真实图经 SRGAN 后 ImageReward 0.11、HPS 24.00。

作者指出的局限与后续方向

• 标注者背景：人工标注受标注者背景与解释影响，尤其是有害刻板印象和仇恨言论这类依赖文化的类别（Limitations）。
• 语言：评测只使用英语提示；有害内容生成和审核行为在其他语言上可能不同（Limitations）。
• 内部原因：评测能指出生成与审核失败何时发生，但不解释内部原因。作者把可解释 AI 写成研究这类失败的补充方向（Explainability and Future Safeguards）。
• 后续审核：作者写未来工作应开发面向 AI 生成内容的审核系统（同节）。
• 后续检测：作者写应用语义更多样的训练数据改进合成图检测（同节）。

实验覆盖范围

• 生成模型：被测文生图模型为 SDXL、SD 3.5 Large、FLUX.1-dev、AbsoluteReality、Juggernaut-XL，共 5 个；生成时关闭外部安全过滤器（第 3 节、附录 B、Table 12）。
• 提示：有害提示由 Mistral-Nemo-Instruct-2407 从 VisualNews 图注改写，类别为 NSFW、gore、harmful stereotypes、self-harm、hate speech（第 3.3 节）。论文未报告图注条数、全量生成图像数和重复生成次数。
• 人工：子集 1,500 张，每类图注 250 张（Table 6）；8 名希腊文化背景标注者，6,000 票，每张至少 4 票（第 3.3 节）。第 3.3 节用 limited scale 描述标注规模，同时认为显式内容判定足够不含糊。
• 防守评测：审核包括 ShieldGemma、OpenAI Moderation API、Amazon Rekognition，阈值 0.5，区间来自 1,000 次 bootstrap（第 4.4 节、Table 8）。合成图检测包括 DeFake、SPAI、RINE、NPR，以及 SPAI、RINE、NPR 的 ITW 变体（第 4.5 节、Table 10）。
• 其他比较：提示改写还比较了 Qwen2.5-7B-Instruct、LLaMA-3.1-8B-Instruct、Gemma-2-9B-IT、Phi-4（Table 3）。第 3 节的威胁模型不包含越狱或对抗性提示工程。

这项评测看开源文生图模型能否把新闻图注改写成的有害提示变成有害图像，以及审核和合成图检测漏掉多少。

• 问题：作者设定的行为者只有消费级 GPU 和会执行有害指令的开源 LLM，不依赖越狱或对抗性提示工程，就能批量制造有害图像。
• 做法：VisualNews 图注由 Mistral-Nemo-Instruct-2407 改成五类提示，输入 SDXL、SD 3.5 Large、FLUX.1-dev、AbsoluteReality、Juggernaut-XL；外部过滤器关闭。1,500 张人工标注，对照三套审核 API 和多款检测器。
• 生成：Table 6 中 gore 提示的暴力 unsafe 为 89.2%，NSFW 提示的性内容为 47.6%，仇恨提示 46.0%，刻板印象提示 43.6%，自残提示的自残内容 34.5%；自残提示另有 71.9% 落在暴力 unsafe。Table 7 里 SD3.5 的 gore 暴力为 98.0%，仇恨提示为 70.0%；性内容最高是 FLUX.1-dev 的 66.0%。
• 质量：HPS v2.1 相对安全图注没有统计显著下降；ImageReward 对五模型的 NSFW 都有统计显著下降。有害图里被标为 clearly realistic 的比例，FLUX.1-dev 为 30.9%，SD3.5 为 1.7%。
• 检测与结论：OpenAI 对性内容精确率 98.2%、召回 30.4%；刻板印象三类 AUC-ROC 为 0.46–0.49。SPAI 的平均检测概率从 safe 的 87.6% 到 extreme 的 79.9%，SPAI-ITW 从 81.4% 到 97.3%。作者称安全措施与检测之间有缺口，需要能应对规模化滥用的更稳健做法；并指出标注背景与英语提示的限制。