没有安全剂量：训练数据如何驱动不安全的图像生成
No Safe Dose: How Training Data Drives Unsafe Image Generation
论文速读
据论文全文整理（AI 生成），以原文为准
TU Darmstadt 与 hessian.AI 等机构的研究者通过受控实验发现，文生图模型的不安全输出率随训练数据中不安全图像的比例单调上升，且起作用的是比例而非绝对数量。
- 文本到图像模型训练数据中难免混入不安全内容，但训练数据构成是否、以及如何直接决定输出安全性此前并不清楚，因为专有数据集和不同训练设置混淆了因果判断。作者指出，新模型生成不安全内容的比率反而更高，因此需要厘清数据策管相对于其他干预手段的优先级。
- 固定同一 T2I 模型（PRX-1.2B）的架构、超参和评估协议，只改变训练集中不安全图像的比例（0% 到 9.6%）和数据集规模（100K 到 8M），共 7 个条件；用 4 个独立安全分类器评估生成图像，并做文本编码器消融（T5-Gemma、CLIP、SafeCLIP）与因子设计，以区分比例与绝对数量。
- 输出不安全率随训练污染比例单调上升，从 0% 污染时的 16.6% 升到 5% 时的 25.5%，呈次线性饱和；起作用的变量是比例而非绝对数量，因此在约 1M 以上规模时过滤效果与语料规模无关。该效应几乎只出现在对抗性 prompt 下，安全 prompt 下各条件均约 1%。零污染仍存在 16.6% 的下限，换用 SafeCLIP 可降至 9.6%，且剂量效应在各编码器下持续存在；安全过滤在 FID、CLIPscore、ImageReward 上无明显质量损失。
- 作者承认“不安全”是操作化定义（基于 LlavaGuard 九类分类法），不等同于法律意义上的非法内容；prompt 测试集 90% 为对抗性 prompt，不反映自然使用的全貌。未覆盖架构变体、RL 等训练阶段、其他分类法，以及数据过滤对对抗攻击和恶意微调的防护效果，均留待后续研究。
TU Darmstadt 与 hessian.AI 等机构的研究者通过受控实验发现，文生图模型的不安全输出率随训练数据中不安全图像的比例单调上升，且起作用的是比例而非绝对数量。实验用同一 PRX-1.2B 模型在污染率 0%–9.6%、规模 100K 至 8M 的数据集上训练，经四个独立安全分类器评估，不安全率从 0% 污染时的 16.6% 升至 5% 污染时的 25.5%，该效应仅出现在对抗性提示下，安全提示下各模型约 1%。完全过滤后仍残留 16.6% 基线，主要归因于冻结文本编码器，换用 SafeCLIP 可降至 9.6%，与数据过滤合计较未缓解基线相对降低 53%；过滤在 FID、CLIPscore、ImageReward 上无质量代价。作者还发现后续 SFT 会将各条件不安全率再抬高 4.0–9.6 个百分点，并公开了训练模型、生成图像与安全标注。
推荐理由受控实验将训练数据污染与文生图输出不安全建立因果联系，并量化数据过滤与安全文本编码器两类干预的互补效果。