研究评测五款开源文生图模型的有害内容生成与审核缺口

研究团队用自动化流程把合法新闻标题改写成针对色情、暴力血腥、有害刻板印象、自残和仇恨言论的提示词，系统评测了五款开源文生图模型的有害内容生成能力。对 1,500 张生成图像的人工评估显示，血腥类提示词的有害内容生成率达 89.2%，色情内容 47.6%，有害刻板印象 43.6%，仇恨言论 46.0%，自残 34.5%，且多以血腥暴力形式出现。社区微调变体在色情提示词上尤其脆弱，FLUX.1-dev 有 30.9% 的案例生成明显逼真的有害图像。对自动审核系统的评估发现明显检测缺口，不安全图像可绕过过滤；合成图像检测器方面，仅用良性数据训练的模型在露骨内容上表现更差，训练数据更多样则检测效果更好。