SafeDiffusion-R1:面向扩散模型安全后训练的在线奖励引导
SafeDiffusion-R1: Online Reward Steering for Safe Diffusion Post-Training
AI 导读
SafeDiffusion-R1 提出基于 GRPO 的在线强化学习后训练框架,通过 CLIP 嵌入空间的奖励引导机制减少扩散模型生成的不安全内容。该方法无需监督配对数据或奖励模型微调,将不当内容比例从 SD v1.4 的 48.9% 降至 18.07%,裸露检测数从 646 降至 15。GenEval 组合生成质量从 42.08% 升至 47.83%,安全收益可泛化到七个伤害类别的域外不安全提示。