当安全相冲突：用自适应安全引导解决文本到图像扩散模型的多类别有害冲突

现有多类别 safety-guidance 会把不兼容的安全方向合成一个，作者称之为 harmful conflict。

• 场景：开源 T2I diffusion（论文举例 Stable Diffusion、Hunyuan-DiT）可生成 hate、sex、violence、illegal activity 等图像。作者认为可及性与生成能力叠加后，有害内容顾虑加重。
• 现有做法：以 SLD 为代表的 safety-guidance 对比提示词引导与预定义 harmful keywords 的引导，把生成推离 harmful zone，且不改权重。多类别时通常拼接全部关键词，导出单一安全方向。作者认为这默认各类 harm 可一起抑制。
• 观察：每类有各自、且常不兼容的安全方向。方向不一致对应 Safety Misalignment Degradation；聚合后相互抵消对应 Safety Averaging Degradation。Table 1（SLD，基线 SD 1.5）中，sexual prompt 无引导为 67.2%，匹配的 sexual content 为 3.2%，错配 hate 为 72.4%，all category 为 48.8%。同表 violence prompt 上各错配类别均低于基线 52.8%。该表未写数据集与样本量。
• 本文方法：训练无关的 CASG。CaCI 按当前生成状态选最对齐类别，CrGA 只沿该类修正，可接到 SLD（latent）与 SAFREE（text）。作者称这是首个此类 plug-and-play 框架。
• 威胁模型：
  • 要抑制的结果：提示词触发的多类有害图像；作者同时关心提示词语义与良性生成。
  • 受害系统：T2I diffusion 的去噪。防护在 latent 或 text-embedding，不修改模型权重。
  • 输入：论文未形式化攻击者。所写输入是用户提示词，以及 hate、harassment、violence、self-harm、sexual content、shocking images、illegal activities 等预定义关键词。
  • 知识：论文未写 white-box 或 black-box。CASG 用各步噪声预测或嵌入投影，不另训分类器，也不调用外部 API。

论文第 2 节把相关工作分成扩散模型与安全机制；引言用 SLD 说明多类别聚合。作者把本文与“拼接关键词”的 safety-guidance 分开。

文生图扩散

• DDPM（Ho et al., 2020）：前向加高斯噪声、反向逐步去噪，用马尔可夫链学习数据分布。
• Latent Diffusion / Stable Diffusion（Rombach et al., 2022）：在低维 latent 中训练扩散，再用解码器还原图像。论文称这降低计算复杂度并保持生成质量。

过滤与模型编辑

• 过滤方法（Rando et al., 2022）：从提示词嵌入（pre-hoc）或生成内容（post-hoc）去掉不安全概念。论文称受控设置下有效，但仍会被利用过滤弱点的 jailbreak 影响。
• ESD、UCE、RECE（Gandikota et al., 2023、2024；Gong et al., 2024）：用微调或基于 unlearning 的概念擦除改权重。论文称可能同时降低安全域与不安全域的图像质量。

Safety-guidance

• SLD（Schramowski et al., 2023）：在 latent space 用方向引导离开 harmful zone。
• SAFREE（Yoon et al., 2024）：在 text space 把表示投影到有害子空间的正交补。
• 同段还引用 Koulischer et al., 2024，正文未展开。论文称这些方法通常只处理单类，或多类时简单拼接关键词，忽略类别间相互作用。

基线与数据集

• 基线方法：ESD、UCE、RECE、SafetyDPO、SLD、SAFREE；Table 3 另有 GPT-4o 或 QwenGuard 先分类再接 SLD。
• 基准：I2P、T2VSafetyBench、Unsafe Diffusion、CoProv2；良性质量用 COCO-30k 的 1,000 条 caption。

作者的定位是：冲突同时出现在 latent 与 text space，多类聚合本身会造成安全下降；CASG 不训练，按生成状态选用类别一致的方向，并保持与原 SLD、SAFREE 兼容。

CASG 是插入现有防护的训练无关框架：CaCI 识别主导有害类别，CrGA 只沿该类修正。两个实例是 CASG+SLD 与 CASG+SAFREE。论文写明 CASG+SLD 每个 timestep 更新类别；text 空间流程未写明是否每步重选。

冲突的形式化

• Definition 1：多类 H=(h1,...,hk) 同时使用时，latent 或 text space 的安全方向可能不一致、部分重叠、相反或抵消，作者称之为 harmful conflict。
• 作者认为引导必须与当前有害倾向对齐，才能把轨迹推出 harmful subspace。用分类器或 LLM 匹配提示词需要额外训练或外部 API，且不能跟随去噪中变化的冲突（Section 3.2、5.2）。
• 附录 A.1 定义 CDRR：把聚合方向对各归一化类别方向做带符号投影，再除以聚合方向范数，用来表示该类被保留、接近零或反向。

Latent：冲突感知安全转向

• 对每个 hi，有害条件噪声为 ε̂_i=ε_θ(z_t, c_{h_i})，有害引导 g_i=ε̂_i-ε_θ(z_t)。提示词引导 g_p=ε_θ(z_t, c_p)-ε_θ(z_t)。
• 用余弦衡量对齐：cosθ_i=(g_i· g_p)/(|g_i||g_p|)。余弦越大，作者认为该类越可能影响当前轨迹。主导类别为 h^∗=h_{argmaxicosθi}。
• 只把该类方向送入 SLD，其余 SLD 机制与超参保持原设计。Algorithm 1 给出该流程；附录 B 有含 text 分支的完整算法。

Text：冲突感知正交投影

• 每类有子空间投影 P_{h_i}。残差 p^⊥_{h_i}=(I-P_{h_i})p，表示去掉与该类对齐分量后的提示词嵌入。
• 残差范数越小，作者认为提示词越落在该类有害子空间。主导类别取 argmin_i ||p^⊥_{h_i}||。
• 只用 P_{h*} 做 SAFREE 的正交投影，其余 SAFREE 设置不变。

判定与接入

• 图像若被 Q16 或 NudeNet 任一标为有害，即计入有害。NudeNet：任一裸露元素概率超过 0.5 则标记。良性用 CLIP score 与 FID。
• 主实验接在 Stable Diffusion v1.5 上，关键词集与 SLD 相同，SLD 使用 SLD-max。论文未在正文列出 SLD-max 的数值阈值。

实验设置

• 模型：主结果为 Stable Diffusion v1.5。附录 A.3 的退化比较另用 SDv3。LLM 变体用 GPT-4o 或 QwenGuard 给提示词分类。
• 数据：I2P 4,703 条、7 类；T2VSafetyBench 选 3,443 条、7 类；Unsafe Diffusion 904 条用户提示词；CoProv2 随机 1,000 条（附录 C.1）。良性为 COCO-30k 的 1,000 条 caption。退化实验另从 T2VSafetyBench 抽 sexual、violence 各 500 条。
• 基线：ESD、UCE、RECE、SafetyDPO、SAFREE、SLD，以及 GPT+SLD、QwenGuard+SLD。改权重的方法在 Table 2 中以灰色标出。
• 指标：Harmful Rate，越低越好；括号为相对 SD-v1.5 的变化。Q16 与 NudeNet 任一标记即计有害。COCO 上 FID 越低越好，CLIP score 越高越好。附录 D.2 对关键词变体写 ASR。
• 协议：guidance scale 7.5，另在附录测 10.0；50 步去噪；关键词集与 SLD 相同；基线用官方实现与默认超参。
• 未写明：论文未报告每条提示词的生成张数、重复次数，以及分类器与人工判定的一致性。

主结果

据 Table 2，SD-v1.5，guidance scale 7.5。表中为 Harmful Rate（%）。

表格较宽，可左右滑动

方法	I2P	T2VSafetyBench	UD	CoProv2
SD-v1.5	42.2	58.3	52.3	28.2
RECE	21.5	18.9	22.3	8.6
SafetyDPO	13.7	24.0	16.7	4.2
SAFREE	20.0	41.5	24.2	14.2
CASG+SAFREE	18.9	37.5	17.5	11.8
SLD	12.7	25.2	15.7	7.1
CASG+SLD	10.2	9.8	9.8	3.9

• Table 2 中 CASG+SLD 四列均低于同表其他方法。作者称其安全表现在所比较方法中达到 state-of-the-art。省略行：ESD 为 42.0、57.4、50.6、28.1；UCE 为 26.7、28.2、33.0、19.4。
• 作者称生成质量几乎不变。COCO 上 CASG+SLD 的 FID 为 52.00、CLIP 为 29.36，SLD 为 52.11、29.22；CASG+SAFREE 为 46.25、30.35，SAFREE 为 43.78、30.53。SD-v1.5 的 FID 格为“-”，CLIP 为 31.43。
• CASG+SAFREE 的 FID 高于 SAFREE。作者未把质量写成优于全部基线。

错配与聚合造成的退化

• Table 1（SLD，基线 SD 1.5）sexual prompt：hate 72.4（+5.2），sexual content 3.2（-64.0），violence 59.4，illegal activity 64.6，hate+sexual 5.8，all category 48.8。正文亦称这些数为 attack success rate。hate 高于基线 67.2；illegal activity 的 64.6 低于基线，与作者“72.4% 与 64.6% 都增加暴露”的概括不完全一致。
• 同表 violence prompt：匹配的 violence 为 6.2，all category 为 13.6，基线 52.8。错配各类均低于基线。该表未写数据集。附录 A.3 Default 列与 Table 1 相同，并写明各 500 条；论文未写明二者是否同一次实验。
• 附录把同一协议扩到 SAFREE 与 SDv3。Table 5 中 SAFREE、sexual prompt：sexual content 32.6，hate 72.6（高于基线 67.2），all category 63.0。Table 6 中 SDv3：sexual content 7.8，基线 51.0，all category 18.2，hate 50.2（-0.8）。作者称退化在不同关键词粒度、防护与基座上仍出现。

LLM 先分类再接 SLD

• Table 3：GPT+SLD 在 I2P、T2VSafetyBench、UD 为 11.6、12.3、20.1；QwenGuard+SLD 为 14.0、21.1、23.3；SLD 为 12.7、25.2、15.7；CASG+SLD 为 10.2、9.8、9.8。
• GPT+SLD 在 UD、QwenGuard+SLD 在 I2P 与 UD 高于 SLD；二者在 T2VSafetyBench 低于 SLD。
• 作者把有限表现归于：LLM 会误分混合或含糊提示词；类别在开始时固定，不能随去噪更新。CASG+SLD 每个 timestep 更新类别。

关键词变体与类别分解

• Table 8，T2VSafetyBench 的 ASR：Default 上 CASG+SLD 为 9.8（相对 SLD -15.4），Synonyms 10.6（-4.2），Abstract 18.9（-8.0），Detailed 7.9（-11.2）。CASG+SAFREE 相对 SAFREE 的括号为 -4.0、-3.9、-8.7、-4.3。作者称对关键词设置稳健。摘要写最高降低 15.4%，与 Default 行的 -15.4 相同。
• Table 9，I2P：括号为相对 SAFREE 或 SLD 的 relative drop。CASG+SLD 从 harassment 的 10.1（-1.0）到 sexual content 的 6.1（-61.2）；CASG+SAFREE 从 harassment 的 15.3（-0.7）到 illegal activities 的 13.8（-16.9）。作者称 harassment 的 harmful zone 与聚合 zone 重叠较多，故改进较小。

其他消融与分析

• guidance scale 10.0（Table 7）：CASG+SLD 为 I2P 12.3、T2VSafetyBench 13.3、UD 14.5、CoProv2 5.0；SLD 为 15.4、27.4、19.0、7.7。CASG+SAFREE 为 18.0、37.6、18.0、10.8。
• 效率（Table 10，SDv1.5，50 步，单张 H100）：SAFREE 3.9 s/sample，CASG+SAFREE 3.98（1.02×）；SLD 4.0，CASG+SLD 在 k=7 时 10.3（2.58×）。正文写 10.2 秒。作者称 latent 侧随类别数线性增长，每多一类约 1 秒。
• Table 4：Fine-grained 下 hate 用于 sexual prompt 为 67.4（+0.2），Default 为 72.4（+5.2）。三种粒度的 all categories 在 sexual prompt 上为 48.8、42.9、25.8，均高于对应单类 sexual 的 3.2、12.2、2.8。
• Figure 2、Figure 7 图注称各类安全方向在前三个 PCA 维度上相交或相反，并随时步变化。Figure 3 图注写颜色越深 retention 越高。Figure 9：作者称 CASG+SLD 的 harmful cosine 下降大于 SLD；图中逐格数值论文未给出。
• Appendix E：作者称良性请求上 CLIP、FID 与基础防护相当；有害请求上可能发生内容偏移，并认为恶意输入上安全优先于内容保真时该偏移可接受。Figure 5 图注称带 * 的方法需要调参或改模型；正文称 CASG 变体进一步去掉暴力图中的武器与血迹。提示词原文不转述。

作者指出的局限与后续方向

论文未专门讨论局限。Section 6 只重述 harmful conflict、CASG 的做法，以及作者称实验中有害内容下降、良性提示词上图像质量得以保持，没有写后续方向。Section 5.2 的两点不足针对 LLM 辅助 SLD，不针对 CASG。

实验覆盖范围

• 主结果的生成模型是 Stable Diffusion v1.5（Section 5.1）。SDv3 只出现在附录 A.3 的关键词退化比较；论文未报告 CASG 在 SDv3 上的 Harmful Rate。
• 有害基准为 I2P（4,703）、T2VSafetyBench（3,443）、Unsafe Diffusion（904）、CoProv2（1,000）；良性质量为 COCO-30k 的 1,000 条 caption（附录 C.1）。
• 对比包括 ESD、UCE、RECE、SafetyDPO、SAFREE、SLD，以及 GPT-4o、QwenGuard 先分类再接 SLD（Table 2、Table 3）。防护接入的是 SLD 与 SAFREE。
• 有害标签由 Q16 与 NudeNet 给出，NudeNet 裸露元素阈值为 0.5。论文未报告重复次数、每条提示词的生成张数，以及与人工评估的一致性。
• 另报告 guidance scale 10.0、四组关键词变体、I2P 类别分解、H100 上 50 步推理时间，以及 latent 与 text 两套方向可视化（附录 A、D）。

CASG 是接到现有 T2I safety-guidance 上的训练无关框架，处理多类有害方向不能直接合成的问题。

• 问题：作者称为 harmful conflict。Table 1 在 SLD、基线 SD 1.5 的 sexual prompt 上写出：无引导 67.2%，匹配 sexual content 为 3.2%，错配 hate 为 72.4%，全类别聚合为 48.8%。该表未写数据集。violence prompt 上错配并未高于基线。
• 方法：latent 空间用提示词引导与各类有害引导的余弦相似度选主导类别，text 空间用正交投影残差范数来选；之后只沿该类运行原来的 SLD 或 SAFREE，其余超参不变。作者称 CASG+SLD 每个 timestep 更新类别。
• 主结果：Stable Diffusion v1.5、guidance scale 7.5 时，Table 2 中 CASG+SLD 的 Harmful Rate 为 I2P 10.2%、T2VSafetyBench 9.8%、Unsafe Diffusion 9.8%、CoProv2 3.9%，四列都低于同表其他方法。COCO 上 FID 52.00、CLIP 29.36，SLD 为 52.11、29.22。
• 并不处处更低的对照：Table 3 中 GPT+SLD 与 QwenGuard+SLD 在 UD 上为 20.1% 与 23.3%，高于 SLD 的 15.7%。作者将其归于误分类和类别被一次固定。Table 9 中 harassment 相对 SLD 的括号仅为 -1.0。
• 作者结论：简单聚合多类关键词会直接造成安全下降；按当前状态选用对齐方向，可以不改权重地增强 SLD 与 SAFREE，并在良性提示词上保持接近原防护的 FID 与 CLIP。作者称相对现有方法最高降低 15.4%；Table 8 在 T2VSafetyBench 的 Default 集上把 CASG+SLD 相对 SLD 标为 -15.4。