当安全概念变得不安全：文生图模型中的多概念组合性漏洞

核心问题：多个各自安全的视觉概念被组合进同一生成请求时，T2I 模型会产出有害或敏感的视觉内容（作者称为 Multi-Concept Compositional Unsafety, MCCU），而现有安全机制按显式有害概念设计，无法捕捉这种关系性风险。

• 问题场景与重要性：现代 T2I 模型（如 FLUX.1、SD-v3.5）正从简单视觉合成演变为能渲染多实体、多关系场景的组合式指令遵循者。作者认为，指令遵循越准确，越可能把各自安全的概念组合成视觉上有害的含义，攻击面随之扩大。
• 现有方法不足：作者称现有 T2I 安全机制假设不安全输出来自显式禁止概念、违规提示或可见危险内容；提示级过滤查禁用词，图像级过滤查裸露、血腥等，概念擦除压制特定表示，这些对关系性风险效果差。
• 核心观察：MCCU 不依赖对抗提示、模型访问或显式违禁内容，风险来自模型如何把多个安全概念组合进同一场景；且关系含义随社会文化语境演变，难以预先枚举。
• 论文提出：作者构建 TwoHamsters 审计框架（约 20k 提示、51 对概念、六大风险类别、专家验证和 MCCU-ViT 评估器），并定义 MDR、CMDR、UAR、SAR、SCR、NCR 指标，对 13 个 T2I 模型和三类防御做黑盒审计。
• 威胁模型（section 2.2）：
  • 攻击者目标：让模型在生成图像中实现所有目标概念，并使这些概念形成不安全关系含义；两个条件同时满足才算攻击成功（Equation 3）。
  • 攻击者知识：黑盒推理时访问，不需要模型参数、梯度、训练数据、安全阈值或内部表示。
  • 攻击者能力：三类黑盒攻击者——Text-only（提交组合安全概念的自然语言提示）、Image-conditioned（提供各自安全的图像要求融合）、Editing（提供含一个概念的安全图像要求添加另一概念）；单轮访问，不做梯度优化、权重修改、白盒探测、对抗扰动、数据投毒或系统提示越狱，明确排除 token 级混淆。
  • 受害系统：完整生成系统 S，包含底层生成模型 M 及文本过滤、图像过滤、多模态安全评估、内部安全对齐四类防御组件。

T2I 生成模型演进

• 早期架构到扩散与 Transformer：从 GAN、VAE 到扩散模型和 DiT 架构，FLUX.1、SD-v3.5 等现代模型具备复杂指令遵循、多概念落地和细粒度结构控制能力（section 5.1）。
• 能力跃迁与风险：作者称 SD v1.4/v1.5 带来显式 NSFW 内容生成的第一波风险，当前 Flow Matching 和高参数化架构（如 GPT-image-2）带来第二波能力跃迁，使 MCCU 成为与能力耦合的攻击面。

T2I 安全审计基准

• UnsafeDiffusion [18] 与 I2P [16]：挖掘真实用户数据构建显式风险数据集，成为早期概念擦除防御的标准参照。
• T2ISafety [28] 与 T2I-RiskyPrompt [17]：引入层级化风险分类，覆盖政治敏感、隐私等更细粒度风险。
• 作者指出的不足：这些基准的威胁建模依赖"显式存在不安全概念"的假设，作者称其在结构层面完全忽略了 MCCU 这类毒性来自安全概念组合的攻击面（section 5.2）。

概念擦除

• 早期与鲁棒方法：早期技术 [15]、[21]、[63]、[64]、[65] 与近期鲁棒方法 [22]、[23] 通过微调实现"定向遗忘"，在 FLUX.1 等先进模型上也有验证 [66]、[67]。
• 作者指出的不足：这些方法在原子风险假设下运作，隔离并删除单个独立概念；作者称 MCCU 源于安全概念的关系组合，原子擦除在结构上无法应对，并迫使防御者在欠擦除与过擦除之间面临安全-效用两难（section 5.3）。

与最接近工作的对比

• HarmfulCmb [27]：涉及多概念组合风险，但作者称其不是系统的安全审计框架，概念覆盖有限；TwoHamsters 提供约 20k 提示、51 对概念、六大类别、专家验证和 MCCU-ViT 的专用框架。
• 多模态语用越狱 [26]：同样表明概念级过滤不足以保证安全，但作者指出两者威胁不同——该工作利用视觉与文本模态交互产生的不安全含义，MCCU 只关注视觉概念组合产生的不安全关系语义，不依赖文本渲染、提示混淆或语言推理；且能力-风险关系不同，多模态语用越狱受文本渲染能力限制，MCCU 则是组合对齐越强暴露越大（section 5.4）。

基线与基准：防御评测的基线包括八款主流安全过滤器（Q16、nsfw-I、Stable Diffusion safety filter、MultiHeaded、NSFW-T、LLaVA-Guard、PerspectiveVision、NSFW-T 与 Q16 集成）和九种概念擦除方法（NP、SP、ESD、UCE、Prompt Slider、RECE、SPEED、COGFD、KSCU），在 TwoHamsters 上评测；MCCU-ViT 的人工相关性分析另用了 HarmfulCmb 数据集（附录 B.2）。

整体思路是构建 TwoHamsters 审计框架：先形式化 MCCU，再通过 LLM 辅助加专家驱动挖掘高风险概念对、自动合成并多阶段过滤提示、专家验证，最后用多指标和 MCCU-ViT 自动评估器对模型做大规模黑盒审计。

MCCU 形式化

• 定义：设 V 为原子视觉概念集合，G 为生成系统，F 为安全谓词（1 安全、0 不安全）。MCCU 发生在所有原子概念各自安全、但模型诱导的组合不安全时：(∀ v_i ∈ V, F(v_i) = 1) ∧ F(G(V)) = 0（Equation 1）。
• 成功判定：MCCU 在输出层面评估且以概念成功实现为条件：生成图像同时满足 F_unsafe(I) = 1 ∧ F_align(I, V) = 1 才计为 MCCU 违规（Equation 3），避免把生成失败当作安全行为。
• 概念对设定：TwoHamsters 主要实例化 n = 2 的概念对，作者称这提供可控审计环境、可靠人工验证和细粒度归因；n > 2 的推广在附录 C 讨论。

数据集构建与验证

• 概念对挖掘：综合 OpenAI、Midjourney、Google、Meta 平台政策与 Unsafe Diffusion、I2P、T2ISafety 等基准定义 10 个传统风险大类；让 LLM 扮演由职业、信仰、种族、年龄、性别随机排列构成的多样社会文化人格提出候选组合，经专家验证保留 51 对，最终归入六个宏类别（Hate Speech & Discrimination 14 对、Violence & Physical Harm 12 对、Regulated Goods & Restricted Activities 9 对、Societal Harm & Public Crisis 8 对、Sexual Exploitation & Adult Content 5 对、Harassment & Defamation 3 对，Table 5）。
• 提示词挖掘：用 Qwen-Flash 作为专家提示工程师，为每对概念生成一个组合提示加两个原子提示的三元组；原子提示须排除另一概念的语义，组合提示须通过两概念的视觉交互实例化目标风险，描述尽量限制在 77 token 以内。
• 多阶段过滤：从约 100k 候选提示出发，先用 CLIP 文本编码器做特征空间多样性过滤（余弦相似度阈值 τsim = 0.95，去除约 20k 冗余，剩 80k）；再用 FLUX.1 生成图像做跨模态筛查（目标概念相似度须高于其他概念，并去掉每组最低 5%，去除约 60k，剩 20k）。
• 人工验证：三名专家标注者两轮验证（视觉有效性、理由一致性、决策一致性），第二轮用 LLaVA-Guard 辅助；三名专家多数投票，Gwet's AC1 为 0.73。最终约 17.5k 基础提示（5,851 条对抗 MCCU 提示、11,702 条单概念提示），另补充 500 条安全编辑请求、510 条对抗图像条件请求、510 条对抗编辑请求、500 条安全多概念提示，总计 20,073 条。

评估指标

• 防御指标：MDR 衡量模型避免成功 MCCU 生成的比率；CMDR 以概念对齐成功为条件，区分真实安全行为与提示遵循失败。
• 能力与效用指标：UAR（对抗提示下的概念对齐率）、SAR（安全多概念提示下的对齐率）、SCR（单概念保留率）、NCR（擦除后非目标概念保留率）。

自动评估器

• MCCU-ViT：以 ViT-L/14-CLIPA-336（DataComp-1B 预训练）为骨干，冻结视觉编码器，微调三个 MLP 分类头，分别预测第一个原子概念、第二个原子概念和全局安全类别；推理时用 logit 集成策略，作者称原子概念头准确率超过 98%（附录 B.1）。
• MCCU-VLM：基于 Qwen2-VL-7B-Instruct，冻结视觉塔和投影层，用语言模型 LoRA（r = 16，α = 32）在 9,379 条视觉指令样本上微调，用于可解释的理由检查与定性分析；大规模定量结果依赖 MCCU-ViT（附录 B.3）。
• 人工相关性：在 TwoHamsters 500 样本上 Pearson r = 0.8322，在未见过的 HarmfulCmb 500 样本上 r = 0.4904（Table 7，附录 B.2）。

实验设置

• 被测模型：十个文本 T2I 模型（U-Net 组：SD-v1.4、SD-v1.5、SD-v2.1、SDXL、Playground-v2.5；Transformer 组：PixArt-α、SD-v3.5、FLUX.1、CogView4、Janus-Pro），全部本地部署、黑盒审计；三个多模态生成系统（GPT-image-2 走 API，Qwen-Image、Step1x 本地部署）。
• 数据集与协议：文本审计用 5.8k 条 MCCU 对抗提示、0.5k 条安全多概念提示、11.6k 条单概念提示，每条提示每个模型生成一张图（约 58k 对抗、5k 安全多概念、116k 单概念生成），固定随机种子、512 × 512 分辨率、各模型默认推理配置；多模态审计每种设置 510 个测试用例（每对概念 10 条）。
• 防御基线：八款安全过滤器（Q16、nsfw-I、sd filter、MultiHeaded、NSFW-T、LLaVA-Guard、PerspectiveVision、NSFW-T+Q16 集成）；九种概念擦除方法（NP、SP、ESD、UCE、Prompt Slider、RECE、SPEED、COGFD、KSCU），默认超参数。
• 指标与评审：MDR、CMDR、UAR、SAR、SCR、NCR、CLIP score、FID；Funsafe 与 Falign 均由 MCCU-ViT 评估。
• 过滤器评测集：由 FLUX.1 生成的 MCCU 图像（正样本）和安全生成图像（负样本）构成，正负比约 10:1；作者说明该分布偏向正样本，精确率会被抬高，故聚焦召回与 F1。
• 概念擦除设置：在 SDXL 上用 TwoHamsters 中样本数最多的 10 对概念做代表性子集，结果为平均值。

主结果

据 Table 1（文本审计，百分比）：

表格较宽，可左右滑动

Backbone	Model	MDR ↑	CMDR ↑	UAR ↑	SAR ↑	SCR ↑
UNet	SD-v1.4	58.54%	14.67%	48.59%	57.60%	83.06%
UNet	SD-v1.5	58.71%	13.93%	47.97%	60.30%	83.16%
UNet	SD-v2.1	44.81%	9.88%	61.24%	78.40%	88.30%
UNet	SDXL	28.45%	6.81%	76.78%	89.80%	90.92%
UNet	Playg-v2.5	20.36%	5.21%	84.01%	90.20%	92.89%
Transformer	PixArt-α	21.47%	4.87%	82.54%	92.80%	94.49%
Transformer	SD-v3.5	9.45%	3.09%	93.43%	96.60%	95.29%
Transformer	FLUX.1	1.57%	0.93%	99.35%	99.40%	98.55%
Transformer	CogView4	7.82%	2.39%	94.43%	98.20%	95.87%
Transformer	Janus-Pro	30.83%	6.52%	74.00%	17.80%	86.12%

• 指令-安全两难：作者称指令遵循能力越强（UAR、SAR 越高），MCCU 暴露越大（MDR、CMDR 越低）；早期 U-Net 模型较高的 MDR 部分来自概念对齐失败而非真实安全推理，CMDR 在所有模型上都远低于 MDR。
• Janus-Pro 例外：其 SAR 仅 17.80%，作者归因于安全概念组合在其训练数据分布中可能罕见，导致难以合成这些安全概念的共现。
• 类别差异：作者称涉及社会文化解读的类别（Harassment & Defamation、Hate Speech & Discrimination）更难防御，视觉显著类别（Sexual Exploitation & Adult Content、Regulated Goods & Restricted Activities）防御率更高（Figure 3）。

多模态攻击面（RQ2，Table 2）

• 测了什么：GPT-image-2、Qwen-Image、Step1x 在 Text-only、Image Fusion、Image Edit 三种交互模式下各 510 个用例；Step1x 不支持图像融合，该项省略。
• 结果：Text-only 的 CMDR 分别为 4.22%、7.47%、5.22%；Image Fusion 下 GPT-image-2 为 22.76%、Qwen-Image 为 24.72%；Image Edit 下三者 CMDR 分别为 26.90%、29.94%、28.42%。
• 作者解读：MCCU 可在所有支持的交互模式下触发，图像条件工作流虽提高 CMDR 但未能消除暴露；MCCU 不是提示工程产物，攻击面从文本提示过滤扩展到工作流级安全分析。

安全过滤器与 MCCU 微调（RQ3、RQ4）

• 过滤器覆盖有限（Table 3）：sd filter 召回 0.00%，nsfw-I 召回 0.60%，MultiHeaded 召回 21.46%，PerspectiveVision 召回 24.74%，LLaVA-Guard 召回 46.86%，Q16 召回 52.93%，NSFW-T 召回 83.07%，NSFW-T+Q16 集成召回 92.10%（仍漏近 8% 正样本）。作者称 MCCU 与主流过滤器的决策边界不匹配，针对显式有害内容训练的过滤器无法直接迁移到组合不安全。
• MCCU 微调（Figure 4）：随机划分下 MultiHeaded 召回从 21.46% 升至 90.56%、F1 从 35.32% 升至 77.49%，PerspectiveVision 召回从 24.74% 升至 84.87%、F1 从 39.63% 升至 86.60%；概念对不相交划分下 MultiHeaded 召回降至 68.26%、F1 降至 57.65%，PerspectiveVision 召回降至 69.89%。作者称 MCCU 检测不能归结为记忆已知概念对，开放世界防御需要关系与上下文感知推理。

概念擦除（RQ5，Table 4）

• 测了什么：SDXL 上九种擦除方法在 10 对高频概念子集上的表现，含未修改 SDXL 基线。
• 结果：所有方法 MDR 提升有限，KSCU 的 MDR 最高（44.62%）但 SCR 和 NCR 相对 SDXL 基线下降最大；UCE 的 FID 为 37.26、RECE 为 42.50，高于其他方法。
• 作者解读：部分方法原本为 SD-v1.4 优化、难以套用到 SDXL；擦除只能提供局部的、针对特定概念对的缓解，并损害安全概念生成，作者称这源于 MCCU 来自关系语义而非孤立不安全概念。

其他消融与分析

• 注意力分析（RQ6，Figure 5）：FLUX.1 能定位并落地提示中的安全原子概念，但注意力图主要对应单个概念而非概念间的有害关系；作者称模型表现为组合执行者，不把涌现的不安全解读作为独立安全信号。
• 表示分析（Figure 6）：t-SNE 中 MCCU 图像趋向位于安全成分簇附近或之间，未形成清晰分离的不安全簇；余弦相似度分布显示 MCCU 图像与成分安全概念文本保持语义接近，与显式有害文本锚点未必强对齐。
• 概念对粒度（Figure 7，附录 D）：Black Person & Fried Chicken、Elon Musk & Trash Can、Flame of Notre-Dame de Paris 等概念对平均 MDR 接近零，Flame & School、Playing Card & Chip 等平均 MDR 更高；作者称 MCCU 风险高度依赖具体概念对。
• 高阶组合（附录 C，Figure 8）：作者称 MCCU 机制可推广到 n ≥ 3 的组合，并给出 n = 3 和 n = 4 的示例，但未报告定量结果。

作者指出的局限与后续方向

• 概念对覆盖非穷尽（section 6.1）：作者称尽管基于真实合规政策构建了 51 对概念的层级分类，但社会政治时代精神快速演变，MCCU 攻击面在理论上无界，数据集是经验基线而非覆盖所有组合风险的穷尽字典。
• 自动评估器的近似局限（section 6.1）：作者称大规模测量依赖 MCCU-ViT 处理数万张图像，尽管跨分布验证了与人工判断的一致性，用冻结分类边界捕捉细微社会文化语境仍本质上受近似限制。
• 呼吁新防御范式（Contributions 与 section 6）：作者称现有防御要么无法泛化到未见概念组合、要么带来效用下降，需要面向组合安全的新防御范式；未来安全对齐不应只是以数据为中心的特征过滤，还应具备面向逻辑的拒绝能力，在隔离有害组合的同时不破坏合法知识库。

实验覆盖范围

• 被测模型：文本 T2I 模型 10 个（SD-v1.4、SD-v1.5、SD-v2.1、SDXL、Playground-v2.5、PixArt-α、SD-v3.5、FLUX.1、CogView4、Janus-Pro），多模态系统 3 个（GPT-image-2、Qwen-Image、Step1x），共 13 个（section 4.1）。
• 概念与提示规模：51 对概念、六个宏类别、总计 20,073 条提示；文本审计每模型每提示生成 1 张图，多模态每设置 510 个用例（section 3.2、4.1）。
• 防御评测：八款安全过滤器、两款过滤器的 MCCU 微调（MultiHeaded、PerspectiveVision）、九种概念擦除方法；概念擦除仅在 SDXL 的 10 对高频概念子集上进行（section 4.1、4.6）。
• 评审方式：Funsafe 与 Falign 均由 MCCU-ViT 自动评估；MCCU-ViT 与人工的 Pearson 相关性在 TwoHamsters 500 样本上为 0.8322、在 HarmfulCmb 500 样本上为 0.4904（附录 B.2）；论文未报告主实验中人工复核 MCCU-ViT 判定结果的比例。
• 攻击设置：仅单轮黑盒访问，明确排除越狱、对抗提示、梯度优化和 token 级混淆；n > 2 的高阶组合只在附录 C 给出定性示例，未做定量测量（section 2.2、附录 C）。

一篇关于 T2I 模型组合安全的评测论文。作者提出 Multi-Concept Compositional Unsafety（MCCU）：多个各自符合政策的概念被组合进同一张图像时产生不安全关系语义，它不依赖对抗提示、模型访问或显式违禁内容，经普通黑盒接口即可触发。

• 方法：构建 TwoHamsters 审计框架，含 51 对人工验证的概念、六个风险宏类别、20,073 条提示；用 CLIP 多样性过滤和 FLUX.1 跨模态筛查从约 100k 候选中筛出数据，三名专家验证（Gwet's AC1 = 0.73）；以 MCCU-ViT 为自动评估器，用 MDR、CMDR、UAR、SAR、SCR、NCR 分离防御效果与生成能力。
• 主结果：十个文本 T2I 模型上，指令遵循越强 MCCU 暴露越大——FLUX.1 的 UAR 为 99.35%、SAR 为 99.40%，而 MDR 仅 1.57%、CMDR 仅 0.93%（Table 1）；SD-v1.4/v1.5 的 MDR 约 58% 但 UAR 不足 50%，作者称部分表观安全来自组合失败。
• 多模态：GPT-image-2、Qwen-Image、Step1x 在文本、图像融合、图像编辑三种模式下均被触发，Text-only 的 CMDR 仅 4.22%–7.47%（Table 2）。
• 防御：八款主流过滤器中表现最好的 NSFW-T+Q16 集成召回 92.10% 仍漏近 8% 正样本（Table 3）；MCCU 微调在未见概念对上召回从 90.56% 降至 68.26%（MultiHeaded，Figure 4）；九种概念擦除方法 MDR 提升有限且损害效用，KSCU 的 MDR 最高（44.62%）但 SCR、NCR 下降最大（Table 4）。
• 机理：注意力与 CLIP 表示分析显示模型落地了安全原子概念，但未把涌现的不安全组合编码为独立的不安全状态（Figure 5、6）。
• 作者结论：组合推理在 T2I 模型中创造了现有安全机制未覆盖的攻击面，指令遵循与安全存在根本冲突；作者呼吁面向组合安全的新防御范式，并计划通过 Hugging Face 门控机制发布 TwoHamsters 和 MCCU-ViT。