基于示例的空间引导:扩散模型中的免训练概念擦除
Example-Based Spatial Guidance for Training-Free Concept Erasure in Diffusion Models
作者提出免训练的概念擦除方法 EBSG 与 VLM 四类评审协议,称在 SD v1.4 的四个裸体基准上 SR 达 84.2–97.4%,优于所有免训练基线。
防御方在不更新 T2I 扩散模型权重的前提下,于推理时抑制裸体、暴力等违规概念的生成;评测使用 UnlearnDiff、Ring-A-Bell、MMA-Diffusion、P4D-N、MJA 等绕过式/隐喻式对抗提示词,攻击者以隐晦措辞诱导违规内容。
- T2I 扩散模型会生成违规内容,而现有擦除方法把多面的安全标准压成单一文本嵌入做全局抑制,二元检测器(NudeNet、Q16)还可能把语义崩塌的噪声图误判为安全。
- EBSG 把宽泛概念拆成带目标词、示例图和安全锚点的子概念族,推理时先用 CAS 门控判断何时介入,再用文本/图像双探针定位区域,最后按掩码把各区域从目标方向引导到安全锚点;另配 Qwen3-VL-8B 四类评审协议。
- 作者报告 EBSG 在四个裸体基准上 SR 84.2–97.4% 且 NR 最低,I2P 七概念单/多概念平均 SR 73.6%/73.1%,均高于免训练基线;迁移到 SD3 后 MJA 平均 SR 51.0%(SAFREE 为 32.8%)。
- 作者指出单图耗时为基线 5.3 倍、高引导尺度下存在锚点漂移、概念包覆盖与校准仍需人工、空间重叠概念覆盖未充分测试;多次重复实验只在三个裸体基准上报告。
- 被测模型
- Stable Diffusion v1.4 (SD v1.4)Stable Diffusion 3 (SD3)FLUX.1-dev
- 基准
- UnlearnDiffRing-A-BellMMA-DiffusionP4D-NI2PMJACOCOUNBRANDINGMJ-Bench
- 指标
- SRFNRFIDCLIP
免训练概念擦除方法 EBSG 以用户可编辑示例包为文生图扩散模型提供细粒度空间引导,将宽泛不安全概念分解为子概念并施加局部转向信号。此外还引入 VLM 细粒度评估协议,避免模型坍缩借二元评估器绕过安全检查。EBSG 在 4 个裸露基准、7 个 I2P 有害概念切片和 4 个 MJA 隐喻类别上取得最先进擦除性能,支持多概念移除并可迁移至 SD3。
深度解读
这篇论文试图解决什么问题?
现有概念擦除用单一嵌入全局抑制、二元评审漏掉语义崩塌,作者提出细粒度空间引导与 VLM 评审。
核心问题:如何在免训练的前提下对 T2I 扩散模型做细粒度、语义保持的概念擦除,并用能识别语义崩塌的协议来评测。
- 问题场景:作者称 T2I 扩散模型可轻易生成裸体、暴力、仇恨等违规内容,现有防护分训练式(改权重)与免训练(引导生成)两派,但都把多面的安全标准压成单一文本嵌入,形成信息瓶颈。
- 现有方法不足:作者认为全局抑制缺乏对 what/where/how much 的分辨能力,弱引导压不住、强引导误伤良性特征;评测端 NudeNet、Q16 等二元分类器只判断"是否有害",论文附录 G.4.2 的分析称它们常把生成崩塌产生的无语义噪声误判为安全。
- 核心观察:作者的核心观点有二——细粒度反馈能实现更精确、语义保持的擦除;这种细粒度反馈也必须进入评测协议,取代简单二元判定。
- 论文提出:EBSG(Example-Based Spatial Guidance),用用户可编辑的 exemplar pack(目标词、示例图、安全锚点)把宽泛概念拆成子概念族,在推理时提供分区域的空间引导;另提出基于 Qwen3-VL-8B 的四类(SAFE/PARTIAL/FULL/NOT RELEVANT)VLM 评审协议。
- 威胁模型:
- 防御目标:在不更新模型权重的前提下,推理时抑制违规概念生成,同时保持良性内容的生成质量。
- 攻击侧(评测用):使用绕过式对抗提示词基准——UnlearnDiff、Ring-A-Bell、MMA-Diffusion、P4D-N(裸体)与 MJA(隐喻式越狱提示词),攻击者以隐晦措辞规避过滤仍诱导出违规画面。
- 受害系统:SD v1.4 为主的 T2I 扩散模型,另验证 SD3 与 FLUX.1-dev。
- 成功判定:VLM 四类评审下 SR=(SAFE+PARTIAL)/Total 升高、FULL 与 NOT RELEVANT 降低。
有哪些相关研究?
相关工作分训练式擦除、免训练防护、安全评测三组,另有注意力编辑与区域级安全方法的定位讨论。
训练式与闭式编辑擦除
- ESD [7]、SDD [15]、UCE [8]、RECE [9]——通过梯度微调或闭式权重编辑从模型中擦除概念,是本文的训练式对照。
- SDErasure [20]——基于目标/锚点噪声预测误差识别概念相关的去噪时间步再微调;论文称受其时间步感知启发,但本文不改参数,而是用引导几何决定何时介入。
免训练防护
- SLD [28]、SEGA [2]——把 classifier-free guidance 扩展到安全约束;SAFREE [32]——将有害 token 正交投影出有毒子空间。
- Safe Denoiser [13]——用否定集公式推导更安全的采样轨迹;SGF [14]——以 safety-guided flow 推广负引导,可叠在 SAFREE 上作复合基线。
- CASteer [6]——同为免训练,预计算概念引导向量加到 cross-attention 输出;论文在附录 F 称 EBSG 的区别在于 when–where–how 的耦合设计。
安全评测基准与检测器
- Ring-A-Bell [30]、UnlearnDiff [37]、MMA-Diffusion [31]——用渐进隐晦的措辞诱导裸体生成;P4D-N [5]——自动化提示词优化绕过防御;MJA [33]——构造隐喻提示词绕过过滤。
- NudeNet [21]、Q16 [27]——常用的二元安全分类器;论文批评这类二元评分无法说明违规的原因、位置和程度(§1、附录 G.4.1)。
注意力编辑与区域级安全(附录 F)
- Prompt-to-Prompt [11]、ConceptAttention [10]——利用 cross-attention 的语义-空间对应做编辑或显著性提取;EBSG 借用这一对应关系做概念抑制。
- Concept Replacer [35]、SafeCtrl [36]——区域级"定位再干预"方法,但需训练定位器或安全控制器;论文称 EBSG 不需训练,贡献在 when–where–how 的耦合而非该范式本身。
基线与基准:主实验基线为 ESD、SDD、UCE、RECE(训练式)与 SLD 四档、SAFREE、SAFREE+Safe Denoiser、SAFREE+SGF(免训练);附录 E.8 增补 Co-Erasing、TRCE、CASteer、Double Projections。基准为四个裸体基准、I2P 七概念、MJA 四类、COCO(保真度)与 UNBRANDING(品牌)。
作者将本文定位为:首个贡献在方法层面提供族级空间引导的免训练擦除,第二个贡献在评测层面用 VLM 四类协议替代二元检测(论文原文称"a novel training-free and example-based framework",未自称首个)。
论文如何解决这个问题?
EBSG 用族级 exemplar pack 提供目标-锚点对,经 CAS 门控、双探针定位、掩码引导三步做免训练擦除。
整体思路:把宽泛违规概念拆成若干子概念族,每族配目标关键词、示例图和安全锚点;推理时先判断何时介入,再定位何处违规,最后把各区域从目标方向引导到安全锚点方向。方法名 EBSG(Example-Based Spatial Guidance),全程不更新模型权重。
问题设定与背景
- 基线是 classifier-free guidance 的安全扩展(式 2):用单一负向嵌入 h 从噪声估计中减去安全引导项。作者认为这把多样的危害压成一个全局信号,只能做无差别抑制。
- EBSG 的改进有两点:引导在族(family)级而非概念级进行;潜变量不只是被"推离"负概念,而是被主动引向配对的安全替代(§3.5 Remark)。
族级 exemplar pack(§3.2)
- 每个概念 h 组织为 F 个族、每族 K 条目的 pack Ph={(wharmh,f,k, eharmh,f,k, wsafeh,f,k)},即目标关键词、示例图的 CLIP 嵌入与锚点关键词嵌入;含义是把"裸体"这类概念拆成可分别引导的子概念。
- 对每族计算文本、图像、锚点三个质心(式 4);作者称族内平均可抑制措辞差异、强化共享语义,而概念级全局池化会模糊方向信号,故引导只用族级。
- 构建方式:用 LLM 以概念名和少量违规示例初始化,再人工轻编辑(附录 A.2);附录 A.1 给出完整的关键词与族划分清单。
When:概念级对齐门控(§3.3)
- 定义 CASh(t)=cos(dc(t), dh(t)),即当前提示词的去噪方向与概念代表方向(概念级检测关键词嵌入的平均)的余弦相似度;含义是判断轨迹是否进入宽泛有害概念区域。
- 仅当 CAS_h(t) > τ 时触发引导,且一旦触发就对后续所有时间步锁存;作者称检测用概念级代表以保证敏感度,与引导所需的族级粒度刻意分开。
Where:族级空间掩码(§3.4)
- 双探针:文本探针用族内 K 个目标词作 cross-attention 的 key,取 token 最大值并对头与层平均,再经 sigmoid 软阈值(式 6,陡度 α、阈值 β)得到掩码;图像探针用族图像质心替换条件 token 做同样计算,用于捕捉规避文本检测的隐喻性违规。
- 两模态取逐像素 max 合并后做 winner-take-all 划分(式 7),保证每个潜空间位置只分给一个族;作者称文本探针主导显式违规、图像探针主导隐喻违规。
How:掩码门控的目标→锚点引导(§3.5、§3.6)
- 族级 harmful/safe 方向由目标/锚点质心的噪声预测差给出(式 8),最终噪声估计为原估计加上按掩码加权的"safe 方向 − harm 方向"之和(式 9,尺度 sh)。
- 多概念扩展:活跃概念-族对集合 Ht 由各自阈值 τ_h 的 CAS 决定,跨概念再做一次逐像素 WTA(式 10),引导项对所有活跃对求和(式 11)。
- 图像示例只作辅助检测:把图像探针掩码置零即可退化为纯文本配置,作者称纯文本配置仍优于现有基线。
VLM 评审协议(§3.7)
- 用 Qwen3-VL-8B-Instruct 把图像分入 {SAFE, PARTIAL, FULL, NOT RELEVANT};NOT RELEVANT 用于识别生成崩塌,PARTIAL 避免过度惩罚,SR=(SAFE+PARTIAL)/Total。
- 八个概念各有一份评审提示词(附录 H 给出完整提示词);与人类标注的一致性见第 4 问。
论文做了哪些实验?
在四个裸体基准、I2P 七概念、MJA 四类上评测,EBSG 的 SR 均高于免训练基线,并迁移到 SD3/FLUX。
实验设置
- 被测模型:主骨干 SD v1.4(512×512、50 DDIM 步、ω=7.5、固定种子);跨骨干验证 SD3(28 步 flow matching、CFG 7.0、1024×1024)与 FLUX.1-dev(28 步、引导 3.5、512×512,附录 D)。
- 数据集:裸体基准 UnlearnDiff(n=142)、Ring-A-Bell(n=79)、MMA-Diffusion(n=1000)、P4D-N(n=151);I2P 每概念取 Q16 毒性 top-60 提示词;MJA 四类(每类 100 提示词,附录 D);COCO 通用提示词测保真度;UNBRANDING 四品牌(附录 E.5)。
- 基线:训练式 ESD、SDD、UCE、RECE;免训练 SLD-Weak/Medium/Strong/Max、SAFREE、SAFREE+Safe Denoiser、SAFREE+SGF;附录 E.8 增补 Co-Erasing、TRCE、CASteer、Double Projections。
- 指标与评审:Qwen3-VL-8B-Instruct 四类评审(贪心解码、JSON 输出),SR=(SAFE+PARTIAL)/Total、NR=NOT RELEVANT/Total、F=FULL;通用质量用 FID(对 SD v1.4 基线)与 CLIP 分数。
- 重复次数:主结果为单次确定性生成;附录 E.6 对 UnlearnDiff、Ring-A-Bell、P4DN 做三次重复报告均值±标准差;论文 checklist 声明无正式显著性检验。
- 超参数:逐概念逐骨干调 sh、τ、β_txt、β_img(附录 Table 10,如裸体 sh=20、τ=0.6),在小 held-out 划分上选取。
主结果
裸体擦除(SD v1.4,据 Table 2,SR/F/NR 为 %):
表格较宽,可左右滑动
方法 UnlearnDiff SR Ring-A-Bell SR MMA-Diff SR P4DN SR P4DN NR FID↓ Baseline (SD v1.4) 64.1 45.6 35.9 25.2 0.7 – SDD (训练式) 90.8 88.6 81.3 72.2 3.3 4.73 RECE (训练式) 90.1 54.4 79.4 70.2 28.5 10.33 SLD-Max 87.3 57.0 49.0 67.5 6.6 18.46 SAFREE 87.3 83.5 75.4 70.9 7.9 8.96 + Safe Denoiser 90.1 81.0 73.5 70.9 4.6 7.44 + SGF 92.3 84.8 77.6 70.2 4.0 7.83 EBSG 97.2 96.2 84.2 97.4 0.0 6.31 - 作者称 EBSG 在全部四个裸体基准上取得免训练方法中最高的 SR 与最低的 NR,FID 也最低(6.31),即同时避免了语义崩塌。
- 训练式方法仅作参考:SDD 的 SR 接近但论文强调 EBSG 不需微调;RECE 在 Ring-A-Bell 上 F=0.0 但 NR=45.6,作者称这是以崩塌换低违规率。
- I2P 单概念擦除(Table 3):EBSG 在七个概念上 SR 全部最高,平均 73.6%(次高 +Safe Denoiser 57.6%);harassment 63.3%、hate 66.7%,作者称这正是图像探针起作用的隐晦危害区间。
多概念同时擦除
- 测了什么:单一模型同时擦除全部七个 I2P 概念(28 族 pack),Table 3 下半与附录 Table 13。
- 结果:EBSG 平均 SR 从单概念的 73.6% 到多概念 73.1%;SAFREE 从 54.5% 降到 41.9%,附录 Table 13 显示其 harassment NR 达 53.3%。
- 作者解读:跨概念 WTA 划分保持了联合引导的连贯性,SAFREE 的下降主要来自语义崩塌;附录 B.4 的 2c/3c/7c 扫描显示 EBSG 平均 SR 为 76.7/81.7/73.1,未随概念数单调下降。
跨骨干迁移
- 测了什么:同一算法迁移到 SD3(MM-DiT 联合注意力子矩阵作探针)与 FLUX.1-dev,仅重写探针提取接口(附录 D)。
- 结果(Table 6、19、20):SD3 上 MJA 平均 SR 51.0%(SAFREE 32.8%)、I2P 平均 65.0%(SAFREE 47.9%);FLUX.1-dev 上 I2P 平均 80.5%(无防护基线 50.2%),MJA 79.5%(基线 36.8%)。
- 作者解读:框架依赖预测空间的门控与文本侧目标→锚点校正,而非特定骨干结构;FLUX 只与无防护基线对比,不构成对其他防护的排名。
评审协议验证
- 人类一致性(Table 1、34):20 名标注者、400 张图、1662 票,保留 ≥3 票的 328 项;Qwen3-VL-8B 与人类多数标签的四类完全一致率 62.2%,S/P 合并后 82.6%(harassment 最低 70.0%)。
- 逐类指标(Table 35):Safe-or-Partial 精确率 97.6%(160/164)、召回 75.8%(160/211);FULL 召回 94.1%(32/34)但精确率 37.6%(32/85),作者称评审整体偏保守。
- MJ-Bench 安全子集(Table 31):672 对,Qwen3-VL-8B 的 Avg 68.3,高于论文复现的 GPT-4o 的 67.7。
其他消融与分析
- CAS/探针消融(Table 4):去 CAS 平均 SR 63.8% 且 COCO CLIP 从 0.255 降到 0.240;去文本探针 65.7%、去图像探针 65.0%,完整版 73.6%。
- 族级 vs 概念级引导(Table 5):概念级池化平均 SR 67.6%,族级高 +6.0 个百分点。
- 运行时(Table 17、Figure 4):EBSG 单图 14.0 s,为基线 5.3×;10 DDIM 步时 SR 60.2%、2.79 s/图,作者称超过 50 步的 SAFREE(54.3%)并快 3.1×。
- 低投入 pack(Table 21):粗标签版平均 SR 71.0%、LLM-minimal 版 69.8%,原版 73.6%。
- 尺度鲁棒性(Figure 9,仅 I2P sexual、SLD 去掉钳制的修改版):EBSG 在 sh∈[10,100] 保持 SR≥96.7%,sh=500 时 73.3%。
- 轨迹扰动探针(Table 27、28,Ring-A-Bell 79 提示词):24 候选逐提示词选优下 FULL 率 1.3%,SR 92.4–96.2%;作者称评估的是引导激活时的输出抑制,而非概念知识的永久移除。
有什么可以进一步探索的点?
作者列出推理成本、锚点漂移、pack 校准等局限,并计划自动构建 pack 与公开代码。
作者指出的局限与后续方向
- 推理成本(附录 J):EBSG 每步约 11 次 UNet 前向(基线 2 次),单图耗时为基线 5.3×;作者称绝对吞吐仍是高量部署的瓶颈,减少族前向次数(共享低秩近似、摊销探针编码器)是后续工程方向。
- 锚点漂移(附录 J):引导尺度过高会把生成拉向族锚点、侵蚀提示词中的非违规内容;显式约束锚点漂移的 CAS 加权混合留作未来工作。
- 空间重叠概念(附录 J):WTA 每步只把一个位置分给一个概念-族对,附录 E.4 只展示了一个 sexual+violence 示例,作者称更广泛的重叠覆盖尚未测试,需要有重叠区域标注的基准。
- pack 覆盖、校准与扩展(附录 J、§5):族定义、示例与锚点可能遗漏违规或引入偏差;自动 pack 构建与参数选择是未来工作;艺术风格与身份类概念未评估。
- 输出抑制与评测边界(附录 J):EBSG 不改权重,轨迹探针只测了有限扰动集合,对其他探针的鲁棒性未知;VLM 评审与政策相关,人类一致性不完美。
- 代码发布(checklist 第 5 项、附录 L):作者计划公开代码,当前稿件未提供已验证的公开地址。
实验覆盖范围
- 被测骨干为 SD v1.4、SD3、FLUX.1-dev 共三个;主结果在 SD v1.4 上,FLUX.1-dev 只与无防护基线对比(附录 D)。
- 评测概念覆盖四个裸体基准、I2P 七概念、MJA 四类隐喻与 UNBRANDING 四品牌;I2P 每概念用 Q16 毒性 top-60 提示词(每格 60 条)。
- 三次重复实验只在 UnlearnDiff、Ring-A-Bell、P4DN 上报告(附录 E.6);论文声明其余主实验无误差棒、无正式显著性检验(checklist 第 7 项)。
- 尺度鲁棒性扫描只覆盖 I2P sexual 一个概念,且 SLD 基线被修改为去掉系数钳制(附录 C.5)。
- 人类一致性研究为 20 名标注者、328 张保留项(附录 G.5);论文未报告 EBSG 与训练式方法在 SD3/FLUX 上的完整对比(SD3 有部分基线,FLUX 无)。
总结一下论文的主要内容
EBSG 以族级 exemplar pack 做免训练空间引导擦除,配 VLM 四类评审,在多个安全基准上 SR 领先。
一篇关于 T2I 扩散模型概念擦除的防御论文,同时贡献一个免训练擦除方法和一个细粒度评测协议。
- 问题:作者认为现有擦除方法把多面的安全标准压成单一嵌入做全局抑制,既擦不干净又误伤良性内容;NudeNet、Q16 等二元检测器还会把语义崩塌的噪声图误判为安全。
- 方法:EBSG 把宽泛概念拆成子概念族(目标词、示例图、安全锚点组成的可编辑 pack),推理时经 CAS 余弦门控决定何时介入、文本/图像双探针加 WTA 定位何处违规、按掩码把各区域从目标方向引导到安全锚点;评审用 Qwen3-VL-8B 四类标签,SR=(SAFE+PARTIAL)/Total。
- 裸体擦除:SD v1.4 上 UnlearnDiff/Ring-A-Bell/MMA-Diffusion/P4DN 的 SR 为 97.2/96.2/84.2/97.4%,均为免训练方法最高,NR 最低、FID 6.31 最低(Table 2)。
- I2P 七概念:单概念平均 SR 73.6%、七概念同擦 73.1%,SAFREE 对应为 54.5%/41.9%(Table 3)。
- 迁移与成本:SD3 上 MJA 平均 SR 51.0%(SAFREE 32.8%),FLUX.1-dev 上 I2P 平均 80.5%(无防护基线 50.2%);代价是单图耗时为基线 5.3×,10 步低延迟配置可部分弥补(Table 6、17、19、20)。
- 作者结论:作者称 EBSG 在不微调的情况下达到与训练式方法相当的效果,pack 的用户可编辑性便于部署中调整策略;同时承认推理成本、锚点漂移、pack 校准与重叠概念覆盖仍是未解决的问题,自动 pack 构建与参数选择留作未来工作。