并非所有步骤都重要:扩散模型概念移除的时间自适应谱控制
Not All Steps Matter: Temporally Adaptive Spectral Control for Concept Removal in Diffusion Models
作者提出 TASN,按概念能量随去噪步的衰减自适应调整谱抑制,在 SDv1.4 五个红队基准上 ASR 低于均匀 SN 且 CLIP 更高。
防御方在不重训练、可逆地修改推理过程的前提下,从 text-to-image diffusion model 中移除不安全概念(主要为 nudity);攻击者使用 Ring-A-Bell、P4D、I2P、MMA-Diffusion、UnlearnDiffAtk 等红队基准的对抗提示词试图让已擦除模型重新生成目标概念,以 NudeNet(阈值 0.6)或 CLIP 零样本分类器(θ=0.25)判定攻击是否成功。
- 现有 training-free 谱擦除方法在每个去噪步施加相同干预,作者认为这浪费了低概念能量步的干预并损害图像质量,需要更精确的概念移除。
- 先做时间步分辨的谱分析,发现概念能量按类别衰减(content 最快、style 最持久);再据此提出 TASN,让抑制强度正比于概念能量并只跟踪每步活跃谱方向。
- 在 SDv1.4 上,TASN 在五个红队基准的 ASR 均低于均匀 SN(如 P4D 10.93% 对 18.54%),CLIP 从 30.64 恢复到 31.37;作者称因果窗口与等预算对照支持收益来自时间定位。
- 论文未专门讨论局限。实验覆盖:主实验仅 SDv1.4(30 步 DDIM),时间层级在 SDXL 上验证;逐类评测每概念 20 条提示词;论文未报告生成图像的人工评估。
- 被测模型
- Stable Diffusion v1.4 (SDv1.4)SDXL
- 基准
- Ring-A-BellP4DI2PMMA-DiffusionUnlearnDiffAtkCOCO captions
- 指标
- ASRCLIP scoreEc(t)SPI
TASN 是文本到图像扩散模型的免训练概念移除方法,在五个红队测试基准上攻击成功率低于均匀 SN,同时挽回其大部分图像质量损失。时间分辨谱分析显示概念能量呈时间层级:内容衰减最快、物体居中、风格持续最久,TASN 据此对各时间步调整抑制强度与谱分量。消融确认增益来自时间定向抑制而非抑制减弱,方法跨概念类别与架构泛化。
深度解读
这篇论文试图解决什么问题?
作者要解决均匀谱擦除在所有去噪步施加相同干预、浪费干预且损害质量的问题。
核心问题:现有 training-free 谱擦除方法在每个去噪步施加相同的 OV 电路干预,作者认为这既在低概念能量步浪费干预,又损害良性提示词的图像质量。
- 场景与动机:text-to-image diffusion model 广泛部署后,不重训练地移除不安全概念成为需求;谱方法因 training-free 且可逆而有吸引力(引言)。
- 现有方法不足:作者称当前谱方法一次算出概念签名后在所有去噪步施加相同干预,隐含假设概念信息在时间上均匀分布;Figure 1 中均匀 SN 在良性提示词上使颜色、布局和细节变差。
- 核心观察:作者的时间步分辨谱分析报告,概念能量遵循一致的类别层级——content 概念衰减最快,object 居中,style 持续最久(Figure 2;SDv1.4 与 SDXL 上 SPIcontent < SPIobject < SPIstyle,Table 6)。
- 论文提出:Timestep-Adaptive Spectral Nullification(TASN),按概念能量曲线自适应调整抑制强度和目标谱子集;作者称它严格推广了均匀 Spectral Nullification(SN)。
- 威胁模型:
- 防御方目标:不重训练、不永久修改模型,从 diffusion model 中移除不安全概念(主评测为 nudity)。
- 攻击者能力:使用五个红队基准(Ring-A-Bell、P4D、I2P、MMA-Diffusion、UnlearnDiffAtk)的对抗提示词诱导已擦除模型重新生成目标概念。
- 受害系统:加载擦除方法的 SDv1.4;成功以 NudeNet(阈值 0.6)或 CLIP 零样本分类器(θ=0.25)检出目标概念判定。
有哪些相关研究?
相关工作分概念擦除、去噪时间动态、可解释性与红队四组,本文把时间维度引入谱分析。
概念移除方法
- 训练类:ESD(Gandikota et al. 2023)、CA(Kumari et al. 2023)、MACE(Lu et al. 2024)——微调权重抑制概念;论文称这类方法擦除强但有计算成本和潜在副作用。
- 闭式编辑类:UCE(Gandikota et al. 2024)、RECE(Gong et al. 2024)、CURE(Biswas, Roy, and Roy 2026)——解析地编辑 cross-attention 权重;论文称编辑快但有时擦除不完全。
- 推理时类:SLD(Schramowski et al. 2023)、SAFREE(Yoon et al. 2025)、SN(Bae et al. 2026)——不改权重、可逆;论文称可能牺牲鲁棒性。
去噪时间动态
- Zhang et al. (2024a):cross-attention 输出早期收敛,把生成分为语义规划与保真两个阶段。
- SDErasure(Miao et al. 2026):用 diffusion classifier 选择关键时间步做微调擦除;ANT(Li et al. 2025):保留早期 score function、在中后期反转 classifier-free guidance 方向。论文指出与这些方法不同,本文在 OV 电路的谱层面操作且无需训练。
扩散模型可解释性
- Bae et al. (2026):对 OV 电路做 SVD,把概念定位到谱子空间,是本文 SN 基线和分析框架的来源;Tang et al. (2023) 分析 cross-attention 图,Park et al. (2024) 提出 head relevance vectors,另有稀疏自编码器工作(Surkov et al. 2024;Cywiński and Deja 2025)。
擦除鲁棒性(红队)
- Ring-A-Bell(Tsai et al. 2024)、P4D(Chin et al. 2024)、MMA-Diffusion(Yang et al. 2024)、UnlearnDiffAtk(Zhang et al. 2024b)暴露了擦除方法的脆弱性;Lu et al. (2026) 的多模态探针称许多方法只是 guidance-based avoidance 而非真正消除。
基线与基准:对比基线含训练类(ESD、CA、MACE、SDID、ANT、SD-Erasure)、闭式(UCE、RECE)、推理时(SLD-Med/Strong、SAFREE、SN 20% pool);评测基准为 Ring-A-Bell、I2P、MMA-Diffusion、P4D、UnlearnDiffAtk,质量用 1,000 条随机 COCO caption 的 CLIP 分数。作者将本文定位为把谱分析扩展到时间维度,连接 OV 分解与时间步动态。
论文如何解决这个问题?
先量化概念能量随去噪步的衰减,再让抑制强度正比于能量、只抑制每步活跃谱方向。
整体思路:先做时间步分辨的谱分析量化概念能量 Ec(t) 随去噪步的变化,再据此设计 TASN,在高能量步强抑制、低能量步不抑制,并只保留每步活跃的谱方向。
时间步条件能量分析(Section 4.1)
- 对每对基础/概念提示词(如 pb="A photo of a woman"、pc="A photo of a nude woman"),在每步记录 cross-attention 输出,空间平均后投影到 SVD 基得到 δi(h)(t),即概念沿各谱方向的活跃幅度。
- 聚合能量 Ec(t)=∑h,i(δ̄i(h)(t))2,刻画概念信息何时流经 OV 电路;另定义归一化分布 Pc(t) 与 Spectral Persistence Index SPI(能量的时间质心)。
- 分析覆盖 36 个概念(content、object、style 各 12 个),SDv1.4、30 步 DDIM、每概念 J=6 对提示词。
质量损失分解与最优调度(Section 5.1–5.2)
- 把池内信号分解为概念对齐分量 ∆xt,c 与概念正交残差 ∆xt,g;附带损害与 (1−α(t))∥∆xt,g∥ 成正比,总代价 Lcollateral = Σt(1−α(t))²∥∆xt,g∥²。
- Theorem 1:在 ∥∆xt,g∥²≈η²(稳定干扰)假设下,给定移除预算 R 的最小附带损害解满足 1−α*(t) ∝ ∥∆xt,c∥;作者称 Ec(t) 可近似跟踪 ∥∆xt,c∥,故实用调度取 1−α(t) ∝ Ec(t)。
- 假设验证:Table 1 报告 ∥∆xt,g∥² 跨时间步的平均 CV 为 9.4%,远低于 Ec(t) 的 67.1%。
实用调度与自适应子集(Section 5.2–5.3)
- 调度公式 α(t) = 1 − (1−αmin)·(Ec(t)/max Ec)ᵞ:能量高时 α(t)→αmin(强抑制),低时 α(t)→1(不抑制);γ=1 对应理论解,γ 越大抑制越集中于峰值。
- 自适应子集 Sc(t) 只保留贡献超过该步最大值 τ=0.1 倍的分量,恰好张成概念活跃子空间 Vc(t),从而把 ∆xt,g 完全排除在抑制目标之外。
- 固定 Sc(t)=整个池且 α(t)=0 时退化为 SN,故 TASN 严格推广 SN;默认参数 αmin=0、γ=1、τ=0.1、20% 池。
成功判定与评测方式
- 主评测为 nudity 移除:ASR 用 NudeNet(阈值 0.6)在五个红队基准上判定;质量用 1,000 条随机 COCO caption 的 CLIP 对齐分数。
- 逐类泛化评测用 CLIP 零样本分类器(θ=0.25),每概念 20 条提示词;估计 Ec(t) 的提示词对与所有评测基准不相交。
论文做了哪些实验?
SDv1.4 上 TASN 在五个红队基准 ASR 均低于均匀 SN,CLIP 从 30.64 恢复到 31.37。
实验设置
- 被测模型:主实验全部在 SDv1.4(30 步 DDIM,guidance scale 7.5);时间层级分析另在 SDXL 上复现(Table 6)。
- 基准:Ring-A-Bell(K16/K38/K77)、I2P、MMA-Diffusion、P4D、UnlearnDiffAtk;质量用 1,000 条随机 COCO caption 的 CLIP 分数。
- 基线:训练类 ESD、CA、MACE、SDID、ANT、SD-Erasure;闭式 UCE、RECE;推理时 SLD-Med、SLD-Strong、SAFREE、SN(20% 池)。
- 指标与判定:ASR(越低越好),nudity 用 NudeNet(阈值 0.6);逐类评测用 CLIP 零样本分类器(θ=0.25,每概念 20 条提示词)。
- TASN 参数:αmin=0、γ=1、τ=0.1、20% 池;估计 Ec(t) 的提示词对与评测基准不相交。
- 样本量与重复:论文未报告每基准提示词总数与重复次数;谱分析为每概念 6 对提示词、类别层面 mean ± SEM。
主结果
据 Table 2(SDv1.4,ASR %,越低越好):
表格较宽,可左右滑动
方法 R-A-B K16 K38 K77 I2P MMA P4D UnLearn SDv1.4 97.89 94.74 87.37 25.03 68.10 69.76 50.70 ANT 62.66 70.17 61.35 14.37 13.44 32.46 15.98 SD-Erasure 66.24 68.01 77.30 7.52 16.77 17.68 13.88 RECE 10.53 9.47 7.37 4.24 25.00 21.46 9.15 SLD-Strong 18.95 10.53 6.32 2.33 7.70 11.71 7.04 SN 41.05 35.79 30.53 4.24 17.60 18.54 8.45 TASN 30.21 10.14 20.96 2.29 12.23 10.93 6.94 (省略 ESD、CA、MACE、SDID、UCE、SLD-Med、SAFREE 七行;其中 MACE 在 K38 为 95.79,高于未擦除的 SDv1.4。)
- 作者称 TASN 在 I2P、P4D、UnLearn 上取得七项中的最佳,K38 与 MMA 为次佳,七项中五项进入前二;相对均匀 SN,TASN 在所有基准上 ASR 更低。
- 作者称 SLD-Strong、SN、RECE 在部分基准 ASR 更低但 CLIP 在所有方法中最低;CLIP 高的 SD-Erasure、ANT 在多数基准移除更弱(Figure 6 中 TASN 位于其他方法未到达的右下区域)。
- 例外:K16 上 TASN(30.21)弱于 RECE、SLD-Strong、UCE(22.11);K77 上 TASN(20.96)弱于 RECE、SLD-Strong、UCE(21.05 与 K77 列 21.05 接近)等多种方法。
因果验证与等预算对照(Table 3,P4D)
- 时间窗口:SN 仅作用于第 0–5 步将 ASR 从 69.76% 降到 37.85%(该窗口含 43% 总能量,作者称捕获了 SN 总降幅的 62%);第 20–30 步仅降到 67.43%(12% 能量)。
- 等预算:TASN 预算 19,068,为 SN(49,140)的 39%;SN 用 8% 池达到近似预算 19,650 时 ASR 43.27%、CLIP 31.16,而 TASN 为 10.93%、31.37。作者称收益来自时间定位而非总抑制量减少。
消融与逐类泛化(Table 4、Table 5)
- 组件消融(P4D):仅自适应 α(t) 得 ASR 12.76%、CLIP 31.25;仅自适应 Sc(t) 得 11.71%、31.19;两者结合 10.93%、31.37。γ=0.5 时 ASR 9.88、CLIP 31.07;γ=2.0 时 11.14、31.42,均优于均匀 SN。
- 逐类(Table 5,CLIP 零样本分类器,每概念 20 条提示词):TASN 在 content/object/style 三类 ASR(25.6/36.7/41.2)均低于 SN(38.5/45.2/54.8)和 SLD-Strong(28.3/33.4/44.1),CLIP(31.42/31.35/31.28)均高于两者;注意 object 类 SLD-Strong 的 33.4 低于 TASN 的 36.7。
- 架构泛化(Table 6):SDXL 上 SPI 排序保持 content < object < style(8.0/10.1/12.9),t50、t90 趋势一致;作者称时间层级是概念类型的性质而非特定架构。
其他消融与分析
- 谱定位(Figure 3):top-5 头(128 个 cross-attention 头的 3.9%)捕获 23.0%(content)、22.3%(object)、18.0%(style)的概念贡献。
- 活跃子集规模(Figure 4):content 与 object 的 |Sc(t)| 快速收缩到 SN 固定 20% 池以下,style 起始最小但收缩最慢。
- token 级对齐(Figure 5):概念 token 早期对齐强、随后衰减至零,无关 token 全程接近零。
- 论文未报告统计显著性检验;逐类评测分母为每概念 20 条提示词。
有什么可以进一步探索的点?
论文未专门讨论局限;实验覆盖 SDv1.4 主测、SDXL 仅验证时间层级,逐类评测每概念 20 条提示词。
作者指出的局限与后续方向
论文未专门讨论局限,没有 Limitations 小节;结论与正文中也未出现明说"这是局限/未来可以做"的句子。
实验覆盖范围
- 主实验(Table 2–5)被测模型仅 SDv1.4(30 步 DDIM,guidance scale 7.5);SDXL 只用于复现时间层级分析(Table 6),未报告 SDXL 上的擦除结果。
- 对抗评测针对 nudity 一个目标概念,基准为 Ring-A-Bell、I2P、MMA-Diffusion、P4D、UnlearnDiffAtk 共五个;逐类评测覆盖 36 个概念(三类各 12 个),但只比较 SN、SLD-Strong 与 TASN 三种推理时方法。
- 谱分析设置为每概念 J=6 对提示词、30 个去噪步;逐类评测每概念 20 条提示词(Table 5 注明)。
- 质量评测为 1,000 条随机 COCO caption 的 CLIP 对齐分数;论文未报告人工评估,也未报告 NudeNet/CLIP 判定与人工的一致性。
- 论文未报告各基准的提示词总数、生成图像的随机种子数或重复次数,也未报告统计显著性检验。
总结一下论文的主要内容
TASN 按概念能量的时间衰减自适应施加谱抑制,作者称其在五个红队基准上取得比均匀 SN 更好的移除-质量权衡。
一篇关于 diffusion model 概念擦除的防御论文,核心主张是"何时干预与在何处干预同样重要"。
- 问题:现有 training-free 谱擦除(SN)在所有去噪步施加相同干预,作者认为这在低概念能量步浪费干预并损害良性图像质量。
- 分析发现:时间步分辨谱分析报告概念能量按类别衰减——content 最快、object 居中、style 最持久(SDv1.4 与 SDXL 上 SPI 排序一致,Table 6);top-5 注意力头捕获 18.0%–23.0% 的概念贡献(Figure 3)。
- 方法:TASN 让抑制强度正比于概念能量 Ec(t)(Theorem 1 在稳定干扰假设下给出能量比例调度为最优),并只保留每步贡献超过阈值 τ=0.1 的活跃谱方向;固定参数时退化为 SN。
- 主结果:SDv1.4 上 TASN 在五个红队基准的 ASR 全部低于均匀 SN(P4D 10.93% 对 18.54%,I2P 2.29% 对 4.24%,Table 2),CLIP 从 30.64 恢复到 31.37(Table 3)。
- 证据:时间窗口实验显示前 0–5 步(含 43% 能量)完成 SN 总降幅的 62%;等预算对照下 SN(8% 池)ASR 43.27% 而 TASN 10.93%(Table 3);作者据此称收益来自时间定位。
- 作者结论:TASN 在所有擦除方法中取得有竞争力的 ASR 与 CLIP,权衡更优;例外是 K16/K77 上 RECE、SLD-Strong 等方法 ASR 更低,论文未专门讨论局限。