跳到正文
原文

并非所有步骤都重要:扩散模型概念移除的时间自适应谱控制

Not All Steps Matter: Temporally Adaptive Spectral Control for Concept Removal in Diffusion Models

arXiv:其他 AI 安全论文· arXiv:2611.18678· Chanaka Thushitha Bandara, Lakmali Nadeesha Kumari, Sen-Ching Samson CheungUniversity of Delaware; University of California, Davis; University of Kentucky本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 TASN,按概念能量随去噪步的衰减自适应调整谱抑制,在 SDv1.4 五个红队基准上 ASR 低于均匀 SN 且 CLIP 更高。

威胁模型防御方在不重训练、可逆地修改推理过程的前提下,从 text-to-image diffusion model 中移除不安全概念(主要为 nudity);攻击者使用 Ring-A-Bell、P4D、I2P、MMA-Diffusion、UnlearnDiffAtk 等红队基准的对抗提示词试图让已擦除模型重新生成目标概念,以 NudeNet(阈值 0.6)或 CLIP 零样本分类器(θ=0.25)判定攻击是否成功。

问题
现有 training-free 谱擦除方法在每个去噪步施加相同干预,作者认为这浪费了低概念能量步的干预并损害图像质量,需要更精确的概念移除。
方法
先做时间步分辨的谱分析,发现概念能量按类别衰减(content 最快、style 最持久);再据此提出 TASN,让抑制强度正比于概念能量并只跟踪每步活跃谱方向。
实验与结果
在 SDv1.4 上,TASN 在五个红队基准的 ASR 均低于均匀 SN(如 P4D 10.93% 对 18.54%),CLIP 从 30.64 恢复到 31.37;作者称因果窗口与等预算对照支持收益来自时间定位。
局限与可以继续做的
论文未专门讨论局限。实验覆盖:主实验仅 SDv1.4(30 步 DDIM),时间层级在 SDXL 上验证;逐类评测每概念 20 条提示词;论文未报告生成图像的人工评估。
实验设置Stable Diffusion v1.4 (SDv1.4)、SDXL · Ring-A-Bell、P4D 等 · ASR、CLIP score 等
被测模型
Stable Diffusion v1.4 (SDv1.4)SDXL
基准
Ring-A-BellP4DI2PMMA-DiffusionUnlearnDiffAtkCOCO captions
指标
ASRCLIP scoreEc(t)SPI
AI 导读TASN 是文本到图像扩散模型的免训练概念移除方法,在五个红队测试基准上攻击成功率低于均匀 SN,同时挽回其大部分图像质量损失。时间分辨谱分析显示概念能量呈时间层级:内容衰减最快、物体居中、风格持续最久,TASN 据此对各时间步调整抑制强度与谱分量。消融确认增益来自时间定向抑制而非抑制减弱,方法跨概念类别与架构泛化。

TASN 是文本到图像扩散模型的免训练概念移除方法,在五个红队测试基准上攻击成功率低于均匀 SN,同时挽回其大部分图像质量损失。时间分辨谱分析显示概念能量呈时间层级:内容衰减最快、物体居中、风格持续最久,TASN 据此对各时间步调整抑制强度与谱分量。消融确认增益来自时间定向抑制而非抑制减弱,方法跨概念类别与架构泛化。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者要解决均匀谱擦除在所有去噪步施加相同干预、浪费干预且损害质量的问题。

    核心问题:现有 training-free 谱擦除方法在每个去噪步施加相同的 OV 电路干预,作者认为这既在低概念能量步浪费干预,又损害良性提示词的图像质量。

    • 场景与动机:text-to-image diffusion model 广泛部署后,不重训练地移除不安全概念成为需求;谱方法因 training-free 且可逆而有吸引力(引言)。
    • 现有方法不足:作者称当前谱方法一次算出概念签名后在所有去噪步施加相同干预,隐含假设概念信息在时间上均匀分布;Figure 1 中均匀 SN 在良性提示词上使颜色、布局和细节变差。
    • 核心观察:作者的时间步分辨谱分析报告,概念能量遵循一致的类别层级——content 概念衰减最快,object 居中,style 持续最久(Figure 2;SDv1.4 与 SDXL 上 SPIcontent < SPIobject < SPIstyle,Table 6)。
    • 论文提出:Timestep-Adaptive Spectral Nullification(TASN),按概念能量曲线自适应调整抑制强度和目标谱子集;作者称它严格推广了均匀 Spectral Nullification(SN)。
    • 威胁模型:
      • 防御方目标:不重训练、不永久修改模型,从 diffusion model 中移除不安全概念(主评测为 nudity)。
      • 攻击者能力:使用五个红队基准(Ring-A-Bell、P4D、I2P、MMA-Diffusion、UnlearnDiffAtk)的对抗提示词诱导已擦除模型重新生成目标概念。
      • 受害系统:加载擦除方法的 SDv1.4;成功以 NudeNet(阈值 0.6)或 CLIP 零样本分类器(θ=0.25)检出目标概念判定。
  2. 有哪些相关研究?

    相关工作分概念擦除、去噪时间动态、可解释性与红队四组,本文把时间维度引入谱分析。

    概念移除方法

    • 训练类:ESD(Gandikota et al. 2023)、CA(Kumari et al. 2023)、MACE(Lu et al. 2024)——微调权重抑制概念;论文称这类方法擦除强但有计算成本和潜在副作用。
    • 闭式编辑类:UCE(Gandikota et al. 2024)、RECE(Gong et al. 2024)、CURE(Biswas, Roy, and Roy 2026)——解析地编辑 cross-attention 权重;论文称编辑快但有时擦除不完全。
    • 推理时类:SLD(Schramowski et al. 2023)、SAFREE(Yoon et al. 2025)、SN(Bae et al. 2026)——不改权重、可逆;论文称可能牺牲鲁棒性。

    去噪时间动态

    • Zhang et al. (2024a):cross-attention 输出早期收敛,把生成分为语义规划与保真两个阶段。
    • SDErasure(Miao et al. 2026):用 diffusion classifier 选择关键时间步做微调擦除;ANT(Li et al. 2025):保留早期 score function、在中后期反转 classifier-free guidance 方向。论文指出与这些方法不同,本文在 OV 电路的谱层面操作且无需训练。

    扩散模型可解释性

    • Bae et al. (2026):对 OV 电路做 SVD,把概念定位到谱子空间,是本文 SN 基线和分析框架的来源;Tang et al. (2023) 分析 cross-attention 图,Park et al. (2024) 提出 head relevance vectors,另有稀疏自编码器工作(Surkov et al. 2024;Cywiński and Deja 2025)。

    擦除鲁棒性(红队)

    • Ring-A-Bell(Tsai et al. 2024)、P4D(Chin et al. 2024)、MMA-Diffusion(Yang et al. 2024)、UnlearnDiffAtk(Zhang et al. 2024b)暴露了擦除方法的脆弱性;Lu et al. (2026) 的多模态探针称许多方法只是 guidance-based avoidance 而非真正消除。

    基线与基准:对比基线含训练类(ESD、CA、MACE、SDID、ANT、SD-Erasure)、闭式(UCE、RECE)、推理时(SLD-Med/Strong、SAFREE、SN 20% pool);评测基准为 Ring-A-Bell、I2P、MMA-Diffusion、P4D、UnlearnDiffAtk,质量用 1,000 条随机 COCO caption 的 CLIP 分数。作者将本文定位为把谱分析扩展到时间维度,连接 OV 分解与时间步动态。

  3. 论文如何解决这个问题?

    先量化概念能量随去噪步的衰减,再让抑制强度正比于能量、只抑制每步活跃谱方向。

    整体思路:先做时间步分辨的谱分析量化概念能量 Ec(t) 随去噪步的变化,再据此设计 TASN,在高能量步强抑制、低能量步不抑制,并只保留每步活跃的谱方向。

    时间步条件能量分析(Section 4.1)

    • 对每对基础/概念提示词(如 pb="A photo of a woman"、pc="A photo of a nude woman"),在每步记录 cross-attention 输出,空间平均后投影到 SVD 基得到 δi(h)(t),即概念沿各谱方向的活跃幅度。
    • 聚合能量 Ec(t)=∑h,i(δ̄i(h)(t))2,刻画概念信息何时流经 OV 电路;另定义归一化分布 Pc(t) 与 Spectral Persistence Index SPI(能量的时间质心)。
    • 分析覆盖 36 个概念(content、object、style 各 12 个),SDv1.4、30 步 DDIM、每概念 J=6 对提示词。

    质量损失分解与最优调度(Section 5.1–5.2)

    • 把池内信号分解为概念对齐分量 ∆xt,c 与概念正交残差 ∆xt,g;附带损害与 (1−α(t))∥∆xt,g∥ 成正比,总代价 Lcollateral = Σt(1−α(t))²∥∆xt,g∥²。
    • Theorem 1:在 ∥∆xt,g∥²≈η²(稳定干扰)假设下,给定移除预算 R 的最小附带损害解满足 1−α*(t) ∝ ∥∆xt,c∥;作者称 Ec(t) 可近似跟踪 ∥∆xt,c∥,故实用调度取 1−α(t) ∝ Ec(t)。
    • 假设验证:Table 1 报告 ∥∆xt,g∥² 跨时间步的平均 CV 为 9.4%,远低于 Ec(t) 的 67.1%。

    实用调度与自适应子集(Section 5.2–5.3)

    • 调度公式 α(t) = 1 − (1−αmin)·(Ec(t)/max Ec)ᵞ:能量高时 α(t)→αmin(强抑制),低时 α(t)→1(不抑制);γ=1 对应理论解,γ 越大抑制越集中于峰值。
    • 自适应子集 Sc(t) 只保留贡献超过该步最大值 τ=0.1 倍的分量,恰好张成概念活跃子空间 Vc(t),从而把 ∆xt,g 完全排除在抑制目标之外。
    • 固定 Sc(t)=整个池且 α(t)=0 时退化为 SN,故 TASN 严格推广 SN;默认参数 αmin=0、γ=1、τ=0.1、20% 池。

    成功判定与评测方式

    • 主评测为 nudity 移除:ASR 用 NudeNet(阈值 0.6)在五个红队基准上判定;质量用 1,000 条随机 COCO caption 的 CLIP 对齐分数。
    • 逐类泛化评测用 CLIP 零样本分类器(θ=0.25),每概念 20 条提示词;估计 Ec(t) 的提示词对与所有评测基准不相交。
  4. 论文做了哪些实验?

    SDv1.4 上 TASN 在五个红队基准 ASR 均低于均匀 SN,CLIP 从 30.64 恢复到 31.37。

    实验设置

    • 被测模型:主实验全部在 SDv1.4(30 步 DDIM,guidance scale 7.5);时间层级分析另在 SDXL 上复现(Table 6)。
    • 基准:Ring-A-Bell(K16/K38/K77)、I2P、MMA-Diffusion、P4D、UnlearnDiffAtk;质量用 1,000 条随机 COCO caption 的 CLIP 分数。
    • 基线:训练类 ESD、CA、MACE、SDID、ANT、SD-Erasure;闭式 UCE、RECE;推理时 SLD-Med、SLD-Strong、SAFREE、SN(20% 池)。
    • 指标与判定:ASR(越低越好),nudity 用 NudeNet(阈值 0.6);逐类评测用 CLIP 零样本分类器(θ=0.25,每概念 20 条提示词)。
    • TASN 参数:αmin=0、γ=1、τ=0.1、20% 池;估计 Ec(t) 的提示词对与评测基准不相交。
    • 样本量与重复:论文未报告每基准提示词总数与重复次数;谱分析为每概念 6 对提示词、类别层面 mean ± SEM。

    主结果

    据 Table 2(SDv1.4,ASR %,越低越好):

    表格较宽,可左右滑动

    方法R-A-B K16K38K77I2PMMAP4DUnLearn
    SDv1.497.8994.7487.3725.0368.1069.7650.70
    ANT62.6670.1761.3514.3713.4432.4615.98
    SD-Erasure66.2468.0177.307.5216.7717.6813.88
    RECE10.539.477.374.2425.0021.469.15
    SLD-Strong18.9510.536.322.337.7011.717.04
    SN41.0535.7930.534.2417.6018.548.45
    TASN30.2110.1420.962.2912.2310.936.94

    (省略 ESD、CA、MACE、SDID、UCE、SLD-Med、SAFREE 七行;其中 MACE 在 K38 为 95.79,高于未擦除的 SDv1.4。)

    • 作者称 TASN 在 I2P、P4D、UnLearn 上取得七项中的最佳,K38 与 MMA 为次佳,七项中五项进入前二;相对均匀 SN,TASN 在所有基准上 ASR 更低。
    • 作者称 SLD-Strong、SN、RECE 在部分基准 ASR 更低但 CLIP 在所有方法中最低;CLIP 高的 SD-Erasure、ANT 在多数基准移除更弱(Figure 6 中 TASN 位于其他方法未到达的右下区域)。
    • 例外:K16 上 TASN(30.21)弱于 RECE、SLD-Strong、UCE(22.11);K77 上 TASN(20.96)弱于 RECE、SLD-Strong、UCE(21.05 与 K77 列 21.05 接近)等多种方法。

    因果验证与等预算对照(Table 3,P4D)

    • 时间窗口:SN 仅作用于第 0–5 步将 ASR 从 69.76% 降到 37.85%(该窗口含 43% 总能量,作者称捕获了 SN 总降幅的 62%);第 20–30 步仅降到 67.43%(12% 能量)。
    • 等预算:TASN 预算 19,068,为 SN(49,140)的 39%;SN 用 8% 池达到近似预算 19,650 时 ASR 43.27%、CLIP 31.16,而 TASN 为 10.93%、31.37。作者称收益来自时间定位而非总抑制量减少。

    消融与逐类泛化(Table 4、Table 5)

    • 组件消融(P4D):仅自适应 α(t) 得 ASR 12.76%、CLIP 31.25;仅自适应 Sc(t) 得 11.71%、31.19;两者结合 10.93%、31.37。γ=0.5 时 ASR 9.88、CLIP 31.07;γ=2.0 时 11.14、31.42,均优于均匀 SN。
    • 逐类(Table 5,CLIP 零样本分类器,每概念 20 条提示词):TASN 在 content/object/style 三类 ASR(25.6/36.7/41.2)均低于 SN(38.5/45.2/54.8)和 SLD-Strong(28.3/33.4/44.1),CLIP(31.42/31.35/31.28)均高于两者;注意 object 类 SLD-Strong 的 33.4 低于 TASN 的 36.7。
    • 架构泛化(Table 6):SDXL 上 SPI 排序保持 content < object < style(8.0/10.1/12.9),t50、t90 趋势一致;作者称时间层级是概念类型的性质而非特定架构。

    其他消融与分析

    • 谱定位(Figure 3):top-5 头(128 个 cross-attention 头的 3.9%)捕获 23.0%(content)、22.3%(object)、18.0%(style)的概念贡献。
    • 活跃子集规模(Figure 4):content 与 object 的 |Sc(t)| 快速收缩到 SN 固定 20% 池以下,style 起始最小但收缩最慢。
    • token 级对齐(Figure 5):概念 token 早期对齐强、随后衰减至零,无关 token 全程接近零。
    • 论文未报告统计显著性检验;逐类评测分母为每概念 20 条提示词。
  5. 有什么可以进一步探索的点?

    论文未专门讨论局限;实验覆盖 SDv1.4 主测、SDXL 仅验证时间层级,逐类评测每概念 20 条提示词。

    作者指出的局限与后续方向

    论文未专门讨论局限,没有 Limitations 小节;结论与正文中也未出现明说"这是局限/未来可以做"的句子。

    实验覆盖范围

    • 主实验(Table 2–5)被测模型仅 SDv1.4(30 步 DDIM,guidance scale 7.5);SDXL 只用于复现时间层级分析(Table 6),未报告 SDXL 上的擦除结果。
    • 对抗评测针对 nudity 一个目标概念,基准为 Ring-A-Bell、I2P、MMA-Diffusion、P4D、UnlearnDiffAtk 共五个;逐类评测覆盖 36 个概念(三类各 12 个),但只比较 SN、SLD-Strong 与 TASN 三种推理时方法。
    • 谱分析设置为每概念 J=6 对提示词、30 个去噪步;逐类评测每概念 20 条提示词(Table 5 注明)。
    • 质量评测为 1,000 条随机 COCO caption 的 CLIP 对齐分数;论文未报告人工评估,也未报告 NudeNet/CLIP 判定与人工的一致性。
    • 论文未报告各基准的提示词总数、生成图像的随机种子数或重复次数,也未报告统计显著性检验。
  6. 总结一下论文的主要内容

    TASN 按概念能量的时间衰减自适应施加谱抑制,作者称其在五个红队基准上取得比均匀 SN 更好的移除-质量权衡。

    一篇关于 diffusion model 概念擦除的防御论文,核心主张是"何时干预与在何处干预同样重要"。

    • 问题:现有 training-free 谱擦除(SN)在所有去噪步施加相同干预,作者认为这在低概念能量步浪费干预并损害良性图像质量。
    • 分析发现:时间步分辨谱分析报告概念能量按类别衰减——content 最快、object 居中、style 最持久(SDv1.4 与 SDXL 上 SPI 排序一致,Table 6);top-5 注意力头捕获 18.0%–23.0% 的概念贡献(Figure 3)。
    • 方法:TASN 让抑制强度正比于概念能量 Ec(t)(Theorem 1 在稳定干扰假设下给出能量比例调度为最优),并只保留每步贡献超过阈值 τ=0.1 的活跃谱方向;固定参数时退化为 SN。
    • 主结果:SDv1.4 上 TASN 在五个红队基准的 ASR 全部低于均匀 SN(P4D 10.93% 对 18.54%,I2P 2.29% 对 4.24%,Table 2),CLIP 从 30.64 恢复到 31.37(Table 3)。
    • 证据:时间窗口实验显示前 0–5 步(含 43% 能量)完成 SN 总降幅的 62%;等预算对照下 SN(8% 池)ASR 43.27% 而 TASN 10.93%(Table 3);作者据此称收益来自时间定位。
    • 作者结论:TASN 在所有擦除方法中取得有竞争力的 ASR 与 CLIP,权衡更优;例外是 K16/K77 上 RECE、SLD-Strong 等方法 ASR 更低,论文未专门讨论局限。

相关论文

共同使用 UnlearnDiffAtk
共同使用 P4D
再看 3 篇
共同使用 MMA-Diffusion
阅读原文arxiv.org