跳到正文
原文

SharedSAE:面向扩散模型、跨 U-Net 模块与去噪时间的统一稀疏字典

SharedSAE: a unified sparse dictionary across u-net blocks and denoising time for diffusion models

arXiv:可解释性· arXiv:2610.13997· Longhao Lei, Lan YaoHunan University本站收录· 2026-10-14· 原文发表对齐

论文速读

可解释性

据论文 PDF 整理(AI 生成),以原文为准

SharedSAE共享SDXL四块与50步字典;作者称I2P阳性子集从139例降到1例。

问题
扩散模型里概念表示随网络深度和去噪时间漂移,按块或只覆盖单块时间的SAE没有统一字典,难以在整条生成轨迹上定位并干预。
方法
SharedSAE在SDXL 1.0四个attention block与50步上共用TopK字典;块低秩适配器对齐残差,时间条件吸收非平稳,再按正负提示对比抑制目标特征。
实验与结果
SharedSAE四块平均FVU 0.400(500条held-out),SAE-Turbo一步CFG=0为0.492。139例I2P detector-positive干预后NudeNet阳性为1。作者称特征从早期下采样块转向中后段。
局限与可以继续做的
论文未专列局限或后续方向。实验在SDXL 1.0的四个同形attention block与50步Euler上训练和干预,裸体计数用NudeNet、阈值0.6。未报告定位平均的种子数,也未报告无关内容保留的定量指标。
实验设置SDXL 1.0、SharedSAE · COCO-30k、I2P 等 · FVU、effective rank 等
被测模型
SDXL 1.0SharedSAE
基准
COCO-30kI2PI2P-142
指标
FVUeffective rankTotalRatioJaccard overlap
AI 导读论文提出 SharedSAE,在 SDXL 1.0 的四个 U-Net 注意力块与全部 50 个去噪步上共享同一份稀疏字典,用于扩散模型的概念定位与干预。方法在共享编码器前加入块特定的低秩输入适配器,以对齐各块的残差分布,并用包含共享时间步分支与块-时间步校正分支的时间条件模块吸收时间非平稳性。基于这份字典做局部特征抑制,把 I2P 检测阳性子集中 NudeNet 判阳的生成数从 139 降到 1。沿去噪轨迹追踪稀疏特征还显示,概念表征在生成过程中从最早的降采样块向中间和靠后的块转移。

论文提出 SharedSAE,在 SDXL 1.0 的四个 U-Net 注意力块与全部 50 个去噪步上共享同一份稀疏字典,用于扩散模型的概念定位与干预。方法在共享编码器前加入块特定的低秩输入适配器,以对齐各块的残差分布,并用包含共享时间步分支与块-时间步校正分支的时间条件模块吸收时间非平稳性。基于这份字典做局部特征抑制,把 I2P 检测阳性子集中 NudeNet 判阳的生成数从 139 降到 1。沿去噪轨迹追踪稀疏特征还显示,概念表征在生成过程中从最早的降采样块向中间和靠后的块转移。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    现有按块或按步的SAE对不齐漂移的概念表示,SharedSAE用一份字典覆盖四块与50步。

    概念表示沿U-Net深度和去噪时间漂移,现有SAE没有一份可跨位置比较并干预的共享字典。

    • 场景:扩散模型靠迭代去噪生成图像,内部表示同时沿网络深度和去噪时间变化。作者认为物体或属性未必固定在单一block或单一阶段,分析整条轨迹需要跨位置仍可比较的特征空间。
    • 现有不足:每个block单独训练SAE会把概念拆进互不兼容的字典,并增加训练、存储和维护成本;SDXL-Turbo的一步设定还不包含时间演化。作者称把不同block和timestep的激活直接放进静态SAE,仍留着Huang et al. (2026)指出的跨块异质性和时间分布偏移;现有配方只处理块结构,或只处理单块内的时间变化。
    • 尺度问题:作者写残差比激活更直接刻画每个block引入的更新,但各块残差尺度可以差很多;直接共享字典会偏向范数更大的块。
    • 本文做法:SharedSAE在冻结的SDXL 1.0上,为down.2.1、mid.0、up.0.0、up.0.1和全部50个去噪步学习同一编码器与解码器。块低秩适配器对齐各块残差,时间条件模块吸收时间非平稳;同一字典用于重建、定位,以及抑制物体、裸体和风格概念。
  2. 有哪些相关研究?

    论文把块级SAE、单块时间SAE和概念擦除并列,并用一份字典同时覆盖两轴。

    论文第2节把相关工作分成扩散SAE和概念擦除,并据此定位共享字典。

    • 按位置或按时间的扩散SAE:One-Step is Enough(Surkov et al., 2025)在SDXL-Turbo若干attention block的残差上各训一个SAE;Emergence(Tinaz et al., 2025)为不同block与timestep组合分别训练SAE。SAeUron(Cywiński & Deja, 2025)把一个block各去噪步的激活收进一个SAE,timestep不是显式条件;TIDE(Huang et al., 2026)向输入加入随时间变化的scale和shift。论文称块级字典能拟合局部激活,但失去跨位置特征身份;单块时间字典保留时间身份,但不解决跨块异质性。
    • 固定位点上的概念特征:SAEmnesia(Cassano et al., 2026)在重建目标上加概念监督;PEAK(Jiang et al., 2026)在去噪器激活上训练k-SAE,并用目标与非目标提示对比来定位特征。论文称这些工作说明稀疏特征可以支持概念定位和干预,但仍处在固定表示位点。
    • 概念擦除:参数编辑包括ESD(Gandikota et al., 2023)、UCE(Gandikota et al., 2024)、MACE(Lu et al., 2024)和SPACE(Novello & Tonello, 2026)。论文称它们生成时不必额外控制,但加入新目标通常要再更新模型。推理时方法包括SLD(Schramowski et al., 2023)、AdaVD(Wang et al., 2025)、CASteer(Gaintseva et al., 2026)和GLoCE(Lee et al., 2025)。论文称它们可换目标而不改扩散模型,但控制单元多为稠密方向或变换,语义组成难以检查。
    • 基线与数据:表示质量对照是SAE-Turbo,即已发表的按块独立SAE。裸体擦除对照为SPEED、UCE、RECE、SAFREE、SPACE,表中数值取自Novello & Tonello (2026)。训练提示来自COCO-30k;裸体评测用I2P与I2P-142。

    论文把SharedSAE放在两轴交界:一份字典同时覆盖多个block和完整去噪轨迹,各块定位结果落在同一词表里,便于比较和复用。

  3. 论文如何解决这个问题?

    块适配器对齐残差分布,时间条件吸收非平稳,再在共享TopK字典上定位并擦除。

    SharedSAE用一套编码器和解码器覆盖四个attention block与全部去噪步,再在这份字典上定位并抑制概念。

    问题设定与残差

    冻结SDXL 1.0,在1024×1024、50-step Euler下生成。对block b、timestep t和空间token i,残差定义为 x = hout − hin,即该block对当前去噪轨迹的增量。默认块为down.2.1、mid.0、up.0.0、up.0.1,残差维d=1280。各块估计token范数均值μb,尺度为σb = max(μb, ε)/√d,残差除以σb后再进共享空间。论文未给出ε的数值。

    共享字典与条件模块

    解码器的列构成共享字典。扩张倍数为8×,m=8d=10240。编码器前有块适配器,秩r=16、尺度αA=16,在原输入上加低秩分支,用来对齐各块分布。时间模块有两支:共享timestep支把正弦时间嵌入投成各块共用的特征偏置;block-timestep校正支用块嵌入和时间嵌入做较小的块特异校正。两支零初始化,校正支被正则,使共享时间成分占主导。激活经ReLU再TopK,K=20,然后解码重建归一化残差;字典原子保持单位范数。

    训练目标

    训练集为COCO-30k中的10k条提示。优化器为Adam,β1=0.9、β2=0.999;共享支与时间支学习率10−4,块适配器2×10−4。总损失为重建MSE,加上AuxK、块间对齐Lalign和校正支范数Lb,t。权重为λalign=0.1、λb,t=3×10−4、λaux=0.03125。AuxK用来推动当前不活跃的原子参与重建残差误差。Lalign作用在TopK稀疏码上,把其他块的平均码拉向mid block。

    定位、擦除与速度场解释

    正负提示只差目标概念。按块使用SAeUron的重要性分数:在选定timestep集合T上,比较该特征于正、负集的归一化平均激活。选top-kloc前,丢掉在3000条held-out提示上该块激活频率超过0.9的方向。kloc=10。擦除把当前块的定位特征合成归一化空间中的方向rc(b,t),再映回输出。干预为 hout ← hout − λerase σb rc(b, t)。名次越前的特征权重越大,时间权重在轨迹上重标定到均值1。一般概念λerase=10,I2P裸体λerase=5;每步平均绝对扰动比上限δmax=0.2。附录A把字典方向经下游Jacobian推成局部速度方向,并给出轨迹位移的一阶累积。作者称共享的是特征坐标,不是与上下文无关的同一速度向量。

  4. 论文做了哪些实验?

    作者称I2P检测阳性子集的NudeNet阳性从139例到1例;四块平均FVU为0.400。

    实验设置

    • 模型与轨迹:冻结SDXL 1.0,1024×1024,50-step Euler。干预与分析的block为down.2.1、mid.0、up.0.0、up.0.1。
    • 训练与字典:COCO-30k中10k条提示;字典宽度10240;TopK的K=20。
    • 重建对照:FVU在500条held-out提示的归一化残差上计算。SAE-Turbo是已发表的按块独立SAE,按其原生设定运行:一步去噪、CFG=0、同一四块、同一字典宽度。
    • 裸体协议:I2P-142,以及全文I2P上139个detector-positive案例。NudeNet阈值0.6。Total是至少一类超阈值的生成图数,Ratio为Total除以生成图数。SPEED、UCE、RECE、SAFREE、SPACE的格取自Novello & Tonello (2026)。
    • 定位稳定性:八个物体概念上,比较top-kloc集合的Jaccard;kloc=10。黑名单为该块激活频率超过0.9,用3000条held-out提示估计。作者称对多种子平均,论文未写种子数。
    • 擦除系数:一般概念λerase=10,I2P裸体λerase=5;δmax=0.2。风格为cyberpunk、Monet、ukiyo-e、Van Gogh、watercolor。

    主结果

    下表据Table 1,检测阈值0.6。基线为已发表数值,不是本文重跑。

    表格较宽,可左右滑动

    方法Breast FFeetTotalRatio
    SDXL(原始输出)2185941.55%
    SPEED1645135.92%
    UCE1363726.06%
    RECE1052316.20%
    SAFREE512215.49%
    SPACE321611.27%
    SharedSAE(I2P-142)0110.70%
    SharedSAE(139例)0110.72%
    • 作者称评测设定对齐SPACE。SharedSAE两行里,表中未列出的Genitalia F/M、Breast M、Buttocks、Belly、Armpits检测数均为0(Table 1)。
    • 两行SharedSAE来自不同子集:I2P-142,以及全文I2P的detector-positive子集。作者称后一协议下干预后仅剩一例阳性。
    • 作者把该残留对应到I2P case 29擦除后仍可见的脚(Figure 5(b))。Figure 4图注称相关激活集中在暴露区域,中心在down.2.1更低、在up block更高;正文未给坐标读数。

    表示质量、开销与定位稳定性

    • 重建:500条held-out提示上,SharedSAE四块平均FVU为0.400,SAE-Turbo为0.492;有效秩为433,对照四块平均171(Table 2)。作者称共享字典在覆盖四块和全轨迹时解释了更多残差方差,并称大约60%。该对照是一步、CFG=0,不是50步协议。
    • 开销:字典宽10240时,SAE-Turbo为4个SAE、104.9M参数,SharedSAE为1个SAE、28.1M;作者称参数量减少73.3%(Table 4、Section 4.2)。
    • 稳定性:八概念平均Jaccard,prompt split为0.811对0.803,cross-seed为0.525对0.737,time-window为0.735,SAE-Turbo无该行(Table 3)。作者认为SharedSAE对随机种子更敏感,很可能因为50步轨迹会积累种子相关的随机变化,而SAE-Turbo只有一步。

    概念特征的时空交接

    • Figure 8(b)中,down.2.1的top-5与初始timestep的平均重叠从0.746降到0.485,四块都呈下降;粗线为均值,阴影为340 cases上的95%区间。论文未说明这340 cases如何构成。正文写down.2.1的目标特征激活从早timestep到晚timestep衰减。
    • 作者称Figure 8(a)里down.2.1对多数概念仍是主要贡献,相对份额大体随时间下降,mid.0与up.0.1的贡献上升。逐概念份额的具体读数未在正文列出。
    • Figure 6(b)标注的交接时刻为train t=781(r=−0.95)、bench t=281(r=−1.00)、horse t=541(r=−0.99)、airplane t=461(r=−0.97)。作者称down.2.1特征早激活后衰减,up.0.1特征后出现,两条轨迹在去噪中交叉。

    风格、特征共享与擦除副作用

    • Figure 2展示16个概念,作者称同一干预对其中大多数抑制了目标。五类风格在每块特征数kloc从10增到50时一般被减弱,但未被完全去掉,也未稳定变成中性照片观感。作者称cyberpunk的高激活特征在空间上分散,容易被0.9黑名单滤掉(Figure 7)。
    • 直接使用定位提示时,作者称五种风格都被减弱:cyberpunk与Monet变成中性外观,水彩晕染大多消失,浮世绘的平涂与粗轮廓减弱,梵高的视觉图案大多不见(Figure 7(c))。作者认为风格可以擦,主要难点是定位出紧凑特征集。
    • mid.0的feature 6223进入cat、dog、horse的top-kloc,对其余概念的平均激活低一到两个数量级(Figure 5(a))。作者称抑制马或摩托车相关特征可能把表示推向邻近方向,例如人,且替换常继承早期形成的粗空间结构;擦除绿色卡车会去掉卡车,而把绿色泄漏到背景。

    其他消融与分析

    • 无block adapter:effective rank 187,完整模型433(Table 5)。
    • 无时间条件:time-window Jaccard 0.720,完整模型0.735(Table 5)。
    • Figure 6(a):去掉块适配器时马仍可辨认;去掉时间条件时出现残留伪影;火车例三种变体都抑制了目标。
    • 各块FVU,SharedSAE/SAE-Turbo:0.403/0.557,0.455/0.533,0.364/0.458,0.379/0.420(Table 2)。
    • SAE-Turbo各块effective rank:109,251,183,141(Table 2)。
  5. 有什么可以进一步探索的点?

    论文未专设局限或后续工作,结论只讨论共享字典作为演化表示的参照。

    作者指出的局限与后续方向

    论文未专门讨论局限。Conclusion与附录都没有把某项结果写成不足,也没有列出后续工作。

    实验覆盖范围

    • 被测生成模型为SDXL 1.0,分辨率1024×1024,采样为50-step Euler;共享字典覆盖down.2.1、mid.0、up.0.0、up.0.1(Section 3.1)。
    • 训练提示为COCO-30k的10k条;FVU用500条held-out提示;激活频率黑名单用3000条held-out提示(Section 3.3、3.4、4.1)。
    • 裸体计数覆盖I2P-142与139个detector-positive案例,检测器为NudeNet、阈值0.6;Table 1中SPEED、UCE、RECE、SAFREE、SPACE的数值取自Novello & Tonello (2026)(Section 4.5)。
    • SAE-Turbo对照按其原生一步、CFG=0运行;Table 2注记写明该设定与SharedSAE的全轨迹不同(Table 2)。
    • 论文未报告定位统计所平均的种子个数,也未报告擦除后无关内容是否保留的定量指标。
  6. 总结一下论文的主要内容

    一份共享稀疏字典覆盖SDXL四块与50步,并用于概念定位、擦除和轨迹分析。

    SharedSAE为SDXL 1.0的四个attention block和50步去噪轨迹学习一份稀疏字典,使概念可以在同一词表里定位并抑制。

    按块分开或只在单块内共享时间的SAE,不能同时保住跨位置身份和处理跨块分布差异。本文先按块归一化残差,再用低秩适配器和时间条件对齐输入,以TopK码重建;正负提示对比选出特征后,从block输出中减去对应方向。

    • 500条held-out提示上,四块平均FVU为0.400;SAE-Turbo在一步、CFG=0下为0.492。参数量为28.1M对104.9M(Table 2、Table 4)。
    • NudeNet阈值0.6时,I2P-142上SharedSAE的Total为1、Ratio为0.70%,原始SDXL为59、41.55%;139个detector-positive案例干预后Total为1(Table 1)。
    • 八概念平均cross-seed Jaccard为0.525,SAE-Turbo为0.737;prompt split为0.811对0.803(Table 3)。作者认为种子差异很可能来自50步轨迹上的随机累积。
    • down.2.1的top-5重叠均值从0.746降到0.485(Figure 8)。作者称概念相关激活从早期下采样块向中间和更后的块再分配;相关概念会共享特征,擦除时可能出现概念替换或属性泄漏。
    • 作者认为这份共享词表可以为随深度和时间变化的表示提供固定参照,并在所覆盖的block与去噪步上做概念分析与擦除。风格在kloc增到50时仍未被完全去掉。

相关论文

共同使用 COCO-30k
共同使用 I2P
再看 3 篇
共同使用 I2P
阅读原文arxiv.org