D-Scope：用稀疏自编码器分解与操控扩散 Transformer

核心问题是：给定细粒度文本查询，能否仅凭各特征的激活图像块，直接检索出一个相关的SAE解码方向来控制扩散Transformer的生成。

• 场景与重要性：作者认为，理解视觉概念如何编码在扩散Transformer（DiT）中，既有助于解释生成行为，也有助于找出改变图像特定方面的干预。SAE把稠密激活分解成稀疏特征，特征可由高激活图像块解释，解码方向可用于干预。
• 现有方法的不足：按论文说法，现有选择主要靠人工或视觉语言模型为每个特征写文本描述，或比较成对的源图像与目标生成的SAE激活。前者需要额外标注，后者需要合适的目标生成及其内部激活，都超出了源图像本身。
• 核心观察：用户只用文本查询指定细粒度改动，选择阶段可使用预训练SAE字典及其激活图像块，而不使用逐特征文本描述或目标生成激活。作者提出的中心问题是，目标文本能否从每个特征的视觉证据中直接检索出相关解码方向。
• 论文提出的内容：作者提出D-Scope（Diffusion Scope）。它用SigLIP 2把高激活图像块聚成视觉质心，在共享图文空间中匹配目标描述以检索单个特征，再用空间掩码干预检验对应解码方向。作者还刻画两个模型族、五层上的150个SAE，并引入100个目标概念、每个十个上下文、共1000例的细粒度转向基准。

• 稀疏自编码器与干预评估：Surkov et al.（2024）、Shabalin et al.（2025）、Tınaz et al.（2025）在扩散模型中得到可解释稀疏特征并做生成干预；Huang et al.（2025）为DiT训练时间感知字典。Karvonen et al.（2025）的SAEBench指出，重建–稀疏代理的改进并不稳定地转化为下游收益。Wu et al.（2025）的AxBench评测概念检测与模型转向。Arad et al.（2025）区分“对概念有激活”的特征与“干预后产生对应生成行为”的特征。Ju et al.（2024）的编辑基准把编辑保真与背景保持分开。
• 语义锚定与特征检索：Yu et al.（2025）、Ferrando et al.（2026）用自动特征描述；Oikarinen & Weng（2022）、Rao et al.（2024）做基于CLIP的概念匹配；Shen et al.（2025）、Gu et al.（2026）联合学习视觉与文本稀疏码。Rao et al.（2024）的Discover-then-Name把CLIP空间中的字典方向直接匹配到文本嵌入；论文指出这种直接匹配需要兼容表示，而DiT解码方向并不与文本嵌入直接对齐。Dreyer et al.（2025）的SemanticLens用高激活图像区域的池化嵌入表示模型组件并支持自然语言检索。Surkov et al.（2024）的RIEBench从成对源–目标轨迹中选择传输特征，论文指出它要求先生成目标图像并收集其SAE激活。
• 字典训练：Surkov et al.（2024）比较激活层、稀疏水平和字典宽度；Shabalin et al.（2025）在FLUX上考察字典学习方法、稀疏度、扩展和激活预处理，并报告高解释方差与大量特征不活跃并存。Huang et al.（2025）的TIDE为DiT训练时间感知SAE。附录A还讨论字典训练、语义检索与转向评估。
• 基线方法与基准：转向评测的参照是Oracle Prompt（用目标提示词、同一初始噪声与采样设置重新生成）和Oracle Dense（用成对源、目标生成的激活差构造稠密干预方向）。自建基准为1000例细粒度转向，覆盖颜色、材质、纹理或图案、局部外观、局部状态或几何五类属性。风格抑制与语义读出在附录E–G，使用同一预训练字典但采用任务特定的特征选择。

作者把D-Scope定位为：在DiT上训练完SAE之后再建视觉索引，使文本查询能从激活图像块选出特征，而不做逐特征文本标注、不联合训练视觉–语言SAE，也不使用目标生成激活；并在单特征协议下分别测量区域目标对齐与区域外保持。

D-Scope把目标文本查询连到SAE解码方向：每个已索引特征i对应激活图像块、视觉质心vi和SAE解码方向di，检索在共享图文嵌入空间中进行，特征身份给出vi ↔ i ↔ di。字典和视觉索引离线构建并跨查询复用，检索与干预在线进行。

问题设定

• 转向案例：由源提示词c、初始噪声ϵ、描述期望外观的目标查询q，以及标出目标区域的二值掩码M组成。冻结的DiT由c和ϵ生成源图像I(0)。
• 干预约束：转向时c、ϵ和采样设置不变，只在M内、每个去噪步施加由单个检索到的SAE解码方向得到的干预。目标是让目标区域靠近q，同时保持M外内容。
• 选择对象：协议固定后，转向归结为选哪个特征、以及以多强施加。

SAE特征与视觉证据

• 分解：设h为所选Transformer块之后视觉token的残差流激活。固定变换T给出SAE输入x = T(h)。编码为稀疏系数z，重建为x̂ = Wdec z + bdec。解码矩阵的列di是SAE输入坐标中的解码方向。
• 收集证据：从冻结DiT离线生成的固定图像集中收集。每张图、每个特征只保留激活最大且为正的那个token，并在对应位置取候选图像块。特征至少来自J张不同图像的正候选才可索引；每个合格特征保留激活最大的J个候选。全文使用J = 64。
• 输入设置：包括None、均值中心化、几何中位数中心化、LayerNorm和RMS归一化。LayerNorm时，方向调整为减去通道均值，不反转输入归一化。全部调整规则在附录D.1。

视觉索引与检索

• 质心：用冻结的SigLIP 2图像编码器EV，对保留图像块做单位归一化后的激活加权池化，再单位归一化，得到视觉质心vi。vi用于语义检索，di用于干预，二者只通过特征身份连接，不学习两个潜空间之间的映射。
• 直接与对比：设t(q)为冻结SigLIP 2文本编码器的单位归一化嵌入。直接检索用rdir = t(q)。对比检索用参考查询qbase（描述通用物体或其源外观），rcon为t(q)减去t(qbase)后再单位归一化。二者都在已索引特征上取余弦最大者i★。
• 设计意图：作者称，查询如同时包含物体与待改属性时，直接匹配可能偏向任一成分；对比是为了强调所请求的属性或属性变化。Figure 2d给出一个例子：把目标查询与物体参考对比后，物体主导的特征不再排在前面。

单特征掩码干预

• 方向：检索到的di★先按输入设置用固定算子AT调整，再单位归一化得到转向方向。
• 掩码：用SAM 3从源图像分割目标物体得到M，并映射到视觉token网格。在去噪步t，对被选token做h加上Mp ρ R(t)乘单位方向。ρ为相对强度；R(t)是同一块、同一步上、一组未修改源生成中原始残差向量ℓ2范数的均方根，预先计算并在特征与强度之间共享。
• 固定项：同一方向施加于所有被掩码token和每一个去噪步，单次生成内ρ不变；源提示词、初始噪声、掩码和采样设置在不同强度之间保持不变。

成功判定

• 区域增益：Region SigLIP Δ是目标区域内、相对未转向源图像的目标查询SigLIP 2对齐增幅。
• 区域外保持：LPIPS-out是目标区域外的感知变化。逐例选择使Region SigLIP Δ最大的强度，并在同一输出上报告LPIPS-out。结果对三个生成种子取平均。

实验设置

• 字典：在两个冻结的一步DiT生成器SANA-Sprint与Nitro-1-PixArt上训练150个SAE，覆盖五层、三种族（L1、TopK、JumpReLU）和五种预处理或初始化（none、mean centering、geometric-median centering、LayerNorm、RMS normalization）。
• 转向环境：SANA-Sprint、Nitro-1-PixArt，以及SANA teacher。teacher复用在SANA-Sprint上训练的字典，不另训teacher SAE。除非另有说明，转向使用中间层字典。
• 基准：1000例，100个目标概念，五类属性（color、material、texture or pattern、local appearance、local state or geometry），每个概念配十个源上下文，含属性未指定的under-specified与写出竞争属性的explicit-conflict。SAM 3从源图像提取目标区域掩码并在比较中固定。概念分类见Table 8，构建细节在附录D.1。
• 参照：Oracle Prompt用目标提示词c′、同一初始噪声与采样设置重新生成。Oracle Dense用c与c′的成对生成构造激活差的稠密方向，因而能看到目标生成激活；D-Scope只用目标查询和预计算视觉索引。
• 指标与报告：Region SigLIP Δ（↑）与LPIPS-out（↓）。每个被扫描方法与案例–种子对上，强度取使Region SigLIP Δ最大者，LPIPS-out在同一输出上测量。Table 1把两个指标及其样本标准差都乘以10³，报告三个生成种子均值上的mean ± sample SD。
• 其他任务：附录E–G用同一字典、任务特定选择做风格抑制和语义读出。读出固定为SANA-Sprint 0.6B、1024×1024、一步推理、guidance 0、layer-14 mean-centered L1、字典18,432个特征、32×32 token、报告用池化大小K = 16（Table 16）。

主结果

Table 1中Region SigLIP Δ（×10⁻³，mean）。三种环境的Oracle与无干预相同；SAE行只列各环境直接检索的最低配置与对比检索的最高配置，完整15个中间层配置均在Table 1。

Swipe horizontally to read the table

方法	SANA Student Δ	Nitro Student Δ	SANA Teacher Δ
No intervention	0.0	0.0	0.0
Oracle Prompt	37.9	36.4	39.3
Oracle Dense	38.8	29.0	34.8
直接检索最低	JumpReLU LayerNorm 15.2	JumpReLU RMS 13.8	JumpReLU LayerNorm 14.6
对比检索最高	L1 Mean center 33.4	L1 None 22.6	L1 Mean center 30.0

• 作者称，在全部被评字典和生成环境中，检索方向的Region SigLIP Δ为正，范围为13.8到33.4（×10⁻³），均值为23.1。Figure 4a以“wooden table”为例，作者称单特征方向引起的属性变化与稠密参照相似，且激活图像块使所选特征可检查。
• 作者称，对比检索下最好的字典分别恢复Oracle Dense目标对齐增益的86%、78%和86%（SANA-Sprint、Nitro-1-PixArt、SANA teacher，Fig. 4b）；15个字典平均为79%、69%和82%。
• 作者称，更大的目标增益并不必然对应更低的区域外变化（Fig. 4b）。Table 1中，对比检索在每个字典、每个环境上都有更高的未四舍五入Δ；LPIPS-out则有高有低。例如SANA Student上L1 None的LPIPS-out从169.3变为169.9，TopK None从167.1降到157.1（均×10⁻³）。

字典质量与视觉证据

• 测了什么：Figure 3在150个SAE上比较原始空间解释方差EV、字典利用率和视觉证据覆盖。利用率是所选检查点之前256,000个训练token中活跃特征的比例；覆盖率是抽样特征中至少在J = 64张不同图像上有正激活的比例。
• 结果：作者举出一个未中心化的Nitro layer 2 TopK SAE：EV为0.9997，利用率仅1.5%，抽样特征中有足够视觉证据的占0.5%（附录B.4，Table 5）。Figure 3d中，中位覆盖率最高的两格被标出；作者称中心化的TopK在该扫描中有最高的中位证据覆盖。
• 作者的解读：作者称重建保真本身不能说明字典是否提供了可由激活样例表示的较广特征集合；不活跃特征无法积累进入视觉索引所需的重复正激活。中心化在模型、层和SAE族上通常提高利用率（Fig. 3c）。

检索策略与字典选择

• 对比检索：作者称，三个生成环境中全部15个字典上，对比检索的Region SigLIP Δ都高于直接检索（Fig. 4b）。按字典平均，目标增益从21.8升到30.6（SANA-Sprint）、从17.9升到19.9（Nitro-1-PixArt）、从19.8升到28.4（SANA teacher），单位均为×10⁻³。作者称两个SANA环境的增幅为+40%和+44%，Nitro为+11%。
• 中心化：作者称，对L1和JumpReLU，中心化把视觉索引扩大1.8–4.4倍，并在24个匹配比较中的22个上提高平均目标对齐（Table 1与附录C Table 7）。未中心化TopK已经索引超过12,000个特征，继续中心化扩大后并不一致提高目标增益。
• 局部性：作者认为一个合理的解释是，D-Scope按激活特征的视觉证据来选择，而局部性取决于解码方向写回模型的内容；语义相关性与干预局部性相关但是分开的性质。作者称这一区别只是suggest。

风格抑制与语义读出

• 风格抑制：附录F用通用SAE做单特征风格抑制，报告评估器验证、按风格结果，以及成功与不完整抑制的例子（Tables 10–14，Figures 9–12）。主文只概括：同一预训练字典在任务特定选择下也支持风格抑制，且不更新生成器或SAE。具体逐风格数字在附录表中；正文未把它们汇总成单一比率。
• 裸体相关读出：附录G在不相交的发现集与测试集上，用标签引导选择单个特征（Algorithm 1）。特征4867在K ∈ {4, 16, 64, 256, 1024}上都被选中，held-out AUROC从0.979到0.980；K = 16时为0.980（Fig. 13）。Figure 14为匹配的nude–clothed例子及激活叠加，Figure 15为可能含混淆内容的非nude难例。作者在伦理声明中称，这是受控演示，而不是通用内容审核系统的验证。

其他消融与分析

• Figure 2f：特征#5824，ρ从0.15增到0.30时Δtarget不增加，LPIPS-out从0.105增到0.191；图中还标出+0.080与+0.073。
• Figure 3d的中位覆盖率（论文按模型并列写出）：None为9、48、3；Mean为41、75、6；Geo.为39、72、7；LN为10、46、2；RMS为7、43、2。论文未在图注中逐列写明这三个数字分别对应哪一层或哪一个模型，只说明是各SAE族与输入设置下、跨模型与层的中位覆盖率。
• Table 2：SANA学生字典在teacher上仍有正的目标增益，且LPIPS-out高于学生（Table 1）。
• Figure 6：作者称layer 26的输入空间EV低于layer 2，覆盖率则相等或更高；中间层趋势并不一律单调。
• 转向数字均在逐例best-of-sweep强度选择下报告；固定单一ρ的主表未给出。
• 字典完整结果在Tables 4和5，每个转向字典的视觉索引大小在Table 7。

作者指出的局限与后续方向

• 重建不能代表可检索性：作者在结论中写，150个SAE的分析显示，重建保真本身不能刻画检索可用的视觉证据；训练选择塑造候选特征池，但更大的池并不保证更强的转向（Conclusion；Table 2亦把这一点列为字典选择建议）。
• 局部性不随目标控制一起改善：作者在结论中写，对比检索在所评配置上一致提高平均目标对齐，但并不一致改善区域外保持，因此目标对齐与LPIPS-out需要分开评估（Conclusion；Table 2的Retrieval行）。
• 字典迁移要重估：Table 2写，SANA学生字典在teacher上仍有正目标增益，但LPIPS-out高于学生，建议把字典转到另一生成设置时重新评估目标对齐与保持。
• 读出不是审核系统：伦理声明写，裸体相关读出是受控演示，更广泛使用还需要进一步评估假阳性、假阴性、鲁棒性，以及跨人群和上下文的表现；预训练模型与人工标注可能反映偏见。
• 转向能力可能被误用：伦理声明写，研究这些能力是为了支持模型审计和告知防护，下游应用需要与用途相称的评估、防误用措施和人工监督。
• 论文未把“发布并已完成”写成事实：可复现性声明指向附录B–G记录训练、索引、基准、风格抑制和读出协议；演示页面在摘要中给出。论文没有单独的Limitations小节逐条列出未做的实验。

实验覆盖范围

• 字典：150个SAE，两个一步生成器（SANA-Sprint、Nitro-1-PixArt），五层，L1、TopK、JumpReLU，以及none、mean centering、geometric-median centering、LayerNorm、RMS五种输入设置（Sec. 4.1）。
• 转向：三个生成环境的中间层字典，各15个配置，直接与对比检索都测；SANA teacher复用SANA-Sprint学生字典。基准为1000例、100个概念、每个十个上下文，指标对三个生成种子取平均，强度为逐例最大化Region SigLIP Δ（Table 1，Sec. 4.1）。
• 参照信息：Oracle Dense使用成对源–目标激活，D-Scope的特征选择不使用目标生成激活（Sec. 4.1）。
• 附录任务：风格抑制与语义读出使用同一预训练字典的任务特定选择（附录E–G）。读出报告的是SANA-Sprint 0.6B、layer-14 mean-centered L1、特征4867、K从4到1024的held-out AUROC（Table 16，Fig. 13）。
• 论文写明但未在主表展开的量：利用率定义使用所选检查点前256,000个训练token；视觉证据门槛为J = 64（Sec. 4.2）。完整逐字典重建、利用率与索引大小在附录Tables 4、5、7。论文未在主文报告固定单一强度下的转向表，也未报告评审模型与人工标签的一致性系数。

D-Scope把扩散Transformer中SAE特征的高激活图像块，接到文本查询驱动的单方向生成干预上。

• 问题：细粒度编辑需要从很大的SAE字典里找出合适的解码方向。逐特征文本标注需要额外描述，比较成对激活又需要目标生成及其内部激活。作者问的是，目标文本能否只凭各特征的激活图像块完成检索。
• 方法：离线用冻结DiT收集每个特征最多64张不同图像上的高激活块，经SigLIP 2做激活加权池化得到视觉质心。在线用直接匹配或相对参考查询的对比匹配选出一个特征，把其解码方向在SAM 3掩码内、以相对强度ρ加到每个去噪步，源提示词、初始噪声和采样设置保持不变。区域效果用Region SigLIP Δ，区域外变化用LPIPS-out，强度按逐例最大区域增益选取。
• 字典分析：150个SAE上，高重建可以与低利用率、低视觉证据覆盖同时出现。一个未中心化的Nitro layer 2 TopK SAE的EV为0.9997，利用率1.5%，足够视觉证据的抽样特征占0.5%。中心化通常提高利用率；对L1和JumpReLU，视觉索引扩大1.8–4.4倍，24个匹配比较中22个的平均目标对齐提高。
• 转向：Table 1中，检索方向的Region SigLIP Δ为13.8到33.4（×10⁻³）。对比检索在三个环境的全部15个中间层字典上都高于直接检索；按字典平均，SANA-Sprint从21.8到30.6，Nitro从17.9到19.9，SANA teacher从19.8到28.4（均×10⁻³）。最好的对比检索字典分别达到Oracle Dense区域增益的86%、78%和86%。区域外LPIPS-out并不随之一致下降。
• 其他用途与作者结论：同一字典在任务特定选择下还用于风格抑制，以及裸体相关单特征读出；特征4867在所持出的池化大小上held-out AUROC为0.979到0.980。作者的结论是，D-Scope提供了从目标描述到单个SAE干预的可检查路径，特征选择要用视觉证据检验，并用区域目标效果和保持代价来验证；更大的特征池并不保证更强的转向。