解读文本到图像扩散模型中的对象依赖概念脆弱性

同一目标概念在多数物体上能稳定生成，却在只更换物体的少数近邻提示上反复失败；作者要在去噪过程中诊断这种 object-dependent concept brittleness，并检验补回缺失概念证据能否修正。

• 场景与重要性：作者称文生图扩散模型在风格、属性与组合条件下通常能跟随提示，但固定概念（风格、纹理或属性）时，多数物体成功、少数语义相近物体反复失败。引言举例：同一设置下 Flux 能把 grapes 画成 ink sketch，却把 cake 画回彩色风格；颜色、材质、纹理与属性绑定也有类似失败。作者称跨多个随机种子持续出现，指向模型如何把抽象概念内化到不同内容上的系统性弱点，而非随机采样噪声。
• 现有方法的不足：作者把相关工作分成三类。注意力归因与空间定位（如 [15, 37]）适合局部 token–区域对应，不太适合风格错配或抽象属性丢失这类全局失败。时间分析（如 [12, 15, 20]）通常刻画通用的阶段性可编辑性，而不是成功与失败个案的差异。扩散动态与表示结构研究（如 [7, 13, 20, 41]）更粗，不足以做选择性的实例级失败诊断。作者认为端点检查或局部注意力分析不够，因为原始去噪特征里内容、风格、纹理与属性高度纠缠。
• 核心观察：作者称在逐步 SAE 空间里，成功与失败生成比在原始特征中更可分，失败样本呈现原本难观察到的系统性激活差异。概念证据可能缺失、减弱或在时间上滞后，且早期小幅稀疏调整对最终输出的影响大于后期干预。
• 本文提出什么：一套面向可解释性的两阶段框架：在每个去噪步训练 SAE，比较成功与失败轨迹，从可靠的类一致样本构建类级概念原型，再在推理时于 SAE 空间把当前去噪特征插向对应原型。作者强调这不是任务特定重训练，而是对所诊断概念缺陷的验证：若补回该证据能改变结果，则稀疏差异可能与机制相关。评测覆盖风格与属性失败，骨干为 SD 1.5、SD 3.5、SDXL、PixArt、Flux。

作者在引言和 Related Work 中把背景分成扩散内部解释与 SAE 机制解释，并在引言里点出三类不足以诊断该失败的方向。

扩散模型内部解释

• 注意力与归因：DAAM [37]、ConceptAttention [14]、I2AM [28] 把文本概念定位到生成图像中的空间表达。作者称这类方法适合局部 token–区域对应，不太适合风格错配或抽象属性丢失等全局失败。
• 模块与贡献分解：作者称有研究显示交叉注意力头的模式可与人类视觉概念对齐，内部模块可分解为对概念表达的正、负贡献 [26, 29]。
• 去噪轨迹上的概念动态：PCI [12] 等沿轨迹追问概念何时出现、稳定或仍可编辑 [21]。作者称时间分析通常得到的是通用阶段性可控性，而不是成功与失败个案之间的差异。

SAE 与生成模型干预

• 语言模型中的 SAE：SAE [4, 10, 38] 从稠密激活中提取稀疏、语义上可解释的特征。
• 扩散模型上的 SAE：SAeUron [9] 用 SAE 特征做概念级遗忘；Tinaz 等 [39] 研究概念演化与阶段依赖的转向。作者对比说，这些工作把 SAE 空间用作分析与干预工具；本文则用逐步 SAE 比较成功与失败的去噪轨迹，找出系统性失败中缺失或时间错位的概念证据，并用轻量原型引导修正来检验诊断，而不是移除概念或做通用转向。

引言中的另外两类对照

• 扩散动态与表示结构：[7, 13, 20, 41] 提供更宽的动态与表示见解。作者认为它们对选择性的实例级失败仍然过粗。
• 基线与数据：主实验的比较对象是五个骨干本身及其加上本文干预（Table 1），没有另列外部修正算法作为基线。数据为自建训练集与测试集，因为作者称现有公开数据集不能同时强调受控的内容变化、显式的内容–条件分离，以及风格与属性概念的匹配覆盖。

作者把本文定位为：在上述空间、模块与时间解释之上，回答为什么一小部分近邻提示会系统性失败，以及如何把这种失败诊断为去噪过程中缺失或减弱的概念证据。

作者提出两阶段框架：Stage I 在逐步 SAE 空间构建稀疏先验，Stage II 用插值 SAE 模块（ISM）在选定去噪步把当前更新拉向类原型。基座扩散模型保持冻结。

问题设定与去噪对象

• 脆性定义：提示由物体 o 与目标概念 c 组成，c 可以是风格、属性或其他抽象概念。模型对共享同一 c 的多数提示能满足 c，却在物体不同但语义相近的一小部分提示上反复失败。目标是在内部去噪表示上诊断该失败，并检验恢复缺失的概念相关证据能否修复，且不重训基座模型。
• 分析的是哪一层输出：不直接分析采样隐状态 z_t，而分析每个时间步骨干给出的中间预测。噪声预测模型中该预测为 ε_θ；流或速度预测模型中为向量场 v_θ。参考集 D_ref 含样本、提示与概念类。每个样本、每个时间步把更新量 token 化为 X_i^(t) ∈ R^{P×D}，再得到 token 级稀疏码 Z_i^(t) 与池化嵌入 s_i^(t)。
• 实现尺度：实验中 P=256 个空间 token，D=64 通道，图像分辨率 256×256。

为何以及如何做逐步 SAE

• 稠密空间的问题：Figure 2(a) 把 10 个风格类的池化原始去噪特征做 t-SNE，作者称类间仍有大量重叠，说明内容、风格、纹理与属性在每个时间步混在空间 token 与通道里。Figure 2(b) 为对应 SAE 嵌入，作者称投影后类结构清楚得多。图注列出的 10 类为 abstract art、realistic photo、cartoon style、vintage photo、modern design、black and white、3D render、oil painting、pixel art、ink sketch。
• 逐步而非共享 SAE：每个时间步用该步统计 (μ^(t), σ^(t)) 做归一化后再编码。作者给出的理由是：早期步主要编码粗略全局结构，后期步含更细的条件信息；共享 SAE 会把这些异质表示混进同一潜空间。
• Top-K SAE：采用 Top-K SAE，只保留 K 个最大潜激活，其余置零，且 K ≪ K_d。训练目标为重建损失加辅助项，辅助项用来抑制不活跃的潜单元。默认 d_model=64，潜宽 K_d=256（4 倍扩展），Top-K 的 k=10，auxk=128；200 epochs，batch size 40,960，学习率 1×10^{-3}，辅助损失系数 1/32，dead-feature 阈值 50。每个去噪步一个 SAE，输入为展平的 token 特征并做 z-score 归一化。

诊断与原型

• 偏离分数：对目标条件 c，在池化 SAE 空间估计类中心 μ_c^(t) 与离散度 σ_c^(t)。样本偏离用归一化最大偏差 d_i^(t,c) = ||(s_i^(t) − μ_c^(t)) / (σ_c^(t) + ε)||_∞。Figure 3 对比 ink sketch 下失败提示 “juice, ink sketch” 与成功提示 “a car, ink sketch” 在偏离最大的 10 个潜维上相对类均值的激活；作者称失败样本的稀疏偏离更大，且差异集中在少数维度。
• 过滤与 token 级原型：保留 d_i^(t,c) ≤ τ 的样本作为原型估计的可靠子集。论文写出 τ 是过滤阈值，未给出具体数值。Figure 4 为过滤后各类 top-10 特征选择性，作者称不同风格类对应不同的稀疏维度子集。最终原型在 token 级对保留样本的 Z 取平均，得到 R_c^(t) ∈ R^{P×K_d}。池化中心用于诊断与过滤，token 级原型用于后续修正。

推理时修正与判定角色

• 插值：测试类为 c★ 时，只在引导窗口 T_guide 内编码当前步特征，做 Z̄^(t) = (1−α) Z_test^(t) + α R_c★^(t)，再解码并还原到原始特征尺度，作为当前采样器更新；窗口外保持原更新。默认 α=0.8，作用于最早 20% 的去噪步。Figure 5 给出 Stage I 建先验、Stage II 用 ISM 干预的流程。
• 作者给出的设计含义：修正既是干预，也是探针。若把失败轨迹移向该稀疏原型会改变最终生成，则诊断出的稀疏不匹配与失败结果在功能上相关。作者称早期步杠杆大于中后期，因此不在全部时间步均匀施加，以免扭曲无关内容。
• 成功如何被度量：风格任务用 CLIP-I（与目标风格参考的相似度）、CLIP-T（完整提示对齐）、Style Alignment（目标风格一致性），风格 FID 为次要参考；属性任务用 BLIP-VQA 的 Color、Texture、Shape（按 T2I-CompBench++ 的属性 yes/no 问题）以及面向属性的 CLIPSim。定量结果使用固定测试种子 2026。

实验设置

• 骨干与采样：SD 1.5、SD 3.5、SDXL、PixArt-Alpha、FLUX.1-dev。SD 1.5、SDXL、FLUX.1-dev 为 50 步，SD 3.5 为 40 步，PixArt-Alpha 为 20 步；均用各自默认 guidance scale，分辨率 256×256。硬件为单张 NVIDIA A800 80GB。
• 数据：自建数据。训练 2,080 条，覆盖 10 种风格与 10 个属性词，只用于特征提取、SAE 训练、样本过滤与稀疏先验；测试 1,780 条，来自 150 个以上实体类别，提示模板为 “[color] [texture] [shape] [entity], [style]”，只用于最终评测。
• 指标：风格为 CLIP-I、CLIP-T、Style Alignment，以及推理时间；风格 FID 为次要。属性为 BLIP-VQA 的 Color、Texture、Shape，以及 CLIPSim 与推理时间。BLIP-VQA 跟随 T2I-CompBench++ 使用属性 yes/no 问题。论文未报告人工评估或评审模型一致性。
• 默认干预：α=0.8，最早 20% 去噪步；固定测试种子 2026。Table 1 的推理时间为 1-sample end-to-end。

主结果

据 Table 1，五行均为“原模型 / + Ours”。风格三列与属性四列越高越好。

Swipe horizontally to read the table

模型	CLIP-I	CLIP-T	Style Align.	Color	Texture	Shape
SD 1.5 / +Ours	0.644 / 0.659	0.327 / 0.333	0.237 / 0.239	0.204 / 0.336	0.195 / 0.328	0.236 / 0.330
SD 3.5 / +Ours	0.725 / 0.797	0.261 / 0.297	0.220 / 0.221	0.341 / 0.461	0.302 / 0.437	0.451 / 0.475
SDXL / +Ours	0.630 / 0.653	0.341 / 0.359	0.238 / 0.243	0.353 / 0.415	0.276 / 0.361	0.300 / 0.318
PixArt-Alpha / +Ours	0.627 / 0.629	0.336 / 0.338	0.232 / 0.239	0.349 / 0.368	0.356 / 0.366	0.315 / 0.358
Flux.1-dev / +Ours	0.598 / 0.623	0.273 / 0.288	0.220 / 0.230	0.379 / 0.394	0.326 / 0.346	0.240 / 0.379

CLIPSim：SD 1.5 从 0.217 到 0.231；SD 3.5 从 0.245 到 0.250；SDXL 从 0.235 到 0.237；PixArt-Alpha 从 0.222 到 0.247；Flux.1-dev 从 0.229 到 0.233。推理时间（秒）：SD 1.5 从 1.227±0.045 到 1.261±0.062；SD 3.5 从 15.407±0.100 到 15.701±0.598；SDXL 从 6.388±0.011 到 6.393±0.034；PixArt-Alpha 从 0.586±0.013 到 0.609±0.069；Flux.1-dev 从 4.104±0.014 到 4.149±0.028。

• 风格：作者称五个骨干上，更直接反映风格表达与文本保真的基于提示的指标都有提升，运行开销可忽略；SD 3.5 上的增益尤其明显。作者把 CLIP-I、CLIP-T、Style Alignment 当作主证据，因为目标是提升留出提示上的概念表达，而不是匹配某一风格域的宽参考分布。
• 属性：作者称 Color、Texture、Shape 中的多数或全部维度上升，开销同样很小，并认为同一干预能同时覆盖全局风格与更细的属性。Table 1 中这三项在五个骨干上均为 +Ours 不低于原模型。
• 定性：Figure 6 为 Flux 上的风格与属性修正示例（如 ink sketch 的 fox、koi、tomato，以及若干属性物体）。作者称干预加强了目标概念，并在很大程度上保留物体身份与整体内容。图中没有标注数值。

概念证据在哪一层最清楚

在 FLUX 上比较 Noise Latent、Last Single DiT Layer、Last Double DiT Layer，固定训练集、SAE 流程、原型、干预协议、测试集与随机种子；每个 SAE 的字典宽度为输入维度的 4 倍。

• 可分性（Table 2）：5-fold 线性探针 Acc / Sep：Noise Latent 0.7648 / 1.8479，Last Single DiT Layer 0.7284 / 1.8245，Last Double DiT Layer 0.7108 / 1.7120。作者称越靠近去噪输出，概念证据越具类选择性。
• 修正效果（Table 3，风格）：Noise Latent 的 CLIP-I 0.623、CLIP-T 0.288、Style Alignment 0.230、FID 293.3；Last Single 为 0.621、0.284、0.229、293.0；Last Double 为 0.606、0.275、0.224、291.8。作者称基于提示的指标一致偏向去噪输出，FID 变化较温和。Noise Latent 一行与 Table 1 中 Flux.1-dev + Ours 的 CLIP 三项相同。

何时干预最有效

• 单步均值消融（Figure 7）：横轴为 Steps（标注 1、6、11、16、21、26、31、36、41、46、50），同一图中有 LPIPS、PSNR、SSIM 三条曲线。正文在所附文本中被截断，图上看不到各点的具体读数，因此不转写曲线高度。作者在引言中称早期时间步的小幅稀疏调整可以较大改变最终输出，后期干预弱得多，过强且过长的干预可能损害无关内容。
• 引导窗口（Table 4，风格）：Early Only (ours) 的 CLIP-I / CLIP-T / Style Alignment / FID 为 0.623 / 0.288 / 0.230 / 293.3；Middle Only 为 0.616 / 0.274 / 0.230 / 327.4；Late Only 为 0.593 / 0.271 / 0.224 / 351.2；Early + Middle 为 0.621 / 0.239 / 0.233 / 371.9；All Steps 为 0.603 / 0.206 / 0.221 / 481.4。作者称 Middle Only 与 Late Only 依次更弱；Early + Middle 略提高 Style Alignment，但降低 CLIP-Text 并恶化 FID；All Steps 最差。作者称延长干预会覆盖已经形成的内容并导致过度修正。Early Only 与 Table 3 的 Noise Latent 数字相同。

其他消融与分析

• 轨迹对比（Figure 14–17）：前十个去噪步上，样本 SAE 码与类均值 SAE 码的比较。作者称成功提示 “a dog, ink sketch”（Figure 14）与 “a car, ink sketch”（Figure 15）的主导激活峰在多数步上与类均值对齐，稀疏模式随时间稳定；失败提示 “an orange, ink sketch”（Figure 16）与 “juice, ink sketch”（Figure 17）在多个步、尤其少数主导维度上反复偏离，且早期已可见并持续到引导窗口。图中未标注可读的激活数值。
• 类选择性（Figure 4）：过滤原型不一致样本后，不同风格类激活不同的稀疏维度子集；作者据此把脆性解释为结构化表示不匹配，而不是去噪特征空间中的随机扰动。
• 负面与例外：Table 4 中把窗口扩到 Early + Middle 或 All Steps 时，CLIP-T 从 Early Only 的 0.288 降到 0.239 与 0.206，FID 从 293.3 升到 371.9 与 481.4。Table 3 中 Last Double DiT Layer 的 FID 291.8 低于 Noise Latent 的 293.3，但 CLIP-I、CLIP-T、Style Alignment 更低。Style Alignment 的提升幅度小于 CLIP-I：例如 SD 3.5 从 0.220 到 0.221，PixArt-Alpha 的 CLIP-I 从 0.627 到 0.629。

作者指出的局限与后续方向

所附正文在 Section 6.1 后半被截断，未见单独的 Limitations、Discussion 或 Future Work 小节，因此不把实验讨论里的现象解释写成作者列出的局限。能对应到作者明确表述的边界只有下面几条。

• 修正是诊断的验证，不是任务重训练：摘要与 Section 4.5 写明，推理时插值用来检验恢复所诊断的概念证据能否改变失败结果；作者称若结果改变，则稀疏差异可能与机制相关。这把方法的主张限定在探针，而不是通用生成器替换（摘要、Section 4.5）。
• 干预的时间范围：作者称修正强烈依赖时间，早期小幅调整可以较大改变输出，后期弱得多；延长强干预可能损害无关内容。Table 4 中 All Steps 最差，作者称延长干预会覆盖已形成内容并导致过度修正（引言；Section 6.2，Table 4）。
• 现象本身稀疏且依赖过程：作者称该失败稀疏、常常是全局而非局部，并且依赖去噪过程中支持证据如何演化，仅看注意力图可能看不见（引言）。
• 代码：摘要写 Code is available at GitHub，未在正文给出已完成的发布细节；按论文表述，代码位置在 GitHub，不把未写出的后续计划写成已完成工作。

实验覆盖范围

• 骨干与任务：风格生成与属性控制两个留出任务，骨干为 SD 1.5、SD 3.5、SDXL、PixArt-Alpha、FLUX.1-dev 共五个（Section 5.1，Table 1）。
• 数据规模：训练 2,080 条（10 种风格、10 个属性词），测试 1,780 条、150 个以上实体类别；训练只建先验，测试只做评测（Section 5.1）。
• 表示与窗口分析：层比较与引导窗口实验写在 FLUX 的读出上（Last Double DiT Layer、Last Single DiT Layer、Noise Latent；Table 2–4）。Table 4 含 Early Only、Middle Only、Late Only、Early + Middle、All Steps。
• 默认超参与种子：d_model=64，K_d=256，k=10，α=0.8，最早 20% 步，固定测试种子 2026，分辨率 256×256（Section 5.1）。论文未报告过滤阈值 τ 的具体数值，也未报告重复次数或人工一致性。
• 轨迹案例：附录 Figure 14–17 给出 ink sketch 下两个成功提示与两个失败提示在前十步的 SAE 码与类均值对比。

作者用逐步稀疏自编码器审计文生图扩散模型里随物体变化的概念脆性，并用推理时原型插值检验该诊断。

• 问题：固定风格、纹理或属性时，模型对多数物体成功，对只改物体的少数近邻提示反复失败。作者认为这不是提示过难或缺少概念知识，而是同一概念在不同内容上实现不均；跨种子持续出现，指向内部盲点。
• 方法：每个去噪步单独训练 Top-K SAE（潜宽 256，k=10）。用类中心的无穷范数偏离过滤不可靠样本，再对保留样本做 token 级平均得到原型。推理时基座冻结，以 α=0.8 只在最早 20% 步把当前步更新插向目标类原型。
• 主结果：Table 1 中五个骨干的风格 CLIP-I、CLIP-T、Style Alignment 以及属性 Color、Texture、Shape、CLIPSim 在 +Ours 后均不低于原模型。SD 3.5 的 CLIP-I 从 0.725 到 0.797，Color 从 0.341 到 0.461；Flux.1-dev 的 CLIP-I 从 0.598 到 0.623，Shape 从 0.240 到 0.379。单样本推理时间增加约百分之几秒以内（例如 SDXL 从 6.388±0.011 秒到 6.393±0.034 秒）。
• 机制分析：FLUX 上 Noise Latent 的线性探针 Acc 为 0.7648、Sep 为 1.8479，高于 Last Single 与 Last Double DiT Layer（Table 2），对应的风格修正也最好（Table 3）。引导窗口里 Early Only 的 CLIP-I 为 0.623、FID 为 293.3；All Steps 的 CLIP-T 降到 0.206、FID 升到 481.4（Table 4）。成功轨迹的 SAE 峰与类均值对齐，失败轨迹在早期就偏离并持续（Figure 14–17）。
• 作者的结论：要追踪这类系统性失败，需要同时知道哪部分概念证据缺失、它在哪一层变得可读、以及何时仍可修复。作者把该干预视为轻量插件和对表示相关性的探针，并称稀疏差异与早期可修正性在常见扩散模型族上都能观察到。