DiDAE：面向视觉基础模型的快速解耦反事实解释方法

视觉基础模型会依赖伪相关，而现有视觉反事实解释既慢又纠缠，还不能直接解释基础模型本身。

• 场景：作者称深度模型在基准上表现好，仍会采用无法分布外泛化的 Clever Hans 策略；CLIP 等基础模型会系统编码背景纹理或技术特征等非因果痕迹。
• 现有不足：GroupDRO 等依赖显式组别标签，标签缺失或混杂未知时不可用。CFKD 用反事实做数据增强来剪掉对混杂的依赖，但效果受视觉反事实解释器的质量和速度限制。作者称 SCE 等梯度法慢、常得到对抗噪声而非语义变化，且编辑纠缠；无梯度方法更快，但缺少显式语义稀疏化与多样化。
• 核心观察：把样本沿一个已学语义分量、在数据支撑内移动，就能得到解耦、多样的反事实，且不需要梯度更新。
• 本文提出：Disentangled Diffusion Autoencoders（DiDAE）。它把冻结基础模型包进条件扩散解码器，用监督 Procrustes 或无监督 SVD、SAE 字典做一次闭式编辑再解码；同一套机制还可对预训练字典按分类器做排序，并用 CFKD 修正分类器。作者称流程放在开源 P EAL 库中，有公开字典和预训练解码器时，剩下的是分类器的廉价线性蒸馏及其自身微调。

作者把相关工作分成三组，并指向 XAI 方法综述与 XAI 2.0 宣言中的开放问题：增强归因、评估解释、把解释变成改进后的模型。

伪相关与模型修正

• Projection、GroupDRO、DFR：前者在基础模型嵌入中线性去掉指定方向；后两者优化下游分类器的最差组表现。作者称组别过小或未知时后两者会遇到困难。
• P-ClArC、RR-ClArC、EGEM：用带标注样本估计伪迹方向后投影或惩罚敏感度；EGEM 预先剪除 Clever Hans 策略。
• LRP、DRSA、Subdistill 与 CFKD：归因可用来发现并蒸馏伪相关，但作者称归因图难以据此行动；用户研究中它们帮助判断决策的程度不高于最近训练样本。CFKD 用反事实做增强，历史上受生成速度与质量限制。教师属于人在回路，作者引用的论点是：训练数据本身无法判定时需要这种交互。

视觉反事实解释器

• DiVE、LatentShift、Diffeomorphic Counterfactuals 到 DVCE、DiME、Diff-ICE：早期用 GAN、VAE 或归一化流；后来转向扩散与 flow matching。CDCT 等做概念发现或回归的反事实轨迹。
• ACE、FastDiME、SCE、SCE-lite-HQ：追求语义解耦编辑或多样化反事实。作者称它们因要反复把梯度穿过扩散展开而慢，且不能解释基础模型；SCE 的稀疏化与多样化限于空间可分特征，特征重叠或有全局特征时机制不工作。
• DAE、TIME、GCD、LeapFactual 与 unCLIP：无梯度、更快，但作者称缺少显式语义稀疏化与多样化，每个分类器只产生一个编辑方向。作者称 DAE 在基准中代表这一族。unCLIP 用冻结 CLIP 嵌入条件化扩散解码器并以 DDIM 反演做变体与文本引导编辑；作者称它没有字典、信任区域、分类器连接和验证。

基础模型可解释性

• 对齐人类视觉感知的工作、Mamba 的梯度解释、SAE：近期重点是用稀疏自编码器把稠密嵌入拆成可解释 concept。作者称仍有两个问题：无监督 concept 的含义若只看最高激活样本，在相关或纠缠时难读；成千上万原子里，下游决策真正依赖哪些，激活画廊是相关的且不绑定某个分类器。

基线方法与基准/数据集：反事实质量对比 DAE、DiME、ACE、FastDiME、SCE，数据集为 Square、CelebA-Blond、Camelyon17。下游修正对比 GroupDRO、DFR、P-ClArC、RR-ClArC，并与从冻结嵌入中投影掉伪方向比较。字典与排序用 Sparse Numbers、NICO++、ImageNet 货车/客车与消防艇/救生艇。

作者把 DiDAE 定位为：在冻结基础模型表示上做无梯度、按分量的解耦编辑，并用来排序字典和做 CFKD；交互粒度从每个反事实一次决定改为每个方向一次决定。

DiDAE 把冻结视觉基础模型 Φ 变成可编辑的扩散自编码器：沿解耦字典的一个方向做一次闭式修改，再用条件扩散解码器画回图像。

问题设定与形式化

• 编码器：Φ 冻结，把图像 x 映到 zFM = Φ(x)。字典 Ω 给出单位范数原子，分量编码器 g_Ω 读出系数 c，使 zFM 近似为均值加上 Ωc。
• 一次编辑：干预分量 k 时，把系数换成目标值，表示沿该原子移动。核心关系是 z′_FM = z_FM + δ_k v_k，其中 δ_k 为新旧系数之差。含义是只改一个分量的系数。
• 四个槽：编码器、字典、解码器、把图像配到解码器潜码的反演。解码器与字典按域离线拟合，域里已有则可不再训练。自然图像可用公开 SAE 与配套解码器，实践者只蒸馏待解释的分类器。

解码器与字典

• 条件解码器：在 (x, Φ(x)) 上训练 p_θ(x | zFM)，Φ 冻结。这是相对标准扩散自编码器的唯一改动：标准方法联合学习语义编码器，这里解码的是基础模型已经算出的表示。去噪目标仍是噪声预测误差，梯度停在 θ。三种解码器分别去噪像素、潜变量或冻结 patch token 网格，见第 4.2 节与附录 E.1–E.3。
• Procrustes：有 p 个标注语义变量时，求与标签对齐的正交方向，交叉协方差的薄 SVD 给出闭式解，再用补空间补成完整正交基。前 p 个分量对齐标注概念。
• SVD：无标注时取表示本身的右奇异向量，按方差递减，不保证语义；DiDAE 靠沿每个方向渲染来检查它们。
• SAE：正交基底的概念数不能超过维数。稀疏自编码器使用过完备字典和稀疏系数。原子不正交时，式 (1) 的干预只改一个系数，其余系数和重构残差不动。

从方向到编辑与解码

• 信任区域：投影到 0 或关于 0 反射都是固定步长，作者称对有的样本太弱、对有的会离开数据支撑。改为在验证集上记录每个分量的经验最小与最大，编辑把系数推到所请求一侧的端点。作者称这约束的是系数落在数据出现过的范围内，完整编辑后的表示不再进一步约束。
• 分类器感知：先把下游分类器 f 蒸馏成冻结表示上的线性探针 P(z) = w⊤z + b。探针只决定推向哪一端：使分数朝决策边界移动的那一侧。恰好落在边界上的步长不作为步长，只作为潜空间翻转检验。与 w 近乎正交的方向把分母下限到常数 τ，由信任区域限制而不是被排除。
• 成对编辑：过完备字典上，单个系数常常无法在信任区域内跨过边界，于是一次同时降低一个原子、升高另一个，并把该对当作一个方向。
• 反演：需要不变条件解码近似还原原图，以及编辑后的条件把改动带到像素、潜码保留姿态与布局等表示未决定的内容。作者称这是经验分工，不是正交性保证。DDIM 反演确定性但有损；edit-friendly DDPM 反演保存每步噪声图。定量结果默认后者。重构按构造精确成立。

解释、排序与 CFKD

• Algorithm 1：每张图只反演一次，每个分量解码一次，不取梯度、不做逐图优化。有探针时选朝边界的一侧，否则默认朝分量中心。
• Ranking：在整个数据集上问分类器实际使用哪些字典方向。探针改为沿稀疏字典分量的 lasso，非零系数为候选；λ 按支撑大小扫描选取（Table 6）。潜空间翻转检验筛掉不值得解码的编辑。解码后用真实 f 再分类，且重编码确认目标分量按请求方向移动，才计一次 verified ambient flip。按该计数排序。没有解码预算，通过潜空间筛选的图像都会解码。
• DiDAE-CFKD：用反事实做增强。先自动丢掉没翻转学生或不在分布内的样本，阈值在附录 C.3。教师判断改的是因果特征（真反事实，丢弃）还是只改了伪特征（假反事实，以原图标签加入训练集），再微调。自动标注用元数据把分量映到概念；预聚类教师按方向看一组前后对照，只标方向，Q 次决定代替按反事实、按模型逐张决定。

实验设置

• 数据集：六个带已知伪相关的数据集（Table 1）。Square 用方块强度、背景为混杂；CelebA-Blond 的 Blond_Hair 与 Male 混杂；Camelyon17 的肿瘤与医院混杂。训练集被投毒，使混杂预测标签（前两个 98% 样本，Camelyon17 为 100%），平衡测试集 N = 1000。后三个用于字典与排序：Sparse Numbers（1,000 张、数字叠加）、NICO++ 鳄鱼/蜥蜴（上下文为线索）、ImageNet 货车/客车（自然数据）与消防艇/救生艇（用水枪原子 #5717 过滤训练集植入捷径）。
• 槽位实例：合成数据编码器为在已知生成因子上训练的 ResNet-18；真实图像用 OpenAI CLIP ViT-L/14，病理用 PLIP。解码器为 DiffAE、微调的 PathLDM 或 RAE。字典为 Procrustes、SVD、作者训练的 batch top-K SAE，或现成 6,144 原子 MSAE。定量结果用 edit-friendly DDPM 反演和经验信任区域；DDIM 只用于 Sparse Numbers 与 Table 7。
• 学生：主要修正对象是在投毒划分上从头训练的 ResNet-18；ImageNet 探针是冻结 DINOv3 ViT-L/16 上的线性头，字典仍是 CLIP 的 MSAE。
• 协议：反事实质量在 Square、CelebA-Blond、Camelyon17 上对 ResNet-18 生成分类器感知反事实（每个事实两次尝试），对比 DAE、DiME、ACE、FastDiME、SCE。指标为附录 A 的 NAFR、Diversity、Sparsity、NA、Unbiasedness、CF/s，以及下游 Gain。作者称证据权重依次为 Gain、未筛选随机样本与投影轨迹、最后才是 desiderata。
• 修正与排序：CFKD 每个学生用 800 个训练反事实、200 个验证反事实、一次微调。教师默认是未投毒分类器这个 oracle，表中另有说明时用预聚类教师。排序报告 latent flips、ambient flips、verified flips，以及教师标为伪方向后的平均组准确率。Sparse Numbers 与 NICO++ 的教师是 oracle，ImageNet 是第一作者。
• 速度：Table 2 的 CF/s 是单张 A100 上每秒反事实数。条目为 n 个种子上的均值 ± 总体标准差；n = 1 为单一种子。

主结果

Table 2 中 Gain 与速度（作者称 Gain 是首先阅读的一列）。DiME、ACE、SCE 在 CelebA-Blond 与 Camelyon17 上 n = 1，格中为该单一种子的点值。

表格较宽，可左右滑动

方法	Square Gain / CF/s	CelebA Gain / CF/s	Camelyon17 Gain / CF/s
DAE	0.0±0.0 / ∼57.1±2.8	5.0±13.8 / ∼15.6±2.2	12.5±22.2 / ∼1.07±0.01
DiME	69.1±3.5 / ∼0.03	16.0 / ∼0.02	-3.9 / ∼0.02
ACE	38.8±38.8 / ∼0.03	7.1 / ∼0.03	7.4 / ∼0.03
FastDiME	66.3±7.4 / ∼2.4±0.2	13.1±3.2 / ∼1.5±0.1	15.3±3.1 / ∼0.43±0.13
SCE	90.6±1.0 / ∼0.02	23.4 / ∼0.02	22.2 / ∼0.02
DiDAE	77.0±2.2 / ∼47.8±11.1	35.5±2.3 / ∼14.3±0.1	35.0±10.0 / ∼0.35

• 作者解读：作者称在三个数据集的 desiderata 基准上，反事实与现有方法相当或更好，并称速度最高可达现有方法的 2000 倍。Table 2 中 Square 的 Gain 最高是 SCE（90.6±1.0），高于 DiDAE（77.0±2.2）；CelebA-Blond 与 Camelyon17 的 Gain 最高是 DiDAE。
• 速度：Square 上 DiDAE 约 47.8 CF/s，SCE 约 0.02；CelebA-Blond 上约 14.3 对 SCE 的 0.02。Camelyon17 上 DiDAE 约 0.35，低于 DAE 的约 1.07，仍高于 SCE 的约 0.02。
• Fig. 1 的修正：DINOv3 ViT-L/16 线性探针、自然 ImageNet 货车对客车、公开 MSAE 与预训练 ImageNet RAE。排序给出 bin 54、tracks（#1661）40、graffiti（#4727）22、travelling 21 次 verified flips。作者称一次沿 tracks 的 CFKD 使 class×tracks 平均组准确率从 96.4% 到 97.2%，Gain 21.6%，骨干未改。

反演与生成器消融

Table 7 在种子 0 上固定字典、探针和 CFKD 预算，只改变采样器或把像素 DiffAE 换成 CelebA 上的 RAE。

• Square：DiffAE/DDIM 的 Gain 为 88.6、翻转率 55.2、47.8 CF/s；DiffAE/DDPM 的 Gain 为 79.2、翻转率 50.5、60.3 CF/s。作者注明 DDIM 行的 47.8 CF/s 与 Table 2 的四种子 DDPM 均值相同是巧合。
• CelebA-Blond：DDPM 的 Gain 32.7、翻转率 53.0，高于 DDIM 的 21.3 与 44.5；RAE/DDPM 的 Gain 为 18.3、5.0 CF/s、翻转率 48.8。该 RAE 为 0.41B 的 stage-2 transformer，训练 24 个 epoch 而非 46，用第 20 个 epoch。
• 作者对输入保真的说法：正文在被截断处称某种设置以输入保真为代价；Table 7 中 Square 的 DDIM 行 NA 为 90.3，DDPM 行为 79.8，论文未在可见文字里把该句绑定到某一行。

字典在图像上编码什么

• Fig. 10：四个 Procrustes 方向的分量定义反事实。Square 上为前景、背景、x 位置、y 位置；CelebA 上为 Blond_Hair、Male、Heavy_Makeup、Attractive，后三个彼此相关。
• Fig. 11：Sparse Numbers 上关闭一个 batch top-K SAE 维度。作者称每列左为事实、右为反事实，消失的是该数字，邻居保留。图中可见编号包括 -053、-132、-180、-209、-220、-565、-576、-747、-890。
• Fig. 12：Square 基础模型空间前四个 SVD 方向。作者称 Comp1 为前景颜色、Comp4 为背景颜色，Comp2 与 Comp3 混合两条空间轴，仅靠方差无法分开。

其他消融与分析

• Fig. 13：CFKD 前，Square 上 ResNet-18 学生几乎只依赖背景，CelebA 上因果与混杂大约各半；一次 CFKD 后两者都主要依赖因果特征。Square 边界为精确（位置被边缘化），CelebA 为投影到 oracle 的 Male 与 Blond_Hair 预测。
• Fig. 2–3（示意）：作者称梯度法慢且纠缠；DAE、TIME 等全局方法快，但每张图往往只有一个反事实，要么太弱，要么同时改发色与性别。DiDAE 沿 Blond、Female、Makeup、Attractive 等分量各做一次到经验范围端点的编辑。
• 步长：第 5.2 节比较经验端点与固定步长 l；可见文本未给出该消融的数值表。
• Table 3、Table 4、Table 5、Table 6：正文指向它们比较 Procrustes 与 SVD 的 Gain、元数据基线、分辨率/步数/字典大小，以及 lasso 的支撑大小扫描；这些表的数字未出现在可见文本中，此处不填。
• 水枪捷径：用原子 #5717 过滤训练集植入；作者称找回 #5717 是对排序的检查，不是发现。具体 verified flips 数字未在可见文本中给出。
• 负面与单种子：Table 2 中 DAE 在 Square 上六项 desiderata 与 Gain 均为 0.0±0.0；DiME 在 Camelyon17 上 Gain 为 -3.9；ACE 在 Square 上 Unbiasedness 为 0.0±0.0，Gain 标准差为 38.8。CelebA-Blond 与 Camelyon17 上 DiME、ACE、SCE 为 n = 1。

作者指出的局限与后续方向

可见文本的结论部分不完整，没有单独的 Limitations 小节原文。能对应到作者明确写成开放或后续问题的，只有方法与贡献里已经点出、并在工作流中保留人工决定的部分：

• 人工教师：预聚类教师仍需人对每个方向看前后对照并标成类别证据或混杂（第 3.6 节、Fig. 1）。自动标注只在已有元数据时可用。
• 信任区域不是流形保证：系数被限制在验证集出现过的范围内，完整编辑后的表示不再进一步约束（第 3.3 节）。作者把“解码后是否只动了目标分量”写成需重编码核验的条件，而不是已保证的性质（第 3.5 节）。
• 反演有损：DDIM 的离散化误差表现为平滑和高频细节损失，作者称低分辨率下可接受（第 3.4 节）。
• SVD 不保证语义：无标注右奇异向量按方差递减，DiDAE 只是使其可被渲染检查（第 3.2 节、Fig. 12）。

论文未在可见文本中另列“未来工作”清单。引言脚注称库在发表时即可对用户提供的分类器与数据集开箱运行，并自动获取预训练解码器与公开字典；这是作者对库的现状描述，不是待完成计划。

实验覆盖范围

• 质量与修正协议覆盖 Square、CelebA-Blond、Camelyon17；学生为投毒划分上的 ResNet-18，测试集 N = 1000，CFKD 为 800/200 个反事实、一次微调（第 4.1–4.3 节）。
• 对比方法为 DAE、DiME、ACE、FastDiME、SCE，以及修正侧的 GroupDRO、DFR、P-ClArC、RR-ClArC；Table 2 中 CelebA-Blond 与 Camelyon17 的 DiME、ACE、SCE 为 n = 1（Table 2）。
• 排序覆盖 Sparse Numbers 的 ResNet-18、NICO++ 的 ResNet-18，以及两个 ImageNet 对上的 DINOv3 ViT-L/16 线性探针；字典不按学生拟合。ImageNet 教师为第一作者，另两个为 oracle（第 4.3 节）。
• 编码器为合成数据上的 ResNet-18、CLIP ViT-L/14 与病理 PLIP；反演定量默认 edit-friendly DDPM，DDIM 出现在 Sparse Numbers 与 Table 7（第 4.2 节）。
• 论文未报告可见文本中的 Table 3、Table 4 数值、第 5.2 节固定步长消融的数字、以及消防艇任务上 #5717 的 verified flips 计数。

DiDAE 用冻结视觉基础模型和一个解耦字典，生成按分量编辑的视觉反事实，再拿去修正依赖伪相关的分类器，或给字典原子按“是否真能翻转该分类器”排序。

• 问题：基础模型会编码背景、技术特征等与标签共变的线索。需要组别标签的修正方法在混杂未知时用不了；梯度反事实慢且常纠缠，无梯度方法往往每个分类器只有一个方向。
• 做法：条件扩散解码器只渲染冻结表示。Procrustes、SVD 或 SAE 定义方向。编辑把一个系数推到验证集上的经验端点；分类器先被闭式蒸馏，用来选择推向哪一端。过完备字典可用成对原子。edit-friendly DDPM 反演保留未被表示决定的图像细节。排序用 lasso 选出候选，再用真实分类器的翻转和重编码核对。CFKD 让教师按方向标注，只把伪方向上的反事实加进训练并微调一次。
• 质量：Table 2 中，CelebA-Blond 上 DiDAE 的 Gain 为 35.5±2.3（n=4），Camelyon17 为 35.0±10.0（n=4），均高于同表其他方法；Square 上 SCE 为 90.6±1.0，DiDAE 为 77.0±2.2。Square 上 DiDAE 约 47.8 CF/s，SCE 约 0.02。Camelyon17 上 DiME 的 Gain 为 -3.9。作者称最快可达现有方法的 2000 倍。
• 修正与排序：Fig. 1 中，货车/客车的 DINOv3 探针把轨道原子排在 40 次 verified flips；一次 CFKD 后 class×tracks 平均组准确率从 96.4% 到 97.2%（Gain 21.6%）。Fig. 13 中，一次 CFKD 后学生从依赖背景或因果与混杂各半，转为主要依赖因果特征。
• 作者的结论：有公开字典和预训练解码器时，实践者不必再训练生成器或字典，剩下分类器的线性蒸馏和自身微调。同一套编辑既能给人看清方向含义，也能按教师标出的伪方向修模型。