跳到正文
原文
arXiv：可解释性· arXiv:2609.35020· Teodor Chiaburu·本站收录· 原文发表

论文检验线性表示假设：视觉 SAE 的可解释性有多高

Verifying the Linear Representation Hypothesis: How Interpretable Are Vision SAEs?

论文速读

可解释性

据论文 PDF 整理（AI 生成），以原文为准

作者把 NLP 的 AIS 改到视觉 SAE，并在用户研究中看到 Gemma 与人工 AIS 相关（r=0.6202），同时标准指标彼此及与 AIS 都不强相关。

问题
视觉 SAE 常只用重构误差、稀疏度和字典正交性等代理指标评估可解释性，作者认为这些指标是否对齐人类感知并未被检验。论文要验证线性表示假设（LRH）下的指标能否衡量视觉 SAE 概念是否可解释。
方法
作者在 patch 级嵌入上训练 Vanilla、TopK 与 MP-SAE，用 LLaVa 1.5 为 4×4 网格写局部描述，再由 Gemma 先解释神经元、再预测激活，以预测与真实激活的 Pearson 相关作为 AIS，并用用户研究对照。
实验与结果
Table 2 中各配置 R2 多在 0.89 以上，但 Mean AIS 最高 0.4332、Mean MS 最高 0.1060。Figure 3 中除 Sparsity–OOD（0.79）等少数对外，指标与 AIS 的相关未达作者设定的 ±0.6。Figure 2(a) 中 Gemma 与用户 AIS 的 r=0.6202（p=0.0237）。
局限与可以继续做的
作者指出跨模态描述可能丢失视觉信息、误差会沿描述—解释—模拟传递，低 AIS 不能只归因于 SAE；固定网格不含场景理解。用户相关基于 14 张非退化图、16 名用户。附录 H 只报告了 DINO+CUB 的层间 MS/AIS。
实验设置Vanilla SAE、TopK SAE 等 · CUB-200-2011、ImageNet100 等 · Mean AIS、Mean MS 等
被测模型
Vanilla SAETopK SAEMP-SAE
基准
CUB-200-2011ImageNet100Caltech 101
指标
Mean AISMean MSR2SparsityOOD ScoreCoherenceConnectivityPearson r
AI 导读论文将原本在自然语言处理中与人类判断一致的 Autointerpretability Score（AIS）迁移到视觉任务，并通过专门的用户研究验证该方法，用以评估视觉 Sparse Autoencoders（SAEs）概念的可解释性。作者同时使用标准指标和改造后的 AIS 进行评测，发现现有 SAE 可解释性指标之间既不相互相关，也不与 AIS 相关，说明没有任何单一的无参考指标足以验证视觉 SAE 的可解释性。作者认为这些发现支持近期关于解释方法应采用更可验证、以真实标注为锚的设计与评估的呼吁。论文为 28 页、含 8 张图和 5 张表，处于审稿中的预印本状态。

论文将原本在自然语言处理中与人类判断一致的 Autointerpretability Score（AIS）迁移到视觉任务，并通过专门的用户研究验证该方法，用以评估视觉 Sparse Autoencoders（SAEs）概念的可解释性。作者同时使用标准指标和改造后的 AIS 进行评测，发现现有 SAE 可解释性指标之间既不相互相关，也不与 AIS 相关，说明没有任何单一的无参考指标足以验证视觉 SAE 的可解释性。作者认为这些发现支持近期关于解释方法应采用更可验证、以真实标注为锚的设计与评估的呼吁。论文为 28 页、含 8 张图和 5 张表，处于审稿中的预印本状态。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    视觉 SAE 的标准代理指标是否真能衡量概念与人类感知的对齐，尚缺可回查的检验。

    视觉 SAE 的可解释性不能只靠稀疏度、重构或字典结构等代理指标来确认，需要能对照人类判断的度量。

    • 场景：Mechanistic Interpretability 试图把 DNN 的计算子模块拆成可理解算法。作者引述的 线性表示假设（LRH） 认为，高维神经表示可分解为大量近似正交、且各自对齐人类可解释概念的方向；多义性（polysemanticity） 与 叠加（superposition） 使原生神经元基难以解释。
    • 现有不足：作者称视觉 SAE 常只报重构误差、概念向量稀疏度或解码器正交性，很少做用户研究。NLP 已有与人类判断相关的 Autointerpretability Score（AIS）（Bills et al., 2023），作者称视觉 SAE 文献此前缺少同类度量。作者认为 LRH 的过完备、近正交与 K-稀疏至多是必要而非充分条件。
    • 核心观察：作者认为，专门用来量化“与人类解释对齐”的指标，也未必与重构误差或字典正交性相关；概念对齐是多方面问题，单一无参考指标不够。
    • 本文做法：把 AIS 改到视觉 SAE（patch 描述 + LLM 解释/模拟），用用户调查验证，并比较标准指标与 AIS 是否相关。贡献写为两点：给出可在本地运行的视觉 AIS 流程并做用户验证；报告这些指标互不相关。

  2. 有哪些相关研究？

    相关工作分视觉 SAE 评测、序列模型上的自动可解释性，以及 LRH 的反例讨论。

    作者按视觉 SAE、自动可解释性和 LRH 的边界来组织文献。

    视觉 SAE 与评测

    • 架构：Vanilla ReLU + L1 SAE（Bricken et al., 2023）被用到视觉 Transformer 嵌入（Stevens et al., 2025; Olson et al., 2025）；其后有 JumpReLU（Rajamanoharan et al., 2025）、TopK（Gao et al., 2025; Bussmann et al., 2024）、Matryoshka（Bussmann et al., 2025）、Matching Pursuit（Costa et al., 2025）、Archetypal SAE（Fel et al., 2025）、Universal SAE（Thasarathan et al., 2025）。作者称早期多在 CLIP 等的 CLS 等全局特征上训练；Lim et al. (2025)、Stevens et al. (2025) 改为 patch 级。
    • 间接代理：作者称 SAE 虽被当作 MI 工具，评测却常停在重构误差、稀疏度和字典正交性。Nauta & Seifert (2023) 把解释简单性当作诉求；Afroogh et al. (2026) 认为用稀疏换完整性会和过复杂解释一样损害信任。下游任务影响见 Stevens et al. (2025)、Han et al. (2025)、Lim et al. (2025)。
    • 带参照的分数：Monosemanticity Score（Pach et al., 2026，含 human-in-the-loop）、相对 WordNet 的相似度（Olson et al., 2025）、Fel et al. (2025) 的 OOD Score、Coherence、Connectivity。Ding et al. (2025) 用 VLM 与分割掩码看 SAE 能否忠实重建视觉概念，并提出 Concept-SAE；Klotz et al. (2026) 在 CUB-200 与 COCO 的标注概念上评测。Haufe et al. (2026)、Afroogh et al. (2026)、Longo et al. (2024) 主张解释器要更形式化、并用真实解释监督。

    序列模型上的 AIS

    • NLP：Huben et al. (2024) 用 Bills et al. (2023) 的 AIS，在 Pythia-70M 与 OpenWebText 上比较 SAE 与 PCA、ICA，称 SAE 特征多义性更低，尤其在较早层。Paulo et al. (2025) 扩到 RedPajama-v2 上的多种 SAE，并提出更省计算的 AIS 改动。
    • 蛋白质：Gujral et al. (2025) 把 TopK SAE 用于 ESM2 的蛋白与氨基酸表示，除 AIS 外还做 Gene Ontology 与 UniProt 注释对照。

    视觉神经元自动描述与 LRH 边界

    • 附录 A：Network Dissection（Bau et al., 2017）、MILAN（Hernandez et al., 2022）、CLIP-Dissect（Oikarinen & Weng, 2023）需要预标注概念或给出未定位的宽泛解释。作者把 MILAN、CLIP-Dissect 列为可替代的描述器，并提到 InstructBLIP、SAM 3、Bianchi et al. (2026) 的动态区域描述。
    • LRH 反例：Hindupur et al. (2025)、Costa et al. (2025)、Wattenberg & Viégas (2024)、Park et al. (2024a)、Csordás et al. (2024)、Engels et al. (2024; 2025) 讨论概念并非线性可分、维度异构或相互影响。Bhalla et al. (2026) 主张分析概念流形。Li et al. (2025)、Korznikov et al. (2026)、Paulo & Belrose (2026)、Chanin & Garriga-Alonso (2026) 讨论 SAE 概念不稳定。

    基线方法包括 PCA/ICA（Huben et al. 的线性基线，本文主实验未重跑）、Pach et al. (2026) 的图像级 MS、Huben et al. (2024) 与 Gujral et al. (2025) 的 AIS 文献参照，以及随机打乱 caption。基准/数据集为 CUB-200-2011、ImageNet100、Caltech 101；文献对照还提到 OpenWebText、RedPajama-v2、CUB-200、COCO。

    作者把本文定位为：把 AIS 迁到视觉 patch SAE，并用用户调查和多指标相关矩阵检验“字典结构代理能否代替人类可解释性”。

  3. 论文如何解决这个问题？

    在 patch 嵌入上训练 SAE，用网格描述加 LLM 解释/模拟得到 AIS，再和字典指标对照。

    整体思路是：在 patch 级嵌入上训练 SAE，把高激活 patch 写成文字，让同一 LLM 先归纳概念再预测激活，用 Pearson 相关作为 AIS，并与重构和字典结构指标一起看。

    问题设定与 LRH

    • 对象：图像统一为 224×224×3。嵌入器 ε 把图像分成 s 个 patch，嵌入维数为 p；全体 patch 嵌入为 E。SAE 把每个 patch 映到 m 维稀疏码，通常 m > p。作者沿 Lim et al. (2025) 在 patch 而非整图嵌入上训练，理由是后面要算 AIS。
    • 编解码：式 (1) 为 zj = σ(Wenc(ej − bpre) + benc)，bpre 通常取训练集几何中位数。式 (2) 为 êj = Wdec zj + bpre。字典 D 是 Wdec 的转置，每行是一个 atom。图像级嵌入用 CLS 或 patch 平均；图像级码对 patch 做 max-pool。
    • LRH 三条假设（Costa et al., 2025 的表述）：过完备 m ≫ p；近正交，不同 atom 内积不超过 δ 且单位范数；K-稀疏，非零个数 ≤ K ≪ m。作者认为满足这三条并不保证分解对齐人类概念。

    AIS 流程

    1. 训练：只保留编码器生成稀疏码 z。
    2. 描述：图像切成网格，由描述模型给每个格子写局部说明。作者称这是从语言 AIS 迁到视觉时的新步骤，因为常见视觉 SAE 训在整图嵌入上，对不齐 token 级定位。
    3. 解释：对相关神经元子集 K*（筛选见附录 D），取按 patch 平均激活最高的 10 张图；解释器看其中 5 张的“描述 + 归一化激活”。激活按 Bills et al. (2023) 映到 0–10 的整数，负值记 0，该神经元最大值记 10。
    4. 模拟：同一或另一个 LLM 根据已得解释，看另外 5 张高激活图和 5 张随机图的 patch 描述（Huben et al., 2024 的 top-random），预测每个 patch 的激活。
    5. 分数：单神经元 AIS 是预测激活与真实激活的 Pearson 相关；对 K* 取平均得 Mean AIS。

    数据、模型与超参

    • 数据：CUB-200-2011，5794 张，用数据集自带划分；ImageNet 的 100 类子集，每类约 200 张，记为 ImageNet100；Caltech 101，4572 张。后两者用固定种子、分层 0.5/0.5 划分训练与验证。作者称实验是单物体、以物体为中心的数据。
    • 嵌入器：DINOv2、ViT、SigLIP。SAE：Vanilla、TopK、MP-SAE。描述器：LLaVa 1.5，网格定为 4×4；描述 token 上限 100，提示要求只写可见的纹理、形状和颜色。解释器/模拟器：Gemma 3 与 Gemma 4，主实验用同一模型担任两职。
    • 附录 B：沿 overcomplete 库。扩展因子 8，故 m = 8p。DINO 的 p=768、s=256，潜变量 6144；ViT 的 p=1024、s=196，潜变量 8192；SigLIP 的 p=1152、s=256，潜变量 9216。Vanilla 的 L1 系数为 1e-3；TopK 取 K=0.2·m；MP-SAE 用 50 个 pursuit step，阈值 1e-3。输入先减几何中位数再除标准差。优化器 AdamW，学习率 5e-4，100 epoch，batch 1024，验证集上选重构损失最低的检查点。

    其他指标与成功判定

    • 附录 C：R2 是在 SAE 输入上的重构分数，越高越好。Sparsity 按 Fel (2024) 与式 (4) 实际衡量密度，越高越密。OOD Score、Coherence、Connectivity 越低越好，定义来自 Fel et al. (2025)。MS（Pach et al., 2026）在图像级码上计算，越高越好。
    • 附录 D：先按平均图像级激活保留前 10% 神经元，再去掉与类标签相关低于 0.1 的神经元。主表对筛选后的 top 200 算 Mean AIS 与 Mean MS；Table 3 的 Gemma 规模实验改为 top 100。
    • 用户研究（附录 G）：16 名机器学习方向参与者。任务用 CUB 上的 MP-SAE + DINO，神经元为 2174（Gemma 解释为 branches）和 9948（water）。每人先看 5 张高激活图及 0–2 的 patch 分数并写解释，再在 5 张新的高激活图加 5 张随机图上预测分数。人类 AIS 与 LLM AIS 都在 [0, 2] 上计算，以便和离散的人类打分对齐。全零真实激活的图被标成退化情形。

  4. 论文做了哪些实验？

    主实验覆盖 3 类 SAE、3 个嵌入器、3 个数据集；高 R2 与低 AIS/MS 同时出现，指标相关弱。

    实验设置

    • 被测组合：嵌入器 DINOv2、ViT、SigLIP；SAE 为 Vanilla、TopK、MP-SAE；数据为 CUB-200-2011（5794）、ImageNet100（100 类、每类约 200）、Caltech 101（4572）。解释与模拟主结果用 Gemma；Table 3 比较 Gemma3/4 的 2B–26B。描述器用 LLaVa 1.5。
    • 指标：Sparsity（越高越密）、R2（↑）、OOD Score（↓）、Coherence（↓）、Connectivity（↓）、Mean MS（↑）、Mean AIS（↑）。主表 AIS/MS 在筛选后的 top 200 特征上；Table 3 为 top 100。相关矩阵用 Table 2 的配置，作者把 |r|≥0.6 当作高相关（Akoglu, 2018）。
    • 对照：随机打乱 patch caption（Gemma4-12b）；文献 AIS 参照为 Huben et al. (2024) 的 GPT-4/3.5（约 0.15，150 个特征）和 Gujral et al. (2025) 的 Claude 3.5（蛋白约 0.66、氨基酸约 0.63，200 个特征）。MS 与 Pach et al. (2026) 图像级 SAE 的大致区间 [0.1, 0.6] 对照。
    • 用户研究：16 人、2 个 MP-SAE 神经元、每神经元 20 张模拟图中的分数；Figure 2(a) 去掉 6 张全零图后剩 14 张。论文未报告主实验的随机重复次数。

    主结果

    Table 2 的 Mean AIS 与 Mean MS（R2 均高，Connectivity 多数为 1.0000）：

    表格较宽，可左右滑动

    SAE × 嵌入器数据集Mean AISMean MSR2
    Vanilla × DINOCUB / IN100 / Caltech0.3493 / 0.2801 / 0.20490.0500 / 0.0059 / 0.01240.9706 / 0.9254 / 0.9511
    Vanilla × ViTCUB / IN100 / Caltech0.1621 / 0.2105 / 0.15100.1060 / 0.0808 / 0.08250.9629 / 0.9296 / 0.9322
    Vanilla × SigLIPCUB / IN100 / Caltech0.3518 / 0.3545 / 0.25220.0146 / 0.0033 / 0.00680.9901 / 0.9777 / 0.9736
    TopK × DINOCUB / IN100 / Caltech0.1619 / 0.0820 / 0.06360.0221 / 0.0026 / 0.00510.9596 / 0.9180 / 0.9135
    TopK × ViTCUB / IN100 / Caltech0.0226 / 0.0505 / 0.04770.0580 / 0.0489 / 0.04500.9521 / 0.9188 / 0.9034
    TopK × SigLIPCUB / IN100 / Caltech0.1458 / 0.0587 / 0.07790.0089 / 0.0023 / 0.00460.9894 / 0.9728 / 0.9660
    MP × DINOCUB / IN100 / Caltech0.3476 / 0.4332 / 0.37630.0090 / 0.0010 / 0.00210.9858 / 0.9792 / 0.9798
    MP × ViTCUB / IN100 / Caltech0.2817 / 0.4222 / 0.38340.0152 / 0.0101 / 0.01060.9265 / 0.8909 / 0.9047
    MP × SigLIPCUB / IN100 / Caltech0.2750 / 0.3213 / 0.27640.0028 / 0.0004 / 0.00110.9749 / 0.9564 / 0.9494

    表中 IN100 即 ImageNet100。Table 2 共 27 行，上表按嵌入器合并了三个数据集，数字均来自该表。Sparsity：Vanilla 约 0.498–0.502，TopK 约 0.197–0.200，MP 均为 0.0081。OOD 从 0.5944（MP×DINO×ImageNet100）到 0.8662（Vanilla×SigLIP×CUB）。Vanilla 的 Coherence 为 0.2111 或 0.3146；TopK 与 MP 多在 0.75–1.00。Connectivity 除 TopK×SigLIP 的 0.5584、0.8312、0.9738 和 TopK×ViT×CUB 的 0.9972 外均为 1.0000。

    • 作者解读：高 R2 并不带来可解释性；AIS 与 MS 都未超过 0.5，MS 处于 4×10−4 到 1.06×10−1，低于 Pach et al. 在相近扩展因子、最终嵌入上的大约 [0.1, 0.6]。作者称本文视觉 AIS 高于 Huben et al. 的文本 SAE，低于 Gujral et al. 的蛋白质 SAE。
    • 稀疏度：MP-SAE 的 Sparsity（密度）为 0.0081，AIS 仍与其他 SAE 同量级。作者用来重复第 2 节的说法：简单性与完整性之间的平衡难以用单一数字描述。
    • Connectivity：多数为 1，作者称之为 SAE 概念仍然多义的一条证据。

    指标相关

    Figure 3 给出 Table 2 上的相关：R2 与各指标为 0.12、0.03、−0.10、−0.31、−0.18、0.22；Sparsity 与 OOD 0.79、与 Coherence −0.91、与 Connectivity 0.05、与 MS 0.48、与 AIS −0.18；OOD 与 Coherence −0.86、与 MS 0.51、与 AIS 0.04；Coherence 与 AIS −0.16；Connectivity 与 AIS 0.23；MS 与 AIS −0.33。作者称除 Sparsity–OOD、Sparsity–Coherence、OOD–Coherence 外，相关不超过中等；后两组的符号与 LRH 所期望的“稀疏且低相干、OOD 与 Coherence 同向”相反。MS、AIS 彼此及与其他指标都未达到作者设定的高相关。

    用户研究与 LLM 规模

    • 人类对照：Figure 2(a) 上 Gemma 与参与者的 image-level AIS 相关 r=0.6202，p=0.0237，95% 区间 [0.133, 0.866]（Fisher z）。作者称样本小，估计不精确，但仍认为基于描述的 AIS 与人类感知相近。Table 1：神经元 2174 的 AIS LLM 0.6644、用户均值 0.5082±0.1480；神经元 9948 为 0.8800 与 0.6263±0.3091。6 张全零图中 LLM 认对 4 张；16 人里 7 人认对全部或几乎全部。作者称这支持模拟器不会在概念缺失处编造激活。
    • Gemma 规模（Table 3，Vanilla+DINO+CUB，top 100）：随机打乱 caption 的 Gemma4-12b 为 −0.0136。Gemma4-2b 0.2012，Gemma3-4b 0.2327，Gemma4-4b 0.3278，Gemma3-12b 0.3313，Gemma4-12b 0.3539，Gemma4-26b 0.3269。作者称 4B 可接近 3 倍或 6 倍参数量的模型；12B 及以下在本地跑，26B 经云端 API。Figure 6 统计 Gemma 解释里最高频的 20 个词，作者称多为笼统词。

    其他消融与分析

    • 附录 E / Table 4：Mean AIS 的 bootstrap 95% 区间很宽，例如 Vanilla×DINO×CUB 为 [0.1225, 0.5684]；部分 TopK 的标准差大于均值，如 TopK×ViT×CUB 的 0.0226±0.3125。
    • 附录 F：按数据集看最高频概念。CUB 上 branches 占最高频词的 14.76%，water 6.80%，sky 6.11%；ImageNet100 为 sky 7.35%、grass 6.65%、water 6.09%；Caltech 为 sky 11.22%、branches 10.15%、grass 6.48%。作者称 SAE 经常学到背景而不是前景物体。
    • 附录 H / Table 5（仅 DINO+CUB，Gemma4-12b）：Vanilla SAE 的 MS/AIS 在最终层为 0.0500/0.3493，第 8 层 0.0447/0.2968，第 5 层 0.0552/0.3965，第 2 层 0.0605/0.2994。无 SAE 的原始嵌入 MS 更高（0.0602–0.0612）、AIS 更低（0.2376–0.2971）。无 SAE 时越早的层 NaN 越多：最终层 2、第 8 层 127、第 5 层 167、第 2 层 181，作者核实均来自 (0,0) 激活对。
    • 附录 D 的筛选把参与 AIS 的神经元限制在与类标签相关的子集；论文未把“未筛选的全部神经元”作为主结果报告。

  5. 有什么可以进一步探索的点？

    作者认为低 AIS 不能只归咎于 SAE，固定网格和跨模态描述都会带入误差。

    作者指出的局限与后续方向

    • 跨模态有损（第 5 节 Vision AIS Limitations）：图像嵌入经文字描述再交给 LLM，作者认为可能丢掉视觉信息；Figure 6 里解释用词偏笼统，会影响到模拟分数。
    • 误差来源分不清（同节）：描述器、解释器和模拟器都会影响 AIS。作者写明，因此并不完全清楚低 AIS 能在多大程度上只归因于 SAE 概念难解释。
    • 固定网格（同节）：4×4 网格被用来对应序列 AIS 的切分，但不包含场景理解。作者提出可改用把切块和描述合成一步的动态不规则区域，或让较新的 VLM 直接看图，不再经过描述。
    • 小样本相关（第 5 节用户研究）：Figure 2(a) 的正相关“估计得相当不精确”，作者把原因归于样本量小。
    • 没有通用 SAE（第 6 节）：作者认为不存在一种 SAE 设计能在各种数据和模型上都给出有用解释；需要把任务领域知识和基于现实的指标织进训练与评测。并称还需要超出标准 LRH 假设、更深入的效率与可解释性研究。
    • 解释方法的更大议程（第 6 节）：作者支持更形式化的解释方法、对 XAI 指标的进一步理解、解释中的噪声与不确定性、对解释器的监督与真实数据，以及按任务和受众定制（引 Haufe et al., 2026; Afroogh et al., 2026; Biessmann & Refiano, 2021; Longo et al., 2024）。

    实验覆盖范围

    • 主表：3 种 SAE × 3 个嵌入器 × 3 个数据集，共 27 个配置；AIS/MS 在附录 D 筛选后的 top 200 特征上计算，Table 3 为 top 100。
    • 用户研究：16 名参与者、2 个神经元（MP-SAE + DINO + CUB）、激活分档为 0–2；Figure 2(a) 使用 14 张非退化图。
    • LLM：Table 3 报告 Gemma3-4b、Gemma3-12b 与 Gemma4 的 2b、4b、12b、26b；解释器与模拟器为同一模型。描述器固定为 LLaVa 1.5、网格 4×4。
    • 层间对照：附录 H 只给出 DINO 嵌入、CUB、Vanilla SAE 与无 SAE 原始嵌入在最终层及第 8、5、2 层的 MS 与 AIS。
    • 论文未报告主实验的重复次数，也未报告每个配置的 SAE 训练随机种子数量；外部 AIS 数字来自不同特征数（150 或 200）和最终层嵌入，作者在 Table 3 中单独列出。

  6. 总结一下论文的主要内容

    视觉 SAE 重构很好，但 AIS、MS 与字典指标互不对齐，单一代理不足以核验 LRH。

    这篇工作把 NLP 的 AIS 改到视觉 SAE，用来检查 LRH 的结构代理是否等于人类可解释性。

    • 问题：SAE 被用来把叠加的多义特征拆成稀疏方向，但视觉评测常停在重构、稀疏和字典正交，作者认为这些条件即使满足，也没有保证概念对齐人类感知。
    • 方法：在 DINOv2、ViT、SigLIP 的 patch 嵌入上训练 Vanilla、TopK 和 MP-SAE（扩展因子 8）。LLaVa 1.5 以 4×4 网格写局部描述；Gemma 根据 5 张高激活图归纳概念，再在 5 张高激活图加 5 张随机图上预测激活。AIS 是预测与真实 patch 激活的 Pearson 相关。
    • 主结果：Table 2 的 27 个配置里 R2 从 0.8909 到 0.9901，Mean AIS 从 0.0226（TopK×ViT×CUB）到 0.4332（MP×DINO×ImageNet100），Mean MS 最高 0.1060。Connectivity 大多为 1.0000。Figure 3 中 Sparsity 与 OOD 相关 0.79，Sparsity 与 Coherence 为 −0.91，MS 与 AIS 为 −0.33。
    • 验证：16 人调查中，Gemma 与用户 AIS 的 r=0.6202（14 张图，p=0.0237）。两个神经元上 LLM 的 AIS（0.6644、0.8800）高于用户均值。打乱 caption 后 Gemma4-12b 的 Mean AIS 为 −0.0136；同设置下 Gemma4-12b 为 0.3539，Gemma4-4b 为 0.3278。
    • 结论：作者认为没有任何单一、无真实参照的指标足以核验视觉 SAE 是否可解释，并主张用更可检验、锚定真实概念的方式设计与评估解释方法；低 AIS 也不能排除描述和 LLM 环节引入的误差。
阅读原文arxiv.org