ConEx：通过概念感知归因生成人类可解释的显著性图

视觉解释难以同时说明模型看哪里，以及看到的是何种语义概念。

• 场景：作者认为 CNN 与 ViT 准确但不可解释，而高风险决策需要理解依据，以建立信任并支持负责任部署。
• 现有不足：作者称显著性能定位注意区域，但语义有限；概念方法缺少空间位置，且常依赖人工监督或聚类启发式。
• 作者的看法：作者认为与人类对齐的概念可能减轻虚假相关，使解释对应视觉因素，而非背景伪影或数据集偏差。
• 本文提出：ConEx，全自动、post-hoc、不重训练。它发现类别概念，给出其位置与对预测的贡献，并定义 VCM 与 CCM。

引言与 Related Work 把相关工作分成像素归因、概念解释，以及 CNN 与 ViT 的差异。

像素级事后归因

• 梯度与激活：Simonyan 等（2013）、Sundararajan 等（2017）、Srinivas 与 Fleuret（2019）反传类别分数；CAM（Zhou 等，2016）及其扩展用特征图定位；RISE（Petsiuk 等，2018）测掩码敏感度。
• 组合归因：Grad-CAM、路径积分、SHAP（Lundberg 与 Lee，2017）和 LRP（Bach 等，2015）。作者称它们显示关注位置，但未说明何种语义概念驱动决策。
• 特征可视化：Olah 等（2017；2018）试图呈现特征，作者称其仍然抽象，难映射到可理解概念。

概念可解释性

• 有监督概念：Network Dissection（Bau 等，2017）把单元对齐到标注概念。CAV/TCAV（Kim 等，2018）定义用户概念方向并做统计验证。作者称其依赖人工监督或人工策划。
• 自动与瓶颈：ACE（Ghorbani 等，2019）用无监督聚类；作者称通用片段和全图 CAV 可能混杂特征。ICE（Zhang 等，2021）、MCD（Vielhaben 等，2023）分别做生成式操纵和概念交互。CBM（Koh 等，2020；Yuksekgonul 等，2023）经概念层预测；作者称通常需要大量训练时标注。
• 向量训练：作者称分类器式 CAV（如线性 SVM）对样本和异常值敏感（Martin 与 Weller，2019），且不少方法用粗粒度图像级监督。

定位结合与架构

• Visual-TCAV：De Santis 等（2024）把 difference-of-means CAV 做空间池化并生成概念定位图。作者称它需要人工样例、限于用户指定概念，并用全图建向量。
• ViT：Chefer 等（2021b）、El-Nouby 等（2021）做 transformer 归因。作者称概念框架仍以 CNN 为主，主因是 ViT 缺少空间对应（Lee 等，2024）。
• 掩码特征：作者称不规则掩码需要专门的特征抽取（Jain 等，2022）。本文针对这一问题给出架构特定嵌入。

基线与基准

• 显著性基线：GC、IG、SC、FG、RISE、AC、SHAP、IIA。概念基线：ACE、ICE、MCD；第 4.4 节另用 Visual-TCAV 的 CAV 做法得到 Con-Vis。
• 数据：ImageNet、CUB-200-2011、Stanford Dogs、Imagenet-Segmentation、FunnyBirds。

作者把本文区别写成：自动发现并验证类别判别概念，用架构特定嵌入构造 CAV，再与 LRP 乘性融合，从而同时给出位置和语义。

ConEx 自动发现类别概念，建成 CAV 后与模型相关性相乘，得到可定位解释。Figure 2 分成概念发现和解释生成；完整局部管线面向 CNN。

问题设定

• 目标：预训练分类器把图像映到类别 logits。每个概念需要潜空间方向、定位函数，以及对类别 c 的贡献。
• 约束：不人工策划概念，也不额外训练。作者称 ViT 的局部概念解释超出本文范围，但 CAV 构造兼容 CNN 与 ViT。

概念发现与验证

• 文本属性：按 Oikarinen 等（2023）的流程为每类抽取判别属性。实现中初始概念由 GPT-4o 生成。
• 分割：GroundedSAM 在概念可见时返回掩码，否则为空。附录 B 的 box/text 阈值为 0.3 与 0.25；无标签时附录 C 改用预测标签。
• 筛选：出现率是类内非空掩码比例，空间覆盖是与类物体掩码的平均 IoU。阈值 ≥15% 与 ≥20%，得到 CUB 348、SD 189、IN 3,602。

CAV 与嵌入

• 质心差：正负片段各 N 个。CAV_k=μ⁺_k−μ⁻_k，即正负嵌入均值之差。实现 N=100。作者称它比 SVM 类 CAV 更抗扰动。
• CNN：在最终卷积层做逐层掩码，只留未掩码激活。仅第一层用 7×7 邻域均值填充，作者称以此避免边界伪影和上下文泄漏。
• ViT：取第 6 层中与片段重叠的 patch 并平均，不用 [CLS]。作者称其优于 [CLS]，论文未给出该对比数字。

归因与全局分数

• 概念图：CWV 是 CAV 的空间全局平均。与潜表示加权并经 ReLU 后，按正质心最大激活归一化到 [0,1]。
• 融合：CIM^c_k(x)=M_k(x)·∑_h ReLU(CWV_h(k))· S^c_h(x)。LRP 用 ϵ-rule，ϵ=0.01。作者称只在概念与相关性重合处放大。
• 汇总：把高于均值 τ 的概念区域置零，用概率下降作权重，再对类概念求和。Gck 为类内平均，用于类级描述。

质量判定

• VCM：概念片段上，CAV 与潜表示的平均余弦，衡量方向是否对上视觉含义。
• CCM：CAV 与类别 logit 梯度的平均余弦，衡量概念是否正向影响类别决策。评测 ConEx 时用 CWV。

Table 1 中 ConEx 的 INS 高于所列方法、DEL 低于所列方法；作者称这对准决策区域而非虚假相关。

实验设置

• 模型：ResNet50、DenseNet121、ConvNeXt-Base、ViT-Base、ViT-Small，来自 timm 的标准预训练权重。FunnyBirds 使用提供的 RN。
• 数据：ImageNet、CUB、Stanford Dogs、Imagenet-Segmentation、FunnyBirds（500 图、50 类）。概念数为 CUB 348、SD 189、IN 3,602。
• 基线：显著性为 GC、IG、SC、FG、RISE、AC、SHAP、IIA；概念为 ACE、ICE、MCD。均用官方实现和作者推荐超参。
• 忠实性：INS、DEL 为插入/删除 AUC。FunnyBirds 用 beak、wings、feet、eyes、tail，报告 CMP、CRC、CNT，并取 Table 1 前 5 个方法。
• 概念协议：CINS/CDEL 用 100 个随机 IN 类、1,000 张图。VCM 用 20% 留出片段，200 个出现率至少 25% 的概念、各 25 段。CCM 为 50 类×5 概念×20 段，再对每类 100 张图平均。
• 评审差异：CNN 上 ACE，以及全部 ViT 评测，概念重要性用 TCAV 分数。人工为 58 人、约 30 分钟、被试内。论文未报告 Table 1 的图像数、重复次数和 IN-S 规模。

主结果

据 Table 1。INS 越高越好，DEL 越低越好。IIA 在该表各行均为 INS 次高、DEL 次低。

Swipe horizontally to read the table

设置	ConEx INS	IIA INS	ConEx DEL	IIA DEL
CUB, RN	59.47	58.13	8.19	9.21
CUB, DN	59.62	58.81	8.03	8.96
CUB, CN	59.12	58.48	8.25	9.68
IN, RN	59.11	58.03	8.49	9.53
IN, DN	59.32	58.76	8.33	9.62
IN, CN	58.77	58.12	8.44	9.35

• 作者解读：作者称高 INS、低 DEL 说明解释对准决策区域并排除虚假相关，且概念级结果仍超过 GC、SC、IIA。
• SD：附录 Table 8 中 ConEx 的 INS 为 RN 58.17、DN 58.53、CN 58.04，DEL 为 8.91、8.76、8.88。作者称趋势与正文一致。
• 范围：Table 1 与 Table 8 未列 ViT。作者称 Figure 3（RN，类别含 wing、hornbill、convertible 等）中 ConEx 比 GC、FG 更局部；文本未给出图中数值。

概念质量

• CNN：Table 3 中 IN、RN 的 ConEx 为 CINS 51.20、CDEL 8.74、VCM 0.68、CCM 28.01；同格 MCD 为 48.16、9.56、0.56、20.22。
• ViT：同表 ViT-B 的 ConEx 为 35.33、10.35、0.53、18.43；ViT-S 为 34.30、10.51、0.51、17.92。作者将低于 CNN 归因于 patch 表示。
• 口径：上述 ViT 行和 CNN 上的 ACE 使用 TCAV 分数。作者称高 VCM、CCM 表示方向更纯，且与类别决策相关。

FunnyBirds 与分割

• FunnyBirds：500 图、50 类、提供的 RN。Table 2 中 ConEx 的 CMP/CRC/CNT 为 0.78/0.64/0.92，IIA 为 0.74/0.59/0.88。作者称三项为该表最高。
• 分割：附录 Table 11 的 ConEx 为 RN 0.76/0.89/0.83，DN 0.72/0.87/0.86，CN 0.74/0.90/0.85（mIoU/mAP/PA）。
• 作者解读：作者称概念分解虽比通用 saliency 更受约束，仍比 Table 1 前五方法更对齐物体边界，并对应有意义部件。

人工评估

• 理解性：Table 4（IN、RN，58 人）中 ConEx 的 SA/PRC/INNS/INTS 为 72.13/70.48/0.52/0.28；ACE 为 58.47/49.51/0.41/0.34，MCD 为 34.32/62.28/0.47/0.39。正文写 PPR，表头写 PRC。
• 检验：ANOVA 的四项 p 均 <0.001。ConEx 对 ACE 的 INTS p=0.0149，SA、PRC、INNS 的 p<0.001。对 MCD 的 INNS p=0.006、PRC p=0.001。ACE 对 MCD 的 PRC、INNS p 为 0.3549、0.4143。
• 概念集：10 个 IN 类的 CLR/MNF/COR 为 8.3/7.9/8.5。作者称这支持无需人工干预的词表。G.2 未单列评分人数。

其他消融与分析

• CAV 构造（IN、RN，Table 5）：ConEx INS/DEL 59.21/8.34；Con-MCD 58.16/10.22；Con-ICE 57.92/9.83；Con-ACE 57.45/9.58；Con-Vis 56.98/10.61。与 Table 1 的 59.11/8.49 不同，论文未说明子集。
• 融合方法（IN、RN，Table 6）：ConEx 59.21/8.34；Con-IIA 58.96/8.65；Con-GC 58.68/8.92；Con-SHAP 56.99/9.84。单独 GC/SHAP/IIA 为 54.92/12.68、47.54/15.49、58.39/9.48。
• 片段 vs 全图（IN，RN/CN/DN 平均，附录 H.1）：VCM 0.68 对 0.59，CCM 27.83 对 24.68。
• 样本数 N（IN、RN，Table 10）：N=10 为 VCM 0.55、CCM 21.41；N=100 为 0.69、28.10；N=200 为 0.71、28.98。
• 层（IN，Table 9）：ViT-B 第 6 层 VCM/CINS 为 0.54/35.38，第 12 层为 0.40/32.40；RN 最后一层 VCM/CDEL 为 0.68/8.83，L−2 为 0.63/9.15。
• 阈值（附录 C，RN、IN、每类 5 图）：作者称 15%/20% 最高，但未给该档 INS/DEL。40%/40% 由 4,602 降至 1,022，INS/DEL 为 57.41/10.59；5%/10% 为 5,835 个，56.81/11.82。

作者指出的局限与后续方向

• 分割：解释质量依赖零样本模型 GroundedSAM，可能引入空间不确定性（附录 J）。作者同时称它优于以往 grounding 方法。
• ViT：目前能给全局解释，但不能给实例级局部解释（附录 J；附录 E 亦称局部概念解释超出本文范围）。
• 耗时：作者称相对现有概念框架成本中等，但因多阶段验证慢于 Grad-CAM 等像素方法（附录 J）。论文未报告耗时。
• 后续：局部 ViT 概念归因、扩展到非视觉领域，以及更紧凑的概念选择与嵌入（附录 J）。
• 定位：作者将 ConEx 设想为衔接人类理解与模型推理的概念中心解释基础（附录 J）。

实验覆盖范围

• 模型：被解释模型为 ResNet50、DenseNet121、ConvNeXt-Base、ViT-Base、ViT-Small，权重为 timm 标准预训练（Sec. 4.1）。
• 扰动表：Table 1 含 CUB、IN 的 RN/DN/CN；附录 Table 8 含 SD 的这三模型。论文未报告这些表的图像数与重复次数。
• 概念表：Table 3 在 IN 上对五个模型报告 CINS、CDEL、VCM、CCM，对照 ACE、ICE、MCD；CINS/CDEL 用 100 类、1,000 图。
• 部件与分割：FunnyBirds 为提供的 RN、500 图、50 类和五个预定义部件。分割为 IN-S 上 RN、DN、CN（附录 Table 11）。论文未报告 IN-S 规模。
• 人工与管线：理解性为 58 人，方法为 ACE、MCD、ConEx，IN 上五个类。作者称完整空间解释管线目前面向 CNN（Sec. 3）。

ConEx 是不重训练分类器的 post-hoc 框架，把自动概念变成带位置的视觉解释。

• 问题：像素图只标注意位置，概念方法缺少空间落地，且常要人工概念或重训练。
• 做法：GPT-4o 按既有流程生成类别属性，GroundedSAM 以出现率 ≥15%、覆盖 ≥20% 筛选；CAV 为 N=100 的质心差，再与 LRP 相乘。
• 忠实性：Table 1 中 IN、RN 的 ConEx INS/DEL 为 59.11/8.49，IIA 为 58.03/9.53。该表与附录 Table 8 只有 RN、DN、CN。
• 概念与人工：Table 3 中 IN、RN 的 VCM 为 0.68、CINS 为 51.20，ViT-S 的 VCM 为 0.51。Table 2 的 CNT 为 0.92；Table 4 的 SA 为 72.13。
• 作者结论：作者称落入表示空间的概念解释可以同时可理解、忠实，并对虚假相关稳健。附录 J 写明依赖 GroundedSAM、ViT 无实例级图，且慢于 Grad-CAM。