医学 AI 编码“错误感”：用内部概念验证癌症分割

癌症分割模型会静默失败，作者要问模型内部是否编码了可检测、可解释的“错误感”（Feeling of Error, FOE）。

• 临床场景：作者称，即使表现好的模型也会生成解剖上看似合理但错误的 mask，可能漏检或导致不必要的活检；临床医生人工核查大量 mask 负担重。
• 输出线索的不足：置信度、不确定性等输出统计不解释失败原因。作者报告，用这些代理把失败检测 F1 提高 20 个点，分割 DSC 会下降 8–10 个点，即灵敏度–质量权衡。
• 核心观察：作者用 SAE 分解 ViT 分割模型的内部激活，称失败样本激活的概念更少、幅度更低；部分概念与临床解剖术语对齐。
• 提出的方法：在早、中、深层提取概念并拼接为失败表征，再用轻量分类器学习概念交互，同时做失败检测、解释和基于 patch 的校正。
• 贡献表述：作者称该方法事后作用于预训练分割模型，在前列腺与胰腺癌上同时提高失败检测并保持分割质量；摘要还提到脑癌分割实验。

论文 Related Work 按三类组织，引言还对照了输出层线索与概念瓶颈模型。

• 癌症图像分割：U-Net [58] 及其变体 [32] 是多模态肿瘤勾画的常用架构；近期工作用 ViT、注意力和多尺度融合提升精度，作者点名 TransUNet [11]、Swin-UNETR [24]。作者称这些模型仍会产生临床重要的假阳性和假阴性。
• 医学 AI 中的失败检测：现有方法依赖输出不确定性，包括预测置信度与熵 [26]、能量分数 [46]；作者称它们能标出潜在错误，但不解释原因，且跨数据集泛化差 [54]。基于图像质量评估 [9] 或集成分歧 [38] 的质控同样缺少可解释性。作者把本文定位为用内部概念补这一缺口。
• 可解释性与概念方法：梯度归因包括 GradCAM [60]、IG [63]；SAE [15, 65] 用于概念提取。MedSAE 应用包括细胞分析 [17]、疾病检测 [57]、病理 [39] 和报告生成 [1]。TCAV [34]、CBM [37, 71] 和医学 VLM [20, 35] 需要人工标注；无监督概念发现 [4, 45] 面向自然图像。作者称本文与事后解释不同，是把无监督 SAE 概念用于可采取行动的分割失败检测。
• 基线与数据：失败检测基线为 MaxProb、MeanProb、Entropy [26]、Energy [46] 和直接概率阈值；附录另加测试时增强（TTA）[67]。数据集为 PI-CAI [59]、Prostate158 [2]、PanTS [42]，附录使用 MSD-Brain。引言中的分割骨干包括 ViT 分割模型 [14, 47, 72] 与 Medical SAM 变体 [10, 47, 48]，实验骨干为 MedSAM [47]。

作者把本文与 CBM 的区别写成：事后作用于任意预训练分割模型、无需改架构，并用 SAE 无监督发现概念，不需要人工概念标注；与医学 VLM 不同，内部概念不必完全对齐人类语言，部分最有预测力的失败概念是非语义的。

作者在冻结的分割模型内部用 Sparse Autoencoder（SAE） 抽出概念，再训练分类器预测失败并支持解释与校正。

失败定义与 SAE

• 失败定义：分割模型 f 把图像映到二值 mask。质量指标 E（如 Dice）满足 E(m̂, m∗) ≤ τ 时记为失败；论文未给出实验中使用的 τ。
• SAE：对层激活 h，编码器得到稀疏概念 z = ReLU(W_enc h + b_enc)，解码器重建 ĥ。训练损失为重建误差加 λ‖z‖₁。
• 两条发现：Fig. 2 在 PI-CAI 上，成功样本的活跃概念数和平均激活高于失败样本（p < 1e−5，Cohen’s d > 1.8）。概念与病灶或解剖 mask 的 IoU ≥ 0.5 时自动赋临床标签；两名放射科医师确认所展示标签均一致。

跨层失败表征

• 采样层：在 ViT 上均匀取 L = {1, 3, 5, 7, 9, 11}，每层独立训练 SAE。训练集同时包含正确预测与失败。
• 拼接：c(x) 为六层稀疏向量的拼接，维度为 |L|·D。作者称失败可能来自浅层视觉问题或深层语义混淆，因此不选单一“最佳”层。
• patch 级：SAE 直接训在 patch embedding 上，以保留空间粒度。概念 k 的空间激活图用于定位其主要响应区域。

失败分类与校正

• 分类器：主分类器为 XGBoost，在由训练/验证集标注得到的二分类数据上最小化带复杂度正则的二元交叉熵。重要性分数回映到概念与层。
• 校正：分类器在 patch 级打分。校正 mask 仅保留局部失败分数低于阈值 η 的 patch，以保留高置信真阳性。论文未给出 η 的取值。
• 实现参数：骨干为去掉手工提示的 MedSAM，按任务用 Focal Loss（α = 0.97，γ = 2）和 Adam（weight decay 1e−4）微调。SAE 用 BatchTopK，学习率 1e−4，5 个 epoch，字典大小 D = 1,536，稀疏度 S = 8。

实验设置

• 模型：分割骨干为微调后的 MedSAM；失败检测器主模型为 XGBoost，消融含 logistic regression、decision tree、random forest。
• 数据：PI-CAI 为 1,500 例 mp-MRI，划分 1,200/60/240（训练/验证/测试）。Prostate158 共 158 例，全部用于零样本。PanTS 子集随机抽 700 例 CT，划分 448/112/140。附录另有 MSD-Brain 的假阳性校正可视化。
• 基线：MaxProb、MeanProb、Entropy、Energy 及直接概率阈值，阈值在 [0.5, 0.8] 变化。附录在 PI-CAI 上加入 K=6 的 TTA。
• 指标：分割用 DSC；失败检测主指标为 F1，另报 AUROC 与 FPR95；Table 1 还报 AUPR，Table 7 报 Acc。
• 概念验证：IoU ≥ 0.5 自动赋标签后，两名执业放射科医师独立判断，作者称对全部展示标签均同意。
• 开销：单张 RTX A6000、输入 1024²、100 次前向。论文未报告失败标签阈值 τ、分类器重复次数，也未给出 PI-CAI 与 PanTS 的逐基线完整数值表。

主结果

主文没有给出 PI-CAI、PanTS 上各基线的完整数值表。Fig. 5 以散点比较 F1 与 DSC，灰线为基线 Pareto 前沿；图中标注 Ours 相对该前沿为前列腺 +8.7 DSC、+6.2 F1，胰腺 +2.3 DSC、+9.2 F1。可回查的检测数字来自零样本 Table 1 与消融表。

表格较宽，可左右滑动

设置	指标	Ours	对照	出处
Prostate158 零样本	AUROC	73.6	Entropy 53.1；Energy 48.0	Table 1
Prostate158 零样本	FPR95	64.4	MaxProb/MeanProb/Energy 100.0；Entropy 97.8	Table 1
Prostate158 零样本	AUPR	74.1	Entropy 65.6；MaxProb 64.4	Table 1
D=1536, S=8	F1 / DSC	63.5 / 50.1	同表其他 S、D 组合	Table 2
全层概念	F1 / DSC	63.5 / 50.1	Deep F1 57.6；Early F1 44.5	Table 3

• 作者解读：Fig. 5 上基线呈现 DSC 与 F1 的 Pareto 权衡；作者称内部概念同时取得更高 DSC 和更高 F1。
• 零样本：作者称 MaxProb、Entropy 等 AUROC 接近随机，概念检测器在三项指标上更好；Fig. 6 在 Prostate158 上仍分开成功与失败（p < 1e−5，图中 Cohen’s d 为 1.20 与 1.22）。
• 解释：Fig. 8 的 Top-5 重要性集中在肿瘤相关概念及腺体边界、腺体外区域。Fig. 7 展示幻觉病灶和边界错误两类失败，并给出校正前后 DCS。

概念分离与层级预测力

• PI-CAI：Fig. 2 报告成功样本活跃概念更多、激活更强，p < 1e−5，Cohen’s d > 1.8。右侧示例中 #469（“tumor”）仅在成功样本强激活，#968、#204 在两类中都激活。
• 单概念 AUROC：Fig. 3 以 Δrandom = AUROC − 0.5 展示每层前 5 个概念。作者称深层整体预测力更强，中层失败预测概念更多，浅层判别较弱。附录称 Layer 9 的 Δrandom 约为 0.10–0.13，Layer 5 更偏向假阳性预测概念。
• 干预：Table 6 放大 Layer 11 的肿瘤相关概念 #469（α = 2），相对 raw mask 的 ΔDSC 为 −0.173；只做 SAE 重建为 +0.013，放大非肿瘤随机 latent 为 +0.035。Fig. 12 两例由 DSC 0.409 降到 0.200、由 0.710 降到 0.339。作者称这是 #469 影响输出的干预证据，而不只是相关。

TTA、脑肿瘤可视化与开销

• TTA：Table 7 在 PI-CAI 上，MedSAM base 的 F1/Acc/DSC 为 0.359/79.55%/0.513；TTA（K=6）为 0.592/94.34%/0.434，成本 6×；Ours 为 0.635/95.85%/0.501，成本为 1 次前向加 6 个 SAE。K=4 的 F1 为 0.591。
• MSD-Brain：Fig. 13 展示假阳性区域定位与去除后的 mask。图中没有数值；作者未在该图注中报告 DSC。
• 延迟：Table 5 中 MedSAM 为 126.3 ± 0.5 ms；加 6 个 SAE encoder 为 130.9 ± 2.7 ms（+3.7%）；再加 decoder 为 134.3 ± 0.3 ms（+6.3%）；完整流水线含 XGBoost 为 176.5 ± 13.3 ms（+39.7%），约 5.66 img/s。显存 +60 MB（+1.8%），六个 SAE 占磁盘 54 MB。

其他消融与分析

• Table 2：D=1536 时 S=4/8/16 的 F1 为 60.3/63.5/62.5，DSC 为 49.7/50.1/49.9；D=3072、S=8 的 F1 为 57.4、DSC 为 49.7。作者称最优为 D=1536、S=8，低于自然图像常见的 S≈16、D≈10,000。
• Table 3：Early/Mid/Deep/All 的 F1 为 44.5/50.4/57.6/63.5，DSC 为 47.5/48.8/49.6/50.1。
• Table 4：XGB、Logistic、Decision Tree、Random Forest 的 F1 为 63.5/59.2/58.7/57.0，DSC 为 50.1/47.8/48.5/44.6。
• Fig. 7 四例校正后 DCS：PI-CAI 由 74.1 到 86.5、由 78.5 到 85.0；PanTS 由 29.3 到 40.7、由 54.5 到 68.9。Fig. 4 另有由 38.6 到 66.2 的示意。
• Fig. 8 重要性分数可见数值包括 0.050、0.045、0.031、0.025、0.021，对应 L11 与更浅层的肿瘤及边界概念。
• 摘要写前列腺、胰腺和脑癌；贡献第 (3) 条只写前列腺与胰腺。主结果表未单列 Energy 以外的逐点 DSC。

作者指出的局限与后续方向

• 共现而非因果：作者在 Conclusion, Limitations, and Future Work 中写，方法目前刻画概念出现，而不是概念之间的因果关系；希望用因果中介分析或因果抽象做可干预的调试。
• 按癌种训练 SAE：同一节写，SAE 目前针对每种癌症单独训练，换解剖结构需要重训。作者提出跨脑、肝、肺等多种癌症训练通用 SAE 的方向。
• 失败类型过粗：同一节写，希望从二分类失败扩展到边界错误、形状与大小估计失败等具体失败模式。
• 缺失模态：同一节写，可把框架扩展到缺失模态的医学分割，学习模态特异与共享概念，并用于自适应融合和模态填补。

实验覆盖范围

• 分割实验骨干为 MedSAM；检测分类器主结果用 XGBoost，Table 4 比较了另外三种分类器。
• 数据集为 PI-CAI（1,500，划分 1,200/60/240）、Prostate158（158，零样本）、PanTS 子集（700，划分 448/112/140）；附录 Fig. 13 展示 MSD-Brain 的校正可视化。
• 失败检测基线为 MaxProb、MeanProb、Entropy、Energy 和概率阈值；附录 Table 7 加入 K=6 与 K=4 的 TTA。作者写明不与把失败检测写入训练目标的方法比较，因为目标场景是冻结的预训练模型。
• SAE 固定为六层、BatchTopK、5 epoch、D=1,536、S=8；Table 2–3 改变字典大小、稀疏度和层深度。延迟在 RTX A6000、1024²、100 次前向上报告。
• 概念标签协议为 IoU ≥ 0.5 加两名放射科医师确认所展示标签。论文未报告失败判定阈值 τ、η、主测试集逐基线的完整 F1/DSC 表，以及评审一致性的数值。

作者研究癌症分割模型是否在内部表征里编码类似人类 FOE 的失败信号，并把它用于检测、解释和校正。

• 问题：输出置信度不说明失败原因。作者报告，这类代理把失败检测 F1 提高 20 个点时，DSC 下降 8–10 个点。
• 方法：在冻结 MedSAM 的第 1、3、5、7、9、11 层 patch 激活上分别训练 SAE（D=1,536，S=8），拼接概念后用 XGBoost 预测失败；低于阈值的 patch 予以保留。概念可按空间激活定位，并与 IoU ≥ 0.5 的解剖标签对应。
• 分离：PI-CAI 上成功与失败的活跃概念数和激活强度分开（p < 1e−5，Cohen’s d > 1.8）。Prostate158 零样本上仍分开（图中 d 为 1.20 与 1.22）。
• 检测：Table 1 中，PI-CAI 上训练的检测器在 Prostate158 上 AUROC 73.6、AUPR 74.1、FPR95 64.4；Entropy 的 AUROC 为 53.1，Energy 为 48.0。Fig. 5 标注相对基线 Pareto 前沿，前列腺 +8.7 DSC、+6.2 F1，胰腺 +2.3 DSC、+9.2 F1。全层概念的 F1/DSC 为 63.5/50.1。
• 干预与结论：放大肿瘤概念 #469 使 ΔDSC 为 −0.173，两个对照分别为 +0.013 与 +0.035。作者的结论是，概念激活能区分真假阳性并支持可解释校正，且在置信度方法接近随机的零样本设置上仍可用；同时承认目前只看到共现，SAE 也按癌种分开训练。