跨架构知识蒸馏如何影响模型可解释性：ResNet-152 到 ResNet-34 的视觉解释迁移研究
Transferring Visual Explanations: How Cross-Architecture Knowledge Distillation Affects Model Interpretability
AI 导读
研究将 ResNet-152 教师蒸馏到 ResNet-34 学生，在 ImageNet-1K 上以五种温度与软标签损失权重配置检验知识蒸馏能否迁移空间特征归因。学生 top-1 准确率为 71.6%–74.0%；Grad-CAM 的 RMA 为 7.7%–9.7%、RRA 为 7.3%–10.1%，Guided Grad-CAM 的 RMA 为 16.1%–18.6%、RRA 为 15.9%–21.5%。可解释性对软标签权重远比温度敏感，且所有配置下细粒度归因均低于未蒸馏基线；12 组卷积与 Transformer 跨架构组合显示细粒度空间推理的继承受学生固有结构偏置制约。