跨架构知识蒸馏如何影响模型可解释性：ResNet-152 到 ResNet-34 的视觉解释迁移研究

知识蒸馏在把大网络压成小网络时，会不会连空间特征归因一起传下去，以及这由哪些超参和架构决定。

• 场景：作者称紧凑卷积网络的分类准确率可以接近大得多的模型，适合算力、内存或延迟受限的部署；但变小之后，驱动预测的特征更难看清。作者称这在自动驾驶的实时感知和医学诊断支持里尤其要紧。
• 现有不足：Hinton等人的KD让轻量学生复现大教师经温度软化的输出分布，从而学到类间关系而不只是真值。作者称多数KD工作主要报告分类准确率，学生是否保住使决策可解释的行为仍不清楚。
• 不能从剪枝外推：剪枝从已有架构删除参数，蒸馏是训练一个新的更小架构去模仿教师。作者称剪枝上的空间可解释性结论不能直接外推，也不清楚这种转移是否取决于软标签和真值的平衡。
• 本文的做法：把原先用于剪枝的Grad-CAM、RMA、RRA用于KD。在ImageNet-1K上把ResNet-152蒸馏到ResNet-34，扫描温度T和软标签权重α；再用VOC2012物体掩码衡量热图对齐。另评12组卷积网络与Transformer的跨架构组合。作者称据其所知，这是该解释评估框架第一次用于KD。

论文在引言和Related Work里讨论的，主要是视觉解释、面向可解释性的剪枝，以及标准logit蒸馏。

视觉解释

• Grad-CAM（Selvaraju等，2017）：由卷积层梯度生成热图，标出对预测影响大的图像区域。论文把它当作定量评估的输入，没有另作批评。
• RMA与RRA（Arras等，2022）：论文称RMA是总热图相关性落在真值bounding box内的比例，RRA只用相关性最高的像素评估这一关系。论文采用这两项，未批评其定义。

剪枝中的可解释性

• Cassano等（2025）：用Grad-CAM配合RMA、RRA，比较剪枝后的卷积网络和视觉Transformer。作者转述其观察：去掉参数时，卷积网络通常在准确率和可解释性之间权衡，视觉Transformer两者的相关更紧。
• Yeom等（2021）：训练中用Layer-wise Relevance Propagation（LRP）找出并剪掉较不相关的成分，使可解释性与压缩可以一起优化。论文没有批评这条剪枝准则。

知识蒸馏

• Hinton等（2014）：学生复现较大、已预训练教师的输出分布；温度把概率软化，使学生学到类间关系，而不只拟合真值标签。引言称KD文献大多关注分类准确率。

基线与基准

• 基线：未蒸馏学生，即Table 1的“-”行和Table 2的Student Baseline；Table 1也单独报告三名教师。论文没有用其他蒸馏算法作对照。
• 基准：ImageNet-1K上的top-1、top-5；VOC2012的像素级分割掩码，用于RMA、RRA。

作者的定位是：剪枝与蒸馏的压缩机制不同，前者从既有架构删参数，后者训练新的更小架构去模仿教师，因此剪枝结论不能直接外推。作者把上述框架接到KD，用来看学生是否继承教师的空间局部化决策，以及这是否取决于软标签和真值的权重；并称据其所知，这是该框架第一次用于KD。

整体做法是标准 logit Knowledge Distillation：冻结的大教师提供软标签，小学生同时拟合真值；训完后用热图和物体掩码的对齐，看空间解释有没有留下。

数据、架构与配对

• 数据：ImageNet-1K用于全部训练，并评估教师和学生的top-1、top-5。VOC2012提供像素级分割掩码，用来划定物体的空间边界。
• 主实验：教师ResNet-152，学生ResNet-34。作者称参数量大约有三倍压缩，论文未给具体参数量。
• 跨架构：教师为ResNet-152、EfficientNet、ViT，学生为ResNet-34、MobileNetV4、轻量EfficientNet、紧凑ViT。Table 1写明efficientnet_b7、vit_l_16、efficientnet_b0、vit_s_16、mobilev4 small。12组里既有CNN到CNN、Transformer到Transformer，也有两个方向的异架构配对。

蒸馏目标

• 教师冻结。温度T加在softmax之前的logits上。作者称T越大，分布越平，次要类的概率越容易被学生看到。
• 训练目标为 L=(1−α)L_ce(y,p_s)+α T²L_KL(σ(z_t/T),σ(z_s/T))。y是真值，p_s是学生的预测分布，z_t、z_s是教师和学生的logits，σ是softmax。α在0到1之间，调节软标签KL相对硬标签交叉熵的权重；T的平方用来让软标签项的梯度量级与硬标签项相当。
• 正文给出的损失只有这两项，没有写特征图或中间层对齐。

解释指标

• Grad-CAM用流入最终卷积层的梯度做粗定位图。Guided Grad-CAM再与guided backpropagation结合，得到分辨率更高的像素级热图。
• 热图H做通道池化和min-max归一化；掩码M在0.5处阈值化。RMA是归一化热图落在掩码内的质量和，除以总质量加小常数ε（论文举例为机器精度）。RRA是热图里最高的N个像素中落在掩码内的比例，N为掩码像素数。两项理论范围是0到1，越高表示与人工标注物体区域越对齐。
• 于是有GC Mass、GC Rank、GGC Mass、GGC Rank。Related Work把RMA说成落在bounding box内的比例，方法节用的是分割掩码；论文未说明两处如何对应。论文没有设解释合格的数值阈值。

训练流程与超参

• Figure 1：冻结教师的软标签和真值一起进入Equation 1。之后在ImageNet-1K验证集算top-1，在VOC2012上算RMA、RRA。
• 学生用ImageNet预训练权重初始化，优化器为SGD，初始学习率0.001，调度为cosine-linear，共15个epoch，batch size 128，训练启用AMP。每个epoch结束在ImageNet-1K验证集看预测表现。实现用PyTorch，记录用Weights & Biases。
• 超参扫描以T=4、α=0.5为参照：α固定为0.5时把T改为1和10；T固定为4时把α改为0.1和0.9。加上参照组共五组，对应Table 2。论文未写明12组跨架构各自的T和α。

实验设置

• 被测模型：教师ResNet-152、EfficientNet-B7（表中efficientnet_b7）、ViT-L/16（vit_l_16）；学生ResNet-34、EfficientNet-B0、ViT-S/16（vit_s_16）、MobileNet-V4-Small（mobilev4 small）。正文写MobileNetV4，参考文献[7]题名为MobileNetV2。
• 数据：训练和Acc1、Acc5用ImageNet-1K；解释指标用VOC2012掩码。论文未报告解释评估用了多少张图。
• 训练：学生从ImageNet预训练权重初始化，SGD，初始学习率0.001，cosine-linear，15个epoch，batch size 128，AMP。五组T、α见Table 2。12组跨架构的T、α论文未说明。
• 指标：Acc1、Acc5；Grad-CAM与Guided Grad-CAM的RMA（Mass）和RRA（Rank）。括号内百分比是表中相对未蒸馏学生的变化。无LLM评审，也无人工一致性数字。
• 基线：各学生的未蒸馏结果。Table 1另有三名教师的单独行。Table 2里教师只有Acc1，归因为空。
• 两表不宜合并：Table 1的resnet152→resnet34与Table 2的五组不是同一行数字。论文未报告重复次数或统计检验。

主结果

下表据Table 2，教师为ResNet-152、学生为ResNet-34。摘要把这五组的top-1写作71.6%到74.0%，Grad-CAM的RMA为7.7%到9.7%、RRA为7.3%到10.1%，Guided Grad-CAM的RMA为16.1%到18.6%、RRA为15.9%到21.5%。教师Acc1为82.284，归因未报告，故不列入。Config 4的Acc1相对变化在表中写作(+1,0%)，正文写+1.0%、74.02%。

表格较宽，可左右滑动

配置	Acc1	GC Mass	GGC Mass	GC Rank	GGC Rank
学生基线	73.314	0.0915	0.2027	0.1002	0.2041
T=1, α=0.5	73.953（+0.9%）	0.0969（+5.9%）	0.1853（-8.6%）	0.0993（-0.9%）	0.2149（+5.3%）
T=4, α=0.5	73.346（+0.0%）	0.0822（-10.2%）	0.1808（-10.8%）	0.0933（-6.9%）	0.1717（-15.9%）
T=10, α=0.5	73.369（+0.1%）	0.0839（-8.3%）	0.1854（-8.5%）	0.0955（-4.7%）	0.1813（-11.2%）
T=4, α=0.1	74.023（+1.0%）	0.0952（+4.0%）	0.1864（-8.0%）	0.1005（+0.3%）	0.2134（+4.6%）
T=4, α=0.9	71.631（-2.3%）	0.0767（-16.2%）	0.1612（-20.5%）	0.0733（-26.8%）	0.1586（-22.3%）

• α与T：作者认为软标签权重α比温度T更决定可解释性是否留下；更靠硬标签时准确率和粗定位能保住，α=0.9时准确率与四项归因一起变差。
• 温度概括：作者称固定α、把T提高十倍时，各指标移动小于两个百分点，且小于α从0.5调到0.9。Table 2没有给出该差值；T=1与T=10的GGC Rank为0.2149与0.1813。
• 细粒度：五组GGC Mass都低于未蒸馏基线。作者称最好的设置也大约低8%（表中Config 4为-8.0%），并认为logit蒸馏更容易传“看哪里”，而不是像素级结构。GGC Rank在Config 1和Config 4高于基线，所以“细粒度全部低于基线”只在GGC Mass上与表一致。

跨架构蒸馏

Table 1为3名教师×4名学生。下表只列Acc1；教师列顺序与表一致。作者称ViT学生从74.63%升到两名卷积教师监督下的大约80.8%；CNN学生没有同等增益。resnet34在efficientnet_b7下为+0.2%，并不都低于基线。

表格较宽，可左右滑动

学生	基线Acc1	resnet152	efficientnet_b7	vit_l_16
resnet34	73.31	73.27（-0.1%）	73.47（+0.2%）	73.15（-0.2%）
efficientnet_b0	77.69	77.25（-0.6%）	77.18（-0.7%）	77.10（-0.8%）
vit_s_16	74.63	80.82（+8.3%）	80.83（+8.3%）	79.50（+6.5%）
mobilev4 small	73.73	73.49（-0.3%）	73.39（-0.5%）	72.48（-1.7%）

• 粗细分化：作者称多数学生的Grad-CAM上升，部分CNN的Guided Grad-CAM下降。resnet34的GC Mass从0.063到0.083、0.083、0.082，GC Rank从0.049到0.094（+91.8%）、0.097（+98.0%）、0.089（+81.6%）；GGC Mass从0.2284到0.1851、0.1870、0.1830，GGC Rank为-26.1%、-23.1%、-26.5%。mobilev4 small的GGC Mass从0.1589到0.1250、0.1230、0.1230。
• EfficientNet-B0例外：GC Mass从0.086到0.070、0.077、0.073；GGC Mass从0.0450到0.0600、0.0590、0.06。讨论称卷积学生的细粒度归因一致变差；这一学生的GGC Mass、GGC Rank在Table 1中上升，以表为准。
• ViT-S：ResNet-152下四项归因都升（GGC Mass 0.0690到0.0870，GGC Rank 0.084到0.087）。EfficientNet-B7下GGC Rank为0.083（-1.2%）。vit_l_16下GC Mass 0.100（+92.3%）、GC Rank 0.150（+108.3%），GGC Mass 0.0320（-53.6%）、GGC Rank 0.037（-56.0%）。作者称ViT-S能同时改善粗、细归因；后两名教师的细粒度格子并不都上升。作者认为继承主要受学生结构偏差限制，而不是教师复杂度。

定性热图

• 图注：作者称Figure 2–4展示基线与蒸馏后的对比热图，包括粗定位增益和细粒度权衡。图注写Figure 3为蒸馏后粗定位改善，Figure 4为细粒度归因变差，Figure 2对比基线ResNet-34与ResNet-152到ResNet-34。转换文本没有图中数值或坐标轴，不描述热图位置。

其他消融与分析

• Table 1教师单独行：resnet152的Acc1 78.31、Acc5 94.05、GGC Mass 0.339；efficientnet_b7的Acc1 84.12、Acc5 96.91、GGC Mass 0.045；vit_l_16的Acc1 79.66、Acc5 94.63、GGC Mass 0.1、GGC Rank 0.038。
• Table 2教师Acc1为82.284，与Table 1的resnet152 Acc1 78.31不同；论文未说明。
• 两表resnet34基线：Table 1的GC Mass 0.063、GGC Mass 0.2284；Table 2为0.0915、0.2027。论文未说明。
• vit_s_16的Acc5从92.67到95.92（+3.5%）、95.85（+3.4%）、94.90（+2.4%），教师顺序为resnet152、efficientnet_b7、vit_l_16（Table 1）。
• 作者称ViT-L到EfficientNet-B0的GGC Mass会落在0.058–0.060；表中三名教师下为0.0600、0.0590、0.06。
• 正文写同架构ViT-L到ViT-S提供结构匹配的表示转移参照，句子在分号处结束，没有进一步结论。

作者指出的局限与后续方向

• 解释器与任务：作者写明评估依赖基于梯度的视觉解释器（Grad-CAM变体）和图像分类基准（Limitations and Future Work）。
• 梯度饱和：作者称梯度可能饱和，后续应加入扰动类方法（例如SHAP）或传播类方法（例如LRP）（同节）。
• 密集预测：作者建议在目标检测等密集预测任务上，再看压缩时空间推理如何转移（同节）。

实验覆盖范围

• 结果表中的模型为ResNet-152、EfficientNet-B7、ViT-L/16、ResNet-34、EfficientNet-B0、ViT-S/16、MobileNet-V4-Small。Table 1是12组配对，Table 2是ResNet-152到ResNet-34的5组T、α。
• 准确率在ImageNet-1K上报告Acc1、Acc5；解释指标为Grad-CAM与Guided Grad-CAM的RMA、RRA，对照VOC2012掩码。
• Training Protocol写明学生用ImageNet预训练权重、SGD、初始学习率0.001、cosine-linear调度、15个epoch、batch size 128，并使用AMP。
• 论文未报告VOC2012上用于归因的图像数、重复次数、随机种子和统计检验，也未报告12组跨架构的T与α。
• 论文未说明ViT的Grad-CAM取哪一层（方法节写的是最终卷积层），也未说明Table 1与Table 2中ResNet-152的Acc1（78.31与82.284）以及ResNet-34基线归因分数为何不同。

作者用分类准确率和热图与掩码的对齐，检查logit蒸馏会不会把大网络的空间解释传给更小的学生。

• 问题：紧凑模型便于在算力或延迟受限处部署。作者称变小后决策依据更难看清，自动驾驶感知和医学诊断支持需要这种依据。只看准确率回答不了学生是否继承教师的空间关注。
• 做法：在ImageNet-1K上，损失把硬标签交叉熵和温度软化后的教师分布按α混合。学生从ImageNet预训练权重起步，SGD训练15个epoch。主扫描是ResNet-152到ResNet-34的五组T、α；另有3名教师、4名学生的12组配对。解释用Grad-CAM和Guided Grad-CAM，相对VOC2012掩码计算RMA、RRA。
• 超参：Table 2里Acc1在T=4、α=0.1时为74.023%，在T=4、α=0.9时为71.631%。α=0.9时四项归因的相对变化都为负，GC Rank为-26.8%。五组GGC Mass都低于未蒸馏基线0.2027。
• 跨架构：Table 1中vit_s_16的Acc1从74.63到ResNet-152教师下的80.82（+8.3%），该行四项归因都上升。同一学生在vit_l_16下Acc1为79.50（+6.5%），GGC Rank为-56.0%。EfficientNet-B0的GGC Mass上升、GC Mass下降，与ResNet-34相反。
• 作者结论：空间解释能留下多少，取决于蒸馏目标怎么配；α比T更关键。物体级关注在低α时可以保住或略升，像素级归因更难留下。作者称若优先硬标签、压低温度缩放，并利用Vision Transformer的表示灵活性，可以保住使网络透明、可信的空间推理。