ResLRP：残差抵消如何导致 Vision Transformer 归因不稳定

Vision Transformer 的残差抵消使 LRP 归因不稳定，ResLRP 要在反向传播中抑制这种相关性爆炸。

• 场景：作者认为 ViT 已是多数现代视觉模型的核心，而在科学与高风险应用中需要细粒度、忠实且稳定的输入归因。梯度与反向传播方法可扩展到大模型，但 ViT 热图常出现棋盘伪影、弥散相关性或碎裂高频模式（Fig. 1a 以 Input×Grad 与 AttnLRP 为例）。
• 现有不足：LRP 已扩展到 Transformer 注意力（AttnLRP 等），作者称 ViT 上的 LRP 解释仍不稳定、视觉上嘈杂。作者认为关键来源不是只处理注意力，而是残差连接：注意力或 MLP 更新常与残差流反向，相加后激活很小，标准规则用小分母放大正负相关性对，即相关性爆炸。该效应在 ViT 中强于语言 Transformer，且早期层更明显，故语言侧稳定的规则迁移到 ViT 效果差。
• 核心观察：残差抵消在前向可能有用（去除、细化或对比特征），但在反向会消耗本可留给更稳定模式的归因质量。作者用通道干预检验：收益来自修正抵消，而不是 γ 规则的一般正则。
• 提出方法：Residual-aware Layer-wise Relevance Propagation（ResLRP），在 AttnLRP 上对残差加法显式处理抵消。作者称规则精确守恒，并证明限制相关性爆炸。还把残差放大作为架构级诊断，并用于 SAE 特征定位与视觉语言模型（VLM）。

论文把相关工作分成三组，并指出先前 LRP 主要处理注意力与 NLP，忽略了 ViT 残差流中的破坏性干涉。

视觉输入归因

• 梯度方法：saliency [16]、Input×Grad（I×G）[8]、Integrated Gradients（IG）[17] 计算高效，但作者称易受梯度破碎 [18] 影响，热图嘈杂。
• 扰动代理：LIME [19]、SHAP [20] 更稳健，但每个解释需要数百次前向。

Transformer 可解释性

• 注意力路线：Attention Rollout [21]、梯度加权注意力 [3]、Layerwise Explainability Gradient（LeGrad）[22]。作者称基于注意力的变体可能粗糙或非类别特异。
• 梯度聚合：Full-Gradient 家族 [23–25] 聚合中间梯度与偏置并做定向剪枝以恢复梯度平衡。作者称这类方法往往不易适配缺少 cls-token 或层次化处理等结构变化。

LRP 与残差

• 已有 LRP：与原始梯度不同，LRP 逐层改反向梯度以提高稳定性 [26]。CP-LRP [27] 与 AttnLRP [9, 12] 处理注意力非线性，absLRP [28] 校正相对归因幅度，LRP 还用于 NLP 电路发现 [29–31]。作者称这些进展主要针对注意力和 NLP；忽略残差通路后，标准 LRP 会因 ViT 残差流中的破坏性干涉而变差。
• register tokens [32]：在训练时减轻前向注意力伪影；本文则在预训练模型的反向传播中修正抵消引起的不稳定。作者称二者通过残差流相连（Sec. A.14）。

基线方法包括 AttnLRP、CP-LRP、Chefer-LRP、CheferAttnRollout、GradAttnRollout、LibraFullGrad+、LeGrad、IG、I×G 与 Random；基准/数据集为 ImageNet 上的 SRG、ImageNet-S 定位、FunnyBirds，以及 SAE 与三个 VLM。作者将本文定位为补上残差通路这一环，而不是再改注意力规则。

ResLRP 是 AttnLRP 的残差感知扩展：只在每个残差加法上加一个反向 hook，用 LRP-γ 抑制与输出反号的支路，从而限制抵消引起的放大。

问题设定

• 残差更新：Transformer 块反复做 zout = zin + zup，zin 为进入子层的残差流，zup 为注意力或 MLP 更新（Fig. 1b）。当 zin ≈ −zup 时 zout 幅度很小，前向激活掩盖了两侧各自较大的计算，作者称之为残差抵消。
• 标准规则为何放大：ε 稳定规则把 Rout 按 zin、zup 相对 zout + sign(zout)ε 分配（式 1）。分母是抵消后的残差输出，|zout| 小会把少量输出相关性变成两侧很大的反向值。作者称传播在抵消处病态，对前向扰动和 ε 敏感，归因会被局部抵消结构主导。
• 量化：对隐单元定义前向抵消 C 与反向放大 A（式 2）。C=1 表示无抵消；A≫1 表示少量输出相关性产生很大的两侧绝对相关性。作者称抵消是爆炸的必要非充分条件：若被抵消方向下游 Rout=0，则不会爆炸。Fig. 2b 中 Qwen2.5 抵消强但放大弱，被作者用来说明这种分离。

残差 γ 规则

• 设计：ε=0 的标准规则为 Rin = (zin/zout) Rout。同号贡献时因子仍正常；抵消时会生成主导后续传播的正负对。ResLRP 把通常用于带参线性层的 LRP-γ 用到残差加法，加强与 zout 同号的分支（式 3）。Rup 由交换 in 与 up 得到。
• 参数：作者称该规则对 γ 稳健；据 Sec. A.13 的扫描，全文默认 γ=1。γ→0 连续回到标准 LRP（从而 AttnLRP），γ→∞ 趋向非放大、同号重分配，上界随 γ 单调收紧。
• 实现：前向不变，每个残差加法一个反向 hook。附录 A.3 给出基于 straight-through 风格 detach 的 PyTorch 实现，库为 zennit v1.0 与 LXT v2.1。

理论保证

• 有界：命题称缩放因子 Φ 满足 −1/γ ≤ Φ ≤ 1+1/γ（γ>0，c≠0）。证明在 Sec. A.2，分同号与反号两种情形，并用 Φ(a,b)+Φ(b,a)=1 的对称性。
• 守恒与放大：由此每个残差加法精确守恒 Rin+Rup=Rout。每处合并满足 |Rin|+|Rup| ≤ (1+2/γ)|Rout|，故测得的放大 A ≤ 1+2/γ（γ=1 时 A≤3）；L 个块、2L 次残差加法上界为 (1+2/γ)^(2L)。标准规则在单个抵消点就没有有限上界。作者称两条保证精确但只局部于残差加法，是结构保证而不是忠实性保证。

评测定义与附加用法

• SRG：按归因对 patch 排序，最重要优先（MIF）与最不重要优先（LIF）遮挡，遮挡区换成逐通道 ImageNet 均值。SRG 是两条 logit 曲线之间的归一化面积：忠实为正，随机为 0，排序与模型重要性反相关为负。遮挡单元与 ViT patch token 对齐。
• 定位：绝对归因质量落在 ImageNet-S 像素级物体掩码内的比例。1 表示全部在物体内；等于掩码相对面积则对应空间均匀图。
• FunnyBirds：合成鸟由可删除并重渲染的部件组成。单删除（SD）把归因的部件重要性与干预得到的因果重要性相关。
• ResLRP+：残差规则不处理 patch embedding 回到像素时的块状网格。DAVE 用空间平移分解梯度伪影；ResLRP+ 对 ResLRP 送到 patch embedding 的相关性做四次小平移平均。作者称相对 DAVE 的 50 次前向，这里只需四次前向。
• SAE 与 VLM：对冻结骨干的 TopK-SAE，把单个 latent 的 post-TopK 激活之和归到输入，SRG 的目标换成 latent 激活。VLM 则把单个答案 token 的 logit 归到输入像素。

实验设置

• 视觉骨干：Table 1 的七个检查点为 ViT-B/16、ViT-L/14、ViT-H/14、DeiT3-L/16、DINOv2-L、SigLIP2-L/16、SwinV2-L，覆盖监督、自监督、对比与层次化预训练。附录 A.2 还列 DeiT3-M/16、DINOv2 的 S/B/L/G 及带 register 的变体、CLIP 微调的 ViT。并非每个方法在每个骨干上都有定义，表中 n.a. 表示未定义。
• 数据：SRG 用 ImageNet-1k 验证集分层随机子集，固定种子 339306 的 500 张图。定位用 ImageNet-S：种子 754068 抽 50 类，每类 10 张正确分类图，共 500 张。FunnyBirds 用 Hesse 等的官方数据集、指标实现和 ViT-B/16 检查点。
• 基线：AttnLRP、CP-LRP、Chefer-LRP、CheferAttnRollout、GradAttnRollout、LibraFullGrad+、LeGrad、IG、I×G、Random；FunnyBirds 另有 Rollout。
• 指标：解释目标为输出 logit。SRG 越高越忠实；定位为掩码内绝对归因质量占比。标准误：Table 1 称 ≤0.16（SRG）与 ≤0.01（定位）。VLM 用双侧 Wilcoxon 符号秩检验。
• 因果与组件：γ 规则只加在选定通道上；并分别去掉 AttnLRP 的注意力规则或 LayerNorm 规则。
• SAE / VLM：在冻结 ViT-L/14 的三个 block 上训练 TopK-SAE。VLM 为 Qwen2.5-VL-3B、Qwen3-VL-4B、Gemma-3-4B-it，n=500。SRG 因分词与遮挡几何不同，只在同一模型内可比。

主结果

Table 1 为 SRG / 定位（n=500，越高越好）。

表格较宽，可左右滑动

模型	ResLRP	AttnLRP	该列最强竞争者
ViT-B/16	3.20 / 0.62	1.51 / 0.32	LeGrad 3.18 / 0.53
ViT-L/14	3.53 / 0.61	1.49 / 0.39	LeGrad SRG 3.58
ViT-H/14	3.31 / 0.61	1.65 / 0.41	LeGrad SRG 3.16
DeiT3-L/16	3.38 / 0.55	2.69 / 0.44	GradAttnRollout 定位 0.70
DINOv2-L	4.72 / 0.59	1.65 / 0.47	Chefer-LRP SRG 4.43
SigLIP2-L/16	5.26 / 0.51	0.59 / 0.32	LeGrad SRG 4.20
SwinV2-L	2.36 / 0.64	0.93 / 0.34	IG 定位 0.35

• 忠实性：作者称 ResLRP 在七个模型中六个 SRG 最高，第七个 ViT-L/14 上 LeGrad 领先 0.05，ResLRP 落在最佳的一个标准误内；相对 AttnLRP 提高 0.7–4.7 个 SRG 点。LeGrad 在 CLIP 预训练 ViT 上与 ResLRP 接近，在其余骨干上未定义或落后。
• 定位：作者称六个模型上最高或并列最高，ResLRP 为 0.51–0.64，AttnLRP 为 0.32–0.47。例外是 DeiT3-L/16，rollout 变体领先（GradAttnRollout 0.70，Chefer-LRP 0.69，ResLRP 0.55）。ViT-B/16 上 AttnLRP 的 0.32 低于 Random 的 0.37。
• FunnyBirds（Table 2，ViT-B/16）：ResLRP 的 CSDC 0.942、PC 0.954、DC 0.916、Distr. 0.937、SD 0.774、TS 0.950。作者称四项完备性与正确性最好；SD 相对 AttnLRP 的 0.682 为 +13%。对比度 TS 上与最佳方法相当（Chefer-LRP 0.957，AttnLRP 0.955）。Rollout 的 TS 为 0.000。

残差抵消的因果作用

• 通道干预（ViT-B/16，Tab. A.8）：只修正抵消最强的前 0.5% 通道（92 个）使 SRG 相对 AttnLRP 提高 +7.9%；修正 75% 的低抵消通道（13,824 个，约 150 倍）使 SRG 下降 5.5%。全部干预中，SRG 与被去掉的不稳定相关性的 Spearman ρ=0.79，与修改通道数的 ρ=0.50。作者称模式在 DINOv2-B 上复现（Sec. A.15）。
• 组件消融（Table A.9，logit SRG）：去掉注意力规则时，SigLIP2 上 ResLRP 为 3.27、AttnLRP 为 −0.004；全文举例写 ResLRP 3.27 对 AttnLRP −0.004。完整规则下 SigLIP2 为 AttnLRP 1.01、ResLRP 4.75；DINOv2-S 为 6.32 与 6.83。去掉 LayerNorm 后 SigLIP2 的 ResLRP 降至 0.78（−84%），AttnLRP 降至 0.29（−71%）。作者称两条旧规则都有贡献，但残差 γ 规则去掉后的跌幅小于 ResLRP 与 AttnLRP 的差距。Table 1 的 SigLIP2 ResLRP SRG 为 5.26，与 Table A.9 的 4.75 不一致，论文未说明差异来源。

SAE、VLM 与架构诊断

• SAE（Tab. A.3）：ResLRP 在三个 block 上 SRG 与平均秩都最好。blocks.15 上 0.449±0.006，AttnLRP 为 0.334±0.006。ActMap 在 blocks.23 为 −0.031±0.006，作者称与它要可视化的 latent 轻度反相关。Fig. 3a 中作者称激活图不必与编码概念对齐，ResLRP 更贴近 latent。
• VLM（Table 3，Loc. / SRG，n=500）：Qwen2.5-VL-3B 上 ResLRP 为 0.464±0.011 / +2.39±0.17，AttnLRP 为 0.365±0.011 / +1.29±0.12，I×G 为 0.256±0.012 / +0.08±0.04。Qwen3-VL-4B-it 为 0.418±0.010 / +13.04±0.30，对比 AttnLRP 的 0.325±0.012 / +3.87±0.20。Gemma-3-4B-it 为 0.455±0.012 / +0.41±0.03，AttnLRP 与 I×G 的定位都是 0.352。作者称三个模型上两项都最好；定位绝对提升 +0.09 到 +0.10（相对 +27% 到 +29%），SRG 为 AttnLRP 的 1.9 到 3.4 倍；逐图 Wilcoxon p≤1.7×10^−26。摘要写 localization +27−29%、faithfulness 最高 3.4×。作者称 Gemma 上 γ 规则恢复了可用图，且相对定位增益在三个视觉塔、两种分词方案上较一致。
• 抵消诊断（Fig. 2）：早期 ViT 层 C≈1.7，LLM 跨层 C≈1.4。ViT 上 C 与 A 的 Pearson 相关为 0.99。作者称放大在早期层最强；register token 稳定残差流本身，并预测归因在何处变差，VLM 上抵消最强、增益也最大。Fig. 2c 作者称 ViT-L/14 CLIP 的 block-2 抵消激活在边缘和狗脸上。

其他消融与分析

• γ：Sec. A.13 称性能平台宽，未调的默认 γ=1 在全部已评模型上接近最优；γ 增大则上界收紧。
• 低抵消 75% 通道：ViT-B/16 上 SRG 相对变化为 −5.5%（0.120）；文中另一列写 0.361（+8.1%），对应 DINOv2-B 复现，论文对两列模型的标注在摘录中不完整，故只把 −5.5% 与正文点名的 ViT-B/16 绑定。
• 全通道 ResLRP：Tab. A.8 一列写 SRG 0.303（+138%），另一列 0.425（+27.2%）。与 Table 1 的 3.20 等不是同一标度，论文未在正文解释换算。
• ResLRP+：四次小平移平均减轻 patch 网格伪影（Fig. A.2）；作者称比 DAVE 的 50 次前向更省计算，论文未报告 ResLRP+ 的 SRG 或定位数字。
• 模型规模：附录称更大模型抵消总体更弱；CLIP 训练的 ViT 抵消高于标准 ImageNet 预训练。vit_huge_patch14_224.orig_in21k 抵消最低，vit_base_patch16_224.augreg_in21k 最高。
• 定性：Fig. 3b 在 Qwen3-VL-4B-Instruct 上按输出 token 做像素级归因，图中标注图像绝对相关性占比为 66%、44% 与 8%。

作者指出的局限与后续方向

• 保证的范围（Limitations & Outlook）：保证只局部于残差加法，全模型归因质量依赖三类相互一致的实证证据。
• 守恒（同节）：整条流水线的端到端守恒受 AttnLRP 注意力规则限制；与 CP-LRP 注意力规则结合可得到精确守恒，但有已知的质量代价。
• 超参（同节）：γ 有较宽的性能平台，未调默认 γ=1 在全部已评模型上接近最优；ResLRP 同时提高忠实性与稳定性，而不是二者交换。
• 其他架构（同节）：未考察扩散 Transformer 或状态空间模型中是否有类似抵消，这些结构里残差流与更新支路的相互作用可能不同。
• 更广含义（同节）：强残差抵消可能对训练动态与泛化有更广影响；对归因失败的更好理解也可能被用来设计能产生看似可信却误导的解释的模型。
• 后续（Conclusion）：VLM 上增益最大，先前方法或太噪或太贵，作者称这为从偏差检测到面向视觉定位的归因引导训练打开了后续工作。

实验覆盖范围

• 主表七个骨干加上三个指令微调 VLM，以及冻结 ViT-L/14 上三个 block 的 TopK-SAE；SRG 与定位各 n=500，FunnyBirds 使用官方 ViT-B/16 协议。
• 因果干预报告了 ViT-B/16 的通道比例、SRG 变化和 Spearman ρ，并称在 DINOv2-B 上复现；组件消融报告 SigLIP2 与 DINOv2-S。
• 抵消对比包含 ViT 与 Qwen3-0.6B、Gemma3-1B、Llama-3.2-1B、Qwen2.5-0.5B（Fig. 2）。
• VLM 的 SRG 因图像分词与遮挡单元不同，论文写明不能跨模型比绝对大小；Wilcoxon 在逐图分数上做。
• 论文未报告 ResLRP+ 的定量 SRG/定位，也未报告各方法的查询次数或墙钟时间；DAVE 对比只写了 50 次与 4 次前向。

Berend 等人针对 ViT 上 LRP 热图嘈杂、不忠实的问题，把原因放在残差加法而不是注意力规则：前向抵消留下很小的 zout，标准 LRP 用它作分母，放大成不稳定的正负相关性。该抵消在早期 ViT 层约 C≈1.7，强于文中 LLM 的约 C≈1.4，且与放大 A 的 Pearson 相关为 0.99。

ResLRP 在 AttnLRP 的每个残差合并处使用 LRP-γ（默认 γ=1），加强与输出同号的支路。规则在残差加法上精确守恒，并把单点放大限制在 A≤3；标准规则在单个抵消点没有有限上界。保证是局部结构性质，全模型质量靠实验。

• ImageNet 上七个骨干（Table 1，n=500）：ResLRP 的 SRG 在六个上最高，相对 AttnLRP 高 0.7–4.7；ViT-L/14 上 LeGrad 为 3.58、ResLRP 为 3.53。定位多为 0.51–0.64，DeiT3-L/16 上 rollout 更高。
• FunnyBirds（Table 2）：SD 从 AttnLRP 的 0.682 到 0.774；对比度 TS 为 0.950，Chefer-LRP 为 0.957。
• 只修正 ViT-B/16 上抵消最强的 0.5% 通道，SRG +7.9%；修正 75% 低抵消通道则 −5.5%。
• 三个 VLM（Table 3）：定位相对 AttnLRP +27% 到 +29%；Qwen3-VL-4B-it 的 SRG 从 +3.87 到 +13.04。SAE 上 blocks.15 的 SRG 为 0.449 对 0.334。

作者的结论是：残差抵消是 ViT 归因不稳定的关键来源，ResLRP 在遮挡忠实性、定位和受控真值上一致更好，VLM 收益最大。他们同时写明，端到端守恒仍受注意力规则限制，且未检验扩散 Transformer 与状态空间模型。