Influence Score 与 Transformer 可解释性：推理时注意力头有效影响的度量
Influence Score and Transformers interpretability: Measure of the Effective Impact of Attention Heads at inference time
AI 导读
研究者提出 Influence Score，用于量化 Transformer 分类模型中注意力头对分类决策的贡献，该分数结合注意力头对 logits 的方向性影响与残差流中的结构性贡献，支持在头、层、网络三个尺度上分析。将其应用于专用于提示注入检测的 DeBERTa 模型后，该方法揭示了正确预测与错误预测之间不同的决策行为。研究称其在细粒度电路分析与全局输出方法之间提供了有效折中，可用于系统研究 Transformer 分类器的决策机制。