Influence Score 与 Transformer 可解释性：推理时注意力头有效影响的度量

如何在推理时量化提示注入检测分类器里每个注意力头对最终分类的有效贡献，并比较正确与错误预测的内部机制。

• 部署场景：作者称大语言模型带来提示注入和越狱，上游分类器常用来拦截恶意查询，且这些系统主要采用Transformer。训练数据不完全可及或不可控时，可解释性被用来分析行为、偏差和内部决策；规模变大后，解释在时间和计算上更费力。
• 现有不足：作者称细粒度电路分析粒度高，但常要复杂插桩；只看输出的方法便于大规模评估，却不能直接接触产生决策的内部机制。
• 观察：第5节称贡献集中在少数头，深层更明显，且随预测类别和是否正确而变；去掉高贡献头会降低性能；对logit的投影有相反方向，预测来自竞争信号。因此单看贡献或方向都不够。
• 提出的分数：influence score把注意力头对logit的方向影响与它在残差流中的结构贡献相乘，并可在头、层和网络级汇总。应用对象是一个为提示注入检测训练的DeBERTa分类器。作者称它介于细粒度电路分析与全局输出方法之间。

引言和Related Work按分析粒度分组，本文被放在几条路线的交叉处。

输入特征的事后解释

• LIME与SHAP：LIME（Ribeiro et al., 2016）和SHAP（Lundberg and Lee, 2017）在单个样本附近近似模型，估计输入特征重要性。论文指出它们停在可观察特征，不能指出哪些内部组件实际驱动决策。

内部电路

• 电路与子结构：Conneau et al.（2018）、Elhage et al.（2021），以及引言中的Bricken et al.（2023），被归为寻找负责特定行为的内部子结构。论文指出这类工作常依赖定性分析或针对性案例，跨决策类别做系统比较更难。

层间状态与组件几何

• logit lens：Nostalgebraist（2020）把unembedding矩阵作用到中间残差，查看当时的logit。论文指出它能追踪决策逐步形成，但不给出单个内部组件的相对贡献。
• ALTI：Ferrando et al.（2022）用组件贡献与整体残差的几何接近度，做层内和跨层比较。论文指出它不计与logit相关的决策极性。

只看输出的做法

• 输出级方法：引言把Liu et al.（2023）和Wei et al.（2022）列为只依赖模型输出的全局方法，称其便于大规模评估，但不直接访问内部机制。论文没有展开这两篇的具体算法。

实验中的对照

• 三种选头准则：实验没有把LIME、SHAP、logit lens或ALTI当作基线。因果检验比较的是组合分数、仅方向投影和仅贡献。数据是自建二分类评测集，不是这些工作自带的基准。

作者把本文放在上述路线的交叉处：分析到单个内部组件，并用归一化贡献加上对logit的方向影响，把组件和最终预测连起来，用来看决策在何处形成、哪些头在推动，以及正确与错误预测的机制差异。第7节另引Michel et al.（2019）和Sanh et al.（2020），作为“去掉相当一部分头或参数后性能不一定明显变差”的既有结果，用来对照本文的冗余假设。

在一个提示注入检测分类器上定义 influence score：估计每个注意力头把logit推向哪一类、推多强，再乘上它在残差流中的相对分量，以便按头、层或层子集查看决策。Figure 1把这一乘积画成方向项乘以残差贡献。

模型与残差分解

• 分类器：基于DeBERTa-v3-base，12层，使用DeBERTa的disentangled attention，后接二分类头。正文把INJECTION当作正类、BENIGN当作负类；正确预测记为TP、TN，错误记为FP、FN。训练语料在附录A另述。
• 残差近似：最终残差写成输入嵌入加上各层注意力输出Ak与MLP输出之和。作者说明该写法略去归一化层。类别logit由分类权重对最终残差做线性投影得到。
• 按头拆开：第k层注意力块写成N个头之和。论文未给出N。

方向影响与相对贡献

• 方向项：方向影响定义为 Δ_k,h(x)=⟨ w,H_k,h(x)⟩，w为正类与负类分类权重之差。正值推向INJECTION，负值推向BENIGN；该量同时带有幅度。
• 结构项：相对贡献沿用ALTI。proximity取残差L1范数减去组件与残差的L1距离，再与0取最大，然后在同一比较集合内归一化。作者称它不需要梯度或消融；LayerNorm可能改变尺度或朝向，但同一样本、同一残差状态下各分量受到的影响可比较，所以仍用作相对分数。

加权influence score

• 定义：加权分数为 S_k,h(x)=Δ_k,h(x) C_k,h(x) α_k(x)。Ck衡量该层注意力输出改变当前残差的程度；αk是Ck在所考虑层上归一化后的层权重，各层之和为1；Ck,h是头h在该层注意力输出中的相对份额。
• 相乘的理由：作者称一头只有同时进入残差流、位于重要的层、并推向所考察的logit时，才算高影响。这对应第5节的三项观察：贡献集中、方向相反、高贡献头与性能有关。
• 读数：符号表示推向哪一类，绝对值表示幅度。归一化后，同一样本内的分数可以比较。

多尺度汇总

• Sfinal：对选定层子集上所有头的Sk,h求和。子集可以是早期、中期或更深的层，用来看预测如何累积。作者强调可按头、按层或聚合查看，以区别于只给局部度量的做法。
• 两端与抵消：作者称Sfinal是各Δk,h的加权平均；靠近两端表示同号贡献占优，靠近0表示相反影响相互抵消。

标签从哪里来

• 评测标注：附录B先聚合开源提示，再用Mistral、Gemma 2、Llama 3.2、GPT-4o-mini做LLM-as-a-judge。至少两个模型判为恶意则标MALICIOUS；至少一个判为良性则标BENIGN。论文未说明两条规则同时满足时如何裁决。采样时限制单一来源的最大条数。
• 与训练语料分开：附录A描述被分析模型的训练数据，包括公开数据集，以及根据论文、竞赛和LLM Guard社区反馈构造的注入样本。论文未给出训练超参数。

实验设置

• 被分析模型：1个基于DeBERTa-v3-base的提示注入二分类器，12层，disentangled attention，后接二分类头。训练语料见附录A。论文未直接给出未消融时的F1或准确率。
• 评测集：第3节写30,000条，约三分之二良性、三分之一攻击。附录B写33,965条，其中良性23,775（70%）、注入10,190（30%）。论文未说明两处规模为何不同。Table 3的来源比例为：指令/助手数据（Alpaca、OpenOrca、UltraChat、Open-Instruct）62.8%，TaskTracker注入数据30.2%，jailbreak-classification 3.2%，Awesome ChatGPT Prompts 2.6%，JailbreakBench 1.2%。
• 标注：四名评审模型及共识规则见附录B。附录B.1把恶意样本分为越狱、DAN类场景、显式恶意指令、角色扮演和借虚构叙事绕过，并给出示例，此处不摘录。论文未报告评审一致性。
• 分析单位：按TP、TN、FP、FN看分数。INJECTION为正类。正文未单列这四类的条数。
• 消融：对TP组和TN组，按三种准则各去掉6个主导头：组合分数Sk,h、仅方向投影、仅贡献。Table 2报告消融后的F1、Acc，以及相对基模型的ΔF1、ΔTP、ΔTN；表注称差值为基模型减去消融模型，正值表示性能下降。论文未写明消融是否用全部评测样本，也未报告重复次数或显著性检验。
• 聚类：因TN的Sfinal呈三峰，用K-means在Sfinal上分成C0、C1、C2。描述统计在Table 4和附录C。

主结果

下表是Table 2的消融结果，对象都是上述同一个DeBERTa分类器。Acc未列入，Table 2六行依次为0.944、0.947、0.948、0.946、0.944、0.947。

Swipe horizontally to read the table

组别与准则	消融后F1	ΔF1	ΔTP	ΔTN
TP / Score	0.898	0.014	257	-50
TP / Logit only	0.904	0.009	161	-32
TP / Contrib only	0.905	0.007	117	-8
TN / Score	0.903	0.009	138	9
TN / Logit only	0.897	0.015	273	-47
TN / Contrib only	0.904	0.009	130	8

• 第6.4节称，组合分数选出的头造成的下降与单独准则相当或更大，因而这些头参与决策，而不只是相关。第7节进一步称组合准则造成最大下降。按Table 2，后一说法见于TP组；TN组ΔF1最大的是Logit only。
• 作者称影响仍属中等，因而假设存在补偿和分布式表示，并可能与该任务上的过参数化有关。检验该假设被列为后续工作。
• 按表注，ΔTN为负表示消融后TN计数更高。作者称去掉部分TP主导头会使判对的TN略增，说明有些贡献会加强竞争信号。

分数分布与层深

• 测了什么：全部层上Sfinal的分布（Figure 3），以及累积层数增加时Sfinal的均值、INJECTION信号（正贡献之和）和BENIGN信号（负贡献的幅度）（Figure 4）。文本未保留曲线端点或坐标刻度。
• 作者对Figure 3的解读：TP以单峰为主且相对集中；TN有三个峰，作者认为对应多条通向正确BENIGN决策的电路或策略；FP/FN更散、更靠两端，FP偏向更高值，FN偏向更低值。
• 作者对Figure 4的解读：大部分层上均值和两路信号逐步变化、彼此抵消；最后几层变化更明显，错误类尤其如此。作者称FP在末端出现突然上升的INJECTION信号，FN则后期BENIGN信号上升，并认为这可能压住注入检测。正确预测被描述为异号贡献更稳定的平衡。

主导头

• Table 1：按类别列出平均Sk,h最高的正头，以及Sk,h<0时按|Sk,h|选出的负头；表中分数是各类样本上Sk,h的均值。正分最高的是FP的L11 H6，为0.13；同表中FN的L11 H6为-0.06，L11 H3为-0.04。TP的三个正分是0.03、0.03、0.01。
• 同一头两种符号：L11 H6等头会同时出现在同一类别的正、负两列。正文称同一头可随输入推向INJECTION或BENIGN。论文未说明这两列均值是在全类别上算的，还是只在符号满足约束的样本上算的。
• 作者的解读：信号集中在少数头，主要在L10–L11，与第6.2节的后期变化一致。错误类更不平衡：FP由强的pro-INJECTION头主导，FN由pro-BENIGN头更明显地主导。L0 H0、L0 H7影响更温和但常见，作者认为可能起预备作用。论文未列出被消融的那6个头是否就是Table 1中的头。

TN的三个簇

• 怎么分：Figure 3中TN呈三峰后，用K-means在Sfinal上分成三簇。Table 4：C0为2 112条，重复率0.52%，字符中位数2 103，词中位数366，74.6%超过1 000字符；C1为11 377条，0.26%，313字符、53词，8.9%；C2为6 942条，4.78%，115字符、19词，14.3%。
• 作者对文本形态的说法：C0是长而结构化、常为问答的提示；C1占TN的多数，中等长度，常写成指令；C2以微提示和翻译等短任务为主。
• Figure 5：作者称三簇轨迹随深度逐渐分开；浅层分布重叠，中层逐步分离，计入全部层后簇明显分开。作者认为BENIGN决策可以来自pro-MALICIOUS与pro-BENIGN贡献的不同平衡。图中数值未保留在文本里。

其他消融与分析

• Figure 2比较层0与层11的平均头贡献（不是Sk,h）：作者称浅层各类别相近，层0由共享头H0主导；深层高度集中，TN由H6主导、TP由H2主导，错误类轮廓接近相反类别。图注认为这提示激活了不适当的电路。图中无具体贡献数值。
• 第5节称去掉贡献最高的头会降低性能，该节没有给出数字；定量消融只在Table 2。
• 论文未报告头数N、训练超参数，以及三种选头准则之外的参数扫描。

作者指出的局限与后续方向

• 直接投影与表示偏移：方向影响把中间激活直接投到最终logit方向，而中间层与最终层的表示存在分布偏移。作者称，tuned lens那种按层学习的投影能更忠实地估计局部决策影响；纳入这种变换是可能的方法改进（第7节）。作者称这是该方法的一个主要局限。
• 冗余假设尚未检验：消融中的补偿被作者假设为功能冗余，并可能与模型相对该任务过参数化有关。作者称，用渐进消融、压缩或剪枝检验该假设是后续方向（第6.4节、第7节），并引用Michel et al.（2019）和Sanh et al.（2020）作为相关既有结果。

实验覆盖范围

• 被分析模型为1个12层DeBERTa-v3-base提示注入分类器（第3节）；分数和消融针对注意力头。
• 评测集在第3节为30,000条（约三分之二良性、三分之一攻击），附录B为33,965条（良性23,775、注入10,190）；来源比例见Table 3。标注使用Mistral、Gemma 2、Llama 3.2和GPT-4o-mini。
• 分布和层深分析覆盖TP、TN、FP、FN；Table 2的消融针对TP与TN两组、每种准则6个头、三种准则。
• TN的Sfinal用K-means分成3簇，样本量与长度统计见Table 4。
• 论文未报告评审一致性、重复次数、显著性检验、注意力头总数N、未消融时的F1与Acc、TP/FP/FN各类条数、消融样本是否等于全部评测集，以及两处评测集规模为何不同；残差公式中的MLP项未单独给出贡献。

这项工作在推理时给提示注入检测分类器的注意力头一个影响分数，用来看分类决策从哪些头来。

缺口是电路分析往往要重插桩，只看输出又不知道内部组件的贡献。作者希望同时看到决策在哪一层形成、哪些头在推，以及正确与错误是否对应不同机制。

分数由三项相乘：头激活在正负类权重差上的投影、头在层内的相对份额、层在残差流中的归一化权重。可以对任意层子集求和。对象是12层DeBERTa-v3-base二分类器，正类在正文中记为INJECTION。

• 作者称全层Sfinal上TP较集中，TN有三个模式，FP/FN更散且更靠两端（Figure 3）。浅层头贡献各类别相近，深层更集中（Figure 2）。
• Table 1里正分最高的是FP的L11 H6，均值0.13；FN的L11 H6平均负分为-0.06。作者称错误类更不平衡，信号主要在L10–L11。
• 去掉6个主导头后，TP组组合分数的ΔF1为0.014，高于该组另两种准则；TN组则是仅方向投影的ΔF1为0.015，高于组合分数的0.009（Table 2）。作者称下降仍属中等。
• TN三簇为2 112、11 377、6 942条（Table 4）。作者称它们对应不同文本形态，并随层深分开（Figure 5）。

作者的结论是：该分数介于细粒度电路分析与只看输出之间，并能标出与决策有关的头；正确预测更像异号贡献的平衡，错误与深层失衡有关。作者同时认为，把中间激活直接投到最终logit方向没有处理层间表示偏移；消融中的补偿是否说明模型相对该任务过参数化，还要用渐进消融、压缩或剪枝来检验。