基于 SAE 引导的关键路径识别（KPI）解决知识冲突

SAE 大规模转向难以定位真正起转向作用的特征，冗余特征带来噪声并削弱效果。

• 场景：预训练得到的参数知识可能过时或不正确。RAG 引入外部上下文后，参数知识与上下文冲突时，模型有时仍偏好参数知识，输出不忠实于上下文，影响 RAG 与其他上下文理解任务。
• 现有方法的不足：作者称基于指令与模型编辑都能处理不忠实输出，模型编辑因成本更低而更常用。SAE 及 SAE 转向通过单义性提高编辑精度，但为单义性，特征维度可以很大（例如 Gemma-2-9B 某层残差流 SAE 宽 131K，为神经元维度的 32 倍）。互信息等方法把特征当独立单元，忽略交互，因而选出大批特征，其中含大量冗余。作者称 STA、SPARE 虽做粗剪枝，仍保留大量弱转向特征。
• 核心观察：Figure 1 示意强特征会激活冗余弱特征，使与行为的相关性不准。作者在开发集上对正特征逐个转向，称少数特征的转向效果可以比肩甚至超过对全部正特征的大规模转向（Figure 3，Gemma-2-9B 第 30、31 层）。
• 本文提出：Key Path Identification（KPI）。用小开发集构造正特征交互图，以入度高、且与上下游都有强因果依赖的特征为关键特征，再沿关键层及其前层建成关键路径，用更少的特征修改完成转向。作者称这把 SAE 转向从数量驱动改为质量导向。

实验任务是让模型在知识冲突的 RAG 问答中改为输出替换上下文的黄金答案。成功定义为：模型原本在替换上下文下仍输出原黄金答案，转向后改为输出替换上下文的黄金答案。

论文在引言与附录 A 中把相关工作分成以下几组。

机制可解释性

• 输入—输出归因（Chuang et al., 2025；Li et al., 2025；Cohen-Wang et al., 2024）——把模型当黑盒，分析外部输入与输出的因果关系。作者认为这类工作不看内部推理，可靠性受质疑，并引用有研究指出 LLM 可以出现幻觉式思维链（Chen et al., 2025；Lindsey et al., 2025）。
• 机制可解释性（Rai et al., 2024）——分析神经元、SAE 特征、注意力头等组件、它们形成的功能电路，以及机制跨模型的普遍性（Gurnee et al., 2024）。
• 电路追踪（Abnar and Zuidema, 2020；Ameisen et al., 2025；Kamath et al., 2025）——从输出 logits 逐层反向传播，构造细粒度推理电路。作者在方法节称其计算代价高，且电路常针对单条输入，泛化差。

知识冲突与上下文忠实

• 知识冲突（Xie et al., 2023；Chen et al., 2022；Longpre et al., 2021）——参数知识与上下文知识冲突。作者称模型有时偏好固有参数知识（Su et al., 2024；Zhao et al., 2025b）。
• 指令方法与模型编辑（Wang et al., 2024；Sun et al., 2025；Ferrando et al., 2025；Fayyaz et al., 2025）——用于减轻不忠实输出。作者称模型编辑成本更低因而更常用，并提到记忆式编辑（Mitchell et al., 2022）、PMET（Li et al., 2024）、AlphaEdit（Fang et al., 2025）等编辑路线。
• 上下文归因与忠实评测——ContextCite（Cohen-Wang et al., 2024）、SelfCite（Chuang et al., 2025）、基于 Jensen-Shannon 的归因（Li et al., 2025），以及 FaithEval（Ming et al., 2024）。

SAE 与转向

• SAE（Bricken et al., 2023；Cunningham et al., 2023；Shu et al., 2025）——用稀疏惩罚得到更单义的特征。激活函数包括 JumpReLU（Rajamanoharan et al., 2024）与 TopK（Bussmann et al., 2024）。Gemma Scope（Lieberum et al., 2024）、Llama Scope（He et al., 2024）提供残差流 SAE。
• SAE 转向与去噪——SPARE（Zhao et al., 2025a）用互信息选特征并做大规模转向；STA（Wang et al., 2025b）做目标原子转向。Wang et al. (2025a)、Lu et al. (2026) 从数据过滤角度去噪，作者称本文未深入调查该路线。AxBench（Wu et al., 2025）比较转向方法，作者在相关工作中引用其“即使简单基线也能超过 SAE”的结论，但未在实验中复现该基准。
• 功能层（Jin et al., 2024；Zhao et al., 2025a；Wang et al., 2025c）——作者称已有工作指出某些层对上下文理解是关键。

基线与数据集

• 基线方法：SAE 大规模转向为 STA（Bricken et al., 2023）与 SPARE（Zhao et al., 2025a）；指令方法为 ICL（Brown et al., 2020）；对比解码为 CAD（Shi et al., 2024）。另报告不转向的原始表现。
• 基准/数据集：NQ-Swap（Longpre et al., 2021）、Macnoise（Hong et al., 2024）用于主实验；附录 D 用 FaithEval 看泛化；附录 E 用 MMLU（Hendrycks et al., 2020）与 GSM8K（Cobbe et al., 2021）检查下游能力副作用。问答正确性由 Qwen3-14B 判断。

作者把本文定位为：在 SPARE 式相关性选出的正特征之上，用跨层因果交互找出关键路径，以更少修改完成转向，并给出注意力与解码向量相似度上的机制解释。

整体上，KPI 不把相关性选出的正特征整批转向，而是在小开发集上估计正特征之间的激活因果影响，用入度找出汇聚点，再只转向关键层及其前层上的关键特征。

问题设定与 SAE 转向

• 行为标签：附录 B 的问答模板为 Context、Question、Answer。在提示词最后一个 token（最接近生成答案）上采样 SAE 表示与行为。Y = {N, T}，N 为不忠实（nontarget），T 为忠实（target）。正特征定义为目标行为下平均激活高于非目标行为的特征。
• 相关性筛选：沿用 SPARE，用互信息 I(Zi; Y) 衡量特征 i 的激活与行为的相关，按降序累计到比例 K 选出特征（式 2）。作者称这只是粗剪枝，单层仍可能要超过 50 个特征才能达到理想效果，且转向常跨多层。
• 单特征转向：对特征 i，转向后残差为 h′ = h + α Wdec[i, :]，α 为转向强度，位置在提示词最后一个 token。SAE 本身最小化重构误差加稀疏惩罚，编码维 dsae 远大于残差维 d。

交互捕获与关键特征

• 交互记录：在每个选定层取出 top 正特征并逐个单独转向。对受影响层（该层及后续层）记录平均激活增幅最大的 top 5 特征。作者不用激活频率增幅，因为有些特征基线频率已经很高，上限为 1.0，频率增幅难以反映影响程度。
• 稳定性：作者称这些模式稳定，200 条或少至 10 条采样实例上，增强一个特征对其他特征激活增幅的影响高度一致（附录 F），因此只需小开发集。
• 交互图与入度：特征为节点，因果交互为有向边。作者认为入度高表示多条路径在此汇合，许多正特征共同促进其激活，因而在正特征的整体转向中更重要；入度低则可能是相关性误选的冗余弱特征，或只是用来激活下游好特征。按入度降序取 top 作为关键特征。

关键路径与强度

• 关键层：沿路径评估每个特征的单特征转向。作者称某些层上 top 特征的转向达到峰值，与既有“功能层”观察一致。把单特征转向最好的 top 特征所在层定为关键层。
• 路径范围：只转向关键层及其前层的 top 特征，构成关键路径。理由是转向只影响当前层和后续层：只转关键层会丢掉对前层的伴随影响；关键层对后续层的影响又会使后续层特征变冗余。若更后层入度自然更高，则迭代选择关键层，直到前层不再有单特征转向更好的 top 特征。
• 形式化（附录 H）：全局按入度取预算 r 的特征，与各层候选正特征求交得 Sℓ；关键层 ℓ̂ = arg max Eval(M, Sℓ⋆, Deval)，路径 P 为 ℓ ≤ ℓ̂ 的 Sℓ 之并。强度在候选集 A 上取验证集最优 α⋆。开发集用于构图，另一较大验证集用于选层。
• 强度设定：特征数少，强度需要较大。以特征最大激活为底，搜索其倍数。Gemma-2-9B 与 Llama-3.1-8B 的最大激活来自 Neuronpedia API；Llama-3-8B 在更大训练集上采样。具体特征与强度见附录 C。

成功判定

• 数据形态：每条样本含原上下文、原黄金答案、把原答案替换掉的上下文，以及替换上下文的黄金答案。对每个模型，只保留“替换上下文下仍输出原黄金答案”的例子。
• 成功：转向后改为输出替换上下文的黄金答案。正确性由 Qwen3-14B 判断，模板见附录 B 的 Figure 13：只输出 1 或 0，并提示仅在与黄金答案差异很大时判错。特征识别在每个模型各自的 Macnoise 与 NQ-Swap 训练子集上进行。

实验设置

• 模型与 SAE：Gemma-2-9B（Google DeepMind SAE）、Llama-3.1-8B（Llama Scope）、Llama-3-8B（EleutherAI SAE）。SAE 都训练在残差流上，宽度 131K。前两者用 JumpReLU，Llama-3-8B 用 TopK。评审模型为 Qwen3-14B。
• 主数据集：NQ-Swap 与 Macnoise。每模型先筛出在替换上下文下仍答原黄金答案的例子。附录 C 写明特征识别用各模型自己的训练子集；Figure 3 的开发集大小为 200。论文未在正文给出测试集总条数。
• 基线：不转向、ICL、CAD、STA、SPARE。STA 与 SPARE 为大规模 SAE 转向。
• 指标：主表为准确率（mean±标准差，Table 1、Table 2）。Figure 3–5 用 revised count，即转向后被改掉的不忠实答案数量。另有注意力分数变化与解码向量余弦相似度。
• 转向位置：提示词最后一个 token。Table 1、Table 2 的 ± 值表明有重复，论文未在正文写明重复次数。
• 其他评测：附录 D 为 FaithEval 泛化；附录 E 为忠实样本之外的下游能力副作用（MMLU、GSM8K）。

主结果

作者称 KPI 在每个模型、两个数据集上都最好，并称相对最佳 mass steering 基线平均准确率提高 18%。Llama-3.1-8B 上 SAE 方法在 NQ-Swap 较低；作者检查单特征转向，称其同样下降（Figure 4），因而整体下降来自特征效果下降，SAE 转向依赖 SAE 质量。作者还称 Gemma-2-9B 上 SPARE 在 Macnoise 较低是因为层选择不准：大规模转向不能精确反映层是否有效，KPI 则迭代选层。

Swipe horizontally to read the table

方法	Llama-3-8B NQ	Llama-3.1-8B NQ	Gemma-2-9B NQ	Llama-3-8B Mac	Llama-3.1-8B Mac	Gemma-2-9B Mac
不转向	0.33±0.58	0.00±0.00	0.67±0.29	2.33±1.26	2.67±1.04	2.50±0.00
ICL	22.83±1.61	16.00±0.50	13.67±0.58	9.83±3.01	15.50±1.80	7.50±2.50
CAD	8.17±1.04	14.67±1.89	11.50±1.80	16.83±4.31	14.83±1.15	17.00±3.04
STA	61.17±2.52	24.00±0.00	31.67±1.26	47.17±4.25	38.33±2.47	14.83±1.53
SPARE	68.83±2.02	48.83±1.15	69.50±1.50	55.67±2.75	54.33±3.33	43.00±6.54
KPI	72.83±4.31	50.67±0.76	79.33±0.76	63.83±3.21	58.50±5.27	75.83±5.62

据 Table 1。NQ 即 NQ-Swap，Mac 即 Macnoise。与同列最佳基线 SPARE 相比，KPI 的差距在 Gemma-2-9B 的 Macnoise 上最大（75.83 对 43.00），在 Llama-3.1-8B 的 NQ-Swap 上最小（50.67 对 48.83）。Llama-3-8B 的 NQ-Swap 上 KPI 标准差（4.31）大于 SPARE（2.02）。

消融：单特征与协作

• 测了什么：Figure 5 比较 Gemma-2-9B 上 KPI 所选特征的单特征转向与 KPI 整体。图注写 KPI（147）、特征按入度排序共 8 个。
• 结果：作者称所选特征只有 8 个，远少于基线即使在单层也要转向的数量；平均单特征效果好于 Figure 3，KPI 整体（147）高于每条单特征。
• 作者的解读：冗余特征大多被排除；这些特征协作后优于任一单特征；纳入关键层的上游特征有收益，说明知识选择跨多层，前层转向有必要。

副作用

Table 2 在原本忠实、无知识冲突的例子上测准确率。作者称 KPI 与不转向相比下降较小，并好于或接近 SPARE，据此认为过滤冗余减轻了噪声对好特征和模型能力的损害。

Swipe horizontally to read the table

方法	L3 NQ	L3.1 NQ	G2 NQ	L3 Mac	L3.1 Mac	G2 Mac
不转向	99.83±0.29	99.00±0.50	100.00±0.00	99.33±0.29	100.00±0.00	99.50±0.50
SPARE	88.17±4.01	84.50±1.80	76.83±4.25	82.83±3.69	82.00±0.87	95.33±1.89
KPI	95.00±0.50	98.00±0.87	99.17±0.58	95.17±1.44	96.67±1.44	95.50±0.50

据 Table 2。L3、L3.1、G2 分别为 Llama-3-8B、Llama-3.1-8B、Gemma-2-9B。例外：Gemma-2-9B 的 Macnoise 上 KPI（95.50±0.50）与 SPARE（95.33±1.89）接近，且略低于不转向的 99.50。附录 E 还检查 MMLU 与 GSM8K，正文未给出具体数字。

注意力与余弦相似度

• 注意力：SAE 在 post residual stream 上训练，转向影响后续层注意力。作者采样“下一转向层”和“下一关键层”上，上下文中黄金答案 token 的注意力变化，报告 Gemma-2-9B 的 Figure 6–9。Figure 6 为层 28 特征 9032 对层 29 各头的平均注意力增减；Figure 7 为同层特征 14451（互信息较高但转向弱）；Figure 8–9 为层 24 特征 21413 对层 29 与相邻下一层。作者称关键特征与许多强特征在下一关键层的多数头上提高黄金答案注意力，弱转向特征则增强更少、下降更多；有些强特征在相邻下一层负效应更明显，作者认为它们不直接让模型关注答案，而是经推理激活好特征，再在更相关的后续层提高注意力，因而位于远离目标功能的非功能层。
• 余弦相似度：Figure 10 给出与层 28 关键特征最相似的各层特征的余弦相似度和单特征 revised count，横轴约层 18–37。作者称相邻层有高相似度，相似度与转向效果都随离开关键层而变小；把该关键特征的解码向量加到更早层的残差流，仍能达到与原层相当的强转向。作者估计该模式主要在 26–29 层形成并起作用，作为行为选择在一段层内逐渐形成、以及前层转向有益的证据。

其他消融与分析

• Figure 3：Gemma-2-9B 开发集 200 条上，层 30 大规模基线 revised count 标为 60，层 31 标为 79；横轴为互信息排名约 1–50，多数单特征更低，少数更高，且层 30 有用特征排名可以靠后。
• Figure 4：Llama-3.1-8B 单特征与 KPI 在两数据集上都呈下降；图例标 Macnoise KPI（128）、NQ-Swap KPI（101）。
• 附录 F：交互模式在 200 条与 10 条上高度一致。
• 附录 D：在另一忠实数据集 FaithEval 上测泛化，正文未给数字。
• 层选择：SPARE 与 KPI 都搜索较宽层范围；作者称 SPARE 不能精确定位重要层。

作者指出的局限与后续方向

• 识别方法：相关性方法本质上无因果性；KPI 只是用关键特征间的因果交互减噪声。反向传播找电路不适合长上下文，其剪枝也可能丢掉因果特征。作者写应进一步研究，从根本上优化识别方法（Limitations，Basic Methods）。
• 数据去噪：Lu et al. (2026)、Wang et al. (2025a) 从数据过滤去噪，作者称本文没有深入调查（Limitations）。
• 备份电路：作者引用存在功能相似的多条计算电路（Lindsey et al., 2025），并举例：找到做加法的电路后把其中特征激活置零，模型仍能靠其他电路做加法。KPI 找的是相关性最高的简单电路，不排除备份电路；同时作者指出，因能力饱和与相互干扰，激活多条同功能电路未必有益（Limitations，Multiple Circuits）。
• 模型与 SAE：方法需要跨层分析，因而需要连续层上训练的 SAE。作者称 70B+ 没有满意的 SAE 资源；Neuronpedia 上这类尺寸只有有限层设置，从头训练又太贵。作者强调已尽量覆盖两个模型家族和两种 SAE 结构，并认为基础转向方法在更大模型上的泛化倾向意味着这种去噪也可能适用，因为机制相同（Limitations，Models and SAEs）。
• RAG 设定：真实 RAG 还有许多额外条件。实验假设检索到的证据应当被遵循，关注的是对上下文的忠实，而不是更广的推理能力（Limitations，RAG Setting）。

实验覆盖范围

• 被测生成模型为 Llama-3-8B、Llama-3.1-8B、Gemma-2-9B；SAE 均在残差流、宽 131K，激活为 JumpReLU 或 TopK（Section 5.1）。评审为 Qwen3-14B。
• 主结果为 NQ-Swap 与 Macnoise 上的准确率，基线为不转向、ICL、CAD、STA、SPARE（Table 1）；副作用主表为同两数据集上的忠实例子，只比较不转向、SPARE、KPI（Table 2）。
• 单特征与层分析的图集中在 Gemma-2-9B 第 24、28–31 层和 Llama-3.1-8B（Figure 3–10）；注意力只报告 Gemma-2-9B。
• 交互稳定性在附录 F 比较 200 条与 10 条；泛化与下游能力分别放在附录 D（FaithEval）和附录 E（MMLU、GSM8K），正文未给这些附录的数字。
• 论文未报告主实验的测试条数、重复次数，以及每次转向的特征修改数在三个模型上的完整清单（附录 C 给出所选特征与强度，正文只明确 Figure 5 为 8 个特征）。

KPI 针对知识冲突 RAG 中的 SAE 转向：相关性批量改特征会带入冗余，少量因果上关键的特征即可完成转向。

• 问题：参数知识与上下文冲突时，模型有时仍输出参数知识。STA、SPARE 等按互信息做大规模转向，把特征当独立单元，强特征激活的弱特征被一起选入，噪声削弱转向。
• 方法：小开发集上逐个转向正特征，记录当前层及后续层激活增幅最大的 top 5，建成有向交互图。入度高者为关键特征；以单特征转向最好的层为关键层，只转向该层及前层，强度取最大激活的倍数并在验证集上选择。成功指模型从原黄金答案改为替换上下文的黄金答案，由 Qwen3-14B 判定。
• 主结果：Table 1 中三个模型在 NQ-Swap 与 Macnoise 上 KPI 都高于不转向、ICL、CAD、STA 和 SPARE。作者称相对最佳 mass steering 基线平均高 18%。差距最大的一格是 Gemma-2-9B、Macnoise：KPI 75.83±5.62，SPARE 43.00±6.54。Llama-3.1-8B 在 NQ-Swap 上 SAE 方法整体较低（KPI 50.67±0.76），作者称单特征转向同样下降。
• 机制与副作用：Figure 5 中 Gemma-2-9B 只留 8 个特征，整体 revised count 147，高于任一单特征。Table 2 忠实样本上 KPI 多保持在 95 以上，SPARE 在 Gemma-2-9B 的 NQ-Swap 降到 76.83±4.25。注意力图显示关键特征提高下一关键层对黄金答案 token 的注意力；Figure 10 中相似解码向量与转向效果随远离层 28 而变小，作者估计行为选择模式主要在 26–29 层形成。
• 作者的结论：冗余来自不准的相关性和被忽略的交互；沿关键路径、以质量优先于数量，可以用更少修改提高忠实并减轻副作用。局限包括相关性方法仍非根本的因果识别、未排除备份电路、70B+ 缺少连续层 SAE，以及实验假设检索证据应被遵循。