研究揭示 Transformer 中影响超常的削弱型神经元

GLU 神经元从残差流读到的方向与写回的方向之间是什么关系，这种关系如何对应激活频率和模型行为。

• 场景：作者把工作放在机制可解释性里，关注 MLP 子层中的单个神经元。已有工作或按激活语境分类（如 Voita et al., 2024），或按输出权重方向定义功能角色（如 Gurnee et al., 2024）。作者认为这两者都没有完整刻画神经元实现的机制：神经元既由何时激活、写什么决定，也由它从残差流读取的方向与写回方向的关系决定。
• 现有不足：作者称 Elhage et al. (2021) 曾假设输入–输出权重的负余弦可能实现记忆管理，Gurnee et al. (2024) 对非 GLU 的 GPT-2 神经元算过这类余弦但未解释结果。作者称先前工作没有为门控激活（Shazeer, 2020）建立 IO 分类，也没有系统分析 IO 类在近期 LLM 中的层分布及其对行为的影响。SwiGLU/GEGLU 被 Llama、OLMo、Qwen、Gemma 等使用。
• 核心观察：若输出权重与输入权重方向相反，该神经元会削弱它在残差流中检测到的方向，作者称之为 weakening neuron。作者进一步区分 strengthening、conditional strengthening/weakening、proportional change 与 orthogonal output。
• 本文做法：提出基于权重余弦的门控神经元 IO 分析，在多个 LLM 上统计各类的层分布与激活频率，并用消融和个案检查 weakening 神经元对输出分布的影响，包括门控值为负的情况。

论文在引言和 Related Work 中把先前工作分成几组，并指出 IO 视角相对少。

残差流与线性表示

• Elhage et al. (2021)：提出 residual stream；作者称其脚注提到负 IO 余弦可能做记忆管理，但未继续。Belrose et al. (2025)、nostalgebraist (2020) 把残差状态看成对下一 token 的中间猜测；Rushing and Nanda (2024) 将其讨论为 iterative inference hypothesis。Park et al. (2024) 讨论 linear representation hypothesis 的若干方面；Lad et al. (2024) 定义推理阶段。

神经元、叠加与 SAE

• 单神经元与批评：Miller and Neo (2023)、Dai et al. (2022)、Niu et al. (2024) 试图理解单个神经元。Millidge and Black (2022) 找到不基于单个神经元的可解释方向。Elhage et al. (2022) 认为可解释特征是模型空间中非正交、可叠加的方向，对应 MLP 中神经元的稀疏线性组合。由此引出 SAE（Sharkey et al., 2022）。Kantamneni et al. (2025)、Mueller et al. (2025)、Wu et al. (2025)、Arora et al. (2026) 的近期研究指出 SAE 并不总是优于基线；Leask et al. (2025) 认为其特征并不“canonical”。Gurnee et al. (2023) 认为可解释特征对应神经元的稀疏组合，包括单个神经元。Zhao et al. (2026) 的 culture-sensitive neurons、Ali et al. (2025) 的 prominent but detrimental neurons 仍在找新的神经元类。
• 激活语境与输出方向：Voita et al. (2024) 按激活语境分类并发现 token detectors；Gurnee et al. (2024) 按输出权重定义 suppression neurons 等功能角色。语义层面的 IO：Geva et al. (2021) 把神经元看成 key-value memory；Gur-Arieh et al. (2025) 用特征输出帮助猜测其激活序列。McDougall et al. (2024)、Elhelo and Geva (2025) 对注意力头 OV 电路做基于权重的输入输出 token 分析。作者称自己是在数学层面计算输入与输出权重的余弦，且门控使 IO 更复杂。

抑制、擦除与置信度

• 记忆管理与擦除：作者称 Lad et al. (2024) 似乎把若干机制混称为 residual sharpening。Heimersheim and Turner (2023) 发现覆盖也可做记忆管理。Janiak et al. (2024) 观察到注意力头擦除先前头的输出；McGrath et al. (2023) 观察到 MLP 部分擦除先前单元写下的内容；Rushing and Nanda (2024) 找到稀疏的 erasure neurons，并假设其与 Gurnee et al. (2024) 的 suppression neurons 有关。
• 置信度：McDougall et al. (2024) 的 copy suppression heads 抑制跨位置复制，作者称这与记忆管理不同，因为被抑制的表示并非先前阶段所需，并被认为改善校准。Stolfo et al. (2024) 基于 Gurnee et al. (2024) 找到 entropy neurons、token frequency neurons，按输出分类，作者称因此先验上不同于本文的 IO 类。Lv et al. (2024) 在最后一层找到反过度自信机制；Joshi et al. (2025) 确认最后层的置信度校正阶段，并在早期层发现 calibration direction。Stacey et al. (2026) 分析隐藏层不确定性探针的鲁棒性。作者称这些工作都没有把置信度与 IO 余弦联系起来，并在 Section 9 假设二者有关联。

基线方法不是外部攻击或防御方法。随机性对照是 i.i.d. 高斯向量，以及按层的 mismatched cosines（Section 4.3、Section F）。消融对照是从与 weakening 神经元相同层中随机抽取同样数量的神经元。激活统计用 Dolma 的随机子集。

作者把本文定位为：对门控神经元建立 IO 分类，并系统看这些类在近期 LLM 中的分布及对行为的影响；这与只看激活语境或只看输出方向的分类不同，也与只解释负余弦的记忆管理假说不同，因为他们同时观察到大量强正余弦。

整体做法是 IO functionality 分类：对每个神经元比较它从残差流读取的方向和写回的方向。分析对象是神经元权重，不是激活，也不是 transcoder 特征。

问题设定与门控神经元

• 残差读写：按 Elhage et al. (2021)，单元从残差流读取再写回。SwiGLU 神经元的更新是 Swish(⟨wgate, x⟩)·⟨win, x⟩·wout。wgate、win 是引起激活的方向，wout 是写回方向。GEGLU 用 GELU 替换 Swish，其余相同。
• 与 ReLU 的差别：传统 MLP 是 Wout ReLU(Win x)。SwiGLU 需要两套输入权重：Wout (Swish(Wgate x) ⊙ (Win x))。门控函数可以输出任意正负值；例如 xgate>0 且 xin≪0 时，SwiGLU 输出远小于 0。作者称 Swish、GELU 常被视为 ReLU 的光滑近似，负门控值此前常被认为主要服务于训练动态。
• 语义只作直觉：作者说“检测一个概念再写出一个概念”不是分类的必要假设。方法选择纯权重余弦，以便用对残差流的更新来描述神经元实现的数学功能。

GLU 的 IO 分类

• 非 GLU 的两类输入操纵：cos(win, wout) 很负为 weakening（检测某方向后写入其相反方向）；很正为 strengthening。
• GLU 原型类（余弦约 ±1 或 0，Fig. 1、Section 4.2.2）：(i) strengthening / weakening：三个权重向量大致共线，且 cos(win, wout)≈±1。(ii) conditional strengthening / weakening：win 与 wout 大致共线，wgate 与它们正交；是否加强或削弱取决于残差流中是否出现 wgate。(iii) proportional change：wout 与 wgate 共线、与 win 正交；若 wgate 出现，写入该方向的倍数，倍数与 win 的出现成比例。与这些“输入操纵”相对的是 orthogonal output：写到输入未检测到的方向。
• 一般情形的三种粒度：(1) 归入最近的原型，阈值 τ=±0.5；(2) 画三个余弦的边缘分布；(3) 用三个权重余弦做散点。若只知道 cos(win, wout) 与 cos(wgate, wout) 都大于 0.5，并不能推出 cos(win, wgate)>0.5；这种不匹配的类名前加 atypical。完整判定表在 Section E 的 Table 2。Fig. 3 中这类神经元存在，但总体很少。

随机基线与实现

• 两种随机基线（Section 4.3）：(i) i.i.d. 高斯向量，对应随机初始化；(ii) 按层的 mismatched cosines。细节在 Section F。Fig. 4 用红线标出三个余弦各自的 95% 随机区域；变体 (i) 为点线、(ii) 为虚线，作者称二者几乎重合。
• 实现：代码基于 TransformerLens v2。加载模型时做不改变行为的预处理，使权重更可解释；作者使用加入额外预处理的自定义版本（Section D）。作者称权重预处理使 weakening 神经元的 cos(wgate, win) 为正（Section D.2）。作者计划发布代码；正文给出仓库名，此处不记录地址。

激活统计与消融定义

• 激活频率：统计 xgate>0 的频率，并计算它与 cos(win, wout) 的 Pearson 相关。样本量为该模型的 MLP 神经元数。语料是 Dolma 的随机 20M tokens 子集（沿用 Voita et al., 2024 的规模）。
• 消融规模：每次消融的神经元数等于该模型 weakening 神经元的数量。OLMo-7B 有 526 个 weakening 神经元，因此每轮消融 526 个。对照是从相同层随机抽同样数量。两种消融：zero ablation（激活置 0）和 mean ablation（置为该神经元的平均激活，Section G.3）。正文第 7 节以 mean ablation 为主。
• 条件消融的四个象限（定义在正文中被简化，精确说法见 Section D.2）：(i) xgate>0、xin>0，从而 xpost>0；(ii) xgate>0、xin<0，从而 xpost<0；(iii) xgate<0、xin<0，从而 xpost>0；(iv) xgate<0、xin>0，从而 xpost<0。只消融满足相应符号条件的激活。

个案分析用的方法

• 两类已有方法：把权重投影到词表空间（Geva et al., 2022; Dar et al., 2023 等），以及找强烈激活该神经元的文本（Geva et al., 2021; Nanda, 2022 等）。作者称个案只展示 IO 类能做什么，不用于支持统计主张。OLMo-7B 上选 strengthening 神经元 28.4737 与 weakening 神经元 31.9634（零起点的 layer.neuron；该模型 32 层，后者在最后一层）。

实验设置

• 模型：非 GLU 共 24 个 transformer，覆盖 encoder-decoder、encoder-only、decoder-only，激活为 ReLU 与 GELU，训练数据含语言与非语言；名单在 Section C.1，结果放在 Section J.3.1。GLU 共 12 个，含 SwiGLU 与 GEGLU，名单在 Section C.2。Fig. 2 画其中 9 个 2B–9B 模型：OLMo-7B-0424、Gemma-2-2B、Gemma-2-9B、Llama-2-7b、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B-v0.1、Qwen2.5-7B、Yi-6B；小于 2B 的见附录 Fig. 26。
• 语料：激活频率与消融使用 Dolma 的随机 20M tokens。作者注明 Dolma 是 OLMo 的训练数据；Gemma 与 Llama 没有公开训练集，Dolma 可能只是其子分布（Dolma 仅为英语和代码，Llama 在多语数据上训练）。作者认为该子分布对此处目的足够。频率实验用 OLMo-7B、Gemma-2-2B、Llama-3.1-8B、Llama-3.2-3B。消融为节省资源只做 OLMo-7B 与 Llama-3.2-3B，正文主要展示 OLMo，并称 Llama 结果相似、见补充材料。
• 指标：层内 cos(win, wout) 的中位数；按 τ=±0.5 的类别计数；gate>0 频率及其与 cos(win, wout) 的 Pearson 相关（p<0.01）；消融前后的 loss 与输出分布熵。熵图的横轴为 entropy(clean)−entropy(ablated)，单位为 nats。
• 消融协议：每轮消融数等于 weakening 神经元数（OLMo-7B 为 526）。对照为同层随机神经元。正文聚焦 mean ablation；zero ablation 见 Section G 与 J.2。重复次数论文未报告。
• 随机区域：Fig. 4 的红线是三个余弦的 95% 随机区域。

主结果

Fig. 2 中，九个 2B–9B 模型的中位 cos(win, wout) 在网络前部为正、在末尾为负。Fig. 3（Llama-3.2-3B，精确计数见 Table 12）中，input manipulator 占全部神经元的 25%，在第 7–11 层（零起点）可达 50%。作者称 Llama 中超过 80% 的 input manipulator 属于 conditional strengthening 这一类。Table 1 给出 cos(win, wout) 与 gate>0 频率的相关：

模型	Pearson 相关	出处
OLMo-7B-0424	-0.91	Table 1
Gemma-2-2B	-0.76	Table 1
Llama-3.1-8B	-0.59	Table 1
Llama-3.2-3B	-0.54	Table 1

• 层分布：作者称早期–中层以 conditional strengthening 为主，晚期 weakening 占晚期较少的 input manipulator 中的很大份额；proportional change 是晚期另一类重要的 input manipulator。Fig. 4 中，第 0 层与第 14 层有大量点位于 x 轴上方，第 27 层簇移到下方；左下角较浅的点为 weakening。作者称即使被标成 orthogonal output 的神经元，余弦也常超出显著性阈值，因此在一定程度上仍做输入操纵；例如第 14 层许多神经元的 cos(win, wout) 低于 0.5 但高于显著性阈值。
• 激活频率：作者称与 Gurnee et al. (2024) 一致，（conditional）strengthening 很少激活，（conditional）weakening 经常激活。OLMo 的相关 −0.91 强于作者所引 Gurnee et al. (2024) 的最高约 −0.69。分层看（Fig. 10），该效应主要来自中间层。作者称这是 weakening 虽为小类却不成比例重要的初步迹象。Fig. 5 是 OLMo-7B 的热图，作者称颜色越深表示该区域神经元越多，并在图中标注 corr: -0.91、p<0.01。
• Fig. 3 的精确条长：论文说见 Table 12。正文转写里各类名称齐全，但各层精确计数未在可核对的表体中对齐，这里不填具体条长。

消融：熵与负门控

• 测了什么：在 20M tokens 上，对 OLMo-7B（及补充材料中的 Llama-3.2-3B）按 IO 类做 mean ablation，比较输出熵与 loss。Weakening 与同层随机基线、以及其他 IO 类对比。
• 结果：作者称 weakening 在所测指标上效应最高，尽管只有几百个神经元。Fig. 6 左上：约 10^3 次下一 token 预测中，weakening 神经元使熵下降约 10 nats，而使熵上升的情况更少。作者称 strengthening 常常使分布更尖（Fig. 13 中降低熵）；weakening 既常使分布变平，又更经常使分布变尖。其他类没有这么大的效应（Fig. 17）。
• 作者的解读：作者预期从残差流去掉信息应使输出更平，但 weakening 更常使分布变尖。条件消融显示，变尖以及另一语境下的变平，很大一部分来自象限 (ii) 与 (iii)（Fig. 6 中右、左下）。象限 (iii)（xgate<0 且 xin<0）尤其出乎作者预料：负门控在 weakening 中相对少见（Section 6），且因 Swish，负门控值相对小。作者称这是首次（与关注不同现象的 Kong et al., 2026 同时）观察到负门控值对模型行为有强效应，因此对机制可解释性而言 Swish 不能还原成 ReLU。象限 (ii) 的区域在权重空间中较小，但作者称残差流仍足够常进入该区域。象限 (iv) 的激活小且少，消融影响小（Fig. 6）。

个案：熵下降与两个神经元

• 极端熵下降样本（zero ablation 下象限 (iii) 最极端）：输入以 “the O” 结尾，正确下一 token 为 “mic”。干净运行正确预测。干净运行相对消融运行，mic 及相似 token 的分数提升最多达 12 点，没有任何 token 的分数下降接近这一幅度。作者称至少在此例中，象限 (iii) 通过抬高正确下一 token 使分布变尖。
• 间接且累积：作者称没有任何单个 weakening 神经元单独达到该效应，但有一个 8 个 weakening 神经元的小子集可以。直接效应对不上观察到的效应，因此相关效应是间接的。更完整的机制留给未来工作。
• 两个 OLMo 神经元：28.4737（strengthening）在残差流已指示 review 应为下一 token 时进一步促进 review。31.9634（weakening）的权重对应：残差流含 “minus again” 时产生 “again”；但强激活样本与 again 没有明显语义关系。它在 again 已是合理续写时弱正激活（例如 once 之后），此时 xgate<0 且 xin<0。作者称最后一层 MLP 之前 again 已弱存在于残差流，该神经元加以强化。作者认为即使输出权重可解释，strengthening 与 weakening 的整体行为也不同，weakening 更复杂；并认为这与 weakening 的性质有关：至少在象限 (i)，中间预测与神经元所促进的内容之间存在表面上的冲突。

其他消融与分析

• 分层相关（Fig. 10）：负相关主要来自中间层；最后两层除外的说法见 Section 9 的总结，作者称除最后两层外，IO 功能与激活频率强相关。
• Zero ablation 的熵与 loss 结果放在 Section G、J.2；正文未给出可与 Fig. 6 对齐的另一组精确数字，故不另引。
• 非 GLU 的 24 个模型结果在 Section J.3.1；作者称各组内部跨模型一致，且总有相当数量的 weakening，许多其他神经元的 IO 余弦也远离 0。具体中位数未在正文主图中给出。
• Fig. 4 及附录 Fig. 30、Fig. 31（Yi-6B，层 24–31）重复“中层簇在 x 轴上方、最后几层移到下方”的模式。附录散点的坐标数值无法从转写中逐点读取。
• 随机基线的两条 95% 界在 Fig. 4 中几乎重合。
• Section H：作者找到接近正交的向量却表示很相似概念的例子（double checking），用来说明权重余弦不应一对一当成语义相似度。

作者指出的局限与后续方向

• 机制仍是假说：Section 9 称对发现的解释只是推测性假说，不是结论性解释，作者将在未来工作中设法确认（Section 9）。
• 熵下降机制：Section 7.3 称此例中 weakening 的降熵来自间接且累积的效应，更充分理解其机制留给未来工作（Section 7.3）。
• 权重余弦的范围：Limitations 称方法聚焦单神经元的参数解释，简单且计算上省，但范围inherent有限；设计上是补充而不是替换其他神经元分析方法（Limitations）。
• 余弦不等于语义：Limitations 称权重的数学相似有启发，但不应当成语义相似的一一对应；Section H 有接近正交却概念很相似的例子（Limitations）。
• 依赖残差连接：Limitations 称 IO 方法假设不同层的表示在一定程度上可比较，这由残差连接保证；若无残差连接的训练成为标准（Ji et al., 2026），方法将不再适用；对使用 hyper-connections 的 DeepSeek-V4 一类模型也不能直接用（Limitations）。
• 消融看不到中间步骤，且对后期层的理解有限：Limitations 称消融表明不同 IO 类在下一 token 预测层面的效应，但没有展示从神经元激活到模型输出的中间步骤。条件消融的一个具体限制是：应用于若干（转写在此中断）后期层时并不适用，因此也不适用于大多数 weakening 神经元；作者因此说对 weakening 神经元的理解仍然有限（Limitations）。Transcoder 上的同一余弦分析被明确推迟到未来工作（Section 4.1）。

实验覆盖范围

• 权重余弦覆盖 24 个非 GLU 模型（Section C.1、J.3.1）和 12 个 GLU 模型（Section C.2）；Fig. 2 展示其中 9 个 2B–9B 模型的中位 cos(win, wout)。
• gate>0 频率与 Pearson 相关报告了 OLMo-7B、Gemma-2-2B、Llama-3.1-8B、Llama-3.2-3B，语料为 Dolma 随机 20M tokens（Section 6、Table 1）。
• 正文中的消融以 OLMo-7B 的 mean ablation 为主，每轮 526 个神经元，并含同层随机对照与四个激活象限；Llama-3.2-3B 的结果作者称放在补充材料（Section 7）。
• 个案详细分析了 OLMo-7B 的 28.4737 与 31.9634，并称 Section I 有更多神经元；作者写明个案不支撑统计主张（Section 8）。
• 论文报告了 Pearson 相关的 p<0.01，以及 Fig. 4 的 95% 随机区域；未报告消融的重复次数。Gemma 与 Llama 上使用的 Dolma 被作者写成可能只是其训练分布的子分布（Section 6）。

这篇分析工作用输入权重与输出权重的余弦，给 GLU 神经元的读写功能分类，并检查这些类的层分布、激活频率和对下一 token 分布的影响。

• 问题：神经元写回残差流的方向与它读取的方向可以同向、反向或正交。门控模型还有第三个向量 wgate。作者认为只看激活语境或只看输出方向，没有把这种读写关系系统化。
• 分类：三个权重大致共线且 cos(win, wout) 接近 +1 或 −1 时，分别是 strengthening 与 weakening；win 与 wout 共线而 wgate 正交时为 conditional 版本；wout 对齐 wgate、正交于 win 时为 proportional change；其余接近正交输出。实用分类用阈值 ±0.5，不匹配时标 atypical。随机对照是高斯向量和按层的 mismatched cosines。
• 分布：在 Fig. 2 的九个 2B–9B GLU 模型上，中位 cos(win, wout) 前部为正、末尾为负。Llama-3.2-3B 中 input manipulator 占 25%，第 7–11 层可达 50%，且 Llama 里超过 80% 的 input manipulator 是 conditional strengthening。晚期则更多 weakening，并有 proportional change。
• 频率与消融：四个模型上，cos(win, wout) 与 gate>0 频率负相关（Table 1）：OLMo-7B 为 −0.91，Gemma-2-2B 为 −0.76，Llama-3.1-8B 为 −0.59，Llama-3.2-3B 为 −0.54，均 p<0.01。OLMo-7B 有 526 个 weakening 神经元；均值消融它们对输出熵的影响大于同层随机神经元和其他 IO 类。Fig. 6 中约 10^3 次预测里熵下降约 10 nats。象限 (ii)、(iii) 贡献大，作者据此认为负门控值会影响行为，Swish 不能还原成 ReLU。一个极端样本里，干净运行把正确 token 的分数抬高最多 12 点，且效应来自 8 个神经元的间接累积。
• 作者的结论：IO 功能在所查模型间大体相似，并能预测激活频率；weakening 这一小类对行为影响大，包括此前被认为不影响 transformer 功能的负门控值。Section 9 把中层 conditional strengthening 推测为对抽象概念的置信度管理，把晚期 weakening 的不同象限推测为纠错、冲突消解或类 strengthening 行为，并写明这些只是假说。作者希望 IO 分析成为可解释性工具的一部分，同时指出它补充而非替换其他方法，且依赖残差连接。