研究揭示 Transformer 层间纠正机制 TLCM

相邻层是否在普通前向中系统性抵消彼此写入残差流的内容，从而动摇“各层逐步叠加特征”的看法。

• 场景与重要性：作者称机制可解释性常把一层的作用理解为输出中的特征，并认为后续层在残差流上继续叠加；事实回忆等工作把相继层写成逐步补充实体信息。线性探针、logit lens、SAE 与跨层 transcoder 都受这一看法推动。
• 现有看法的不足：若各层主要写入新内容或强化已有信息，层贡献的余弦相似度应大致非负。作者称负相似度意味着一层在反转另一层，单层输出中的特征可能并不留在残差流中。
• 核心观察：在 7 个开源权重模型族中的 5 个（Llama 3、OLMo、Mistral、Gemma、Qwen2）里，层 i+1 会部分反对层 i 的贡献；相邻层余弦相似度通常在 −0.3 到 −0.15，最低可达 −0.4。GPT-2 与 Microsoft Phi 没有这一模式。
• 提出的机制：作者将这一现象命名为 Transformer Layer Correction Mechanism（TLCM），并用 propose-and-reject 框架解释：一层提出候选特征，下一层选择性去掉不合适的部分。作者认为这有助于理解 SAE 特征描述特异性低、转向需要大幅放大特征，以及 transcoder 相对 SAE 的理论优势。

特征可解释性

• 线性表示与探针：Mikolov et al. [2013]、Olah et al. [2020] 提出网络以激活空间中的线性特征表示概念；Alain [2016] 用监督线性探针读出中间层。
• 无监督或因果特征方法：logit lens（nostalgebraist, 2020）、Burns et al. [2022]、Geiger et al. [2024]、SAE（Bricken et al., 2023）从激活中抽取特征。引言还提到跨层 transcoder（Ameisen et al., 2025；Dunefsky et al., 2024；Paulo et al., 2025）。

纠正与自我修复

• Self-repair：后部组件在前部被消融时进行补偿，见于注意力层（Lad et al., 2024；McGrath et al., 2023；Rushing and Nanda, 2024）以及对调换 Transformer 层的韧性（Lad et al., 2024）。
• Copy suppression：McDougall et al. [2024] 描述一种被推测有助于自我修复的注意力模式。作者称 TLCM 更普遍（几乎所有 token 上多次出现），且发生在普通前向中，而不只在消融时。

残差流刻画

• 迭代推断与富化：Brothers et al. [2024] 的 Iterative Inference Hypothesis 认为 Transformer 逐层精炼隐表示；Belrose et al. [2023] 提取残差流中有语义的隐变量。Todd et al. [2024] 描述 function vector 等富化表示；Hernandez、Li、Geva、Hendel、Skean 等工作表明模型会在预测需要之前把实体相关信息汇入残差流。
• 层间相似度：Jiang et al. [2025] 在 ViT 上发现层贡献之间为正余弦相似度。作者用这一结果作为“层贡献应非负相关”的参照。

基线与数据

• 零模型：附录 C 用独立高斯与按层经验分布两种零模型衡量余弦相似度有多偏离独立假设；它们不是方法基线。观测语料为 WikiText（Merity et al., 2016）。

作者把本文定位为：在普通前向中记录相邻层的系统性部分反转，并把它与“残差流只含会持续存在的特征”这一用法区分开。

整体做法是测量相邻层边际贡献的方向关系，把稳定的负余弦相似度称为 TLCM，再检查它是否由训练学到、依赖何种 token，以及是否选择性作用于子空间。

问题设定与形式化

• 残差与贡献：token 嵌入进 dm 维残差空间，经 n 层后反嵌入。层内先注意力再 MLP：x′i = xi + Attni(xi)，xi+1 = x′i + MLPi(x′i)。层 i 的边际贡献为 ci = Attni(xi) + MLPi(xi + Attni(xi))，于是 xi+1 = xi + ci。ci,t 是层 i 在 token t 上的贡献。
• 相似度矩阵：对 token t，Mt[i, j] = cossim(ci,t, cj,t)（i ≠ j）。在约 100,000 个 WikiText token 上逐元素平均得到 M。对角线置零，图中把值截到 [−0.2, 0.2]。
• 激活定义：相邻层余弦相似度分布呈双峰，主峰约 −0.2，次峰约 +0.1，谷约在 −0.1。作者把 cossim ≤ −0.1 定义为一次 TLCM 激活。除非另说，主要结果报在 Llama 3.1 8B（dm = 4096）。

观测刻画

• 训练过程：在 OLMo 7B、OLMo 2 1B、OLMo 2 7B 各 7 个检查点上，用固定文本块计算 M，以区分结构固有、训练不稳定或后训练产物。
• token 与位置：用 Llama 3.1 8B 回答 100 条长文查询，语料 79k tokens；过滤出现少于 20 次的 token，统计每个 token 上满足阈值的层数。另在 2000 篇长 WikiText 上按上下文位置统计平均激活次数。Gemma 2 2B Instruct 用同一 79k tokens 复算。
• 子层：分别计算注意力贡献与 MLP 贡献的平均相似度矩阵 Mattn、MMLP，并查看 MLP 与前一注意力子层的相关。

自适应干预与 Jacobian

• 缩放干预：记层 i、i+1 的贡献为 at、bt。定义 b′t(Δ) = Layeri+1(xi,t + Δ)，则 b′t(0) = bt。取 Δ = α at，α ∈ {−1, −0.9, …, 1}，测量 cossim(at, b′t(α at))。输入变为 xi−1,t + (1+α)at。
• 对称 Jacobian：在 0 处线性化，b′t(Δ) ≈ bt + JΔ，J 为层 Jacobian；对称化为 J = 1/2 (J + J⊤)，谱分解 J = QVQ⊤。作者称负特征值方向被纠正（λ = −1 时净贡献为零），正特征值方向被增强，近零特征值方向基本不动。把 at 投影到特征向量，取 |qi|² 最大的 50 个方向（作者称占 at 方差 15% 以上），看对应 λi。TLCM 与非 TLCM 各取 50 对。

propose-and-reject

• 假设：一层提出候选特征；下一层借助注意力收集上下文，去掉不相关特征。作者写明本文没有显式检验该假设，它只是与现有实验一致的概念框架。
• 与可解释性的联系：作者认为单层分解无法区分会留下的特征与下一层可能撤销的提议；SAE 可能在即将被纠正的内容上激活。转向若与纠正方向相反，可能要超过纠正容量。transcoder 把层计算写成输入残差的函数，跨层架构还可同时表示提议与随后的纠正。

实验设置

• 模型族：Llama 3、OLMo、Mistral、Gemma、Qwen2、GPT-2、Phi，共 7 族。图中具体面板包括 Llama 3.1 8B Instruct、Qwen 2.5 0.5B、Phi 4、GPT-2 XL。主报告模型为 Llama 3.1 8B（dm = 4096）。训练动态用 OLMo 7B、OLMo 2 1B、OLMo 2 7B。token 统计另含 Gemma 2 2B Instruct。
• 数据：WikiText 随机文档约 100,000 tokens（含多种语言与代码）；100 条长文查询的生成回答共 79k tokens，token 统计要求出现至少 20 次；位置曲线用 2000 篇长 WikiText。训练检查点用一块固定文本。
• 指标：层对平均余弦相似度；TLCM 激活为 cossim(ci,t, ci+1,t) < −0.1（分布讨论写“−0.1 或更低”）；每 token 激活层数的均值与 SEM。token 差异用双侧 Welch t 检验。
• Jacobian 样本：TLCM 存在与不存在的 Jacobian–at 对各 50 对；特征值直方图针对 dm = 4096。论文未报告相似度矩阵的重复次数。

主结果

表格较宽，可左右滑动

现象	条件	数字	出处
出现 TLCM 的模型族	7 个开源族	5/7（Llama 3、OLMo、Mistral、Gemma、Qwen2）	摘要、§4.1
相邻层平均余弦相似度	约 10 万 WikiText tokens	≈ −0.2	§4.1
相邻层余弦相似度范围	有 TLCM 的模型	通常 −0.3 至 −0.15，最低 −0.4	§4.1，Figure 1、附录 E
无 TLCM	GPT-2、Phi	Figure 1 右两栏无相邻层蓝色负带	Figure 1
激活分布	相邻层，多 token×层	主峰约 −0.2，次峰约 +0.1，谷约 −0.1	Figure 2 右

• 作者称：负带主要在各模型前三分之二层；非相邻层平均正交或正相关。GPT-2 与 Phi 的缺失可能与架构有关：Phi-3 基于 Llama 2，但在 MLP 与注意力后有 dropout，类似 GPT-2。
• 零模型：独立标准正态下，d = 4096 时余弦相似度期望 0、方差 1/d，低于 −0.1 约为 6-sigma；按层经验分布的零模型下，一次典型 TLCM 约 3-sigma。作者称这不建立因果。
• 效率疑问：作者指出反转主要发生在紧接的下一层，写入信息在被抹掉前只能被一个下游层利用。

训练、token 与子层

• 训练：Figure A9 中，OLMo 7B 在 step 33,000（训练的 5%）超对角无稳定负结构；step 135,500（21%，约 0.5 万亿 tokens）中部相邻层开始出现负相似度，此后加强并扩到更多层。附录 Figure A10、A11 为 OLMo 2 1B 与 OLMo 2 7B。作者称 TLCM 由学习产生、一旦学到就稳定，并来自预训练而非 SFT 或 RL。
• token：Llama 3.1 8B 上，最低纠正 token 平均少于 8 次激活，最高多于 11 次。\n 为 12.41（±0.10 SEM），sustainability 为 7.63（±0.23 SEM），差 4.78；作者报告该差异经双侧 Welch t 检验具有统计显著性。数字、标点、日期、括号偏高，community、training、understanding 等英文词偏低。Llama 的 <|begin_of_text|> 为 0 次，Gemma 的 <bos> 为 1 次。Figure 2 左：每多 1000 token 上下文，平均约多 1 次 TLCM 激活。
• 子层：Figure 3a 中注意力子层彼此正相关；MLP 与下一层 MLP 负相关，并与前一注意力子层负相关（附录 E）。作者认为纠正主要由 MLP 执行，但仍把分析放在整层，因为上下文依赖需要注意力参与。

因果缩放与子空间

• 缩放：α 从 0 增大则纠正变强，减小则变弱；Figure 3b 在 5 个随机 token 上近似线性，附录 F 称 TLCM 活跃的层都有该模式。α = 1（把 at 加倍）时，层 i+1 进一步反对 at。Figure A7 在 α = −1 时余弦相似度变正，层 i+1 反而加强层 i，早期层更强。作者称极端 α 是常规推断与训练中不出现的反事实，补偿也可能来自与 TLCM 无关的自我修复。附录 F：先前层放大超过 2× 后，纠正容量开始下降。
• Jacobian：Figure 4a 中 4096 个特征值约 3000 个为负（作者写 nearly 3/4）。Figure 4b 左：TLCM 对的最强分量呈双峰，主峰约 λ = −1，另一峰约 λ = 0.5。右：非 TLCM 对在 λ = 0 有一个强峰。作者称这不符合对前一层的均匀衰减，而是纠正某些子空间、不动或增强另一些。

其他消融与分析

• 相似度在指令微调与对话模型、不同规模与文本类型上仍然存在；论文未在正文给出分规模的数值表。
• 高纠正 token 的定性例子包括数字、日期、换行与括号；低纠正例子多为普通英文词。完整均值与 SEM 在 Table A1–A4。
• 作者未做转向或 SAE 的新实验；“超过 50% 的激活特征被大模型标为 Irrelevant 或 Only vaguely related”引自 Templeton et al. [2024]，转向需高达特征最大观测值 10× 也引自该工作。
• 作者写明没有显式检验 propose-and-reject，也没有把纠正分解成语义概念。

作者指出的局限与后续方向

• 假设未检验：Section 5.3 写明本文没有显式检验 propose-and-reject。Section 6 称它与结果一致，但仍是没有形式化的概念框架。
• 语义分解：Section 6 提出一种验证思路是把纠正分解成有语义的概念，并借助电路追踪与自动特征标注解释纠正及其原因。
• 不纠正的方向：Section 6 提议用 Jacobian 找出 TLCM 不针对的特征方向再做干预，并称之为未来工作中有希望的方向。
• 效率或架构约束：Section 6 称 TLCM 是最高效机制，还是架构约束的结果，仍是开放问题；若训练中减少 TLCM 的改动能带来更低损失，则支持后者。
• 其他架构：Section 6 称尚不知道 TLCM 是否在基于 SSM 的序列模型或 Transformer 变体（gated attention、NoPE、MOE）中出现。
• 极端干预：Section 5.1 指出极端 α 对应常规推断与训练中不出现的反事实状态，且 α = −1 时的补偿可能来自与 TLCM 无关的自我修复。

实验覆盖范围

• 相似度矩阵覆盖 7 个开源权重模型族；Figure 1 展示 Llama 3.1 8B Instruct、Qwen 2.5 0.5B、Phi 4、GPT-2 XL，其余族的矩阵在附录 E。
• 训练动态为 OLMo 7B、OLMo 2 1B、OLMo 2 7B 各 7 个检查点，Figure A9 给出其中四个 OLMo 7B 检查点。
• token 频率统计为 Llama 3.1 8B 与 Gemma 2 2B Instruct，语料 79k tokens，出现少于 20 次的 token 被滤掉；位置曲线为 2000 篇长 WikiText。
• Jacobian 直方图为 TLCM 与非 TLCM 各 50 对，特征值计数对应 dm = 4096；缩放曲线的完整层结果在附录 F。
• 论文报告了独立性零模型（附录 C）与子层相似度（Figure 3a、附录 E）；SAE 特异性与转向倍数引用 Templeton et al. [2024]，本文未重做这两项实验。

TLCM 描述一种普通前向中的层间动态：下一层系统性地部分反转上一层写入残差流的内容，使单层特征不一定会留下来。

• 问题：特征方法常把残差流看成逐层叠加。作者用层贡献余弦相似度检验这一预期，发现相邻层经常为负，而非相邻层则多正交或为正。
• 做法：在约 10 万 WikiText token 上平均相似度矩阵；把相邻层 cossim ≤ −0.1 记为激活。再看预训练检查点、token 类型、上下文位置、注意力与 MLP 子层，并用 α 缩放干预和对称层 Jacobian 区分子空间。
• 范围：7 族中 5 族出现该现象（Llama 3、OLMo、Mistral、Gemma、Qwen2），平均相邻相似度约 −0.2，最低约 −0.4，主要在前三分之二层。GPT-2 与 Phi 没有稳定相邻负带。分布为双峰。初始化时没有，OLMo 7B 约到训练 21%（约 0.5 万亿 tokens）才出现并随后加强。
• 条件与机制：Llama 3.1 8B 上 \n 平均 12.41 次激活，sustainability 为 7.63 次。上下文每增加约 1000 token，平均多约 1 次激活。MLP 与前一 MLP 及前一注意力都负相关，注意力子层之间为正。α 增大时反对变强，超过 2× 后容量开始下降。4096 个特征值中约 3000 个为负；TLCM 对的强方向集中在 λ≈−1 与 λ≈0.5，非 TLCM 对集中在 λ≈0。
• 作者的结论：作者用 propose-and-reject 组织这些结果，但写明未显式检验、也未形式化。他们认为残差流同时含持久特征与短暂提议，因而单层 SAE 难以分开二者，转向可能要越过纠正，而跨层 transcoder 原则上可以表示“提议再纠正”。他们把 TLCM 视为约束机制解释的一个现象，并留下 SSM 与若干 Transformer 变体上是否出现的问题。