Researchers summarize six types of measurement failure and calibration protocols in causal interpretability

大模型因果可解释性测量容易在未报错的情况下返回看似合理的假象数值，导致研究者将测量工具失效误判为机制发现。

• 场景与重要性：关于大语言模型内部因果机制的主张（例如拒绝决策读取了什么、道德判断是否与拒绝正交）均建立在投影、余弦、消融差值或交换激活修补等测量之上。作者认为这些测量会在特定可诊断模式下失效，且不会主动报错，而是返回看似合理的数值。
• 现有测量工具的不足：现有可解释性分析常直接信任仪器读数。协方差匹配零假设在存在极大激活（massive activations）的模型家族中会发生退化饱和；在重排序归一化架构上，每注意力头贡献分解会大幅超出实际残差写入。
• 核心观察：在四种测试架构中，模型的决策位点（decision site，如助手头或提示词结尾控制 token）普遍呈现 9 到 15 的低有效维度瓶颈。正对照在狭窄通道内的投影可能低于随机方向，使得基于投影比例的工具在此处失去区分能力。
• 论文提出的解决方案：作者总结了拒答与道德表征研究中出现的六种测量失效模式，并提出了包含四个步骤的通用校准规程：对照正对照阶梯校准、使用正交单元认证、计算检验功效、在相对于决策承诺深度的位置报告读数。

论文在相关工作中梳理了四个方向的研究，并阐明了本文的对照与推进：

• 离群维度与极大激活：Timkey and van Schijndel (2021) 报告离群维度会在余弦相似度下掩盖表征质量；Kovaleva et al. (2021) 发现移除少量离群维度会破坏 Transformer；Dettmers et al. (2022) 与 Sun et al. (2024) 记录了规模化下的涌现离群特征，Xiao et al. (2023) 将其与注意力汇（attention sinks）关联。作者指出按维度标准化本身是既有方法，本文补充指出协方差匹配零假设会在这些模型家族中发生静默退化饱和，并提出低于零假设频带作为检出手段。
• 归因分析中的范数处理：Belrose et al. (2023) 提出的 logit-lens 与 tuned-lens 显示了对归一化选择的敏感性；Elhage et al. (2021) 与 Nanda and Bloom (2022) 将块 RMSNorm 增益折叠进每头归因。作者指出折叠操作本身非本文贡献，本文的推进在于量化并指出了在 OLMo-2/3 等重排序归一化架构上天真分解会超出约 3 倍，并提出了双侧重构门控。
• 激活修补方法学与可解释性假象：Zhang and Nanda (2024) 探讨了激活修补结果对指标、破坏手段和层选择的最佳实践；Makelov et al. (2023) 提出子空间激活修补可能通过非预期路径传递；Bolukbasi et al. (2021) 记录了个体神经元单元解释的虚假性。作者指出饱和输出会导致符号混乱的增量，且超过承诺层的测量属于读出层伪影，本文提供了正交单元证书与承诺相对深度作为检验方法。
• 回复翻转转向干预：Zhao et al. (2025) 提出在指令 token 沿有害性方向转向模型并测量合规与拒绝之间的回复翻转比例（reply-inversion）。作者指出该方法缺少通道匹配的等范数随机方向特异性零假设，在补全该控制后，原有的翻转现象在匹配范数下未在 Llama-3.1-8B-Instruct 上复现。
• 基线与测试设定：论文对比了未经校准的传统几何分析与干预方法，测试基于模型内部激活样本、道德内容数据集（moral-content datasets）与请求配对（request-twins）。

作者将本文定位为方法学检验规范，旨在将分散在各处的测量陷阱系统化为可执行的仪器校准与验证操作。

作者提出了一套包含四项纪律的因果可解释性仪器校准框架，通过系统性的检测指标（tells）与协议（protocols）排除虚假因果发现。

通道有效性检验与维度分析

• 参与比与低维瓶颈判定：定义测量位置的参与比为 PR = (∑_i λ_i)² / ∑_i λ_i²，其中 λ_i 为该位置残差流协方差矩阵的特征值，用于估计其有效维度。当决策位点的 PR 远低于内容位置及打乱列参考值（column-shuffle reference）时，判定该位置对内容投影检验无效。
• 低于零假设频带检验：在测量位置引入正对照频带（如道德子空间投影）。若正对照投影落在协方差匹配零假设的分位数以下（band-below-null），作者指出这表示仪器在该位置无辨别力，不能据此得出“目标方向不存在”的结论。

极大激活与协方差退化校准

• 按维度标准化协议：在极大激活模型中，针对格式与位置匹配的激活样本（排除注意力汇 token）按标准差进行 z-score 标准化，使零假设恢复多维辨别力；辅助变体为投影去除方差占比超过 5% 的单个维度。
• 位置特异性核验：检查极大激活的离群方差占比是否为内容位置统计量，防止将内容位置的各向异性错误泛化至决策位点。

归因分解中的范数折叠与双侧门控

• 精确折叠 RMSNorm 增益：针对后归一化架构（如 post_feedforward_layernorm），计算固定 token 下的 \text{norm}(x) = (\gamma / \text{rms}(x)) \odot x，将逐层增益 g = γ / √(mean(x²) + ε) 逐项乘以块输出，避免线性求和直接忽略归一化。
• 双侧重构门控：设定重构率检验门控为 0.90 ≤ recon ≤ 1.10，替代传统的单侧下限门控（recon ≥ 0.90），以此拦截超出 1.0 的虚假高估。

干预评估与深度匹配规程

• 正交观测单元证书：当因果干预读数呈现符号混乱时，通过同一干预应当影响的正交任务单元（如道德判断）进行验证；若正交单元读数连贯，则判定混乱源于目标输出饱和而非修补失效。
• 比值的比值与功效预先计算：放弃跨最小可检测效应（MDE）阈值的离散划分，采用组内比值（within-outcome ratio）及 bootstrap 置信区间比较；在计算前基于组内方差计算 MDE(n)。
• 承诺相对深度对齐：在因果修补跨模型对比时，需在模型做出决策承诺之前的连贯层（pre-commitment coherent layer）进行深度对齐，避免在决策完成后的读出层测量。

实验设置

• 被测模型：主面板包含 OLMo-3-7B-Instruct、Qwen2.5-7B、Llama-3.1-8B、GPT-OSS-20B（20B 推理 MoE 模型）；部分测试涉及 Qwen2.5-14B-Instruct 与 Llama-3.1-8B-Instruct。
• 数据集与测试样本：主要层级激活采样采用每模型 240 条文本（GPT-OSS 为 128 条文本）；几何分析基于道德内容数据集提取秩 3 道德子空间；因果干预与行为测试采用请求配对（request-twins，n=11 初筛，n=23 单次测试，多轮池化达 42 对），以及 24/24 无害与有害请求对照。
• 对比基线：未校准的原始几何投影（未经标准化的协方差匹配零假设）、未折叠归一化的朴素每头 OV 分解、基于 MDE 阈值跨越的绝对传输对比、未对齐深度的读出层（Layer 16）干预测量。
• 核心评价指标：参与比（PR，有效维度估计）、投影比例（Projection fraction）、零假设第 95 分位数（q95）、重构率（Reconstruction fraction, recon）、翻转比例（Flip fraction）、不对称度统计量（Asymmetry A）、重构分数（R_refusal, R_judgment）。
• 评审与判定方式：行为结果基于模型输出行为分类判定；推理模型行为翻转测试结合了连续投影读取与行为输出判定；论文未采用外部通用 LLM 评审打分。
• 抽样与置信区间：置信区间采用文本子采样区间（subsampling intervals）或 95% bootstrap 置信区间；转向实验包含 20 个匹配范数的随机单位方向。

主结果

Swipe horizontally to read the table

（据 Table 1，GPT-OSS-20B 样本量为 128 条文本，其余模型为 240 条）

• 决策点低维通道跨架构存在：作者指出四款模型决策点的有效维度均处于 8.6 至 14.7 之间，仅占打乱列参考值的 4.1% 至 8.4%，而同层内容位置的 PR 均值处于 26.7 至 40.4，反映出决策点普遍存在低维瓶颈。
• 极大激活导致秩-1 崩溃：在未标准化前，Qwen2.5-7B 与 Llama-3.1-8B 的几何单元原始 PR 分别低至 1.0 和 1.5；作者指出通过按维度标准化，两者分别提升至 39 与 89，恢复了多维表征空间。
• GPT-OSS 的特殊性：作者称 GPT-OSS-20B 决策点在 MoE 架构下标准化 PR 为 12.8，在独立的 MoE PR 上限（25）判定下为有效，但论文未报告其内容位置 PR 及几何单元 PR 变化。

架构重排序归一化与归因高估实验

• 测了什么：在采用后归一化结构的 OLMo-3-7B-Instruct 上，测试朴素 OV 分解求和与考虑 RMSNorm 增益折叠后的 Stage-1 拒绝方向写入重构率。
• 结果：朴素 OV 分解的重构率为 3.05，超出真实残差写入约 3 倍；经过单元测试误差至 1e-9 的精确 RMSNorm 增益折叠后，重构率校准为 0.9999，落入 [0.90, 1.10] 的双侧门控内；MLP 写入比例从折叠前的 0.23 变为折叠后的 0.384（Section 3.4）。
• 作者的解读：作者指出由于注意力和 MLP 块直接输出的 RMS 高于归一化目标，跳过归一化的天真线性分解会导致约 3 倍的高估，单侧重构门控（recon ≥ 0.90）会遗漏这一错误。

决策承诺深度与跨模型不对称度实验

• 测了什么：在 Llama-3.1-8B 与 OLMo-3-7B 上，沿网络层级扫描干预修补对拒绝的解除效果，并对比读出层（Layer 16）与预承诺连贯层（Layer 12）的不对称度统计量 A。
• 结果：在读出层（Layer 16），Llama 的 A 为 +0.82，OLMo 为 -0.20，两者差异为 +1.03（95% CI [0.16, 1.61]）；在对齐至 Layer 12 后，Llama 的 A 降为 -0.28（95% CI [-0.47, +0.03]，包含 0），OLMo 为 -0.54，跨模型差异缩小至 +0.26（Figure 3, Section 6）。
• 作者的解读：作者指出 Llama 在 Layer 8/12/14 处解除干预连贯（-0.12 / -0.11 / -0.20），在 Layer 16 失去连贯（-0.014），说明其在 Layer 16 之前已形成决策承诺；Layer 16 测得的高不对称度属于测量深度晚于决策承诺造成的读出层伪影。

推理模型推理前缀与饱和阶梯实验

• 测了什么：在 GPT-OSS-20B 上测试推理前缀协商单元，在强罪（engage）与脱罪（disengage）前缀下观察拒绝翻转比例及决策通道残差投影。
• 结果：初始二元脱罪前缀下违规样本翻转为 0/7，不对称度呈现 A = 1.0（CI 宽度为 0）；改用分级脱罪前缀后，违规请求翻转至合规的比例达到 6/10（复测为 5/10），强罪前缀使良性请求翻转至拒绝的比例为 7/7（Wilson 95% CI [0.65, 1.0]）（Section 5.1）。
• 作者的解读：作者指出基线违规样本在初始测试中处于拒绝上限，0/7 翻转是由于门控为阶跃型（中间带样本仅占 5.6%）导致的饱和陷阱，分级前缀干预下该模型在行为层面上呈现出可逆性。

其他消融与分析

• 零假设饱和度分析：在几何单元内容位置，Qwen 维度 458 占据 59% 方差，Llama 维度 788 占据 32% 方差，OLMo-3 最大维度仅占 1.4%（Section 3.3）。
• 转向干预特异性分析：在 Llama-3.1-8B-Instruct Layer 12 上，害处方向未翻转任何回复，而 20 个等范数随机方向使 61% 和 83%（q95）的回复翻转（Section 4.1）。
• 子空间秩扫描分析：在 OLMo 上将秩 k 从 1 增至 16，R_judgment 从 0.05 升至 0.66，而 R_refusal 在达到 0.31 后趋于饱和（k=16 时为 0.27）（Section 7）。
• 自身已发表成果重审（Paper 1）：在 RMS 归一化后，跨检查点后期与早期脆弱性比值从 7-15 倍收缩至约 1.8-2 倍，饱和后下降现象变平（13.8 变为 15.0）（Section 7.1）。

作者指出的局限与后续方向

• 单模型覆盖与跨项目泛化：作者指出六种失效模式均建立在四模型面板中的一至两款模型上，而非全部四款；测试证据源于单一因果可解释性项目，跨项目、外部任务及其他架构的外部复制属于后续工作（Section 1, Section 8）。
• 位置有效性门控对真实方向的潜在抑制：作者指出 PR 门控的假阴性率（false-invalid rate）在面板中仅评估了一个特例；该门控未针对窄通道中已知存在的真实方向库进行校准，可能将窄位置处真实存在的内容方向误标为弱仪器伪影（Section 8）。
• 标准化对各向异性信号的抹平风险：作者指出按维度标准化虽然挽救了极大激活模型中的零假设，但 z-score 处理在消除伪影的同时也会抹平真实的各向异性，无法保证标准化空间完整保留真实的各向异性方向（Section 8）。
• 仅记录被捕获失效的幸存者偏差：作者指出本文无法估计该规范遗漏了多少测量失效，仅报告捕获案例的协议无法给出自身的假阴性率；产生合理数值且从未被重新核验的失效在设计上未包含在本文中（Section 8）。

实验覆盖范围

• 被测模型为 OLMo-3-7B-Instruct、Qwen2.5-7B、Llama-3.1-8B 和 GPT-OSS-20B 共 4 款开放权重模型，部分测试补充了 Qwen2.5-14B-Instruct 与 Llama-3.1-8B-Instruct（Table 1, Section 4.1）。
• 失效模式在特定模型上测试：低于零假设频带在 OLMo-3 上展示；极大激活位置依赖性在 Llama-3.1 上测试并与 OLMo 交叉比对；协方差零假设退化在 Qwen 和 Llama 上展示；归因高估在 OLMo-3 上测试；推理前缀不对称度在 GPT-OSS-20B 上测试；深度伪影在 Llama-3.1 与 OLMo-3 对比中测试（Section 8）。
• 样本量覆盖为主要层激活分析采用每模型 240 条文本（GPT-OSS 为 128 条文本）；因果干预与行为测试样本量为 7 到 42 对请求配对（Table 1, Section 4.1, Section 7）。
• 论文未报告 Qwen2.5-14B-Instruct 在匹配范数下的转向特异性复测结果，未报告 GPT-OSS-20B 的内容位置参与比及几何单元标准化参与比（Table 1, Section 4.1）。
• 论文未报告工具在拒答与道德表征以外任务或外部程序上的检验结果（Section 8）。

• 论文定位：本文是一份针对大语言模型因果可解释性研究的方法学检验与校准指南。
• 试图解决的问题：大模型因果可解释性测量（如投影、余弦、修补和归因）常常在产生合理读数的同时隐藏假象，导致研究者将仪器失真误读为真实的机理发现。
• 方法核心要点：作者确立了四项可解释性操作规范，包括使用正对照阶梯校准仪器辨别力、引入正交任务单元排除输出饱和假象、在消耗算力前依据组内方差预先评估检验功效，以及依据决策承诺深度对齐跨层与跨模型对比。
• 关键实证结果：
  1. 在 OLMo-3-7B-Instruct、Qwen2.5-7B、Llama-3.1-8B 和 GPT-OSS-20B 四款架构上，决策位点有效维度均收缩至 8.6 到 14.7 之间，仅占打乱列基准的 4.1% 至 8.4%（Table 1）。
  2. 在后归一化架构 OLMo-3 上，朴素线性归因求和测得的重构率达到 3.05，而在精确折叠 RMSNorm 增益后校准为 0.9999（Section 3.4）。
  3. Llama-3.1 在读出层（Layer 16）测得的不对称度 A 为 +0.82，在对齐至决策形成前的连贯层（Layer 12）后修正为 -0.28（Figure 3）。
• 作者结论与启示：作者认为可解释性研究中的数值不能直接等同于因果机制，研究人员在采信测量结论之前必须建立仪器自检流程，通过公开修订记录与可追溯账本避免伪影被误写入科学结论。