时间中的先验：语言模型可解释性缺失的归纳偏置

SAE 用来解释语言模型激活时，其跨时间独立的概念先验是否与语言表示里的时间结构一致。

• 场景：作者认为，要理解语言模型如何沿 token 序列逐步更新。语言有跨词依赖、可由上下文预期的后续词，话语还有事件边界等更长时间尺度的结构。
• 现有方法：线性表示假说把概念写成可独立操纵的方向。作者认为，这等于假定数据由独立变化的潜变量生成，并据此使用 SAE 做无监督字典提取。
• 先验冲突：作者把 SAE 写成 MAP 估计。稀疏约束在时间上可加，故潜码被赋予跨时间 i.i.d. 先验，解释激活所需的概念数也不随时间变化。这与上下文相关、以及内在维度随位置上升的激活不一致。
• 观察：Figure 2 比较 Llama-3.1-8B 与 Gemma-2-2B 和打乱时间结构的替代信号。作者称激活更“密”、相关结构随时间变化，500 token 上下文最多解释当前表示方差的 80%。图中 Gemma-2-2B 面板标有 0.80，Llama-3.1-8B 面板标有 0.31、0.25、0.24。
• 本文做法：提出 Temporal Feature Analysis。它把时刻 t 的激活拆成可由过去上下文预测的分量，以及与之正交、表示当前新信息的残差，并在故事、花园小径句和上下文图上与 ReLU、TopK、BatchTopK SAE 比较。

论文没有单独的 Related Work，相关讨论在引言、第 2–5 节和 Discussion。

线性表示与 SAE

• 线性表示假说（Elhage et al., 2022; Arora et al., 2018）：把不同概念对应为激活空间中可独立操纵的方向。
• SAE 变体：ReLU SAE（Bricken et al., 2023; Cunningham et al., 2023）、TopK（Gao et al., 2024; Makhzani and Frey, 2013）、JumpReLU（Rajamanoharan et al., 2024）、BatchTopK（Bussmann et al., 2024）。作者将其写成带架构约束的稀疏编码，并提到特征分裂（Bricken et al., 2023; Chanin et al., 2025; Bussmann et al., 2025）以及先验与数据不匹配（Hindupur et al., 2025）。
• 带结构的字典：Muchane et al. (2025)、Costa et al. (2025) 讨论层级等结构。论文未把它们列入实验基线。

计算神经科学

• 稀疏编码（Olshausen and Field, 1996; 1997）：用过完备字典的稀疏线性组合解释感觉神经数据，是 SAE 的来源。
• 群体几何：Khona and Fiete (2022)、Nogueira et al. (2023)、Sohn et al. (2019) 报告神经表示位于结构化流形。Eichenbaum (2018)、Saxena and Cunningham (2019)、Barack and Krakauer (2021) 质疑用独立发放的单义特征还原计算。
• 按生成过程设计的协议：Schneider et al. (2023)、Chen et al. (2018)，以及慢特征分析、预测编码和慢变/快变分解（Berkes and Wiskott, 2005; Wiskott and Sejnowski, 2002; Chen, 2019; Millidge et al., 2024）。可识别性方面提及 Joshi et al. (2025)、Klindt et al. (2020)。

语言的时间结构与已有现象

• 心理语言学：跨词依赖、预期和事件边界（Marslen-Wilson and Tyler, 1980; Hale, 2001; Levy, 2008; Zacks et al., 2007; Baldassano et al., 2017）。作者用这些现象说明语言不是各时刻独立。
• 模型与记录：若干工作报告语言模型表示可预测语言理解时的人类神经记录（Schrimpf et al., 2021; Tuckute et al., 2024 等）。时间拉直见于视觉、故事记录和语言模型（Hénaff et al., 2019; Hosseini and Fedorenko, 2023; Xu et al., 2025）。
• 评测所依的先前结果：花园小径句上语言模型可做前向解析（Li et al., 2024; Hanna and Mueller, 2024）；Park et al. (2025) 报告上下文随机游走会在激活 PCA 中呈现图结构；Kissane et al. (2024) 讨论 SAE 从基座到对话模型的迁移。

基线与数据

• 基线方法：ReLU、TopK、BatchTopK SAE，以及只保留预测模块的 Pred. only。
• 基准/数据集：Pile 与 Pile-Uncopyrighted、TinyStories、Simple Stories、Webtext、Code、Ultrachat，以及 GPT-5 生成的故事和花园小径句。

作者把区别放在时间先验：SAE 假定概念跨时间独立且稀疏度分布不随时间变；本文只把去掉上下文投影后的残差当作跨时间独立，从而允许总编码携带时间相关。

Temporal Feature Analysis 不把整段激活当成跨时间独立的稀疏码，而是先抽出可由过去上下文预测的部分，再对正交残差做稀疏编码。

SAE 的时间先验

• 作者沿用稀疏编码的贝叶斯写法，把 SAE 目标看成最大后验：重构误差对应似然，稀疏项对应先验。
• 由于正则和稀疏约束在时间上可加，先验写成 P(z₁,…,z_T)=∏_i P(z_i)，即潜码跨时间 i.i.d.。推论是各时刻的稀疏度也来自同一分布。
• 命题 4.2 称：若 x 处流形切空间维数高于稀疏预算 K，且重构误差低，则某邻域内 SAE 支撑会切换，邻近点映射到不相交潜码。作者用它联系特征分裂，并认为时间相关抬高内在维度后，SAE 会丢掉局部几何。

分解与编码

• 生成模型写成 x_t=x_p,t+x_n,t，两部分都由同一字典 D 乘以各自编码。可预测部分表示与过去相关的慢变信息；新颖部分表示当前 token 新增、与过去不相关的信息。
• 可预测编码在潜空间做注意力：当前表示为 query，过去上下文为 key，用过去表示的凸组合解释可预测方差。编码器是 ReLU 加线性映射。
• 新颖编码是标准 SAE 非线性，取 TopK 或 BatchTopK，输入是去掉可预测重构后的残差。Figure 4 给出编码示意图。
• 训练目标重构两者之和，稀疏正则只加在新颖码上。作者写明，i.i.d. 假设加在残差而非全部概念上；残差是否真 i.i.d. 仍是假设。

训练与实现选择

• 分析器与 ReLU、TopK、BatchTopK SAE 都在 Gemma-2-2B、Pile-Uncopyrighted 的 1B token 激活上从头训练。附录 B 写 Gemma 取 Layer 12、Llama-3.1-8B 取 Layer 15；第 6 节写 Gemma-2-2B 的 Layer 15。两处层号不一致。
• Adam，warmup 200 步至学习率 10−3，其后最低 9×10−4。激活按期望范数归一化。第 8 节称未对协议做大量调参。
• 主实验共享字典。附录 G 在 Gemma-2-2B Layer 12 的分析器上报告，约 2K 个原子主要参与预测码，其余约 8K 主要参与新颖码；预测码有效秩约 20–30，新颖码约 390–410。

要读出的结构

• 健全性检查用 NMSE 和方差解释，不用重构误差定义是否抓住时间结构。
• 时间任务包括故事中的局部事件、花园小径句里反预训练常见解析的句法关系、完全由上下文随机游走定义的图，以及分布外对话中的说话者角色。
• 新颖码沿用 SAE 的自动可解释流程：高激活片段、直接 logit 归因和特征卡。作者称这一路保留快变、刺激驱动的信息。

实验设置

• 模型：Figure 2 分析 Llama-3.1-8B 与 Gemma-2-2B 的激活。第 5–6 节的分析器训练自 Gemma-2-2B 的 1B 激活。第 7.1 节对话激活来自 Gemma-2-2B-IT，分析器仍在非指令微调基座上训练。附录 E 在 Llama-3.1-8B Layer 15 上重复部分实验，并写明 SAE 尚未训练完。
• 数据：Figure 2 用 Pile 样本，对照为去掉时间依赖的替代信号；附录 A 称表示动力学预缓存 10K 激活。重构表用 Simple Stories、Webtext、Code。故事几何用 TinyStories，作者称故事最长 100 token。事件边界用 GPT-5 生成的 50 篇故事，标签也由 GPT-5 标注。花园小径句 50 条，另有 50 条消歧控制句。上下文图是 3×3 网格上长度 500 的随机游走。Ultrachat 取 1,000 段对话的前 350 token，图中每次显示 100 段。
• 对照：ReLU、TopK、BatchTopK SAE，以及只做预测的 Pred. only。自动可解释性另与 GemmaScope SAE 的特征卡作定性比较。
• 指标：NMSE、方差解释、CKA、余弦相似度、tortuosity、U-statistic 内在维度、自相关。花园小径句比较主语、动词、宾语短语的平均潜码相似度。
• 判定：重构和相似度是计算量，论文未写 LLM 裁判或阈值。事件参照标签由 GPT-5 生成。自动可解释性是定性特征卡，论文未报告与人工判断的一致性。
• 重复与层：论文未报告训练或评测重复次数。Gemma 的层号在第 6 节与附录 B 不一致，见上一问。

主结果

主定量比较是潜码与激活慢变/快变部分的 CKA。Table 4 未写模型名；所在第 6 节的实验设置写的是 Gemma-2-2B。

潜码	Slow	Fast
ReLU	0.37	0.54
TopK	0.35	0.54
BatchTopK	0.35	0.54
Temporal Novel	0.19	0.75
Temporal Pred	0.75	0.18

据 Table 4。

• 作者称预测码对齐慢变部分，新颖码和三种 SAE 对齐快变部分；三种 SAE 的 Fast 列相同。
• Figure 6 中作者称预测码的核谱接近表示的慢变部分，新颖码与标准 SAE 接近快变部分。正文未列出该图的逐秩数值。
• 同一比较的重构检查在下方消融中：Temporal 的 NMSE 与 TopK、BatchTopK 同量级，Pred. only 更高。

故事几何、事件边界与噪声

• Figure 5 的 3D UMAP 上，作者称 SAE 轨迹不规则，并按词身份聚类；预测码呈较平滑曲线。图上 tortuosity：激活 76.9，ReLU 108.6，TopK 86.9，BatchTopK 1069，Novel 98.2，Pred 2.8。层次聚类后，作者称预测码的簇对应（子）事件，SAE 的簇在时间上不连贯、主要由词汇信息定义。
• 50 篇合成故事上，作者称同一事件内 token 的预测码余弦相似度更高，跨事件更低；新颖码和 SAE 的 token 间相似度总体更低。Figure 7 的 Within/Across 格子在抽取文本中与另一张表重叠，此处不引用具体数字。
• 输入加尺度为 0.005、0.01、0.02、0.04 的高斯噪声后，作者称预测码相似图出现更粗的块；SAE 的方差解释在某个临界尺度降到 ∼0。论文未给出该临界尺度的精确值。

花园小径句、上下文图与对话

• 花园小径句中，作者称 SAE 的层次聚类偏向误导性局部解析；预测码连接最终正确解析所需的长距离中心语与从属语，并与快变残差分开。Figure 8 的短语相似度在抽取文本中列错位，不引用。作者称预测分量在歧义句与控制句之间基本不变，SAE 与新颖分量更敏感。
• Figure 9：作者称只有预测分量在低维投影中恢复 3×3 图的几何，SAE 与新颖分量只部分反映。反事实替换末 token 的投影后，预测分量在 4/9 个节点上得到与图邻域一致的下一 token 变化。正文称其他潜表示不能做这种编辑；附录 D.5 写这 4 个节点中有 2 个对新颖分量干预也有响应，并称 SAE 基本不能。
• Ultrachat、Gemma-2-2B-IT 激活（Figure 10）：作者称只有预测码分开 user 与 assistant，并保留由早到晚的时间梯度。单段对话 tortuosity：激活 24.8，ReLU 32.2，TopK 29.1，BatchTopK 26.5，Novel 30.0，Pred 2.0。正文另把 SAE 与新颖码概括为约 25–30，预测码约为 2.0。

其他消融与分析

• Table 1 NMSE，列序为 ReLU、TopK、BatchTopK、Pred. only、Temporal：Story 0.20、0.155、0.152、0.34、0.139；Web 0.19、0.144、0.139、0.36、0.139；Code 0.20、0.154、0.149、0.38、0.152。表题未写模型，前文写训练激活来自 Gemma-2-2B。
• Table 2 方差解释，同列序：Story 0.60、0.71、0.72、0.29、0.73；Web 0.69、0.78、0.79、0.40、0.79；Code 0.65、0.75、0.75、0.33、0.75。
• Table 3：预测与新颖误差内积在 Story、Web、Code 均为 -0.02；范数占比 76.2/23.5、80.5/19.5、74.2/26.0。Story 上预测分量 NMSE 0.53、新颖分量 4.03；方差解释分别为 0.11 与 0.64。
• Figure 2：两种模型内在维度随位置上升，替代信号几乎保持常数；自相关随位置变化，替代信号几乎不随位置变化。作者称 500 token 上下文最多解释 80% 方差；按图注，(d) 是 Llama-3.1-8B、(h) 是 Gemma-2-2B，0.80 出现在 Gemma 面板。作者后又把约 80% 的预测码范数贡献与 Figure 2d 对照。
• 附录 E：作者称 Llama-3.1-8B 的定性趋势与 Gemma 相似，但 SAE 未训练完。第 8 节称 Llama 上 TopK 新颖分量常在后期突然主导，改用 BatchTopK 后稳定；Llama Layer 26（约 81% 深度）上预测分量不再主导潜码范数。Figure 11 的自动可解释性是定性结果，类别包括 Optimism、Manipulation、University、Slang；作者称新颖码能恢复 SAE 常见的单义特征，未做穷尽因果干预。

作者指出的局限与后续方向

• 编码器（第 8.1 节）：可预测分量由单层自注意力实现。作者认为这可能限制能捕获的依赖，后续可把归纳偏置放进稀疏正则，或采用更丰富的时间编码器。
• 残差假设（第 8.1 节）：新颖流仍假定残差 i.i.d.。作者把放宽该假设、允许受控的时间相关列为方向。第 5 节已写明这仍是假设。
• 因果评估（第 8.1 节）：作者称需要在生成过程中干预编码，才能从定性对齐走向机制性主张。第 7.2 节写明未做穷尽因果干预，并留给后续。
• 未做大量调参（Training Dynamics 一节）：作者称本协议只是指出容纳时间结构的一个例子，没有做大量调参，并希望后续有更好变体。
• 训练竞争（同一节）：预测分量与新颖分量会竞争解释信号；Llama 上可见新颖分量突然接管。作者建议把损失拆成只用预测码重构、以及用新颖码重构残差两项。这是建议，不是已完成的改法。
• 秩与层位（同一节）：作者称注意力相似度低秩，缩小注意力矩阵维度后重构相近，但未再展开。中层训练较符合其目标；Llama Layer 26 上预测分量不主导范数。作者认为这值得继续研究，并称这不一定是缺陷。

实验覆盖范围

• 被分析激活来自 Gemma-2-2B、Llama-3.1-8B 和 Gemma-2-2B-IT。Table 1–4 所在章节的训练模型是 Gemma-2-2B；第 7.1 节用 IT 模型激活、基座上训练的分析器。
• 对照为 ReLU、TopK、BatchTopK 和 Pred. only。训练数据是 Pile-Uncopyrighted 的 1B token 激活，优化器与学习率见附录 B。
• 时间结构评测包括 TinyStories、50 篇合成故事、50 条花园小径句及 50 条控制句、3×3 图上长度 500 的随机游走，以及 Ultrachat 1,000 段对话的前 350 token。
• 重构指标覆盖 Simple Stories、Webtext、Code。附录 E 写 Llama-3.1-8B 上的 SAE 尚未训练完，该附录结果用于看定性趋势是否延续。
• 论文未报告训练或主评测的重复次数，也未报告自动可解释性与人工判断的一致性。GPT-5 用于生成故事、花园小径句并标注事件边界。

Temporal Feature Analysis 是一种带时间归纳偏置的激活解释协议，针对 SAE 的跨时间独立先验与语言模型表示的非平稳性。

• 问题：作者认为语言和模型激活都有跨时间相关，内在维度随序列位置增加。SAE 的 MAP 先验却把各时刻潜码当成 i.i.d.，稀疏度分布不随时间变。命题 4.2 称，稀疏预算低于局部流形维数且重构误差低时，会出现支撑切换。
• 方法：把激活写成可预测分量加新颖分量。前者用注意力从过去上下文预测，后者用 TopK 或 BatchTopK 编码正交残差；稀疏惩罚只加在残差上。这样总编码可以携带时间相关。
• 重构：在 Gemma-2-2B、Pile-Uncopyrighted 上训练后，Table 1 的 Story NMSE 为 Temporal 0.139、BatchTopK 0.152、ReLU 0.20、Pred. only 0.34。Table 3 中，预测码占 Story 重构范数的 76.2%，方差解释则主要来自新颖码，Story 上为 0.64 对 0.11。
• 时间结构：Table 4 中预测码与慢变部分的 CKA 为 0.75、与快变部分为 0.18；三种 SAE 的 Fast CKA 都是 0.54。Figure 5 中预测码 tortuosity 为 2.8，BatchTopK 为 1069。作者称预测码对齐故事事件、连接花园小径句的正确长距离依存，并在 4/9 个图节点上支持反事实编辑；正文称其他潜码不能，附录 D.5 称其中 2 个节点对新颖分量也有响应。
• 作者的结论：解释工具的归纳偏置要匹配数据。预测码对应慢变上下文，新颖码保留 SAE 式快变特征。作者把单层注意力、残差 i.i.d. 假设，以及生成期因果干预列为后续方向。