用稀疏自编码器比较状态空间模型与 Transformer 的潜在概念形成

固定隐状态的信息瓶颈，是否让 SSM 学到与 Transformer 本质不同的潜在概念。

• 场景：自注意力随序列长度二次增长，推动采用 Mamba 等选择性状态空间模型。作者称它们把全部过去上下文压进固定大小的滚动隐状态，因而要问两种架构的潜在表征是否根本不同。
• 已有缺口：作者称 RSA、CKA 只在稠密激活上看整体几何，分不清具体 token、结构标记或语义概念。Wang 等用 SAE 与 MPPC 报告了广泛对齐，作者称仍缺能定位分歧上下文的离散共激活对应。
• 假设：Universality Hypothesis 认为相近数据分布上的网络会收敛到共同概念与电路。作者原先假设存在没有 Transformer 对应物的架构性 Dark Matter。
• 提出的分析：在 1000 万 token 英文 Wikipedia 上，用 SAE 比较 Mamba-130m 与 Pythia-70m 的中层特征，以 Jaccard 找每个 Mamba 特征的 Pythia Twin，并定性检查低对齐尾部。

机制可解释性与 SAE

• 电路与普遍性：Cammarata 等（2020）把机制可解释性写成把内部计算反推成可读算法，并提出 Universality Hypothesis。
• 叠加与多义性：Elhage 等（2022）的叠加假说认为，网络用重叠、非正交方向编码比维度更多的特征，因而出现对语义无关刺激都响应的神经元。
• SAE：Cunningham 等（2024）与 Bricken 等（2023）把稠密残差流投到更高维、稀疏激活的字典，以恢复近似单义的单元。作者称这些进展提供了在大模型上检验普遍性所需的分辨率。

状态空间模型与 Mamba

• Mamba：Gu 与 Dao（2023）用输入依赖的转移做选择性状态空间，线性时间推理，语言建模困惑度可与 Transformer 竞争，并把全部历史压进固定滚动隐状态。
• 工具：Sharma 与 Duraisamy（2024）提供 MambaLens。作者称尽管已有这类工具，机制可解释性研究仍主要集中在 Transformer；循环状态的容量约束是否改变概念的边界、粒度与纯度，被写成开放问题。

跨架构表征相似度

• 宏观几何：Kornblith 等（2019）的 RSA 与 CKA 在聚合稠密激活上衡量粗粒度几何对齐。作者称它们不能解析具体 token、结构标记或语义概念。
• 并发的特征对齐：Wang 等（2024）用 SAE 比较 Mamba-130m 与 Pythia，指标为 Max Pairwise Pearson Correlation，发现广泛特征对齐。作者称自己的工作用 1000 万 token 上的二元共激活 Jaccard 作补充，以便定位驱动分歧的 token 上下文，而不是只测总体相关。

作者把 SAE 共激活框架定位为可复用的跨架构特征对应：相对 CKA 的宏观几何和 MPPC 的总体相关，它按单个特征看序列处理差异如何影响概念的形成、压缩与叠加。

整体用 SAE 共激活对应 比较两侧中层特征：先分解残差流，再在同一批 token 上比二元共激活。作者称该框架可完全复现，并认为可独立复用于后续跨架构研究。

模型、语料与层位

• 模型：Mamba-130m（24 层，残差流 768 维）与 Pythia-70m-deduped（6 层，残差流 512 维），用来对照全局自注意力和循环隐状态压缩。
• 语料：两者读同一份 1000 万 token 英文 Wikipedia。GPT-NeoX 分词，切成不重叠的连续 1,024 token 序列。
• 层位：取深度的几何中点，以避开早期 token 偏置和末层预测偏置。钩子为 blocks.12.hook_resid_post 与 blocks.3.hook_resid_post。

SAE 与二值化

• Pythia 使用 SAELens 中已有的 pythia-70m-deduped-res-sm，扩张因子 64，字典 32,768。
• Mamba 一侧，作者称缺少可用的公开中层 SAE，因此自训带 L1 稀疏惩罚的 SAE，扩张因子 16，字典 12,288。论文只写了这两项，未写学习率、步数或 L1 系数。
• 作者承认扩张因子不同会混杂表征容量，并称后文 Mamba 中结构化的叠加可说明分组由架构归纳偏置决定、与字典大小无关。
• 连续激活幅度严格大于 0 记为 True，得到覆盖全部 token 的两条稀疏布尔掩码。

Jaccard 与 Twin

对每个 Mamba 特征 m 与 Pythia 特征 p，计算 J(m,p)=|a_m ∩ a_p|/|a_m ∪ a_p|。该式是激活位置的交并比：1 表示支撑相同，0 表示严格正交，并同时惩罚多出来的和漏掉的激活。每个 Mamba 特征只保留全局最大的 J 及对应 Pythia 下标，称为 Twin。作者称直接物化交集矩阵会超过常规 24 GB 显存，因此按磁盘流式读取，Pythia 维以宽 512 的列块计算；布尔掩码转为 bfloat16，累加器保持 float32。

经验分区

• 作者不把阈值当成绝对对齐标准。III.E 写出的全局最小为 0.234、最大为 0.411。
• Aligned：J 大于 0.35，作者称为架构无关的语义核心。
• Grey Matter：J 属于闭区间 0.28 到 0.35。作者称这里语义相关，但触发结构有分歧，是观察 concept cramming 的主要区间。
• Alien/Structural：J 小于 0.25。0.25 到 0.28 留作缓冲，用来隔开下尾和普通低相关。作者写明这些边界是对观测数据的描述性划分。

实验设置

• 模型：Mamba-130m（24 层）与 Pythia-70m-deduped（6 层）。激活取几何中点：blocks.12.hook_resid_post 与 blocks.3.hook_resid_post。
• 语料：共享 1000 万 token 英文 Wikipedia；GPT-NeoX 分词；不重叠的连续 1,024 token 序列。
• 字典：Pythia SAE 为 pythia-70m-deduped-res-sm，扩张因子 64，32,768 个特征。Mamba SAE 自训，L1 稀疏惩罚，扩张因子 16，12,288 个特征。
• 指标：幅度严格大于 0 记为 True。每个 Mamba 特征对全部 Pythia 特征算 Jaccard，最大值对应的特征称为 Twin。
• 分区：Aligned 为 J>0.35；Grey Matter 为闭区间 0.28 到 0.35；Alien/Structural 为 J<0.25。III.E 写全局最小 0.234、最大 0.411。
• 判定：论文未写评审模型、重复次数或人工一致性。低对齐特征靠最高激活上下文的定性阅读；Table I 记录一对 Twin 的强度与上下文类型。

主结果

表格较宽，可左右滑动

类别	Jaccard 条件	Mamba 特征数	论文所写比例	出处
Aligned	J>0.35	12,285	99.98%	Section IV-A
Grey Matter	[0.28, 0.35]	2	0.02%	Section IV-A
Alien/Structural	J<0.25	1	0.01%	Section IV-A

• 作者称这是对架构性 Dark Matter 的经验零结果，并称在本分析范围内循环隐状态没有妨碍标准语义本体形成；作者把 Aligned 称为强对齐，并称强普遍性在经验上成立。
• 同节给出全局最小 Jaccard 0.2343、最大 0.4116。方法节将 J=1.0 定义为激活支撑相同，因此这里的强对齐是对该观测区间的分区，不是支撑完全重合。
• 摘要与引言把分歧比例写成 0.02%，IV-B 写成 0.03%。分项以 IV-A 为准；三类计数之和等于 12,288。

结构地标特征

• Feature 6888 的 J=0.3415，Feature 4454 的 J=0.324，都落在 Grey Matter 定义区间内；IV-A 称该区间只有 2 个特征。
• Feature 6888 强度 4.19。作者称它只在 Wikipedia 文末 External LINKS 标题上高幅度触发，是单义的文档终止地标。
• 作者称唯一 Alien 特征是 Feature 7378，J<0.25，强度 6.96，专门触发 URL 路径分隔符。作者假设这类地标在循环状态中充当 state reset，以补偿没有全局位置注意力。

Twin 案例

• 对象是 Grey Matter 特征 4454（J=0.324）及其 Pythia Twin 4309。作者用它检查循环瓶颈是否选择性影响刚性句法。
• 作者称 Pythia 4309 是单义触发，专用于表格时间戳后的换行间距。Table I 三条强度为 4.87、4.83、4.79，类型均为表格时间戳。
• 作者称 Mamba 4454 多义，既触发同类时间戳，也叠加 URL 斜杠、年级连字符和外文大写片段。Table I 的三条 Mamba 记录是这三类异常，强度 6.39、4.58、4.18，表中没有时间戳行。作者称这与固定状态容量在特定结构格式上达到表征极限的假设一致，并称该模式是否覆盖全部 Grey Matter 仍是开放问题。

其他消融与分析

• 论文未报告层位、扩张因子、分区阈值或匹配方向的数值扫参；除 IV-A 的极值与三类计数，以及 IV-B、IV-C、Table I 的特征强度外，未报告 Jaccard 的均值、中位数或直方图。

作者指出的局限与后续方向

• 字典不对称：作者称最主要的结构局限是两侧 SAE 容量不对称：Mamba 扩张因子 16（12,288 特征），预训练 Pythia SAE 扩张因子 64（32,768 特征）（V.D）。
• 两个混杂：更大的 Pythia 字典使最大 Jaccard 的搜索空间更全，可能人为抬高对齐率；更小的 Mamba 字典本身可能独立于架构诱发多义性，从而部分混杂 concept-cramming 分析（V.D）。
• 论证性质：作者称观察到的多义性呈结构化、与架构一致的模式，更符合架构归纳偏置而非字典饥饿，但承认该论证是定性的（V.D）。
• 后续步骤：作者称在两侧训练对称扩张的 SAE 仍是把该发现确立下来的必要步骤，并把多义性分析标为产生假设的观察，而不是已确认的机制结果（V.D）。
• 阈值：类别边界由观测相似度范围经验划定，不是理论动机下的绝对标准；作者把用随机特征对采样建立空分布列为后续工作（III.E）。

实验覆盖范围

• 被比较的模型是 Mamba-130m 与 Pythia-70m-deduped，激活只取各自中层残差流钩子（III-A）。
• 语料是 1000 万 token 英文 Wikipedia，GPT-NeoX 分词，不重叠的 1,024 token 序列（III-A）。
• 对应是 12,288 个 Mamba 特征各自对 32,768 个 Pythia 特征取最大 Jaccard，用来寻找 SSM 独有、没有 Transformer 对应物的特征（引言、III-D、IV-A）。
• 定性描述点名 Feature 6888、7378 与 Twin 对 4454/4309；Table I 列出后者各三条上下文及强度（IV-B、IV-C）。
• 论文未报告 Mamba SAE 的学习率、训练步数、L1 系数、实验重复次数，以及随机特征对的 Jaccard 空分布（III-B、III-E）。

这项工作用稀疏自编码器，比较选择性状态空间模型与自回归 Transformer 的中层特征。

问题是固定隐状态是否让 Mamba 丢掉 Transformer 仍有的概念，或造出没有对应物的表征原语。

Mamba-130m 与 Pythia-70m-deduped 读同一份 1000 万 token 英文 Wikipedia，在深度中点残差流上取 SAE 特征；幅度大于 0 记为激活，再对每个 Mamba 特征取 Pythia 字典上的最大 Jaccard。作者把 J>0.35、J 在 0.28 到 0.35、J<0.25 标为 Aligned、Grey Matter、Alien。

作者报告 12285 个特征高于 0.35；全局最小 0.2343，最大 0.4116。方法节把 J=1 定义为激活支撑相同，故所谓强对齐是这一区间内的分区。Grey Matter 2 个，Alien 1 个。Feature 6888（J=0.3415，强度 4.19）被作者描述为文末标题触发；Feature 7378（J<0.25，强度 6.96）被描述为 URL 分隔符触发。

Mamba 4454（J=0.324）的 Twin 是 Pythia 4309。作者称后者专用于时间戳后的换行（Table I：4.87、4.83、4.79）；前者在 Table I 中对应 URL 斜杠 6.39、连字符 4.58、外文大写 4.18。作者称它也触发同类时间戳，但表中无此行。

作者认为本分析范围内没有系统性 Dark Matter，统计结构而非路由方式主导核心语义概念，分歧更集中在刚性句法与结构边界。作者认为电路分析、因果追踪和特征转向很可能可迁到 SSM，但结构与格式特征需要小心。多义性被标为产生假设的观察；扩张因子 16 与 64 的不对称尚未用对称字典排除。