用稀疏自编码器比较状态空间模型与 Transformer 的潜在概念形成
Comparing Latent Concept Formation in State Space Models and Transformers via Sparse Autoencoders
AI 导读
研究用稀疏自编码器（SAE）在 1000 万 token 语料上对 Mamba-130m 与 Pythia-70m 做特征级对应分析，未发现两种架构存在系统性表征差异：99.98% 的 Mamba 特征聚集在对齐上界，为通用性假说提供初步特征级支持。仅 0.02% 特征出现分歧，模式与"循环瓶颈主要限制刚性句法解析、而非广泛语义本体"的假设一致。Pythia 的无约束注意力可将格式边缘情况单义分解，Mamba 则被迫把无关句法异常压缩进多义"杂物抽屉"神经元以保留状态容量。