特征叠加中线性可达性的高概率保证：IHT-SAE 突破线性可达上限

在特征叠加中，同时激活的特征会互相干扰，线性解码要多少维才能在固定支撑上高概率恢复它们。

• 场景：作者认为神经网络可用特征叠加编码比维度更多的概念，但交叉特征干扰限制同时激活特征的线性可及性。共现特征可能产生有助解码的相长干扰，也可能抑制活跃特征；可靠的组合推理需要在不依赖熟悉共现时仍能线性读出。
• 现有不足：对所有 k-稀疏输入一致成立的线性解码需要 d = Oε(k² log m)，并有接近的下界（Garg et al., 2026）。作者认为该平方缩放来自要在组合数很多的支撑上一致压低干扰。经典压缩感知的 d = O(k log(m/k)) 依赖已知测量矩阵与非线性解码（ℓ1 最小化），并不直接给出线性读出的高概率界。
• 核心观察：网络通常处在每个输入只有一个固定支撑的情形。把误差预算拆成噪声与干扰后，亚高斯尾加 union bound 使维度随激活数线性而非平方增长；活跃坐标与非活跃坐标的干扰项不对称。
• 本文提出：在压缩感知框架下证明固定支撑的高概率恢复界，刻画干扰与观测噪声的预算互换，并用高斯尾近似做数值检验；再提出 IHT-SAE，用学习到的迭代细化越过单步线性可及性的限制。

• 高维分离与叠加几何：Sidorov & Zolotykh (2020) 的随机分离定理说明高维中随机点集可以高概率被超平面分开。Elhage et al. (2022) 用玩具模型描述特征叠加。Ethayarajh (2019) 指出 LLM 空间整体并不均匀；Cai et al. (2021) 与 Zhao et al. (2025) 讨论概念子空间的各向同性及用高斯分布近似。Park et al. (2024; 2025) 与 Radford et al. (2021) 把线性表示假说与视觉编码器、LLM 中的复合结构联系起来。Prieto et al. (2026) 讨论相关如何塑造叠加中的特征几何；Stevinson et al. (2025) 讨论叠加特征之间的干扰可被对抗攻击利用。
• 压缩感知与超维计算：Candes & Tao (2005)、Candès et al. (2006) 与 Candès (2008) 给出已知测量矩阵下 k-稀疏向量的稳定恢复，测量数约为 d = O(k log(m/k))，并在受限等距常数 δ2k < √2 − 1 时保证 ℓ1/ℓ1 与 ℓ2/ℓ1 稳定；Ba et al. (2010) 给出相应下界，并指出存储最大的 k 个系数及其索引可达到 d = O(k)，但索引损坏会使表示完全错开。Thomas et al. (2021) 的超维计算有与本文相同的渐近维度缩放，但作者指出先前工作把系数吸收进特征向量，隐含单位尺度。
• 稀疏推断与 SAE：OMP（Pati et al., 1993）、迭代硬阈值（Blumensath & Davies, 2009）、LASSO（Tibshirani, 1996）、ISTA（Daubechies et al., 2004）、FISTA（Beck & Teboulle, 2009）与 LISTA（Gregor & LeCun, 2010）在已知或学习字典上做稀疏恢复。Huben et al. (2024)、Bricken et al. (2023) 与 Gao et al. (2024) 用 SAE 或 TopK SAE 从模型激活中学习稀疏特征。Costa et al. (2025) 的 MP-SAE 把匹配追踪展开进编码器。Garg et al. (2026) 给出线性表示假说下可存储特征数的最坏情况界，并指出单调激活不增加线性可及性的容量。Barin-Pacela et al. (2026) 报告线性探针与 SAE 在组合泛化上失败；Liu et al. (2025) 称 Transformer 可以在上下文中实现 LISTA 型迭代非线性解码。Wen et al. (2020) 分析 OMP 在 α-强衰减系数上的精确稀疏恢复。
• 基线与数据：数值实验比较 Hoeffding 界与高斯尾近似，系数分布包括 Rademacher、Gaussian 与 Laplace。SAE 实验以单步 TopK（n = 0）与最优线性编码器为基线，并与 MP-SAE 比较；基础模型实验使用 TinyStories 上的 Qwen3-4B 与 Oxford-IIIT Pet 上的 CLIP ViT-Base。

作者把本文定位为：区分一致最坏情况与固定支撑高概率保证，把线性与非线性编解码放进同一线性表示体制，并把该保证接到 SAE，用 IHT-SAE 在不知稀疏度时把迭代次数与稀疏预算解开。

整体把叠加写成压缩感知：k-稀疏信号经字典压到 d 维，线性读出是一次匹配滤波；IHT-SAE 则在学习到的稀疏初值上做残差迭代，使解码进入非线性体制。

编码、线性解码与误差拆分

• 线性编码：Definition 1 中 x ∈ [−1, 1]^m 为 k-稀疏输入，A ∈ R^{d×m} 的列是单位 ℓ2 范数字典，z 为独立观测噪声，y = Ax + z，支撑 S 满足 |S| ≤ k。
• 线性解码：Definition 2 为单步匹配滤波 x̂ = A⊤y，第 i 个系数是 ⟨ai, y⟩。由内积双线性，把 y 乘以 α > 0 会同比放大信号与干扰，因此几何极限与压缩状态的幅度无关。
• 误差分解：附录 A 把误差写成 x̂i − xi = Ii + Ni。自项因 ∥ai∥2 = 1 消失。总容差 ε 中，α ∈ (0, 1) 分给噪声，(1 − α) 分给干扰；由三角不等式，总误差超过 ε 时至少有一项超出自己的预算。

固定支撑的高概率界

• 干扰：字典列独立均匀取自单位球面 S^{d−1}，活跃系数任意联合分布但 |xj| ≤ 1 且与 A 独立。Lemma 1 要求

d ≥ (2|S|)/((1−α)²ε²)ln2m/(δ_int)

则最大交叉干扰以至少 1 − δint 的概率不超过 (1 − α)ε。非活跃项由全部 |S| 个活跃特征产生，对应假阳性；活跃项由其余 |S| − 1 个产生，对应假阴性。固定 α、δint 且 |S| ≤ k 时，dreq = Oε(k log m)。

• 噪声与总保证：Lemma 2 要求噪声坐标独立、零均值且亚高斯范数 ∥zn∥ψ2 ≤ σ，并且 σ ≤ cαε / √ln(2m/δnoise)。Theorem 1 在 δint + δnoise = ∆ < 1 时给出：对任意固定支撑和一切合法系数、噪声分布，P(∥x̂ − x∥∞ ≥ ε) ≤ ∆。Corollary 1 在已知最小活跃系数 xmin 时，若存在阈值 τ 满足 εinactive < τ < xmin − εactive，则阈值规则可以恢复支撑。
• 与最坏情况的差别：§2.4 要求对每个 k-稀疏 x ∈ [−1, 1]^m 都有 ∥A⊤Ax − x∥∞ < ε，得到 d = Oε(k² log m)；即使允许任意线性解码器 B⊤，仍有接近的下界。作者在证明中固定 S，以避免对全部支撑做组合惩罚。

高斯尾近似与支撑恢复判据

• 数值近似：Hoeffding 对球面上任意均匀字典都保守。附录 A.3 把干扰项独立建模并做高斯近似，尾匹配因子下界为常数 0.5，因此近似有时低于 Hoeffding 界但作者称不会超过它。默认实验中字典列从高斯抽取再 L2 归一化，活跃系数设为 1，观测无噪声；xmin = 1 时，经验最大偏差分别取活跃坐标上 |1 − x̂i| 与非活跃坐标上 |x̂i| 的最大值。
• 失败率估计：只在至少 100 次经验失败的区间比较 δgauss/δemp。作者称 Nfail ≥ 100 时，经验失败计数的变异系数至多为 10%；40,000 次试验可以把高概率区间评到最低失败率 0.25%（成功率 99.75%）。
• 归一化与预算借用：一般向量空间中叠加幅度随 k 无界增长；RMSNorm 把叠加状态约束到幅度 √d。作者称两者的相对信号—干扰比相同，因为归一化同比缩放目标信号与几何干扰。干扰与噪声独立时，和的方差等于方差之和，因此高干扰可以占满 ε、不给噪声留余量，反之亦然。

非线性解码与 IHT-SAE

• 已知字典：OMP 对残差做贪心正交化；迭代硬阈值用残差相关修正全部系数再保留幅度最大的 k 个；LASSO 以 ℓ1 惩罚最小化重构误差，处于 ℓ1/ℓ1 的非线性解码体制，可用 ISTA 或 FISTA 求解。LISTA 把 ISTA 展开成固定深度网络并反传学习参数。
• 标准 SAE 的位置：TopK SAE 编码器类似学习到的硬阈值，ReLU SAE 类似没有迭代细化的 LISTA。作者援引 Garg et al. (2026) 称单调激活不增加线性可及性容量，因此这些单步 SAE 仍在线性解码体制内。
• IHT-SAE：在 TopK 初值上做残差更新，步长 ηn 可学习，更新矩阵与解码器字典绑定，每步之后用 TopKReLU 至多保留 k 个系数。附录 Figure A.5：先算残差 r = y − Dh，再 h ← TopKReLU(h + ηn D⊤r, k)；N = 0 时退回 TopK。MP-SAE 从零开始，每步从残差贪心选一个特征并减去其贡献，作者称 n = k 是理想迭代预算，但需要知道活跃稀疏度。IHT-SAE 把迭代次数与稀疏预算解开。另有一个用梯度下降最大化活跃与非活跃间隔的最优系数基线，方法在附录 C.1。Figure 7 把四种体制放在同一表示 y = Σ cj aj + z 上：非线性编码预先减小读出干扰，非线性解码再按系数分布选择读出策略。

实验设置

• 合成字典：除非另作说明，字典列从高斯分布抽取并 L2 归一化为单位长度；每个样本均匀随机选 k 个活跃特征，系数设为 1，观测无噪声。Figure 3 与附录 Figure A.6 对每个 k ∈ [2, 24]、m ∈ {512, 1024, 2048, 4096}、d ∈ {64, 128, 256, 512}、ε ∈ {0.1, 0.2, …, 0.9} 跑 40,000 次试验，分布为 Rademacher、Gaussian 与 Laplace。
• 支撑恢复：Figures 4 与 5 以 Corollary 1 中是否存在合法分离阈值判定成功，并比较一般向量空间与 RMSNorm。Figure 5 扫描噪声水平 σ。
• SAE 合成：Figure 6 在 RMSNorm 空间取 m = 1024、d = 128，噪声—信号功率比为 0 与 0.1，最小活跃系数在归一化前为 0.1。比较 TopK（n = 0）、IHT-SAE 与 MP-SAE，迭代 n ∈ {1, 2, 4, 8, 16, 32}，以及最优线性编码器基线。预测激活按绝对余弦相似度与真实字典方向贪心对齐，以处理置换与符号歧义。指标为 F1。附录 C.2 给出一般向量空间的同类结果，正文未列出具体 F1。
• 基础模型：探测 Qwen3-4B 的第 18 层，数据为 TinyStories；探测 CLIP ViT-Base 的第 5 层，数据为 Oxford-IIIT Pet。稀疏预算 k = 32，SAE 字典大小为对应隐藏维度的四倍。训练 10,000 步、批大小 1024、Adam，每次更新后对解码器字典做 ℓ2 归一化。比较 TopK（n = 0）、IHT-SAE（n ∈ {4, 8, 16}）与 MP-SAE（n = 32）。指标为重构方差解释 R²，以及用 SAE 重构替换原激活后的交叉熵增量 ∆CE；Table 1 报告三个种子的均值 ± 样本标准差。作者称 16 次 IHT 与 32 次 MP 的前向 FLOPs 相当，每次 IHT 迭代大约等于一次基线 TopK 前向。
• Figure 2：在 RMSNorm 空间画出经验高概率与最坏情况相干界下的信号幅度，横轴为稀疏度 k，d ∈ {64, 128, 256, 512}，并标出最小活跃信号与最大非活跃信号。正文未给出图中曲线的具体数值。
• 评审：支撑是否恢复由阈值是否分开活跃与非活跃项决定，或由对齐后的 F1 衡量；基础模型用 R² 与 ∆CE。论文未报告人工标注或 LLM 评审。

主结果

Table 1 是基础模型上的主定量结果。基线行是原始 CE，SAE 行是 R² 与替换激活后的 CE 增量。

Swipe horizontally to read the table

编码器	CLIP R²	CLIP ∆CE	Qwen3-4B R²	Qwen3-4B ∆CE
Baseline	–	1.6961	–	1.9833
TopK (0)	0.7000 ± 0.0003	+0.0558 ± 0.0036	0.9989 ± 0.0000	+0.0996 ± 0.0022
IHT (4)	0.7509 ± 0.0008	+0.0286 ± 0.0063	0.9989 ± 0.0000	+0.0976 ± 0.0026
IHT (8)	0.7576 ± 0.0010	+0.0226 ± 0.0010	0.9989 ± 0.0000	+0.1252 ± 0.0075
IHT (16)	0.7584 ± 0.0024	+0.0255 ± 0.0022	0.9988 ± 0.0000	+0.1318 ± 0.0102
MP (32)	0.7623 ± 0.0001	+0.0201 ± 0.0023	0.9990 ± 0.0000	+0.0414 ± 0.0008

• CLIP：作者报告迭代细化提高 R²，并把 ∆CE 从 TopK 的 +0.0558 降到 MP 的 +0.0201；IHT 的 ∆CE 在 8 次迭代为 +0.0226，16 次为 +0.0255。
• Qwen3-4B：各编码器 R² 都在 0.9988–0.9990。IHT 的 ∆CE 随迭代从 +0.0976 升到 +0.1318，高于 TopK 的 +0.0996；MP（32 次）为 +0.0414，低于同表中的 IHT 与 TopK。
• 作者解读：不同非线性解码适合不同系数分布。作者称 OMP 适合 α-强衰减系数，因而基于 MP 的 SAE 在语言模型上的下游重构损失优于 IHT（Figure 8）；Figure 8 是对数纵轴上的系数直方图，语言模子图标出更大的系数幅度范围，视觉模子图幅度范围更窄。

高概率界的数值紧度

• 测了什么：Figure 3（Rademacher）与 Figure A.6（Gaussian、Laplace）画出界定比 δgauss/δemp 对稀疏度 k 的曲线，分活跃项与非活跃项，d ∈ {64, 128, 256, 512}，并标出紧界阈值与成功率从 0% 到 100% 的色标。正文未逐点列出曲线值。
• 结果：作者称当恢复成功率接近 100% 时，δemp 收敛到 δgauss；高斯近似有时低于 Hoeffding 界但不超过它。k = 2 且活跃系数幅度相等时，同一投影对两个目标各计一次失败，union bound 把同一事件数了两次；作者称这对更大的 k 可忽略。
• 作者解读：作者认为这为“Hoeffding 不等式支配高概率、低失败率的线性可及性”提供经验支持，并称该近似抓住了系统参数的缩放：特征数相对维度较小时解码成功概率高，维度相对更小时概率下降。

支撑恢复与 SAE 的 F1

• Figures 4–5：Figure 4 的纵轴是经验成功率，横轴是 k，比较一般向量空间与 RMSNorm，d ∈ {64, 128, 256, 512}，纵轴刻度为 0–100%。Figure 5 在噪声环境中画成功率对噪声水平 σ，σ 轴约到 0.25，同样四档维度。正文未给出各点的成功率数字。作者称尽管叠加幅度不同，相对信号—干扰比相同；并称系统存在预算借用。
• Figure 6：F1 对 k ∈ [0, 50]，两幅子图的噪声—信号功率比分别为 0 与 0.1。图例为 TopK（n = 0）、线性解码的最优编码器、MP-SAE 与 IHT-SAE，颜色越深表示迭代越多直至 n = 32。正文未给出各曲线的 F1 数值。作者称可靠的支撑恢复要求活跃系数大到能与干扰和噪声区分，因此归一化前设最小活跃系数为 0.1；最优系数基线优于常规线性解码器。作者还称，这些 SAE 的每一次迭代单独看仍受线性可及性支配。
• 系数分布：Figure 8(a) 为 CLIP，横轴系数幅度约到 7；Figure 8(b) 为 GPT 语言模型，横轴约到 10000。作者称 MP SAE 的归纳偏置偏向 α-强衰减分布，因而能分开语言模型中的极端离群激活；更平坦的视觉编码器激活缩小策略之间的差距。

其他消融与分析

• 失败率比较限制在 Nfail ≥ 100；40,000 次试验对应可评估的最低失败率 0.25%。
• Laplace 列投影到单位球面后有界，因而变为亚高斯，但这些列并不均匀分布在球面上（§3 脚注）。
• k = 2 且系数幅度相等时，union bound 对同一事件重复计数。
• IHT 的 ∆CE 在 Qwen3-4B 上随迭代次数上升：4 次 +0.0976，8 次 +0.1252，16 次 +0.1318（Table 1）。
• CLIP 上 IHT 的 R² 从 4 次的 0.7509 升到 16 次的 0.7584，∆CE 在 8 次最低（+0.0226），16 次回升到 +0.0255（Table 1）。
• 作者称 16 次 IHT 与 32 次 MP 的前向 FLOPs 相当；论文未报告具体耗时或查询次数。

作者指出的局限与后续方向

• 与 LLM 的联系是推测：§4.2 写明，线性可及性与 LLM 机制之间的联系仍是推测，依赖外部经验证据。（Limitations）
• 均匀方向没有保证：同一节写明，在 Lindeberg 中心极限定理条件下，中心化、方差归一化的干扰随 |S| 增大渐近趋于正态，再加上通常的 RMSNorm，线性投影有界并进而为亚高斯；这并不保证定理所假设的均匀特征方向。作者称高斯尾在理论上和数值实验中被 Hoeffding 界控制。（Limitations）
• LLM 使用程度未知：§4.2 写明，本文描述线性可及性成立的条件，以及 SAE 和更一般的线性表示假说的充分条件，但 LLM 在多大程度上使用这一点仍然未知。（Limitations）
• 不声称新架构：同一节写明，本文不声称一种新的最优架构，而是澄清决定解码器选择的条件。（Limitations）
• 后续编码：§3.3 写明，未来工作可以把更好的编码加进去，预先考虑干扰并进一步提高恢复；这也可以延伸到基础模型，在压低假阳性与假阴性的同时提高线性可及性。（§3.3）
• 深度与组合泛化：§4.1 假设基特征线性表示，高阶性质通过自下而上的非线性编码或自上而下的非线性解码得到；作者认为新信息线性加入残差流，后续层可以变换表示基并细化特征估计，从而为更大的 Transformer 深度改善组合泛化提供一种机制。（Discussion）

实验覆盖范围

• 合成实验的维度为 d ∈ {64, 128, 256, 512}，字典大小 m ∈ {512, 1024, 2048, 4096}，稀疏度 k ∈ [2, 24]，误差阈值 ε ∈ {0.1, …, 0.9}，每个组合 40,000 次试验，系数分布为 Rademacher、Gaussian 与 Laplace（Figure 3、Figure A.6）。
• 支撑恢复覆盖一般向量空间与 RMSNorm，以及 Figure 5 中的加性噪声；Figure 6 的 SAE 合成设置为 m = 1024、d = 128、噪声—信号功率比 0 与 0.1、归一化前最小活跃系数 0.1。
• 基础模型实验为 Qwen3-4B 第 18 层配 TinyStories，以及 CLIP ViT-Base 第 5 层配 Oxford-IIIT Pet；k = 32，字典大小为隐藏维度的四倍，训练 10,000 步、批大小 1024，三个种子（Table 1）。
• 比较的解码器为单步 TopK、IHT-SAE（基础模型上 n ∈ {4, 8, 16}）与 MP-SAE（n = 32），另有合成设置中的最优线性编码器基线。
• 论文未报告 Figure 4、Figure 5、Figure 6 各点的具体成功率或 F1，也未报告人工一致性、攻击或提示注入评测。

这篇工作给出特征叠加中线性可及性的高概率几何约束，并据此比较线性与非线性 SAE 解码器。

• 问题：同时激活的特征会互相干扰。对全部 k-稀疏输入一致成立的线性解码需要 d = Oε(k² log m)；作者关心的是每个输入支撑固定时，维度可以如何缩放。
• 方法：把观测写成 y = Ax + z，线性解码为 x̂ = A⊤y。误差拆成交叉干扰与投影噪声并分配预算。Lemma 1–2 与 Theorem 1 表明，在单位球面均匀字典、有界系数和亚高斯噪声下，d = Oε(k log m) 且 σ = Oε(1/√log m) 时，对任意固定支撑，ℓ∞ 误差超过 ε 的概率至多为 ∆。已知最小活跃系数时，分离阈值可以恢复支撑。高斯尾近似用来估计失败率，并在至少 100 次经验失败的区间与 40,000 次试验对照。
• 解码器：单步 TopK 与 ReLU SAE 仍受线性可及性约束。IHT-SAE 从 TopK 初值出发，用学习步长做残差更新并在每步保留至多 k 个系数，从而把迭代次数与稀疏预算解开；MP-SAE 则贪心地从残差中逐个减去特征。
• 证据：作者称成功率接近 100% 时，经验失败率趋近高斯近似。Table 1 中，CLIP ViT-Base 上 IHT（16 次）的 R² 为 0.7584 ± 0.0024，MP（32 次）的 ∆CE 为 +0.0201 ± 0.0023，均优于 TopK。Qwen3-4B 上各方法 R² 约为 0.999，但 IHT（16 次）的 ∆CE 升至 +0.1318 ± 0.0102，而 MP（32 次）为 +0.0414 ± 0.0008。作者将其联系到语言激活更接近强衰减、视觉激活更平坦。
• 结论：作者认为线性与非线性编解码可以共享线性表示假说所假设的加权叠加，非线性用于设置或读取系数以绕过交叉干扰；这些结果描述该假说的几何边界。作者同时称，这与 LLM 内部机制的联系仍是推测，也不声称一种新的最优架构。