稀疏自编码器找不到标准的分析单元
Sparse Autoencoders Do Not Find Canonical Units of Analysis
Quick read
Based on 论文全文 （AI 生成）; refer to the original
论文提出 SAE stitching 与 meta-SAE 两种方法，论证稀疏自编码器（SAE）无法找到一套标准的分析单元。
- 稀疏自编码器（SAE）被寄望于找到一套「canonical」单元：唯一、完整、原子的特征。但字典大小如何影响所学特征尚缺乏系统研究，此前也缺少比较不同大小 SAE latent 的方法。
- 提出两种技术：SAE stitching，按 decoder 余弦相似度在大小 SAE 之间插入或替换 latent，把大 SAE 的 latent 分为 novel 与 reconstruction 两类；以及 meta-SAE，即用 SAE 训练另一个 SAE 的 decoder 矩阵，把大 SAE 的 latent 分解为可解释的 meta-latent。
- 在 GPT-2 Small 第 8 层残差流（768 到 98304）和 Gemma Scope SAE 上做 stitching，发现大 SAE 既有 novel latent（说明小 SAE 不完整），也有 reconstruction latent。meta-SAE 把「Einstein」分解为「scientist」「Germany」「famous person」等，说明大 SAE latent 常非原子；meta-latent 与相近大小 SAE 的 latent 相似。
- 方法既不能识别 canonical 单元，也不能确定某任务该用多大字典；只研究两个 LLM，未涵盖超大 SAE；把 SAE latent 对应到可解释概念仍是开放问题。作者建议探索其他识别 canonical 单元的途径，或按任务务实地选择 SAE 宽度。
论文提出 SAE stitching 与 meta-SAE 两种方法，论证稀疏自编码器（SAE）无法找到一套标准的分析单元。SAE stitching 按解码方向余弦相似度在大小 SAE 之间插入或替换 latent，结果显示更大的 SAE 既包含小 SAE 未表示的新 latent，也包含与小 SAE 对应、可互相替换的重建 latent，前者说明小 SAE 并不完备。meta-SAE 在另一个 SAE 的解码矩阵上训练，把大 SAE 的 latent 分解为可解释的 meta-latent，例如表示“爱因斯坦”的 latent 分解为“科学家”“德国”和“名人”。作者在 GPT-2 Small 第 8 层残差流和 Gemma 2 2B 的 Gemma Scope SAE 上验证了这些结果。
Why it was selected论文用 SAE stitching 与 meta-SAE 两种方法，对 SAE 能发现标准分析单元这一假设提出质疑，并建议按任务选择字典宽度。