Goodfire 研究 SAE 能否捕捉神经几何，并提出无监督流形发现流程

Goodfire Research 发布研究，考察稀疏自编码器（SAE）学到的方向与神经网络弯曲几何之间的关系。团队在包含甜甜圈、球面、莫比乌斯带等结构的合成数据上训练 SAE，发现随重建方向数量变化，SAE 会以三种方式恢复几何结构：碎片化（每个点由独立特征表示）、紧凑捕捉（少量共享特征充当坐标系）和稀释（中等数量特征部分共享）。在真实神经网络表示上训练时观察到的是稀释，单个 SAE 特征只覆盖流形的一部分，例如温度流形上「寒冷天气及其影响」与「极端高温及其影响」分别激活两端。