稀疏自编码器能否泛化？一项关于可回答性的案例研究

论文评估了 Gemma 2 稀疏自编码器（SAE）特征的泛化能力，作者围绕可回答性构建并测试了多个数据集，用以考察模型识别可回答问题这一抽象特征。结果显示，在单一领域内残差流探针的表现优于 SAE 特征，但两者的泛化表现差异明显。SAE 特征的域外迁移并不稳定，表现从接近随机到优于残差流探针都有出现。作者据此认为，基于 SAE 的可解释性需要更稳健的评测方法，以及能够定量预测特征泛化的手段。