稀疏自编码器有用吗？稀疏探针案例研究
Are Sparse Autoencoders Useful? A Case Study in Sparse Probing
AI 导读
arXiv 论文测试了稀疏自编码器（SAE）能否在 LLM 激活探针这一真实任务上超过现有基线。研究在数据稀缺、类别不平衡、标签噪声和协变量偏移四种情形下比较 SAE 与基线，假设 SAE 的概念级可解释潜变量能提供有用的归纳偏置。结果表明，SAE 虽偶尔在单个数据集上表现更好，但作者未能设计出结合 SAE 与基线的集成方法稳定优于仅使用基线的集成方法；在识别伪相关、检测数据集质量和训练多 token 探针上，简单非 SAE 基线也能取得类似结果。作者据此指出当前 SAE 的不足，并强调需要在下游任务上用强基线严格评估可解释性方法。