BatchTopK 稀疏自编码器

研究者提出 BatchTopK 稀疏自编码器训练方法，把 TopK 固定的 top-k 约束放宽到批次级，使每个样本可激活数量不同的特征。在 GPT-2 Small 和 Gemma 2 2B 上，BatchTopK 的重建表现稳定优于 TopK，并与当前最优的 JumpReLU SAE 相当。其优势在于平均激活特征数可以直接指定，不必通过代价高昂的超参数搜索来近似调参。训练与评测代码已在 GitHub 开源。