用低秩适配微调语言模型来改进稀疏自编码器
Low-Rank Adapting Models for Sparse Autoencoders
AI 导读
论文提出用低秩适配（LoRA）微调语言模型本身，来适配已训练好的稀疏自编码器（SAE），而不是只做事后 SAE 训练。在 Gemma Scope 的 SAE 上，该方法把前向插入 SAE 时的交叉熵损失差距降低 30% 到 55%；相比端到端 SAE，在 Gemma 上达到同等下游交叉熵损失快 3 到 20 倍，在 Llama 上快 2 到 10 倍。作者表示该方法还能提升下游指标，并可同时适配多个 SAE 而不损害语言模型的通用能力。研究在 SAE 稀疏度、SAE 宽度、语言模型规模、LoRA 秩和模型层等设置上做了分析。