基于 TopKLoRA 的可解释稀疏微调实现忠实的回路发现
Interpretable sparse fine-tuning with TopKLoRA enables faithful circuit discovery
AI 导读
研究者提出按设计可解释的稀疏微调方法 TopKLoRA，并在 sleeper agent 后门模型中定位并消融了实现后门所必需且充分的回路。该方法让每个 token 只激活 k 个最大的 adapter 潜变量，与 SAE 不同，它仅用下游损失训练，优化压力促使其学习在功能上具有因果作用的潜变量。作者在投毒的指令遵循数据集上微调 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 构建后门模型，所得稀疏回路最多比稠密 LoRA 基线小一个数量级，可在不牺牲指令遵循性能的情况下外科手术式地消融恶意能力。作者还提出用 TopKLoRA 潜变量与 gradient-routing 构建局部化回路模型的技术来验证回路搜索结果，代码开源于 https://github.com/interpretable-finetuning/TopKLoRA。