Rank-1 LoRA 编码可解释的推理信号
Rank-1 LoRAs Encode Interpretable Reasoning Signals
AI 导读
研究者用 rank-1 LoRA 为 Qwen-2.5-32B-Instruct 构建了一个最小参数适配器，恢复了全参数微调 73-90% 的推理基准性能，说明推理模型的多数新能力可由对基座模型参数的单秩改动引出。他们发现该 LoRA 的激活与 MLP 神经元同样可解释，并在推理特有行为上触发。在此基础上，他们在该 LoRA 的完整激活状态上训练稀疏自编码器，识别出细粒度、单义的特征。论文认为，参数高效训练方法可作为揭示语言模型行为与动态的针对性透镜。