Goodfire 用稀疏自编码器理解与操控 Llama 3
Understanding and Steering Llama 3 with Sparse Autoencoders - Goodfire
AI 导读
Goodfire 发布 preview.goodfire.ai，一个用于理解和操控 Llama 3 行为的桌面界面，后端在 Llama-3-8B-Instruct 第 19 层残差流上训练稀疏自编码器（SAE），提取可修改的特征。训练数据选用 LMSYS-Chat-1M，作者称其在聊天场景下产生的特征最有效，而 FineWeb 等非聊天数据训练出的特征迁移效果较差。团队用自动化可解释性流程借助 Claude 为特征生成人类可读标签，并通过基于梯度的归因方法筛选干预候选，再以特征干预改变模型输出。作者观察到正向干预通常单个特征即可生效，负向干预常需多个特征，可能与自我修复有关；同时指出跨层叠加会让部分特征难以被干预。