在稀疏空间中引导大语言模型的激活
Steering Large Language Model Activations in Sparse Spaces
AI summary
论文提出稀疏激活引导（SAS），用稀疏自编码器（SAE）在稀疏空间中引导大语言模型的行为。该方法通过对比式提示词配对隔离行为相关特征，得到一组可选择性增强或抑制行为的特征向量。在 Gemma 2 上的实验显示，SAS 向量可实现更细粒度的行为调控；扩大 SAE 规模能提升 SAS 向量的单义性，指向更可靠、更可解释的干预。
Steering Large Language Model Activations in Sparse Spaces
论文提出稀疏激活引导（SAS），用稀疏自编码器（SAE）在稀疏空间中引导大语言模型的行为。该方法通过对比式提示词配对隔离行为相关特征，得到一组可选择性增强或抑制行为的特征向量。在 Gemma 2 上的实验显示，SAS 向量可实现更细粒度的行为调控；扩大 SAE 规模能提升 SAS 向量的单义性，指向更可靠、更可解释的干预。