First-Order Steering：将权重适配转化为激活引导
First-Order Steering: Translating Weight Adaptation into Activation Steering
AI 导读
研究者提出 First-Order Steering，把激活引导表述为权重更新矩阵的一阶近似，由引导强度向量参数化，并给出该近似的理论误差上界。基于此，他们开发了模型合并方法 HeRD-Merging，通过最小化一阶近似误差项提升引导精度。作者称该方法生成的引导向量在控制单一行为和组合行为时都比现有激活引导方法更准确，同时 HeRD-Merging 在性能上与传统模型合并基线相当，且其权重适配能产生更准确的一阶引导向量。