LLM 的正交化与参数化多属性引导
Orthogonal and Parametrized Multi-Attribute Steering of LLMs
AI 导读
论文提出一种参数化引导方法，不再把激活推向某个方向，而是将其设定在目标属性的强度上。作者先为每个引导向量找出最易引导的区间，并据此重新缩放引导范围，使引导强度具有可解释的含义。在多属性引导中，直接组合多个向量会让属性相互干扰，因此论文提出把向量正交化的方法，使各属性解耦，模型可以在不诱发其他行为的情况下表现出某一行为，从而同时引导多个属性。