研究:激活引导的干扰反映模型默认倾向而非行为方向
Steering Interference Reflects the Model's Defaults, Not the Behavior Directions
AI 导读
论文发现激活引导(activation steering)的干扰由模型自身决定,而非被引导的行为方向。作者在 24 种行为和 10 个指令微调模型上得到三项结果,所有效果均由语言模型评判器从生成文本读出,而非探针。第一,一个不含行为内容、仅在与真实引导所加向量大小上匹配的方向,会以与真实引导相同的顺序移动相同的行为,却不产生任何需要特定方向的行为。第二,多数干扰是单向的,因此不能解释为两个方向的重叠:引导脏话会让模型变得有毒,而引导毒性不会影响脏话。第三,完全留出某一行为时,用其他行为测得的几何几乎无法解释它参与的干扰。