SOM 方向不止一个:语言模型中的多方向拒答抑制
SOM Directions are Better than One: Multi-Directional Refusal Suppression in Language Models
AI 导读
论文提出用自组织映射(SOM)从语言模型内部提取多个拒答方向,并通过消融这些方向抑制拒答。作者先证明 SOM 可泛化此前用有害与无害提示表示质心差计算单一拒答方向的做法,再在有害提示表示上训练 SOM 识别多个神经元,将每个神经元减去无害表示质心,得到一组表达拒答概念的方向。在较大规模的实验设置中,消融多个方向不仅优于单方向基线,也优于专用越狱算法,从而实现有效的拒答抑制。论文最后分析了该方法在机制上的含义。