探索用无监督方法恢复大语言模型中的拒答方向
Exploring Unsupervised Methods for Recovering the Refusal Direction in LLMs
AI 导读
作者将主成分分析（PCA）、Isomap 与 diff-in-means 用于恢复大语言模型的拒答方向，并在 Llama 8b 3.1 Instruct 和 Qwen2.5-7B-Instruct 上测试。作者称 PCA 恢复的方向与 diff-in-means 得到的方向在余弦相似度和因果消融效果上接近，且所需样本量不大。Isomap 的表现始终不如 PCA，作者据此认为没有证据表明拒答的激活几何是非线性的。作者还用投影阈值在留出的有害与无害提示上评估分类表现，代码已公开。