事件历史事件
探索用无监督方法恢复大语言模型中的拒答方向
先了解这件事
AI 综述
2026年10月22日，作者在LessWrong发文，将PCA、Isomap与diff-in-means用于恢复大语言模型的拒答方向，并在Llama 3.1 8B Instruct与Qwen2.5-7B-Instruct上测试。作者称PCA恢复的方向与diff-in-means所得方向在余弦相似度和因果消融效果上接近，且所需样本量不大；Isomap表现始终不如PCA，作者据此认为没有证据表明拒答的激活几何是非线性的。
AI 根据报道生成 · 21 天前更新
相关研究
报道提到其成果的论文
- 报道提到 JailbreakBenchJailbreakBench：面向大语言模型越狱的开放鲁棒性基准探索用无监督方法恢复大语言模型中的拒答方向
arXiv · 2024-03-28 · 深度解读
- 报道提到 HarmBenchHarmBench：自动化红队测试与鲁棒拒答的标准化评测框架探索用无监督方法恢复大语言模型中的拒答方向
arXiv · 2024-02-06 · 深度解读
后续时间线
10月22日
- LessWrong探索用无监督方法恢复大语言模型中的拒答方向
作者将主成分分析（PCA）、Isomap 与 diff-in-means 用于恢复大语言模型的拒答方向，并在 Llama 8b 3.1 Instruct 和 Qwen2.5-7B-Instruct 上测试。作者称 PCA 恢复的方向与 diff-in-means 得到的方向在余弦相似度和因果消融效果上接近，且所需样本量不大。Isomap 的表现始终不如 PCA，作者据此认为没有证据表明拒答的激活几何是非线性的。作者还用投影阈值在留出的有害与无害提示上评估分类表现，代码已公开。