论文《The Geometry of Refusal》：安全对齐 LLM 的拒答边界线性不稳定
[Daily Paper] The Geometry of Refusal: Linear Instability in Safety-Aligned LLMs
AI 导读
论文《The Geometry of Refusal》将安全对齐 LLM 的拒答刻画为激活空间中的线性边界，并发现该边界线性不稳定。沿边界法线方向、L2 范数很小的扰动即可越过拒答边界：拒答方向上局部 Hessian 的特征值接近于零，这解释了小型对抗扰动为何能稳定诱导模型顺从。作者推断，若拒答是线性的，steering vector 无需提示词层面的改动即可零样本绕过拒答。