研究者提出 CAP 指标与 CSFD 算法,发现越狱通过压制安全特征绕过拒答
Don't Judge an LLM Only by Its Activations: Discovering Suppressed Safety Features via Counterfactual Activation Potential
AI 导读
研究者提出反事实激活潜力(CAP)指标,用编码器对齐、抑制强度和安全性关键度三项乘积刻画被压制的安全特征,并给出 CAP 引导的安全特征发现(CSFD)两阶段筛选算法,从数十万 transcoder 特征中筛出候选而无需穷举消融。在 Gemma-2-2B、Qwen3-8B、Gemma-3-4B-IT、Qwen3-1.7B 和 Llama-3.2-1B 五个模型上,78% 至 100% 的候选特征经消融验证具有因果作用,单个特征置零可使最高 82.5% 的拒答转为顺从。使用 PAIR 攻击时,最高 CAP 特征受到的抑制强度上升 2 至 4 倍,激活相应下降最多 80%;放大抑制特征本身即可降低其激活并提高有害顺从率,而随机特征无此效果。作者据此认为越狱部分通过压制安全关键特征而非仅激活有害特征实现,被压制特征是激活式可解释性的必要补充。
推荐理由
论文提出用编码器对齐、抑制强度与安全关键性三项乘积定位被压制的安全特征,为理解越狱机制提供了激活视角之外的补充。