越狱攻击下的稳健有害特征：大语言模型注意力头功能分化的机制证据
Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models
论文速读
据论文全文整理（AI 生成），以原文为准
研究者通过机制可解释性分析发现，越狱攻击并非全面消除模型的安全表征，而是选择性抑制早期层的特定注意力头。
- 越狱攻击能绕过 LLM 的安全对齐，但其内部机制尚不清楚。作者想弄清攻击成功时模型内部究竟发生了什么，以解释为何攻击能绕过拒绝决策。
- 作者把中层 refusal direction 通过 OV 电路反向投影到各注意力头，用 KDE 与重叠系数比较 benign、harmful、attack 三类输入的激活分布，据此把注意力头分为被攻击抑制的 ACH 与保持激活的 SAH，并用消融和 token 级归因验证其因果作用。
- 消融少量 ACH 即可让正常拒绝的输入出现越狱行为，Llama-3 的 ASR 从 0% 升到 95% 以上；消融 SAH 会明显削弱中层激活。token 归因显示 ACH 的抑制由攻击模板 token 驱动，而 SAH 对攻击模板反而响应更强。基于这些持续激活的无训练检测器在多个安全评测上取得有竞争力的表现。
- 分析只覆盖注意力机制，未涉及 MLP 层；只用单一 refusal direction 作一阶近似；主要机制实验限于 7–8B 强对齐模型，70B 仅作初步验证且成功攻击样本很少；数据需成对的攻击成功样本，样本量受限；检测器需要白盒内部激活。后续可扩展到更弱对齐与更大模型、更丰富的 refusal 子空间、更多攻击范式，并追踪 ACH 与 SAH 间的信息流。
研究者通过机制可解释性分析发现，越狱攻击并非全面消除模型的安全表征，而是选择性抑制早期层的特定注意力头。论文把攻击下被抑制的早期层注意力头称为 Adversarially Compromised Heads（ACHs），把中层持续激活的称为 Safety-Aligned Heads（SAHs），并将后者维持的持续表征命名为稳健有害特征。消融实验显示，仅干预 8 个 ACH 即可把 Llama-3-8B-Instruct 的攻击成功率从 0% 提升到 95.0%，饱和时达 99.5%，Llama-2-7B-Chat 达 83.7%；随机干预注意力头仅得到 4.0% 和 10.2%。token 级归因表明 ACH 的抑制由攻击模板 token 驱动，而 SAH 对攻击模板呈正向响应。该论文被 ICML 2026 接收为 oral。
推荐理由论文用消融实验把越狱成功归因到早期层少数注意力头被抑制，并展示免训练检测器可读取残留的安全信号。