解码前的拒答：检测并利用 LLM 中间层激活中的拒答信号
Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations
AI 导读
研究者发现 LLM 的拒答行为在远早于最终层的中间层激活中即可线性解码，并据此提出探针引导的越狱方法 Mechanistic AutoDAN。他们用训练在各 Transformer 层残差流激活上的线性探针预测拒答，并在 AutoDAN 的遗传提示搜索循环中用部分前向传播加探针评分替代完整模型适应度评估。在所评测模型上，该方法攻击成功率与原版 AutoDAN 相当，单轮搜索时间最多降低 72%，部分配置下跨模型迁移持平或更高。作者还发现探针引导的收益随模型规模增大，对更大、更稳健的模型尤其有效。