提示词中的哪些特征会引发 LLM 越狱？探究攻击背后的机制

研究者构建了包含 10800 次越狱尝试、覆盖 35 种攻击方法的新数据集，在开源权重 LLM 的隐藏状态上训练线性和非线性探针来预测越狱是否成功。探针在分布内取得较高准确率，但迁移具有攻击族特异性，表明不同越狱攻击由不同的内部机制支持，而非单一通用方向。为确立因果关联，研究者构建了探针引导的潜在干预，可按预测方向系统性改变模型的服从行为；来自非线性探针的干预比线性探针产生更大、更可靠的效果，说明与越狱成功相关的特征以非线性方式编码在提示表示中。研究揭示了越狱机制的异质非线性结构，并提供了一套从提示侧恢复和检验驱动越狱结果特征的方法。