研究：分类后缀可提升激活探针的分布外恶意输入检测
Prompted to Discriminate: Generalizing Malicious-Input Probes in the Wild
AI 导读
研究者在 13 个安全基准（越狱、提示注入与正常对话）和 Llama-3.1-8B、Qwen3.5-9B、Gemma-4-12B 三个开源模型上，用严格的留一数据集（LODO）评测检验用户轮次后附加分类指令对激活探针的影响。单点探针上，分类后缀相比无后缀可将分布外检测的 AUC 提升最多约 4 个点，而跑题或仅表示关注的后缀几乎没有帮助。增益来自分类这一格式本身而非具体判据，无内容标签的后缀与真实恶意/良性判据效果相当，判据只在严格阈值下提升精确率。该结论也适用于生产中的多点池化探针（attention、multi-max、MLP），但最优后缀随读出方式变化；通过 KV-cache fork 部署时，它是一种低成本即插即用方案，但具体哪种后缀有效、提升多少取决于模型与读出方式。