当基准说谎：在真实分布偏移下评估恶意提示分类器
When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift
AI 导读
论文提出留一数据集（LODO）评估协议，在 18 个数据集上训练基于激活的分类器，发现标准交叉验证把提示攻击检测的泛化能力高估 8.0 至 16.5 个百分点。研究覆盖 Llama-3.1-8B、Gemma-3-27B、Qwen-3.5-2B/4B 四个模型，逐数据集准确率差距在 1 至 25 个百分点之间。分析显示 28% 至 44% 的 top SAE 特征属于数据集捷径，数据集身份分类器准确率达 96.6%，数据集身份与安全相关子空间部分重叠。对抗训练、子空间投影、样本重加权等七种域泛化方法均未能缩小差距。作者在 GitHub 开源了评估框架。
推荐理由
论文提出留一数据集评估，显示标准交叉验证把提示攻击分类器的泛化高估 8 至 16 个百分点，并开源了评估框架。