当基准说谎：在真实分布偏移下评估恶意提示分类器
When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift
论文速读
据论文全文整理（AI 生成），以原文为准
论文提出留一数据集（LODO）评估协议，在 18 个数据集上训练基于激活的分类器，发现标准交叉验证把提示攻击检测的泛化能力高估 8.0 至 16.5 个百分点。
- 基于激活的 prompt injection、jailbreak 与有害请求检测器常用聚合多数据集的交叉验证评估，报告 AUC 超过 0.99，但作者认为这种评估高估了真实泛化能力：训练与测试样本来自同一数据集时，分类器可能学到的是数据集来源特征而非攻击语义。
- 作者在 18 个数据集（约 10.5 万样本，含恶意与良性来源）上训练线性探针和 SAE 特征分类器，提出 Leave-One-Dataset-Out（LODO）评估：每次完全留出一个数据集作测试。并用 LODO 系数保留度指标识别依赖数据集的 SAE 捷径特征，还提出 LODO 加权归因。
- 在 Llama-3.1-8B、Gemma-3-27B、Qwen-3.5-2B/4B 上，标准 CV 的 pooled AUC 比 LODO 高 8.0–16.5 个百分点，逐数据集准确率差距 1–25 个百分点；28–44% 的 top SAE 特征被标为捷径，数据集身份分类器达 96.6%；对抗训练、子空间投影、重加权、类别平衡等常规域泛化手段都未能缩小差距。
- 方法需要模型内部激活的白盒访问，难以直接用于闭源 API；LODO 衡量静态分布泛化，不等于对自适应攻击的鲁棒性；结果依赖所选取的数据集；LODO 需为 K 个数据集训练 K 个分类器，计算成本较高；作者未提出能真正弥合差距的方法，LODO 加权解释的人工评估也留待未来工作。
论文提出留一数据集（LODO）评估协议，在 18 个数据集上训练基于激活的分类器，发现标准交叉验证把提示攻击检测的泛化能力高估 8.0 至 16.5 个百分点。研究覆盖 Llama-3.1-8B、Gemma-3-27B、Qwen-3.5-2B/4B 四个模型，逐数据集准确率差距在 1 至 25 个百分点之间。分析显示 28% 至 44% 的 top SAE 特征属于数据集捷径，数据集身份分类器准确率达 96.6%，数据集身份与安全相关子空间部分重叠。对抗训练、子空间投影、样本重加权等七种域泛化方法均未能缩小差距。作者在 GitHub 开源了评估框架。
推荐理由论文提出留一数据集评估，显示标准交叉验证把提示攻击分类器的泛化高估 8 至 16 个百分点，并开源了评估框架。