When benchmarks lie: evaluating malicious prompt classifiers under real-world distribution shift

标准交叉验证会高估恶意提示词分类器的泛化：训练和测试若来自同一批数据集，分类器可以靠数据集身份而不是攻击语义拿到高分。

• 部署场景：作者称 LLM 智能体要处理邮件、文档、工具输出和 API 响应，外部数据中的 prompt injection 可以劫持行为。作者引 OWASP，称 prompt injection 排在 LLM 应用漏洞的首位。
• 现有评测：检测 prompt injection、越狱和有害请求的分类器，通常在合并后的攻击集与良性集上做同源划分。作者称已有工作报告 AUC 超过 0.99，并在 Table 1 复现。
• 作者的观察：不少组成数据集是单类，全为恶意或全为良性。作者称，能认出数据集来源的特征会自动预测类别，数据集身份利用因此很容易。
• 本文做什么：在 18 个数据集、105K 条样本上训练激活探针，提出 Leave-One-Dataset-Out（LODO），使留出数据集在训练中完全不出现，并量化它与标准 CV 的差距。
• 防御者设定：作者称防御者在推理时对 LLM 激活有 white-box 访问，但不能修改底层模型；对照的是没有这一访问的 text-only 基线。恶意类覆盖有害请求、越狱、提示注入（含间接注入）和抽取攻击。

提示词攻击检测

• 文本护栏：PromptGuard 2（Chennabasappa et al., 2025）和 LlamaGuard（Meta AI, 2024）是文本接口的分类护栏。作者称这种接口给不出智能体攻击所需的 tool-schema。
• 激活探针：TaskTracker（Abdelnabi et al., 2025a）是最接近的激活探针基线。作者称它留出攻击类型，但仍在同一组成数据集内训练和评测，没有检查数据集级泛化。
• 相邻比较：Marks 与 Tegmark（2024）区分真实性探针里的相关方向和因果方向；作者称自己问的是攻击探针能否跨数据集迁移。Goodfire AI（2025）在专有数据上比较激活探针与 LLM-as-judge 的 PII 检测；作者称自己在公开提示词攻击基准上做同类比较。

同期防御与评测平台

• 对抗轴：Constitutional Classifiers（Sharma et al., 2025; Cunningham et al., 2026）和 Circuit Breakers（Zou et al., 2024）针对最坏情况攻击者做红队或表示干预。作者称 LODO 测的是静态分布偏移。
• Judge 与注意力：PromptArmor（Shi et al., 2025）是面向部署的 LLM-as-judge 防御；作者改为报告自己的 Llama-as-Judge 如何随模板变化。AISA（Song et al., 2026）和 AlignSentinel（Jia et al., 2026）作用在注意力上，而不是本文的激活。
• 评测平台：PIArena（Geng et al., 2026）提供提示注入防御的评测平台。作者称自己针对的是评测协议本身。

SAE、捷径与域泛化

• SAE 探针：作者引用 Gallifant et al.（2025）的 macro-F1>0.8，并称自己在越狱数据上得到可比的单数据集 CV，但 LODO 差距约 8 个点。作者引用 Kantamneni et al.（2025）：113 个任务里 SAE 探针在 98% 的设置下不如原始激活；作者称自己 LODO 下 0.912 对 0.838 的 AUC 与该结论一致。
• 解释：Le Bail et al.（2025）和 Zhao et al.（2024）用 SAE 或高影响概念解释预测。作者称自己加上按 retention 加权的归因，以去掉数据集伪特征。
• 组鲁棒方法：Group DRO（Sagawa et al., 2020）和 Just Train Twice（Liu et al., 2021）在单一训练分布内处理预定义组或错分样本。作者称本文的捷径就是数据集本身；附录 G 的样本再加权没有关上 LODO 差距。

本文使用的基线与数据

• 基线：PromptGuard 2、LlamaGuard、四种 Llama-as-Judge 模板、ProtectAI Guard v2、Deepset prompt-injection v2，以及免训练的 Latent Prototype Moderation（类中心的 Mahalanobis 距离）。
• 数据：自编译 18 个公开集，攻击侧包括 AdvBench、HarmBench、WildJailbreak、BIPIA、InjecAgent、LLMail、Mosscap 等，良性侧包括 Enron、OpenOrca、Dolly 15k 等；并与 leave-one-category-out 对比。
• 互补工作：Nasr et al.（2025）用自适应攻击绕过十二个近期防御，作者称该批评在对抗轴。PromptShield（Jacob et al., 2025）给出可部署检测器，作者称自己针对的是衡量这类检测器的评测方法。

作者称贡献不是 leave-one-domain-out 协议本身（Gulrajani 与 Lopez-Paz, 2021; Koh et al., 2021），而是把它用到尚未采用该协议的提示词攻击分类，并量化 CV 与 LODO 的差距。

不更换探针架构，而把评测单位改成整份数据集。Leave-One-Dataset-Out（LODO） 在训练时完全不见留出集；再用 SAE 系数在各留出折上的稳定性，把数据集捷径从逐条解释里降权。

任务、防御者设定与数据

• 二分类：输入判为恶意或良性。恶意分四类：有害请求、越狱、提示注入（含邮件、代码、工具输出、检索文档中的间接注入）、抽取隐藏系统信息。
• 防御者：推理时 white-box 读取激活，不改底层模型。text-only 基线没有这一访问。
• 规模：18 个数据集，多数截到 10K，BIPIA 用 15K 以覆盖三种上下文，合计 105K 条、47% 恶意。LODO 把 Gandalf（114 条）并入 Mosscap，得到 17 个留出集；捷径分析仍用 18 个。六集全恶意，五集全良性，六集混合。
• 构造：InjecAgent 做成多轮对话，注入在工具返回中，schema 经 chat template 传入。BIPIA 的 email、code、table 任务把攻击指令插在上下文末尾。Mosscap 与 Gandalf 共用系统提示和抽取目标，故合并。附录 B 有构造细节，此处不引用提示词原文。

激活与分类器

• 原始激活：套用 chat template 后，取用户消息最后一个 token、生成前缀之前的残差流。主报告位置是 layer 31。作者比较多层和两个 token 位置后，仍把该位置当作默认，并称没有任何配置在所有数据集上占优。
• SAE：Llama-3.1-8B 用 layer 27 的预训练 SAE，维度 131,072，平均每 token 47 个活跃特征。Gemma-3-27B 用 Gemma Scope 2 的 layer 42。作者称 SAE 分析只覆盖有公开预训练 SAE 的这两个模型。
• 分类器：逻辑回归为 L2、lbfgs、class weight 为 balanced，正文写 C=1.0。MLP 为隐层 512、dropout 0.1、Adam 学习率记为 10−3、20 个 epoch。作者称这样是为了把效应归到评测协议，而不是探针结构。
• 划分与一处不一致：CV 为 StratifiedKFold，5 折、shuffle、random state=42。LODO 折由数据集身份决定，lbfgs 在固定正则下是确定的。附录 C.1 脚注写主表探针 C=0.1，捷径、位置与消融用 C=1.0；论文未说明 Table 1 与 Table 3 对应哪一个 C。

LODO 协议

• 留出方式：对每个数据集 Di，在其余数据集上训练，只在 Di 上测试。作者称这不是新协议，而是把域泛化中的 leave-one-domain-out 用到数据集粒度。
• 怎么汇总：同时报告逐数据集指标，以及全部留出预测合在一起的 pooled 指标。100% 恶意集上准确率等于召回，100% 良性集上准确率等于 1 减 FPR。
• 更粗的对照：另做 leave-one-category-out，按攻击大类整类留出。作者称 LODO 更细，附录 H 用来看数据集粒度多出来什么。

retention 与两类捷径

捷径分析做在 SAE 特征上。作者称单个 SAE 特征更可检查，原始神经元是多义的。

特征 j 的 retention 为 r_j=min_i w_j⁽⁻ⁱ⁾/w_j，即各留出折系数与全量系数之比的最小值。接近 1 视为跨留出稳定；远小于 1 或小于 0（符号翻转）视为数据集捷径。绝对值小于 10−8 的系数排除，rj 截断到 [0, 2]。正文按 0.5 作为捷径阈值，并在附录给出其他阈值。

• 纯数据集捷径：直接预测数据集身份的特征。
• 依赖上下文的捷径：会在多个数据集上激活，但类别相关性取决于训练集包含哪些数据集。
• 核对分类器：另训一个只从激活预测数据集身份的逻辑回归。作者称准确率高就说明数据集在特征空间里容易分开。

LODO 加权解释

未加权贡献是特征激活 zj 乘系数 wj。作者认为高贡献特征仍可能是数据集捷径，因此定义 influence^LODO_j=z_j w_j r_j，用 retention 压低不稳定特征。检测主对比使用阈值 0.5，并另报 0.9。

实验设置

• 骨干模型：主文为 Llama-3.1-8B、Gemma-3-27B、Qwen-3.5-4B、Qwen-3.5-2B。附录 F 另有 Llama-3.3-70B-Instruct 的 LODO，无配对 5 折 CV。SAE 分析用 Llama-3.1-8B 的 layer-27 SAE 和 Gemma-3-27B 的 Gemma Scope 2（layer 42）。
• 数据：18 个数据集、105K 条、47% 恶意。LODO 表在合并 Gandalf 后为 17 个数据集；Table 4 的 pooled N=105,034。六个数据集有官方 train-test 划分，测试样本与训练同源。
• 探针与基线：逻辑回归、两层 MLP、SAE 探针，以及免训练 LPM。生产基线为 PromptGuard 2、LlamaGuard、Llama-3.1-8B-Instruct 上的 Llama-as-Judge、ProtectAI Guard v2、Deepset prompt-injection v2。
• 指标与阈值：ROC AUC、准确率、按攻击类的检测率、良性 FPR、F1、retention。探针主对比阈值为 0.5 和 0.9。100% 恶意集上准确率等于召回，100% 良性集上等于 1 减 FPR。
• 判定：探针不用 LLM 打分。Table 4 报告 DeLong 95% 区间。LJ 用 SAFE/UNSAFE 文本判定；附录 Q.3 写零样本默认设置为 greedy decoding、max new tokens=10。
• 重复：正文写逻辑回归在固定正则下是确定的。主表未报告重复次数。DANN 提到跨 seed，论文未给出主实验的重复次数。

主结果

下表是四个主模型上、作者按汇总 LODO 准确率选择层与位置后的结果（Table 3）。Table 3 未在表内写出各行层号。附录 F 写 Gemma-3-27B 为 layer 42、最后一条用户消息 token，Qwen-3.5-4B 为 layer 27，Qwen-3.5-2B 为 layer 23。Llama 一行的数字与 Table 1 相同，Table 3 未写明该行层号。

Swipe horizontally to read the table

模型	CV AUC	LODO AUC	Gap
Llama-3.1-8B	0.996	0.912	8.4pp
Gemma-3-27B	0.999	0.920	8.0pp
Qwen-3.5-4B	0.998	0.845	15.4pp
Qwen-3.5-2B	0.998	0.829	16.5pp

• 作者的解读：作者称差距在所测模型族上都出现，但幅度不同，不能从 CV 外推到某个部署集。§5.2 举例：InjecAgent 在 Llama-3.1-8B 上为 98.9%，在 Qwen-3.5-2B 上为 0%。Table 3 表注另给 Llama-3.3-70B 的 LODO AUC 0.910，配对 CV 未报告。
• 同源测试仍偏高：作者称汇总差距被接近天花板的良性来源拉向零。Table 1 在 Llama-3.1-8B 原始激活上，同源测试 AUC 为 0.997。Table 2 六个官方划分上，测试准确率与 LODO 的差从 safeguard 的 +1.2% 到 jayavibhav 的 +25.4%；两列样本池不同，Test N 不受 10K 上限。
• 两种写法：摘要写逐数据集差距跨 1–25 个点，结论把 CV 高估写成 8-16 个点。作者称排除 BIPIA 后，五个混合类上的加权差距为 12.5 个点（附录 L），因此不是只由近单类数据集造成。

逐数据集 LODO 与分类器变体

• Llama-3.1-8B：Table 4 在阈值 0.5、N=105,034 上，raw 的 pooled AUC 为 0.912，SAE 为 0.838，MLP 为 0.841。DeLong 95% 区间分别为 0.911-0.915、0.836-0.841、0.839-0.843。加权准确率 raw 81.8%、SAE 74.5%、MLP 80.1%。
• 排序随模型变：作者称 Gemma-3-27B 上 LODO 加权准确率是 SAE 76.2%、raw 68.3%（附录 F），因此 raw 高于 SAE 是 Llama 上的倾向。LPM 加权准确率 76.0%，作者称比 LogReg 低 5.8 个点，间接注入上差距最大。
• 偏低的数据集：同表 raw 上 harmbench 为 42.8%，yanismiraoui 为 55.8%，BIPIA 为 63.1% 而 SAE 为 26.1%。附录 F 写 InjecAgent 从 Qwen-3.5-2B 的 0% 到 Llama-3.1-8B 与 Gemma 的 100%；Table 4 里 Llama raw 为 98.9%，SAE 与 MLP 为 100.0%。

数据集身份与域泛化干预

• 数据集可分：SAE layer 27 预测数据集身份，5-fold CV 为 96.6%；原始 layer 31 为 89.1%，原始 layer 27 为 86.4%。附录 O.1 另给 held-out 95.4%，18 类基线为 5.6%。Figure 3 图注称各数据集成簇，并写分类器 CV 准确率 96%，与正文 96.6% 不是同一个写法。
• 方向重叠：投影掉 top-16 数据集方向后，LODO 汇总降 1.75 个点；llmail +21.4 个点，injecagent −34.4 个点。十次等秩随机投影为 −0.02±0.13 个点（p<10−10）。安全分类器权重范数有 9.2% 落在该子空间，等秩随机为 0.4%。作者称这与方向重叠相符，但不是因果纠缠已经成立。Llama top-50 中捷径为 8+6 个，作者称其中 42% 依赖上下文（Table 5）；Gemma top-50 为 44%。
• 干预未关上差距：七种方法的汇总变化从 −1.75 个点到 Gemma 上 SAE 捷径置零的 +0.7 个点，都未关上 Llama-3.1-8B 的 8.4 个点差距。消融 14 个 SAE 捷径只使 pooled AUC 变化 −0.1 个点。作者称其他特征会补上，因此不把捷径说成差距原因。DANN 上作者称未找到既提高汇总准确率又跨 seed 稳定的参数，但不声称这样的设置不存在。

生产基线、Judge 模板与解释

• 固定阈值：Table 6 的 Ours 是 Llama-3.1-8B 原始激活、LODO。阈值 0.9 时良性 FPR 为 3.7%，LlamaGuard 为 3.0%。有害请求上 LlamaGuard 97.4%、探针 64.7%；间接注入上探针 53.1%、零样本 LJ 7.1%；Agentic 上探针 91.5%，PG 与 LG 无法评。作者称此时探针在 Jailbreak、Indirect、Mixed 上的领先幅度为 +30.6、+25.7、+36.1 个点。
• 配平后有反例：Table 17 在 FPR 0.4% 上，探针越狱检测率 20.4%、抽取 11.5%，低于 PromptGuard 2 的 48.5% 和 100.0%；作者称有害请求上探针仍高 9 个点。附录 J 在 10,054 条上，四种可解析 LJ 的间接注入 TPR 从 11.0%（FPR 1.4%）到 93.0%（FPR 18.9%），作者称范围为 8.5 倍。思维链变体解析失败率为 100%，被排除。
• 文本检测器与解释：附录 I 中 ProtectAI 的有害请求 TPR 为 0.0%、间接注入 8.0%、良性 FPR 4.2%；Deepset 有害请求 99.8%、良性 FPR 82.4%。§5.7 在 1,000 条上，98.1% 的 top-20 排序发生变化；被降权特征平均 retention 0.265，被提升的为 0.990（p<0.001）。作者把人工评估留作后续工作。

其他消融与分析

• 层与位置：L27 位置 −5 的加权准确率 82.3%，L31 位置 −5 为 81.8%（Table 9）；harmbench 在 L31 上位置 −1 为 65%、−5 为 43%。
• LOCO 相对 LODO：汇总准确率 −2.6 个点，pooled AUC −2.8 个点；有害类从 71.1% 到 44.6%（附录 H）。
• LPM 与 LogReg：加权准确率 76.0% 对 81.8%；作者称 BIPIA +31 个点、llmail +37 个点（附录 N）。
• retention 敏感性：K=50 时，阈值 0.3、0.5、0.7 对应捷径比例 14%、28%、56%（附录 O.3）。
• 混合类差距：含 BIPIA 时加权 CV–LODO 差距 41.1 个点，去掉 BIPIA 为 12.5 个点、范围 3.4-22.2 个点（附录 L）。
• 校准：Figure 5 图注写汇总最优阈值 t=0.01 时 F1=0.848，t=0.5 时 F1=0.793；Figure 6 图注写混合类 LODO 的 AUC 从 BIPIA 的 0.655 到 safeguard 的 0.994。

作者指出的局限与后续方向

• 白盒要求：激活探针需要模型内部访问，不能直接用于闭源 API。作者写出两条仍可行的用法：较小的开源权重侧车分类器，以及先用该方法做护栏再蒸馏成文本分类器（§8）。
• 不是对抗鲁棒性：LODO 测的是静态分布泛化，不是对自适应攻击者的鲁棒性。作者称 CV–LODO 差距小的分类器仍可能被新攻击绕过，对抗评测是他们没有做的互补要求（§8）。
• 数据集选择：LODO 把每个组成数据集当成一个域。组成集方法相近时，LODO 会低估部署差距；组成集不能代表生产流量时，LODO 可能偏悲观或偏乐观，方向取决于偏移方向（§8）。
• 计算成本：LODO 要对 K 个数据集训练 K 个分类器。逻辑回归每折可在数分钟内完成；若换成昂贵微调，作者称可能贵到难以承受（§8）。
• 解释范围：SAE 分析说明分类器检测到什么模式，不是模型会不会遵从或拒绝请求。特征贡献不是对底层模型的因果干预。LODO 加权排序的人工评估被写成后续工作（§8；§5.7 同样写出）。
• 没有给出关上差距的方法：七种域泛化干预没有关上差距，作者称确定性的解法仍是开放问题。他们把 LODO 诊断本身视为可单独使用：检查易出差距的基准、从解释里滤掉数据集伪特征、避免按 CV 指标对上线表现做过高承诺（§8；§6 亦称拆开两类信号是开放问题）。

实验覆盖范围

• 骨干：主结果为 Llama-3.1-8B、Gemma-3-27B、Qwen-3.5-2B、Qwen-3.5-4B。附录 F 有 Llama-3.3-70B-Instruct 的 LODO 准确率，无配对 CV，作者称因此给不出 70B 上的精确 CV 差距。
• SAE：分析限于有公开预训练 SAE 的 Llama-3.1-8B（layer 27）和 Gemma-3-27B（Gemma Scope 2，layer 42）。Qwen 两档只进入 CV–LODO 复现，不进入 SAE 捷径分析。
• 数据与协议：18 个数据集、105K 条；LODO 结果在合并 Gandalf 后的 17 个数据集上。协议包括 5 折 CV、六个数据集的官方 held-out，以及 LODO、LOCO。附录 K 审计跨数据集近重复。
• 对照与干预：跑过 PromptGuard 2、LlamaGuard、四种可解析 LJ 模板（思维链变体因解析失败排除）、ProtectAI、Deepset 和 LPM。域泛化干预七种；作者称超参调优合理但非穷尽，且不声称不存在能改善 DANN 的参数。
• 解释与校准：解释实验比较 1,000 条样本的 top-20 重排。论文未报告该排序的人工评估，也未报告 LODO 下逐数据集 ECE、Brier（附录 P.1）。主结果未报告重复次数；正文写逻辑回归在固定正则下是确定的。

LODO 用来检查恶意提示词分类器换成没见过的数据集后，还剩多少检测能力。

• 问题：同源 CV 或官方测试集仍含同一数据集的格式。单类基准上，认出数据集就等于认出类别，高 AUC 可以不对应换数据集后的检测。
• 方法：18 个数据集、105K 条、47% 恶意。从 Llama-3.1-8B、Gemma-3-27B、Qwen-3.5-2B/4B 取残差激活，训练逻辑回归等探针，留出集在训练中完全不出现。SAE 特征用各留出折系数比的最小值作 retention，再对单条贡献加权。
• 主结果：作者称四个模型的 CV AUC 都超过 0.99；摘要与 Table 3 的 CV–LODO 差距为 8.0–16.5 个点，结论写成 8-16 个点。Llama-3.1-8B 原始激活上，5 折 CV 为 0.996，同源测试为 0.997，LODO 为 0.912（Table 1）。六个官方划分上，准确率差从 +1.2% 到 +25.4%（Table 2）。
• 捷径：SAE 数据集分类器的 5-fold 准确率为 96.6%。Llama top-50 捷径比例为 28%，Gemma 为 44%。作者称数据集方向与安全方向部分重叠，但不是因果纠缠已经成立。七种域泛化干预的汇总变化在 −1.75 到 +0.7 个点，没有关上 Llama 上 8.4 个点的差距。消融捷径只使 pooled AUC 变化 −0.1 个点，作者不把捷径说成差距原因。
• 基线与作者结论：配平到 PromptGuard 2 的 0.4% FPR 时，Table 17 中探针的越狱和抽取检测率低于 PromptGuard 2。作者认为应把 LODO 和 CV 一起用来评测，避免按 CV 指标对上线表现做过高承诺；能拆开两类信号的方法仍未给出。