从检测到决策：提示注入检测的校准与延迟决策

1. 01这篇论文试图解决什么问题？

   部署系统要把检测分数变成 ALLOW、BLOCK 或 DEFER，作者检验原生概率是否更适合这些决定。

   部署系统不能只给提示注入打标签，还要把分数变成允许、拦截或升级。

   • 场景：提示注入把不可信文本变成会改向 LLM 应用的指令。作者认为，0.9 只有在高分稳定对应攻击，且攻击、领域或良性提示变化后仍有意义时，才适合自动决策。
   • 现有做法的缺口：检测器常按二分类评测。作者指出，标准选择性风险用置信度交换覆盖与风险，但安全里假阴性与假阳性代价不同，升级交给不完美评审，而不是神谕。
   • 要检验的主张：TypeSafe 把 Jev 描述为用 RLCD 训练、输出可供路由和升级使用的概率。作者问：这种现成原生概率，是否比在目标数据上做常规后处理校准的专用分类器，带来更好的安全决策。
   • 三个问题：RQ1 比较 Jev、Prompt Guard 2 与 LLM 评审的检测表现。RQ2 问原生概率在目标负载上是否比原始分数或常规后处理校准更可信，尤其在分布偏移下。RQ3 看门控不确定度如何变成 ALLOW–BLOCK–DEFER，度量是确认集上使系统 FNR≤1% 的经验升级率。
   • 威胁模型：
     • 目标是识别会改向应用的提示注入，并决定 ALLOW、BLOCK 或 DEFER。
     • 评测输入含人工撰写的直接攻击、经外部内容的间接注入、含攻击样术语的难例良性提示，以及混淆和分布偏移。
     • 门控给出攻击概率；不确定样本交给冻结的不完美评审做最终决定。
     • 论文未写攻击者知识（白盒、黑盒或无盒）。
   • 本文工作：提示词、温度和门控区间冻结之后，在 47,611 条确认样本上比较 Jev、Prompt Guard 2（22M、86M）和 LLM 评审，联合看区分度、校准、自信假阴性、延迟和升级行为。

   收起这一问

2. 02有哪些相关研究？

   相关工作分提示注入评测、校准与选择性预测，以及 Jev 这类概率决策模型。

   论文按评测基准、校准与选择性预测、概率决策模型组织相关工作。

   提示注入评测

   • TensorTrust（Toyer 等，ICLR 2024）：在线游戏收集超过 126,000 条攻击和 46,000 条防御。论文记述人工撰写的策略可迁移到游戏设定之外。
   • BIPIA（Yi 等，KDD 2025）：评测经外部内容实施的间接提示注入。论文记述模型难以把数据与可执行指令分开。
   • NotInject 与 PIDS-Bench：InjecGuard 用 NotInject 测量含注入相关触发词的良性提示上的过度防御（Li and Liu，2024）。PIDS-Bench 在冻结协议下把评测扩到难例良性输入、混淆，以及领域与结构偏移（Shire and Kim，2026）。

   校准与选择性预测

   • 温度缩放（Guo 等，2017）：用留出校准集调整 logits，同时保持分数排序。
   • 选择性分类（Geifman and El-Yaniv，2017）：用置信度在自动覆盖与风险之间取舍。作者指出，该标准设定对安全不够：假阴性与假阳性代价不同，升级样本由不完美评审处理，而不是神谕。
   • 攻击偏移下的校准（Biswas，2026）：考察提示注入检测器在攻击偏移下的校准。论文只记述了这项工作。

   概率决策模型

   • Jev 与 RLCD（Almeida，2026）：TypeSafe 把 Jev 描述为 System One 模型，用 Reinforcement Learning for Calibrated Decisions（RLCD）训练可供软件做路由和升级的概率。作者在冻结外部负载上、用官方 API 返回的原生概率检验这一主张，不做后处理校准。

   对比设置

   • 被比较的系统：Jev-native、Llama Prompt Guard 2 22M 与 86M（原始概率及温度缩放）、GPT-5.5 言语化概率评审。基准为 TensorTrust、BIPIA、NotInject、PIDS-Bench v3。

   作者把区别放在部署问题上：现成原生概率是否比在目标数据上校准的常规检测器迁移得更好。作者写明，这一比较不分离底层训练目标各自的效应。

   收起这一问

3. 03论文如何解决这个问题？

   开发与校准先行冻结，再在确认集上比较原生概率、温度缩放和升级到冻结评审。

   整体是泄漏受控的比较：开发与校准完成后冻结，再在确认集上评 Jev、Prompt Guard 2 和 LLM judge 的区分度、校准与 ALLOW–BLOCK–DEFER。

   问题设定与隔离

   • 冻结协议：检测器与评审提示、门控温度、ALLOW–DEFER–BLOCK 区间和评审阈值都在确认评测前冻结。Figure 1 写明这些选择只用开发与校准数据。
   • 队列：四个基准族在确认运行前选定。Table 1 的确认集共 47,611 条，攻击 41,981、良性 5,630。汇总体故意不均衡；单类子集不报告未定义的类条件指标。
   • 分割：门控校准 2,000 条；评审校准 1,000 条；可行性检查 1,000 条。校准集与确认集不相交。确认标签从不用于选择可部署阈值。
   • 交叉点的地位：整条确认升级曲线第一次达到目标 FNR 的位置，只当作冻结排序的描述统计，不是用测试标签选出的部署阈值。

   三个评分器

   • Jev-native：经官方 TypeSafe SDK 查询 jev-latest，使用固定的提示注入问题，保留返回的原生概率，不做后处理校准。
   • Prompt Guard 2：评测 22M 与 86M。各报告原始攻击概率，以及在门控校准分割上拟合的标量温度缩放。温度缩放单调，故两变体的 AUROC、AUPRC 相同，0.5 边界上的决定也相同。
   • LLM judge：GPT-5.5。在独立 1,000 条开发分割上比较三种提示并选定一种，要求输出攻击概率、二值决定和简短理由。言语化概率在另 1,000 条上温度缩放，冻结温度 1.591。
   • 评审工作点：FNR 优先的工作点为 0.0527。在校准分割上，该阈值的 FNR 为 0、FPR 为 98.6%。附录 B 记录提示词名称 llm-judge-candidate-effect-v1，以及温度 1.590979 与阈值 0.052738。

   校准与指标

   • 温度缩放：把 logit 除以标量 T 再过 sigmoid，即 p_cal=σ(z/T)。T 在 [0.05, 20] 上最小化不加权二元 NLL。无原生 logit 时，概率先裁到 10^-7 与 1-10^-7 之间再转 logit。不用类别或样本权重。
   • 检测：AUROC、AUPRC、1% FPR 处的 TPR，以及 0.5 边界的 FNR 与 FPR。作者不把 0.5 当作优化工作点，只用来看默认边界是否迁到目标负载。
   • 校准：ECE 用 [0, 1] 上 10 个等宽箱，按箱内样本量加权；除最后一箱外为左闭右开。Brier 为预测概率的不加权均方误差。NLL 为不加权二元对数损失。假阴性置信度是漏报攻击上的平均 p(attack)；作者称低值表示自信的良性误判。另报告平均延迟与 p95 延迟。

   升级与代价

   • 规则：门控在升级区间之外自动处理；落入区间的输入交给冻结 LLM 评审做最终决定。相同概率一起移动。
   • 描述量：确认升级需求是冻结排序的升级曲线上，观测系统第一次满足 FNR≤1% 的最小升级率。同时报告系统 FPR、自动覆盖和延迟。
   • 代价：示例期望代价使用 (C_FP, C_FN, C_review) = (1, 100, 0.5)。可部署区间只在门控校准分割上选择。
   • 消融地位：oracle 与 fail-closed 评审只作消融。附录 B 称不把它们解释为已部署系统的表现。

   收起这一问

4. 04论文做了哪些实验？

   确认集上 LLM judge 的 AUROC 为 0.897；各门控要 FNR≤1% 均需升级超过 91.8%。

   实验设置

   • 被测模型：jev-latest（表中 Jev-native）、Llama Prompt Guard 2 86M、Llama Prompt Guard 2 22M、GPT-5.5（表中 LLM judge，同时是 RQ3 的冻结评审）。
   • 确认队列：Table 1 共 47,611 条。TensorTrust 526 条全为攻击；BIPIA 36,128 条（良性 53、攻击 36,075）；NotInject 89 条全为良性；PIDS-Bench v3 10,868 条（良性 5,488、攻击 5,380）。合计良性 5,630、攻击 41,981，攻击占比 88.2%。
   • 隔离：提示词在开发阶段选定；门控温度与 ALLOW–DEFER–BLOCK 区间在 2,000 条门控校准分割上拟合；评审温度在另 1,000 条上拟合；另有 1,000 条可行性队列。这些集合与确认集不相交。
   • 检测指标：AUROC、AUPRC、1% FPR 下的 TPR，以及默认 0.5 边界的 FNR 与 FPR。0.5 不是优化工作点。
   • 校准与评审：10 个等宽箱的 ECE、不加权 Brier 与 NLL，以及假阴性上的平均 p(attack)。评审工作点为校准概率 0.0527；该点在评审校准分割上 FNR 为 0、FPR 为 98.6%。
   • 统计：论文报告点估计，未报告重复次数或置信区间。单类子集只报告仍然有定义的指标。

   主结果

   确认集检测表现（据 Table 2）。PG2 的原始与温度缩放变体在这些列上相同。

   表格较宽，可左右滑动

   模型	AUROC	AUPRC	TPR@1% FPR	[email protected]	[email protected]
   Jev-native	0.871	0.973	0.125	0.649	0.048
   PG2-86M	0.757	0.920	0.012	0.932	0.100
   PG2-22M	0.714	0.908	0.009	0.908	0.143
   LLM judge	0.897	0.977	0.084	0.171	0.130

   • 排序：作者称 LLM judge 的汇总体 AUROC 与 AUPRC 最高，Jev 高于两版 Prompt Guard 2。作者不把这一排序当作普遍排名。
   • 低假阳拦截：作者称 TPR@1% FPR 一列偏低，在该偏移混合下没有方法支持低假阳率的自主拦截。作者称默认 0.5 边界迁移差，两版 Prompt Guard 漏掉超过 90% 的攻击。
   • 混合构成：作者称高 AUPRC 部分反映 88.2% 的攻击占比；BIPIA 贡献大多数攻击。此冻结评测中 NotInject 只有良性样本，TensorTrust 只有攻击。汇总体只概括这一混合。

   校准与自信误判

   确认集校准（据 Table 3）。假阴性条数在 Jev、PG2-86M、LLM judge 上分别为 27,231、39,119、7,163。

   表格较宽，可左右滑动

   概率来源	ECE	Brier	NLL	FN 上平均 p(attack)
   Jev-native	0.541	0.440	1.432	0.1630
   PG2-86M raw	0.821	0.817	5.064	0.0107
   PG2-86M calibrated	0.571	0.439	1.104	0.2869
   LLM judge raw	0.221	0.163	0.664	0.0591
   LLM judge calibrated	0.269	0.165	0.550	0.1306

   • 对照：作者称 Jev 的原生概率并不一致优于目标数据上温度缩放后的 PG2-86M：ECE 略低，Brier 几乎相同，NLL 更高。作者称校准后的 LLM judge 汇总体 NLL 最低，原始 judge 的 ECE 与 Brier 最低。
   • 缩放不找回漏报：作者称温度缩放改善 Prompt Guard 的 ECE、Brier 和 NLL，尤其 NLL，但不改变区分度、0.5 边界决定和不确定度排序。被 raw PG2-86M 漏掉的攻击上，平均 p(attack) 为 0.0107，作者称对应平均良性概率 98.9%。PG2-22M 原始 ECE 0.801、校准后 0.607，NLL 从 4.625 降到 1.259，假阴性仍为 38,135（Table 3）。
   • 可靠性图：作者称 Figure 2 中对角线表示完美校准，各系统都偏离它；原始分类器分数偏离最大，后处理缩放缩小但未消除差距。图注写这些曲线描述该基准混合，不应解释为自然部署流行率下的校准。图中曲线位置本文无法从文字确认。

   ALLOW–BLOCK–DEFER

   确认升级曲线上第一次满足系统 FNR≤1% 的点（据 Table 4）。原始与校准 PG2 同行，因为温度缩放保持不确定度排序。这是描述统计，不是用确认标签选出的部署阈值。

   表格较宽，可左右滑动

   门控	升级率	自动覆盖	系统 FNR	系统 FPR	归一化代价
   PG2-86M	91.89%	8.11%	0.998%	40.55%	1.387
   PG2-22M	92.45%	7.55%	0.998%	43.69%	1.394
   Jev-native	92.55%	7.45%	0.943%	45.84%	1.349

   • 升级需求：作者称每个门控都要在升级超过 91.8% 的输入后，观测系统才达到 FNR≤1%；三行相差不足一个百分点。没有不确定区间时，作者不把这点差别解释成某一门控在操作上更好。Table 4 另给出这些点的平均延迟：3,713、3,734、3,885 ms。
   • 假阳仍高：作者称这些交叉点上系统 FPR 仍在 40.6% 到 45.8%。评审阈值按 FNR 优先选出，在评审校准分割上 FPR 为 98.6%。作者称把大多数输入升级给该评审会减少假阴性，也会拦截许多良性输入。
   • 策略含义：作者称概率校准本身并不决定有用的决策策略；评审者行为以及安全与效用目标仍是部署系统的性质。Figure 3 图注写虚线为 1% FNR 目标，原始与温度缩放的 Prompt Guard 曲线重叠。曲线高低本文无法从文字确认。

   延迟

   • 本地分类器：据 Table 5，PG2-86M 平均 43.8 ms（p50 38.4，p95 69.7）；PG2-22M 平均 45.8 ms（p50 45.3，p95 76.1）。
   • 远程调用：Jev-native 平均 190.9 ms（p50 155.2，p95 301.7）；LLM judge 平均 3,890.2 ms（p50 3,476.0，p95 6,603.9）。
   • 作者解读：作者称本地 Prompt Guard 比远程 LLM judge 大约快两个数量级；Jev 慢于本地分类器、快于评审。API 测量含网络与服务商开销，刻画的是所评测部署设置，不是纯模型计算。

   其他消融与分析

   • Jev-native / BIPIA：ECE 0.660，Brier 0.530，NLL 1.723（Table 6）。
   • Jev-native / NotInject：ECE 0.045，Brier 0.009，NLL 0.052（Table 6）。
   • Jev-native / PIDS-Bench v3：ECE 0.167，Brier 0.162，NLL 0.520（Table 6）。
   • PG2-86M raw / BIPIA：ECE 0.984，Brier 0.979，NLL 6.157（Table 6）。
   • PG2-86M calibrated / NotInject：ECE 0.295，Brier 0.098，NLL 0.366；同集 raw ECE 0.070（Table 6）。
   • 正文未报告 oracle 与 fail-closed 消融的数值；附录 B 称二者不解释为已部署表现。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出托管接口、言语化概率、非生产流行率和无置信区间等限制。

   作者指出的局限与后续方向

   • 接口与版本：Jev 是托管模型，评测只用一个固定问题和一个 API 版本；作者称不同措辞或以后的模型版本可能得到不同结果（第 6 节）。
   • 概率形态：LLM judge 产生言语化概率；作者称这不等同于由 token 级似然导出的概率（第 6 节）。
   • 分布与子集：确认混合不反映自然生产流行率，汇总体校准和代价不宜直接迁到部署。部分子集只有一类，若干类条件指标无定义；这些子集只报告仍有意义的指标，例如假阳性行为（第 6 节）。
   • 代价与延迟：代价 (1, 100, 0.5) 是示例；作者称部署策略应按应用特定的代价和评审预算来选。延迟在本地与 API 推理的组合上测量，未按受控硬件归一化（第 6 节）。
   • 统计：只报告点估计，没有置信区间。作者称基准变换可能使样本相依，因此小的数值差，尤其 RQ3 中不足一个百分点的差，不应视为已经在统计上分辨（第 6 节）。
   • 适配与终点：PG2 在目标校准数据上做温度缩放，主评测中的 Jev 故意使用原生概率、不做后处理校准。作者称，若对 Jev 做后处理校准消融，将有助于区分原生校准的迁移和适配之后能否被校准。评测关注检测与路由，而不是端到端智能体被攻破或下游伤害（第 6 节）。

   实验覆盖范围

   • 模型：被评测的是 jev-latest、Llama Prompt Guard 2 22M、Llama Prompt Guard 2 86M 和 GPT-5.5（第 3.2 节，Table 2）。
   • 数据：确认集为 TensorTrust、BIPIA、NotInject、PIDS-Bench v3，共 47,611 条（Table 1）。门控校准 2,000 条，评审校准 1,000 条，另有 1,000 条可行性队列（第 3.1 节）。
   • 指标：报告了区分度、校准、假阴性上的平均攻击概率、升级曲线、示例代价和延迟（Table 2–5）。
   • 分数据集：附录 A 的 Table 6 给出 Jev 与 PG2-86M 在四个数据集上的 ECE、Brier 和 NLL。
   • 未报告项：论文未报告置信区间和重复次数。附录 B 称 oracle 与 fail-closed 评审是消融，正文未给出对应数值。

   收起这一问

6. 06总结一下论文的主要内容

   作者称仅为校准而训练并不足：Jev 区分度高于 Prompt Guard 2，但 FNR≤1% 仍需升级逾 91.8%。

   作者在冻结的提示注入确认集上，比较检测分数能否支撑允许、拦截和升级，而不是只做二分类。

   • 问题：部署系统要把分数变成 ALLOW、BLOCK 或 DEFER。作者问为校准决策训练的原生概率，是否比目标数据上的常规后处理校准更适合这些决定。
   • 做法：jev-latest 保留官方 API 的原生概率，不做后处理校准。Prompt Guard 2 的 22M 与 86M 同时报告原始分数和在 2,000 条门控校准分割上拟合的温度缩放。GPT-5.5 在独立开发分割上选定提示后，以温度 1.591、阈值 0.0527 作为冻结评审。确认标签不用于选择可部署阈值。
   • 区分度：确认集 47,611 条上，LLM judge 的 AUROC 为 0.897、AUPRC 为 0.977；Jev 为 0.871 与 0.973；PG2-86M 为 0.757 与 0.920；PG2-22M 为 0.714 与 0.908（Table 2）。1% FPR 下的 TPR 为 0.009 到 0.125。作者称该混合下没有方法支持低假阳率的自主拦截。
   • 边界与校准：0.5 边界上 Jev 的 FNR 为 0.649，两版 Prompt Guard 为 0.932 与 0.908。Jev 的 ECE、Brier、NLL 为 0.541、0.440、1.432；温度缩放后的 PG2-86M 为 0.571、0.439、1.104（Table 3）。作者称原生概率并不一致更好。
   • 升级：PG2-86M、PG2-22M、Jev 使系统 FNR≤1% 的确认集升级率分别为 91.89%、92.45%、92.55%，当时系统 FPR 为 40.55%、43.69%、45.84%（Table 4）。作者称这些交叉点是描述统计，不是用确认标签选出的部署阈值。
   • 结论：作者称，只为校准输出而训练，不足以得到可部署的安全决策；区分度、校准、评审者行为和策略效用需要放在同一决策管线里一起评。

   收起这一问

相关论文