事件历史事件
论文评估提示注入检测器校准与延迟决策
先了解这件事
AI 综述
2026年10月15日发布的一篇 arXiv 论文在 47,611 条留出样本上比较四类提示注入检测器，评测覆盖直接与间接提示注入、困难良性输入、混淆样本和分布偏移。结果显示 LLM judge 的 AUROC 最高，为 0.897，其次是 Jev 的 0.871、Llama Prompt Guard 2 86M 的 0.757 和 22M 的 0.714。论文认为概率输出本身不足以在分布偏移下支撑可靠的安全决策，并考察允许-拦截-延迟策略。
AI 根据报道生成 · 28 天前更新
走势与进展
每小时关注度
现在 37，24 小时 0%·峰值 37（11月6日 03:00）
11月7日11月8日11月9日11月10日11月11日11月12日11月13日现在 37
相关研究
这件事的论文
- 从检测到决策：提示注入检测的校准与延迟决策
arXiv · 2026-10-14 · 深度解读
后续时间线
10月15日
- arXiv：越狱、提示注入、投毒与防御从检测到决策：提示注入检测的校准与延迟决策
一篇 arXiv 论文在 47,611 条留出样本上比较四类提示注入检测器的检测、概率校准与允许-拦截-延迟策略，认为概率输出本身不足以在分布偏移下支撑可靠的安全决策。评测覆盖直接与间接提示注入、困难良性输入、混淆样本和分布偏移，LLM judge 的 AUROC 最高，为 0.897，其次是 Jev 的 0.871、Llama Prompt Guard 2 86M 的 0.757 和 22M 的 0.714。论文发现 Jev 的原生概率并未稳定优于事后校准的分类器分数，温度缩放改善了校准却没有提升区分度。在 1% 经验假阴性率目标下，所有受评的门控复核系统都需要超过 91.8% 的升级率，并带来可观的假阳性率。作者据此提出，有效的 LLM 安全系统需要联合评估检测、校准、复核者行为与运行决策策略。