Jev 网关提示注入检测器基准测试
先了解这件事
该基准在同一台 Apple M4 机器上对比 Jev 1.13.0、Kev-4B、Kev-0.8B、Laya、GLiNER2.5-Decide、ProtectAI DeBERTa、Prompt Guard 2 和关键词规则在文档块注入与用户消息越狱两类任务上的表现。文档块测试中 Jev AUC 为 1.00、冻结阈值下召回 100%、误报 8%，Kev-4B 为 0.90 和 70%，Prompt Guard 2 为 0.83 和 19。思科在 24 个危害类别、6 个评测数据集上对比了零样本决策模型 Jev（TypeSafe）与 Laya（ConvAI Innovations）和自训练的 1B 参数编码器分类器，在 0.5% 误报预算下，自训练模型在全部 6 个数据集上召回率最高，Jev 在 6 个中的 5 个 AUC 领先 Laya；Cisco 多轮测试集上，自训练模型召回 61%、Jev 34%、Laya 几乎为零。Pillar Security 分析 TypeSafe 的 System One 模型 Jev，认为这类不生成文本、只返回带校准概率的类型化决策的模型，会让提示词扫描、输出过滤和思维链监控三个检测面失去着力点；Jev 于 2026 年 9 月 15 日发布，采用 RLCD 训练，奖励校准而非人类偏好，单次前向传播并行作答，文本输入上限 32k token，作者称攻击面从指令通道转移到数据通道。
AI 根据报道生成 · 3 小时前更新
事件进展
- · 1篇报道Cisco对比决策模型与分类器的内容安全评测
- 日期未标 · 1篇报道Jev网关提示注入检测器基准测试
- 日期未标 · 1篇报道没有 LLM 的 Agent：Jev 与 System One 模型对 AI 安全意味着什么
后续时间线
- CiscoJev 决策模型在内容安全任务上的对比评测：与传统分类器及 LLM 判官谁更强
思科在 24 个危害类别、6 个评测数据集上对比了零样本决策模型 Jev（TypeSafe）与 Laya（ConvAI Innovations）和自训练的 1B 参数编码器分类器，在 0.5% 误报预算下，自训练模型在全部 6 个数据集上召回率最高，Jev 在 6 个中的 5 个 AUC 领先 Laya。Cisco 多轮测试集上，自训练模型召回 61%、Jev 34%、Laya 几乎为零。Jev 另与 Gemma 4 31B（关闭思考）在 8 个公开基准上对比，Jev 在 7 个基准 AUC 更高、1 个持平。
- RedditReddit r/LocalLLaMA· 讨论Benchmarking decision models is fun - Clef Q8 vs Jev（新标签页打开原帖）
- 日期未标Pillar Security没有 LLM 的 Agent：Jev 与 System One 模型对 AI 安全意味着什么
Pillar Security 分析 TypeSafe 的 System One 模型 Jev，认为这类不生成文本、只返回带校准概率的类型化决策的模型，会让提示词扫描、输出过滤和思维链监控三个检测面失去着力点。Jev 于 2026 年 9 月 15 日发布，采用 RLCD 训练，奖励校准而非人类偏好，单次前向传播并行作答，文本输入上限 32k token。作者称攻击面从指令通道转移到数据通道，相当于去掉提示词的间接提示注入，TypeSafe 文档也写明 jev-1.13 默认不把状态视为敌意。在安全运营告警分流评测中，Jev 与前沿参考的一致率为 61.7%，每例 0.3 秒、成本 $0.0001，而 Opus 5 为 66.2%、15.1 秒、$0.0574。文章建议把防护移到工具调用边界，并指出其护栏 cookbook 仅覆盖聊天文本的越狱与有害内容，不含间接注入和工具调用。
- 日期未标Jev Gateway Study精选Jev 与开源决策模型的提示注入检测器基准测试
该基准在同一台 Apple M4 机器上对比 Jev 1.13.0、Kev-4B、Kev-0.8B、Laya、GLiNER2.5-Decide、ProtectAI DeBERTa、Prompt Guard 2 和关键词规则在文档块注入与用户消息越狱两类任务上的表现。文档块测试中 Jev AUC 为 1.00、冻结阈值下召回 100%、误报 8%，Kev-4B 为 0.90 和 70%，Prompt Guard 2 为 0.83 和 19%；对不直接提及 AI 的隐蔽攻击，Jev 召回 97%，Kev-4B 62%，三个专用注入分类器接近随机水平。在 220 条 LLMail-Inject 真实人类攻击上，Jev 捕获 95%、误报 0%，Kev-4B 捕获 86%、误报 1%；作为邮件助手时 gpt-oss-120b 有 20/220 向攻击者地址发送邮件，Jev 前置时 0 条通过。
相关讨论
- 72 小时以前 · 不计入 72 小时的数字
- RedditReddit r/LocalLLaMABenchmarking decision models is fun - Clef Q8 vs Jev（新标签页打开原帖）
关注度走势
每天新增来源
- 10月1日新增1个来源（1家媒体、0个账号）
- 10月2日新增0个来源（0家媒体、0个账号）
- 10月3日新增0个来源（0家媒体、0个账号）
- 10月4日新增0个来源（0家媒体、0个账号）
- 10月5日新增1个来源（0家媒体、1个账号）
- 10月6日新增1个来源（1家媒体、0个账号）
- 10月7日新增0个来源（0家媒体、0个账号）
- 10月8日新增0个来源（0家媒体、0个账号）
- 10月9日新增0个来源（0家媒体、0个账号）
- 10月10日新增0个来源（0家媒体、0个账号）
- 10月11日新增0个来源（0家媒体、0个账号）
- 10月12日新增1个来源（1家媒体、0个账号）