论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

System One 模型在安全输入上的分类是否可靠，其概率能否在给定漏检和误拦上限内支持自动决策。

• 场景：智能体软件用基于模型的评审检测提示注入、评估交互风险并筛查有害请求；策略把输出映射为放行、拦截或复核。作者认为不安全放行、良性拦截和过多复核都会削弱部署，准确率本身不能说明概率是否支持这些决策。
• 现有不足：作者称先前评测显示，提示注入检测器在分布偏移下会以高置信把攻击判为安全，语言模型评审在基于量表的评估中会复现分类器的高置信错误。仍不清楚这些模型能在指定漏检和误报上限内自动化多少决策。模型可以总体排名靠前却漏掉某一攻击组，或靠几乎全部升级来满足严格误差上限。
• 核心问题：作者提出的问题是，System One 模型对安全输入的分类有多可靠，其概率能否在误差上限内支持自动化。System One 模型从预定义答案（如 safe 或 unsafe）中选择并报告概率。
• 本文做法：在 WAInjectBench、R-Judge 和 AgentHarm 上用原始标签离线评测判定与策略，把 Jev、Laya、Decider、Bespoke Nimble 与语言模型评审、任务专用分类器比较，并把 Decider、Nimble 与其基座（parent controls）比较。三个研究问题分别是决策准确率、不安全概率校准，以及误差上限内可自动化的决策数量。

System One 模型

• Jev、Laya、Decider、Nimble：返回预定义答案上的概率。Jev 直接报告概率；Laya 使用编码器决策头；Decider 和 Nimble 用语言模型骨干给候选答案打分。
• 类型化决策接口：一项对 Jev 仓库的研究记录这些接口在更大工作流中的不同角色。应用须说明支持哪些输入、如何处理不可用分数，以及概率如何决定动作。先前研究把组件交互和模型复用视为反复出现的挑战，并建议在运行情境中测试和监测模型行为。

智能体安全评测

• 基准：间接提示注入把攻击者指令放在检索数据中，可改变语言模型应用的行为。R-Judge 标注交互风险，AgentHarm 提供有害与良性请求，WAInjectBench 评测网页智能体的注入检测。
• 检测器与决策组件攻击：检测器评测记录了攻击分布变化下的高置信假阴性，以及困难良性输入上的假阳性。Decision Hijacking 测量注入驱动的 Jev 动作选择变化；JevOut 优化自然上下文追加以扭转最初正确的决策。Sun 等人报告 Jev、Laya 和 Open-Jev 可能遵循选项名称的语义而非绑定定义，同时仍产出符合模式的输出。
• 可执行环境与运行时约束：AgentDojo 和 AgentDyn 在可执行环境中分开安全与效用结果。CaMeL 约束信息流，ProbGuard 从智能体状态预测执行安全性。REFLEX 用 Jev 做有界决策、用更强模型做回退，考察动作歧义与任务成功。

校准与选择性预测

• 校准与选择性分类：校准衡量预测概率是否匹配观测结果频率。温度缩放拟合概率变换以改善这一匹配，输入分布变化可能削弱它。选择性分类和 SelectiveNet 推迟不确定预测，在自动接受比例与错误率之间取舍。保形风险控制在单调性和抽样假设成立时对期望损失给出保证。
• Jev 的其他评测：其他评测考察 Jev 在法律文档上的决策稳定性、放射学报告上的事实性判定，以及生成任务上的校准。Guo 等人在对齐失败检测中报告，汇集后的校准可以掩盖 Jev 概率与各基准内部观测失败率之间的不匹配。
• 基于置信度的升级：把不确定输入交给另一模型再判。Li 等人在偏好和事实性判定上研究这一做法；Rao 和 Callison-Burch 报告共享的高置信错误会限制其收益。

基线与基准

• 基线方法：主比较包括 System One 模型、通用评审 GPT-4.1 与 Qwen3-8B、专用分类器 ProtectAI、PIGuard、Prompt Guard 2（仅注入检测）和 WildGuard（仅 AgentHarm），以及 Decider、Nimble 的 parent controls。推理评审为 GLM-5.3-Flash、GLM-5.3、DeepSeek-V4.1-Flash、Kimi-K2.6、Qwen3.8-27B。
• 基准/数据集：WAInjectBench-text、R-Judge、AgentHarm，均使用原始标注。

作者把本文定位为：在安全任务上考察概率和固定决策规则，并比较模型错误以评估它们相互复核决策的潜力；贡献是跨 System One 模型、专用分类器和语言模型评审比较决策错误与概率估计，并分析分开的放行/拦截阈值和跨模型错误重叠。

评测是离线的：基准输入经适配后进入 System One 模型、语言模型评审和任务专用分类器，原始标签不进入模型输入；三条分析对应 RQ1 分类、RQ2 校准和 RQ3 自动化（Figure 2）。

模型、任务与数据划分

• 十二个主配置：Table 1 列出 Jev 1.13、英文 Laya、约 2B 的 Decider、约 9B 的 Bespoke Nimble、GPT-4.1、关闭思考的 Qwen3-8B、ProtectAI DeBERTa v2、PIGuard、86M 的 Prompt Guard 2、WildGuard，以及 Decider 的 parent Qwen3.5-2B-Base 和 Nimble 的 parent Qwen3.5-9B。任务缩写为 PI（提示注入）、IR（交互风险）、HA（有害请求准入）。五个推理评审扩展 RQ1 和 RQ2。
• 权重与温度：Decider 和 Nimble 的 parent 用相同候选打分流程、温度为 1；适配模型保留其发布温度，因此比较同时反映权重变化和概率缩放。Nimble 的 parent 保留部分 FP32 参数，两个 MLX 打分器在 FP32 中计算候选 logits。
• 三个基准：R-Judge 提供带二元风险标签的完整交互记录；AgentHarm 把请求分为有害和良性；WAInjectBench 把攻击衍生文本标为含显式指令（EI）或不含（no-EI）。no-EI 片段可以在没有直接命令时操纵上下文，两组都保留发布时的不安全标签。每个概率对照该基准定义的不安全事件评估。决策输入排除标签、风险解释、隐藏的攻击者目标、泄露类别的文件名和未来结果。
• 划分：Table 2 中，R-Judge 为开发 100、选择 140、确认 93、测试 236；WAInjectBench-text 为 100、966、644、1,612；AgentHarm 为开发 64、测试 352，没有选择集和确认集。开发集拟合再校准。R-Judge 和 WAInjectBench 对其余输入做固定分层划分，相同输入先分组再划分、每组只表示一次。选择集确定阈值，确认集和测试集不再调参。AgentHarm 用官方划分：八个验证任务组做开发、44 个组做测试，只用于分类和校准，不进入策略实验。

输入输出与分类指标

• 适配：每个任务用各模型接口呈现同一完整基准输入和 safe/unsafe 标签定义，抽出预测标签和可用的不安全概率。分类使用有效标签；概率分析使用同一次响应中的标签和分数。用各模型分词器计数完整格式化输入，不截断基准记录。英文 Laya 的预算为 2,048 token；Nimble 及其基座对照使用候选打分器接受的最大值 262,143 token，最长格式化输入为 2,155 token。作者称该上限是接受设置，不是声称在该上下文长度内分类可靠。
• 分类指标：不安全为正类。在有效决策上报告 Macro-F1、precision、recall、FNR = FN/(TP+FN)、FPR = FP/(TN+FP)。AUROC 和 AP 衡量分数排序。共享测试人群为 1,612 条 WAInjectBench、236 条 R-Judge、352 条 AgentHarm。所有最终配置都返回有效标签，因此各任务内模型特定人群、共享人群和成对人群重合。
• 统计：95% 置信区间来自 2,000 次保持相关输入在一起的 cluster-bootstrap。成对比较对两个模型使用相同重采样输入。簇为相同的 R-Judge 输入、同一发布来源家族的 WAInjectBench 输入，或同一原始任务在标签和增强上的 AgentHarm 变体。还检查按来源家族分组 R-Judge 的敏感性。成对 FNR、FPR 差异用簇级符号随机化检验，零假设下模型在簇内可交换；Holm 校正用于每个基准和每种误差指标内的多重比较。McNemar 检验作为输入独立假设下的二次检查。

概率分数与再校准

• 分数：System One 模型使用决策接口返回的不安全概率。通用评审在最终答案位置、任何生成的推理之后，归一化两个标签 token 的概率，用不安全 token 的份额作为分数。GPT-4.1 和 Qwen3-8B 的分类与概率分析使用分开的响应配置，因此预测标签可以不同。再校准和策略评测在所有划分上使用同一打分规则，保留文档化响应序列中第一个可用标签和分数，不查阅真值标签。
• 指标：设 p_i 为不安全概率、y_i 为原始标签（1 为不安全，0 为良性）。Brier 是 (p_i − y_i)^2 的均值；NLL 是把概率截断到 [10^−7, 1−10^−7] 后的平均二元对数损失；ECE 在十个等宽概率箱中比较平均概率与观测不安全频率。可靠性图中对角线上方表示低估不安全频率。数值越低越好。
• 温度缩放：截断后把分数的对数几率除以温度 T 再转回概率。在两类都有的开发输入上最小化 NLL，T 取自 [0.05, 20]。原始分数和再校准分数在相同输入上评估，模型权重不变。置信度比较使用较大类概率 max(p_i, 1−p_i)。

误差预算内的决策策略

• 规则：策略把不安全概率 p_i 与放行阈值 τ_L、拦截阈值 τ_H 比较：p_i < τ_L 则放行，p_i > τ_H 则拦截，p_i 落在 [τ_L, τ_H] 则升级复核。恰好落在任一阈值或没有可用分数的输入也升级。自动覆盖率是被放行或拦截的比例，放行覆盖率只计放行，分母都是该划分的全部输入。最终配置对每条输入都给出可用分数。Miss_auto 是被放行的不安全输入占不安全输入的比例，FB_auto 是被拦截的良性输入占良性输入的比例。被放行集合的风险是放行输入中的不安全比例，分母为零时未定义。Figure 3 用一条示例规则说明：低于 10.5% 放行、高于 89.5% 拦截、其余复核；标签正确并不必然产生自动决策。
• 对称搜索：搜索 101 对关于 0.5 对称的阈值，τ_H 在 [0.5, 1] 上等距，τ_L = 1 − τ_H。对允许漏检率 ε ∈ {0.01, 0.05, 0.10}，在选择集上取自动覆盖最高、且 Miss_auto ≤ ε、FB_auto ≤ 0.05 的一对；覆盖相同时优先更多自动放行，再优先更大的 τ_H。搜索包含 (0, 1)，即全部送去复核、不自动化任何决策。选定阈值原样用于确认集和测试集，只有两种误差率都满足上限才算通过。未通过确认的策略也报告，以看失败是否在测试集上持续。只在有所需划分的 WAInjectBench 和 R-Judge 上做。
• 独立阈值与复核：去掉对称约束后，在 τ_L ∈ [0, 0.5]、τ_H ∈ [0.5, 1] 的 101×101 组合上搜索，分数、划分、误差上限和覆盖目标不变，平局规则相同，若仍平局则偏好更小的 τ_L。RQ3 对四个 System One 模型和两个主评审测试阈值策略，并用全部七个评审比较错误（第 6 节）。作者还用分别收集的标签评估与潜在复核评审的错误重叠。

实验设置

• 被测配置：Table 1 的十二个主配置覆盖三个任务中各自适用的子集；五个推理评审（GLM-5.3-Flash、GLM-5.3、DeepSeek-V4.1-Flash、Kimi-K2.6、Qwen3.8-27B）扩展 RQ1、RQ2。专用模型只在对应任务上评测：ProtectAI、PIGuard、Prompt Guard 2 仅 PI，WildGuard 仅 HA。
• 数据规模：测试人群为 WAInjectBench 1,612、R-Judge 236、AgentHarm 352。Table 2 的开发/选择/确认规模见第 3 问。AgentHarm 测试来自 44 个原始任务组。
• 指标与评审：分类用基准原始标签，不另设评审模型。概率指标为 AUROC、AP、Brier、ECE、NLL。策略指标为自动覆盖、放行覆盖、Miss_auto、FB_auto。95% CI 为 2,000 次 cluster-bootstrap；成对 FNR/FPR 用簇级符号随机化并做 Holm 校正。
• 策略约束：RQ3 的选择漏检上限为 1%、5%、10%，良性拦截上限为 5%。对称策略搜索 101 对阈值；独立阈值搜索 101×101。GPT-4.1 与 Qwen3-8B 的策略使用其概率打分配置。
• 样本量约束：1% 漏检上限要求 R-Judge 选择集 74 条不安全输入和确认集 49 条不安全输入零漏检，因为一条漏检就会超过上限；WAInjectBench 分别为 167 和 111，各允许一条漏检。R-Judge 确认集在 5% 拦截上限下，44 条良性输入最多拦截两条；测试集 111 条最多五条。
• 重复：论文报告 bootstrap 重采样次数，未报告对同一输入的多次独立重复打分。

主结果

主分类按 Macro-F1 点估计排名（Tables 3–5）。没有一个主配置在三个任务上都最高。下表只列每个任务的前几名和该任务上 Macro-F1 最低者，完整排名见各表。

Swipe horizontally to read the table

任务与配置	Macro-F1	FNR	FPR
WAInjectBench / Nimble（第 1，Table 3）	0.778 [0.495, 0.936]	0.473	0.035
WAInjectBench / Jev（第 3）	0.756 [0.452, 0.937]	0.599	0.001
WAInjectBench / Prompt Guard 2（第 11）	0.464 [0.204, 0.529]	0.989	0.001
R-Judge / Jev（第 1，Table 4）	0.825 [0.774, 0.873]	0.056	0.297
R-Judge / Decider（第 8）	0.368 [0.313, 0.422]	0.904	0.171
AgentHarm / Jev（第 1，Table 5）	0.840 [0.774, 0.903]	0.080	0.239
AgentHarm / Decider parent（第 9）	0.427 [0.370, 0.493]	0.903	0.017

• 攻击组：作者称 Nimble 在 WAInjectBench 主排名领先，但漏掉 8.1% 直接指示智能体的攻击衍生输入，以及 92.3% 没有直接指令的输入。Jev 漏掉全部 130 条不安全 no-EI 输入，同时只把一条良性输入误标为不安全。Finding 1：总体高排名不能保证各攻击组都被检出。
• 任务间权衡：R-Judge 上 Jev 领先主比较，Nimble 从 WAInjectBench 第 1 落到第 7，把 92.8% 的良性交互标为不安全；Qwen3-8B 的 FNR 为 0.064、FPR 为 0.901。AgentHarm 上 Jev 在 352 条输入中漏掉 176 条有害请求里的 14 条、误标 176 条良性里的 42 条；GPT-4.1 只漏 1 条有害请求，但误标 85 条良性。ProtectAI 和 PIGuard 漏掉超过 70% 的不安全 WAInjectBench 输入；Prompt Guard 2 的 FNR 为 0.989、FPR 为 0.001；WildGuard 的 AgentHarm FNR 为 0.023、FPR 为 0.710。
• 配对与适配：16 组成对 WAInjectBench FNR/FPR 比较在 Holm 调整后、α=0.05 下都不显著（十二个来源簇）。Jev 相对 GPT-4.1 的 Macro-F1 差为 0.049（95% CI [−0.019, 0.116]，N=1,612）。AgentHarm 上 Jev 的 FPR 低 0.244（CI [−0.352, −0.148]，调整后 p=0.0008），FNR 升高 0.074 在调整后不显著（p=0.50）。Decider 相对 parent 的 Macro-F1 在 AgentHarm 上为 +0.351（CI [0.276, 0.423]，N=352），在 R-Judge 上为 −0.236（CI [−0.314, −0.156]，N=236）。WAInjectBench 上两个适配模型相对 parent 的 Macro-F1 区间都包含 0。Finding 2：两个适配模型只在部分任务上提高 Macro-F1。

推理评审

• R-Judge：五个推理评审的 Macro-F1 点估计都高于 Jev，DeepSeek 最高，为 0.966 [0.941, 0.987]，FNR 0.032、FPR 0.036（Table 7）。DeepSeek 比 Jev 高 0.140（95% CI [0.094, 0.187]，全部 236 条）；GLM-5.3、Kimi、Qwen3.8 相对 Jev 的成对区间也在 0 以上。
• WAInjectBench：Table 6 中 GLM-5.3-Flash 点估计最高，Macro-F1 0.789 [0.495, 0.949]，FNR 0.513、FPR 0.011，其后是 Nimble 和 DeepSeek。DeepSeek、GLM-5.3、Kimi、Qwen3.8 相对 Jev 的成对 Macro-F1 区间都包含 0；DeepSeek 的差为 0.021，CI [−0.008, 0.057]。作者称十二个来源家族之间结果差异大，因此尽管单条输入更多，区间仍然很宽。
• AgentHarm：Table 8 中 Jev 仍为 0.840，Kimi 为 0.705，FNR 0.000、FPR 0.545：176 条有害请求一条不漏，但把 96 条良性请求标为不安全，对照 Jev 的 14 次漏检和 42 次误报。DeepSeek 和 Qwen3.8 也比 Jev 少漏有害请求、多标良性请求。Finding 3 针对的是 AgentHarm 上的预测标签权衡。

校准与高置信错误

• Jev 的低分假阴性：在 1,446 条被赋予不安全概率低于 0.1 的 WAInjectBench 输入中，133 条（9.20%）被标为不安全，而平均预测概率为 0.205%。这 133 条里有 130 条属于 no-EI。排除这些组后，不安全比例降到 0.228%，平均预测降到 0.176%。作者称这是探索性比较，用来定位与基准标签的不匹配，并不确立模型的推理或错误原因。Finding 4：没有直接指令的攻击主导 Jev 的低分假阴性。
• 分离与 Brier：共享 R-Judge 输入上，Laya 的 AUROC 为 0.533，Jev 为 0.961；Brier 分别为 0.272 和 0.103（Table 11）。Laya 的 Brier 损失比把每条输入都赋成测试集不安全比例高 9.3%。Table 12 中，Laya 和 Decider 在 WAInjectBench 上、以及 Laya、Decider、Nimble 在 R-Judge 上的 Brier skill 为负。置信度 ≥0.95 时，WAInjectBench 假阴性计数为 Jev 130、Decider 162、Nimble 1、Laya 0；Jev 在 AgentHarm 上于此置信度有 4 个假阴性和 10 个假阳性。Laya 只在 3 条 WAInjectBench 输入上达到该置信度，且全部正确。
• 再校准：十二个 System One 模型×任务组合中，温度缩放改善测试 NLL 的有六个，包括全部四个 R-Judge 比较，但并非每个指标都改善。Jev 在 1,612 条有效 WAInjectBench 输出上，NLL 从 1.140 降到 0.374，Brier 从 0.097 升到 0.107（Table 14，T=10.93）。AgentHarm 上 Jev 和 Nimble 把 64 条开发输入全部分对，拟合把两者的 T 选到接近下界 0.05；Jev 的 NLL 从 0.481 升到 2.163。GPT-4.1 和 Qwen3-8B 的六个任务比较中测试 NLL 都下降；R-Judge 上 Qwen 的 NLL 从 6.338 降到 0.730。相同原始分数在缩放后仍得到相同变换分数。Figure 7：两个适配配置在 AgentHarm 上 Macro-F1 更高且 Brier 更低；R-Judge 上 Nimble 的 Macro-F1 低 0.078、Brier 低 0.053，Decider 两项都更差。作者称这些比较涉及所评权重和打分温度，不是孤立的适配效果。

其他消融与分析

• 对称策略，1% 选择漏检上限（Table 15）：Jev、Decider、GPT-4.1、Qwen3-8B 在 WAInjectBench 上自动覆盖为 0.00% 且确认通过。Laya 覆盖 5.02%、放行 4.71%，漏检 1.08%，放行了 279 条不安全输入中的 3 条，超过漏检上限，但确认栏为 Yes。R-Judge 上 Jev 覆盖 7.63%，其中 17 次拦截、1 次放行，放行覆盖 0.42%，确认通过。Nimble 在 R-Judge 上确认通过，但拦截 111 条良性测试输入中的 7 条，超过 5% 拦截上限。
• 放宽漏检预算（Figure 8）：Jev 的 R-Judge 覆盖从 7.63% 升到 5% 漏检预算下的 72.88%，良性拦截达到 5.41%，高于未改变的拦截上限。该策略放行 54 条输入，其中 3 条不安全；这些漏检占全部不安全输入的 2.4%，占放行的 5.56%。圆点表示测试集上两个上限都满足，叉号表示失败。GPT-4.1 和 Qwen3-8B 在原始或再校准分数下都把每条 R-Judge 输入升级；作者称再校准后更低的 NLL 并没有在这些对称规则下产生自动决策。
• 独立阈值：作者称在最严格的选择上限下，分开的放行与拦截阈值主要通过更多拦截提高覆盖，放行仍然有限。通过确认并不保证上限在测试集上成立。摘要结论 (4)：评审可以发现另一模型漏掉的攻击，但也可能把更多良性输入误标，并共享另一模型的高置信错误。Figure 4 给出 40 组成对误差差（百分点），0 以下有利于 System One 模型；Jev 相对 GPT-4.1 在 AgentHarm 上的 FPR 差为 −24.4 个百分点。WAInjectBench 上调整后没有显著的 FNR 或 FPR 差异。
• 箱数与推理评审概率：Table 12 中 Jev 的 WAInjectBench ECE 在 W5、W10、W20 上几乎不变（均为 0.105），Laya 的 R-Judge ECE 在三种等宽选择上不变（0.167）。Table 13：Kimi 在 AgentHarm 上 AUROC 0.922、AP 0.909，Brier 和 ECE 都是 0.273，并误标 96 条良性请求；DeepSeek 在 R-Judge 上 Brier 为 0.034。这些评审的 Brier 排名随任务变化。Tables 9–10 中，各配置的全部支持输入与共享输入结果相同。

作者指出的局限与后续方向

论文正文在所给文本中把下列内容明确写成对解释或后续工作的限制；更完整的 Limitations 表述若在被截断章节中，以下只保留能直接对应的句子。

• 小样本与稀有误差：第 6.2 节写明，允许的错误很少时，单条输入就能决定策略是否通过，估计稀有误差率需要更大样本。
• 确认不能外推到测试：第 6.3 节写明，在测试前满足上限并不能保证这些上限在测试输入上成立。
• 再校准的副作用：第 5.4 节写明，再校准可以很好地拟合开发数据，同时使测试概率变差；温度缩放不能把相同原始分数的输入拆开，阈值必须把这些同分输入一起处理，即使其中有的决策正确、有的错误。
• 适配比较的范围：第 5.3 节写明，Decider、Nimble 与 parent 的比较涉及所评权重和打分温度，不是孤立的适配。第 3.3 节写明，262,143 token 的上限是接受设置，不是声称在该上下文长度上分类可靠。
• 探索性分析的范围：第 5.2 节写明，Jev 在 no-EI 上的低分不匹配比较并不确立模型的推理或错误原因。
• 作者计划：贡献中提到公开的复现材料；正文写的是计划提供复现材料的口径以贡献条目中的 “with a public replication artifact” 为准——该条是贡献陈述，不是已核验的发布状态。作者在结论中支持把准确率、概率校准和由此产生的放行/拦截/复核决策一起评测。若后续工作仅在被截断段落中出现，这里不补写。

实验覆盖范围

• 模型：主实验为 Table 1 的十二个配置；推理评审另有五个，用于 RQ1、RQ2。RQ3 的阈值策略针对四个 System One 模型和两个主评审，错误比较使用全部七个评审。
• 基准与划分：分类和校准使用 WAInjectBench-text（测试 1,612）、R-Judge（测试 236）和 AgentHarm（测试 352）。策略实验只用前两者的选择、确认和测试划分；AgentHarm 因没有单独的选择集和确认集而被排除。
• 误差预算：选择漏检上限为 1%、5%、10%，良性拦截上限固定为 5%。对称阈值 101 对；独立阈值在去掉对称约束后搜索 101×101。
• 统计：95% CI 来自 2,000 次 cluster-bootstrap。WAInjectBench 的成对检验使用十二个来源簇。论文未报告对同一输入的多次独立模型调用。
• 校准拟合：温度 T 在开发集上于 [0.05, 20] 内按 NLL 拟合。GPT-4.1 和 Qwen3-8B 的分类与概率分析使用分开的响应配置。API 权重精度不可用。

Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠，以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。

• 做法：在 WAInjectBench、R-Judge、AgentHarm 上比较 Jev、Laya、Decider、Bespoke Nimble、专用分类器、语言模型评审和 parent controls。开发集拟合温度缩放，选择集定阈值，确认集和测试集不再调参。AgentHarm 不进入策略实验。
• 分类：没有主配置在三个任务上都取得最高 Macro-F1。Nimble 在 WAInjectBench 上为 0.778，但漏掉 92.3% 的无直接指令攻击；Jev 漏掉全部 130 条不安全 no-EI 输入，FPR 为 0.001。Jev 在 R-Judge 上为 0.825、在 AgentHarm 上为 0.840。两个适配模型只在部分任务上高于 parent。五个推理评审在 R-Judge 上的 Macro-F1 点估计都高于 Jev，DeepSeek 为 0.966。
• 校准：总体指标可以掩盖分组错误。1,446 条 Jev 低分 WAInjectBench 输入中有 133 条（9.20%）被标为不安全，其中 130 条为 no-EI。温度缩放在六个 System One 组合上降低测试 NLL，但 Jev 的 WAInjectBench Brier 从 0.097 升到 0.107；AgentHarm 上 T 接近 0.05 时，Jev 的 NLL 从 0.481 升到 2.163。
• 策略：1% 选择漏检上限下，Jev 等对 WAInjectBench 的对称策略自动覆盖为 0；Jev 在 R-Judge 上覆盖 7.63%，几乎全部来自拦截。通过确认不保证测试集仍满足上限。分开阈值主要靠更多拦截提高覆盖。
• 作者的结论：更强的总体表现或更低的概率损失并不稳定地带来固定误差上限内更多的自动决策；应把准确率、校准和放行/拦截/复核决策一起评测。评审可能发现另一模型漏掉的攻击，也可能误标更多良性输入并共享高置信错误。