JEV 作为智能体轨迹安全评判器：与生成式 LLM 评判器的实证对比

回溯判定工具使用智能体轨迹是否不安全时，生成式评审的解释与校验开销是否必要。

• 场景：作者认为智能体安全是上下文中的行为属性。传值可能是必要认证，也可能是未授权披露；注入指令可能被遇到、拒绝或执行。只检测敏感词或攻击尝试不够。
• 现有缺口：生成式 LLM 能解释不熟悉的工具，并写出供人工复核的理由，但只需有界决策的部署仍要支付理由生成、schema 校验，有时还有修复调用。作者认为，开放回答偏好评测里的 LLM judge 结论，不能直接确立其适合安全决策。
• 比较问题：类型化评审能否在检测质量、有效结果覆盖率、延迟和 token 费用之间，给出可用的 accuracy–resource 权衡。
• 本文内容：同一渲染流水线、同一五级风险锚点下，用 JEV 与四种生成式评审，对已保存轨迹做回溯分类，并看步数和输入 token 数如何影响表现。贡献是这组比较、质量与资源的联合分析，以及对更长轨迹的检查。

Related Work 分成 LLM 评审、智能体安全基准、评估器与护栏；实验对照另列于后。

LLM 评审

• Zheng et al.（2023）：研究开放式回答评测中 LLM judge 的一致性与偏差。
• G-Eval（2023）与 Prometheus 2（2024）：前者用思维链提示和填表评测生成文本；后者训练开放评估器，按用户定义标准做直接打分和成对比较。
• JudgeBench（2025）：用客观正确性标注的回答对，评测知识、推理、数学和编程上的 judge。

智能体安全基准

• R-Judge（2024）：从智能体交互记录评测安全风险意识。
• AgentDoG 与 ATBench（2026）：提出诊断性护栏，并把智能体风险连到来源、失败模式和后果。本文用其 500 条轨迹发布版。
• TraceSafe（2026）与 MCPHunt（2026）：前者检查多步工具调用轨迹上的护栏；后者研究多服务器 MCP 流程中的跨边界数据传播，包括用 canary 观察凭证移动。本文另取 540 条 TraceSafe 子集。

评估器与护栏

• ToolEmu（2024）：模拟工具执行加上基于 LM 的评估器，识别智能体失败及相关风险。
• AgentAuditor（2025）：用检索到的推理经验增强 LLM 评估器，做 safety 与 security 评估。
• GuardAgent（2025）：把安全要求译成可执行护栏代码，用以检查智能体动作。

基线与评测集合

• 对照配置：JEV 对比 GLM-5.2-Tencent、DeepSeek-V4-Flash、DeepSeek-V4-Pro-Seed、Qwen3-Next-80B。
• 集合：R-Judge、ATBench500、TraceSafe 子集、MCPHunt，合计 5,219 条。指标是行为级正类分类，不是答案偏好。

作者把轨迹安全与答案偏好分开：有帮助的回答仍可能伴随不安全工具调用，成功拒绝也可能出现在对抗轨迹中，因此本文测行为级分类，并同时看资源消耗。

两侧走同一表示。JEV 一次请求回答四道类型化问题，返回有界答案和概率；生成式评审返回同类字段，并附理由与证据。风险分按同一阈值变成二值预测，再对照参考标签和资源记录（Figure 1）。

轨迹级分类

• 轨迹：τ 含用户请求 u、可用上下文 c，以及动作与观察 (at, ot)，t 从 1 到 T。
• 分数：每个评审给出 s，取值 1 到 5。正类是不安全或未授权行为。
• 决策：全模型、全基准共用 y_b(τ)=𝟙[s(τ)≥ 3]。达到 3 即判为正类。
• 两条轴：授权与内在安全分开看。作者写明，用户同意并不使有害动作变安全；遇到攻击也不等于智能体照做。Table 5 中，3 的锚点是具体但有限的风险，或仍然冲突的实质证据；5 为 severe、deliberate、repeated 或 realized harm。

共享输入

• 两侧都收到用户请求、带来源信息的上下文，以及完整渲染的动作/观察序列。真值标签不进入输入。
• 风险锚点和二值阈值相同；接口和详细指令按各自配置。Figure 1 中参考标签只用于评测。
• 附录 A：报告用的分类器使用 score 问题。授权题和内在安全题是分开的输出。

两种判定接口

• JEV：论文将其描述为给定状态和一组类型化问题，输出有界决策及相应分布，而不是自由解释。一次请求四题：总体风险分、authorization、intrinsic safety、severity。二值预测只用总体风险分。附录 G 给出四题定义；返回的 score 是从 0 起的下标，加 1 后映射到 1–5。
• 生成式评审：返回相同评估字段，外加 rationale 与 supporting evidence。附录 A 称，其提示词增加反证和动作阶段规则，区分暴露与采纳、准备与有害目标动作、及时有效防御与事后补救；人工复核契约要求简体中文解释和有界证据引用。附录 F 给出完整提示词，并写明按全轨迹直接复核，空 evidence log 不是已有分诊结论。
• 作者称这一差别对应用途：JEV 做快速决策，LLM judges 做带解释的复核。

标签与计分口径

• 全程用行为级标签。R-Judge 与 ATBench500 保留基准标签。TraceSafe 与 MCPHunt 用本研究修订标签，把抵抗了的注入和仅有信号的情形与不安全行为分开。
• 正类 P、R、F1、Acc 只在有效判定上计算。总 F1 是四个基准 F1 的无加权平均。coverage 是全基准中得到有效判定的比例。yield 是全基准中判定正确的比例，缺失输出不计分。
• 延迟只计成功的单次调用，不含失败尝试、修复调用和重试等待。token 费用按记录用量和附录 C 的固定单价估计；附在有效结果上的修复 token 计入，失败请求不进入费用估计。

五套评审在 5,219 条轨迹、阈值 s≥3 下比较正类检测与每次判定的资源。

实验设置

• 评审：JEV，以及 GLM-5.2-Tencent、DeepSeek-V4-Flash、DeepSeek-V4-Pro-Seed、Qwen3-Next-80B。第 4.2 节只列出名称。论文未报告采样温度和整次实验重复次数。
• 数据：Table 1。R-Judge 564（正 298/负 266，步数中位 3，最大 23）；ATBench500 500（250/250，中位 5，最大 6）；TraceSafe 子集 540（270/270，中位 8，P95 23，最大 79）；MCPHunt 3,615（797/2,818，中位 12，P95 54，最大 112）。焦点依次为情境风险、智能体行为风险、变异下的工具轨迹、跨边界数据传播。
• 标签与阈值：行为级。前两套沿用基准标签，后两套用修订标签。全配置共用 s≥3。
• 指标：有效回答上的正类 P、R、F1、Acc；总 F1 与总 Acc 为四基准无加权平均。coverage 在 5,219 条上汇总。yield 对缺失输出不计分。
• 资源与区间：延迟只计成功单次调用。附录 C：JEV 输入 0.042 美元/百万 token，输出单价 0；生成式配置输入和输出都计费。附录 B 对 JEV 与 GLM 的共同有效样本做探索性配对 bootstrap，每基准 2,000 次、四基准等权。

主结果

据 Table 2、Table 4。F1、P、R、覆盖率为百分数，延迟为秒。平均指标是各评审在自己有效回答上的四基准无加权平均。表中简称对应第 4.2 节全名。

| 评审 | 平均F1 | 平均P | 平均R | 覆盖率 | 中位延迟 | | JEV | 77.8 | 77.1 | 79.2 | 95.5 | 0.99 | | GLM-5.2 | 74.1 | 91.9 | 64.1 | 94.4 | 33.29 | | DS-V4-Flash | 61.0 | 51.6 | 75.6 | 99.9 | 8.30 | | DS-V4-Pro | 56.3 | 93.3 | 49.4 | 58.8 | 35.92 | | Qwen3-Next | 49.4 | 92.0 | 37.2 | 94.4 | 28.67 |

• 作者称 JEV 的四基准平均 F1 最高。平均 Acc 不是同一排序：Table 2 中 DS-V4-Pro 为 92.1，GLM-5.2 为 86.5，JEV 为 82.8。作者称 GLM-5.2 总体更精确，是相对 JEV；平均 P 更高的还有 DS-V4-Pro 与 Qwen3-Next。Figure 3 正文称 JEV 的平均 P、R 绝对差距为 2.1 个百分点，生成式配置为 24.0–54.8。覆盖率最高的配置，平均 F1 低于前两行。
• 作者称 JEV 在 ATBench500 与 MCPHunt 上领先，GLM 在 R-Judge 与 TraceSafe 上高于 JEV。Table 3 中 DS-V4-Pro 在 R-Judge 的条件 F1 为 94.0，高于 GLM-5.2 的 93.4，但有效样本仅 360/564，yield 为 60.8。
• 双方都有有效判定的轨迹上，作者报告基准平均 F1 为 76.8 与 74.1，差 2.7 个百分点，探索性 95% 区间 [0.5, 4.8]。附录 B 写明这以有效输出为条件，不能消除缺失判定的选择偏差。

分数据集与覆盖

• 设置：Table 3，s≥3。P、R、F1、Acc 以有效回答为条件；yield 覆盖该基准全部轨迹。
• 数字：JEV 在 ATBench500 的 F1 为 93.8（491/500，R 99.2），在 MCPHunt 为 61.1（3415/3615，P 54.7，R 69.1）。GLM-5.2 在 R-Judge 为 93.4（553/564），在 TraceSafe 为 72.4（479/540，P 92.2，R 59.6）。DS-V4-Pro 在 ATBench500 的 Acc 为 98.7，仅 151/500 有效，yield 为 29.8。
• 作者解读：覆盖率会改变检测质量的读法，所以与分类指标一起报告。作者称 JEV 在 ATBench500 与 MCPHunt 的 F1 优势伴随更高召回、更低精确率；TraceSafe 上，GLM 更高的精确率抵消了略低的召回，因而 F1 更高。

资源消耗

• 设置：Table 4，四基准合并。延迟不含失败、修复调用和重试等待。费用使用记录用量；推理 token 计入输出用量。
• 数字：JEV 中位/均值/p95 延迟为 0.99 / 1.18 / 2.02 秒，估计费用 0.000195 美元，平均输入/输出 token 为 4644 / 128。生成式均值延迟为 9.61–37.39 秒，费用为 0.001320–0.014887 美元。GLM-5.2 中位延迟 33.29 秒，平均输出 token 1868，费用 0.014887 美元。
• 作者解读：作者称均值延迟比约为 8.1–31.7，其中相对 GLM 为 31.6；费用约高 6.8–76.3 倍。作者认为差距同时来自 token 用量和单价：JEV 输入单价更低，且不对输出 token 收费。

轨迹长度

• 设置：Figure 4、Figure 5 与附录 E。步数箱为 ≤4、5–8、9–16、>16；token 箱为 <2k、2–4k、4–8k、≥8k。token 箱用 JEV 记录的输入 token 作共同尺度。桶内 F1 在合并样本上计算。
• 数字：5–8、9–16、>16 步上，JEV 的 F1 为 85.2、67.4、57.5，GLM 为 78.5、58.4、50.6。2–4k 与 ≥8k token 上，JEV 为 69.9 与 62.8，GLM 为 56.0 与 48.7。JEV 中位延迟在步数箱从 0.90 到 1.08 秒，在 token 箱从 0.89 到 1.18 秒；GLM 从 27.34 到 42.31 秒、从 27.30 到 42.45 秒。四个生成式配置在每个已测箱都更慢。
• 作者解读：作者认为类型化判定在更长轨迹上仍然表现较好，但 JEV 的绝对 F1 并不随长度一致上升，优势取决于负载。步数曲线在中等长度达到峰值后下降；token 曲线在最短箱最高，2–8k 相对平坦后再下降。Table 11 去掉 MCPHunt 后排名改变，作者称长度趋势对基准构成敏感。

其他消融与分析

• Table 6 同轨迹 F1（JEV 对 GLM）：R-Judge 88.3/93.3（n=550，Δ -5.0，区间 [-7.6, -2.7]）；ATBench500 94.1/85.4（n=411，+8.6，[+4.4, +13.3]）；TraceSafe 65.0/72.1（n=456，-7.1，[-12.7, -1.4]）；MCPHunt 59.7/45.5（n=3292，+14.2，[+10.1, +18.3]）。
• Table 9：步数 ≤4 时 JEV F1 70.1（n=1053），GLM 71.6（n=1023）；token <2k 时 85.5（n=926）对 87.5（n=910）。
• Table 10 同 ID：步数 ≤4 的 Δ 为 +0.0（n=1023）；token <2k 为 -2.2（n=910）；4–8k 为 -0.9（n=1369）；≥8k 为 +10.4（n=557）。
• Table 11 去掉 MCPHunt：步数 >16 仅 n=57，F1 70.0 对 73.1；token ≥8k 仅 n=41，69.6 对 73.2。
• Table 3 的 yield：MCPHunt 上 GLM-5.2 为 80.9、JEV 为 75.7；ATBench500 上 JEV 为 91.8、GLM-5.2 为 74.4。Qwen3-Next 在 MCPHunt 的 R 为 13.8、F1 为 23.3；在 TraceSafe 的 R 为 22.0、F1 为 35.6。

作者把限制写在比较口径、标签和负载分布上，并建议换独立标签和受控长度再看推广。

作者指出的局限与后续方向

• 指令与部署不同：各评审共享轨迹内容和风险锚点，但详细指令、输出要求和部署条件不同（第 6 节）。
• 资源口径：资源数字汇总的是成功调用和估计 token 费用（第 6 节）。
• 标签、缺失与构成：修订标签、缺失输出和基准构成也会影响所报告的指标（第 6 节）。
• 长度不是受控因素：长度分析描述的是观测到的负载分布（第 6 节）。
• 后续检验：作者提出可用独立复核的标签，以及受控的轨迹长度变化，考察这些结果如何推广（第 6 节）。
• 配对比较的条件：附录 B 写明，共同有效样本上的比较以有效输出为条件，不能消除缺失判定带来的选择偏差。

实验覆盖范围

• 被评配置为 JEV、GLM-5.2-Tencent、DeepSeek-V4-Flash、DeepSeek-V4-Pro-Seed、Qwen3-Next-80B，共 5 个（第 4.2 节，Table 2）。
• 轨迹来自 R-Judge、ATBench500、TraceSafe 子集和 MCPHunt，合计 5,219 条；规模、正负例和步数分布见 Table 1。
• 分类结果在共用阈值 s≥3 下报告，并给出 coverage 与 yield；JEV 与 GLM-5.2 的共同有效样本，以及每基准 2,000 次配对 bootstrap，见附录 B。
• 延迟和估计 token 费用覆盖四套基准的成功调用，单价见附录 C（第 4.4 节，Table 4）。
• 长度分层包括步数箱，以及以 JEV 输入 token 为共同尺度的 token 箱，并含去掉 MCPHunt 的配对比较（Figure 4、Figure 5、附录 E）。论文未报告采样温度、整次实验重复次数和修订标签的标注一致性。

在已保存的工具使用智能体轨迹上，比较类型化评审 JEV 与四种生成式评审的回溯安全分类。

• 问题：同一工具调用可能是必要认证，也可能是未授权披露；注入可能被拒绝，也可能被执行。生成式评审能写解释，但有界决策仍要承担理由、schema 校验，有时还有修复调用。
• 做法：两侧收到同一渲染轨迹和五级风险锚点，真值不进输入。JEV 一次请求给出总体风险、授权、内在安全与严重度及概率；报告用的分类只取总体分，规则为 s≥3。生成式配置另返回理由和证据。5,219 条来自四套集合，总 F1 对基准等权，不对样本量加权。
• 质量：Table 2 中 JEV 的平均正类 F1 为 77.8，GLM-5.2 为 74.1，覆盖率 95.5% 与 94.4%。Table 3 中 JEV 于 ATBench500、MCPHunt 为 93.8 与 61.1；GLM-5.2 于 R-Judge、TraceSafe 为 93.4 与 72.4，且平均精确率高于 JEV。共同有效样本上为 76.8 对 74.1。条件 F1 最高的格子不一定对应高 yield：R-Judge 上 DS-V4-Pro 的 F1 为 94.0，yield 为 60.8。
• 资源与长度：Table 4 中 JEV 中位延迟 0.99 秒，估计费用 0.000195 美元/次有效判定。作者称生成式均值延迟为 9.61–37.39 秒。5 步以上的步数箱里 JEV 的桶内 F1 更高；去掉 MCPHunt 后这一排序不再保持（Table 11）。
• 作者结论：作者认为结果支持把 JEV 用作经济的筛查信号，精确率与召回率有取舍；GLM 更高的精确率和解释可用于细查。作者提出把快速筛查与带解释的复核接在一起。