Jev-Guard：在可编辑策略树上快速路由并审计智能体动作

1. 01这篇论文试图解决什么问题？

   智能体动作审查既要低延迟，又要能改审计策略而不重训。

   智能体每次工具调用前的审查，既要低延迟，又要能改审计策略而不重训。

   • 场景：作者称 harness 替用户执行工具调用，动作生效前必须审查，且审查位于每步关键路径。同一动作在内容审核、网络安全、隐私与法律合规上可能对应不同审计；作者称单独的 unsafe 标签既不指出审计任务，也不指出执行权限。
   • 现有不足：作者称现有策略条件护栏通常先自回归生成理由再给结论，每次工具调用延迟高，且常与定制策略对齐不好。固定分类体系把部署限制在共享词表；把全部自然语言策略放进每次动作的上下文会加大输入并引入无关候选。层次标签能组织类别，但不能在不重训时改名、带 fallback 删除，或插入新的路由层。
   • 作者的区分：作者认为有害材料可以合法检查。unsafe 诊断是警告，不是自动拒绝。
   • 本文做法：提出 Jev-Guard，统一做安全分类与策略路由，并在可版本化策略树上路由（85 个节点、73 个叶，覆盖上述四域）。算子可检查并修改树而不重训；只有与当前动作相关的策略进入上下文。
   • 威胁模型：
     • 审查对象：执行前状态 xt，包含用户目标 u、拟议工具名与参数 at、相关先前观察 ht、调用方审计上下文 zt。
     • 知识与输入：宿主另行提供授权范围 At 与默认策略 P0。zt 说明请求哪种审计；具名策略分支上还说明哪部法律或提供商策略适用。路由选择与所给意图和策略身份匹配的叶，而不是只从证据发现相关策略。
     • 一次请求的范围：一次请求选择一个叶。一个动作若需要多项审计，须分别请求。
     • 执行与评测攻击：执行门不读诊断 rt，也不读所选叶策略 Pℓ。评测中的攻击是 Hermes 上 AgentDojo 的静态提示注入，载荷不针对护栏改编；不可信的工具观察与宿主策略分开。

   收起这一问

2. 02有哪些相关研究？

   作者将本文与策略条件护栏、运行时约束和直接决策模型区分开。

   策略条件护栏

   • GSPR（Li et al., 2025c）：训练护栏跨所给安全策略与分类体系进行推理。
   • 增强策略训练（Liu et al., 2026）：研究对未见策略域的泛化。
   • Hi-Guard（Li et al., 2025a）：把策略对齐的审核与层次标签结合起来。作者称这三项建立了策略条件化与层次标签；本文改为冻结模型，扰动规则、候选措辞、成员关系与树拓扑，检验软件编辑是否得到预期决定。

   智能体运行时保护

   • AgentSpec（Wang et al., 2026a）：用触发器、谓词与强制机制规定运行时约束。
   • ShieldAgent（Chen et al., 2025）：用可验证的策略推理评估智能体行为。
   • ToolSafe（Mou et al., 2026）：在工具调用步骤做主动审查。作者称这些系统强制执行动作策略；本文研究带独立审计树与许可门的直接分类器，并追踪每个决定读哪条策略。rollout 评测的是集成后的门，其策略与叶策略分开。

   决策模型与评测环境

   • Jev（Typesafe AI, 2026）：主张直接结构化决定，而不是自回归解释。官方 Jev 在实验中作为外部基线。
   • Open-Jev（Open-Jev Contributors, 2026）：作者称保留其头结构，并加入四域任务映射与成对审计诊断。
   • AgentDojo（Debenedetti et al., 2024）：提供可执行模拟环境，用于测试提示注入攻击与防御。作者在原生 Hermes rollout 中使用该环境，并把完整攻击者目标与部分策略违规分开报告。

   基线方法与基准

   • 基线：Table 1 比较 Official Jev 1.13（API）与生成式 Qwen3.5-2B SFT。RQ4 另把 deepseek-flash 的独立许可调用当作 LLM judge，并设无护栏与仅规则两个参照臂。
   • 基准：四域匹配文本 7,033 条；原生任务记录 147,643 条、109 个 benchmark view；Hermes 上的 AgentDojo（workspace、banking、travel、Slack）。

   作者把区别写成：冻结分类器并编辑规则与树，以检验编辑是否改变决定；诊断与执行许可分开，并记录每个决定读哪份策略。

   收起这一问

3. 03论文如何解决这个问题？

   Jev-Guard沿可编辑策略树选叶并做诊断，执行许可由独立的门判断。

   给定执行前状态，Jev-Guard 先沿策略树从根走到一个叶，再按该叶的策略与分类体系给出诊断 rt，然后交给独立执行门（Figure 1）。骨干是 Qwen3.5-2B 的语言组件，加 LoRA 与两个任务头，路由和审查共用。

   状态与策略树

   • 状态：xt = (u, at, ht, zt)。zt 写明请求哪种审计；具名策略分支上还写明适用的法律或提供商策略。宿主另供 At 与 P0。
   • 树：有根树 T。内部节点保存每个子节点的描述。叶 ℓ 保存任务描述 dℓ、局部审查策略 Pℓ、带定义的分类体系 Cℓ，以及预测类型（choice、multi-label 或 ordinal）。二值安全可选，隐私主题叶与漏洞类型叶不必定义 safe/unsafe。
   • 规模与构建：评测树 85 个节点、73 个叶，顶层为 content、cyber、privacy、compliance。Cyber 与 privacy 按审计能力分叶，compliance 按法律或提供商策略分叶（Table 7：compliance 61 个 choice 叶）。树由源信息手工构建，不用模型预测，模型也看不到数据集名。兼容任务可共享一叶。
   • 调用约定：一次请求选一个叶。需要多项审计则分开请求。算子可改名、删除或插入节点而不重训。

   两个预测头

   • 安全头：对最后未掩码隐状态 h 做二分类，标签为 safe 或 unsafe。
   • 候选头：为让标签集随叶和编辑变化，用 h 与标签文本嵌入的相似度打分。嵌入来自冻结的输入嵌入矩阵并缓存，改候选列表不增加输出单元。choice 取最大 softmax；multi-label 返回 sigmoid 不低于 0.5 的全部候选，可以一个都没有；另有辅助 ordinal 头处理有序严重度。改写候选文本仍可能改变预测。
   • 路由与审查：在内部节点 n 上，对子节点取 n′=argmax_{c∈ children(n)} p_choice(c|q(x_t,n))。q 序列化证据、调用方意图、子节点描述，以及需要时的管辖策略。重复直到叶 ℓ。审查输入合并 dℓ、P0、Pℓ、Cℓ 与证据，两头输出 rt。一次路由审查是每一层一次前向，再加一次审查前向。

   执行门

   • 与诊断分离：门不读 rt，也不读 Pℓ。改叶规则会改变诊断，不改变门。Figure 1 将 unsafe 标成警告，而不是执行裁决；图中分数与编辑为示意。
   • 许可：工具动作的候选为 allow、ask、block。该调用复用冻结候选头，没有许可专用微调。allow 分数低于 0.55 改为 ask；显式范围规则优先，次序为 block > ask > allow。自动运行里 ask 和 block 都停止动作。请求准入则对用户意图在 P0 下使用安全头。

   数据与训练

   • 统一记录：四域公开数据转成待审证据、审计任务、适用策略、带定义的候选、标签和所属叶。训练集 377,930 条（Table 6）。要求生成文本的指令被去掉。
   • 标签来源：原始标签直接来自源数据；映射标签按显式规则从元数据转换；弱标签由关键词匹配等简单规则猜测，训练损失权重 0.25，不进入评测。源数据从未标注的类别记为 unknown，而不是负例。
   • 路由样本：每条记录的叶路径在每个分支节点产生一个训练例。深度 0 到 3 的采样比例为 40/30/20/10%。路由集 10,000 条，划分为 8,000/1,000/1,000，不共享证据或源组。
   • 检查点：在较早版本上再训一个 epoch，于 update 1,508 选出。rank-8 LoRA 学习率 2×10−5，预测头 5×10−5，全局 batch 256，上下文上限 16,384 token。选择时在 2,048 条原生记录与 1,000 条路由验证记录上，对路由、安全与类别分数取平均。附录称这不是从基座重新训到验证平台的运行。

   收起这一问

4. 04论文做了哪些实验？

   作者称7033条准确率93.72%且不优于SFT，完整审查均值239.64ms。

   实验设置

   • 问题：RQ1 看准确率与延迟；RQ2 看冻结模型是否跟随规则、类别与树编辑；RQ3 比较层次树与一次呈现策略；RQ4 比较执行门与 LLM judge。
   • 系统：被测分类器为 Jev-Guard（Qwen3.5-2B + LoRA）。Table 1 对照为 Official Jev 1.13（API；附录记 typesafe/jev-1.13）与生成式 Qwen3.5-2B SFT。RQ4 的 actor 与 judge 都是 deepseek-flash，temperature 为 0。
   • 数据：Table 1 为 7,033 条匹配文本（content 2,180、cyber 3,694、privacy 655、compliance 504），是 147,643 条原生库的子集。原生评测保留原提示词与标签，共 109 个 view。路由协议用 1,000 条从根重走的节点级记录。策略呈现用 128 条文本、32K 上限。AgentDojo 每个 suite 有 16 个正常任务和 16 个注入任务，suite 为 workspace、banking、travel、Slack；四臂合计 512 个 episode。
   • 指标：安全任务用普通准确率；类别用 micro-F1。路由看最终叶是否正确。延迟报告均值、p50、p95。RQ4 报告正常完成、官方完整攻击者目标，以及覆盖 48/64 个攻击任务的部分策略违规检查器；未覆盖的 16 个记为 unknown，不计入安全。
   • 计时：200 个来自智能体运行的预执行状态（30 个用户请求、170 个工具动作），单张 A800 80GB，batch size 1，bfloat16/SDPA，8 次预热。进程内计时含序列化、分词、路由、叶预测、独立许可判断与显式规则，不重新执行工具。HTTP 另计 647 次。
   • 论文写明的差异：Table 1 各系统的提示词与训练历史不同。补充检查器在 rollout 之后、重新计分之前冻结，论文写明它不是预注册的。二值安全并非每叶都有。

   主结果

   表格较宽，可左右滑动

   系统	Content	Cyber	Privacy	Compliance	Overall
   Official Jev 1.13	69.08%	82.27%	80.46%	52.58%	75.89%
   Qwen3.5-2B SFT	99.91%	89.52%	91.45%	95.63%	93.36%
   Jev-Guard	97.29%	91.66%	91.60%	96.03%	93.72%

   据 Table 1，单位为安全准确率。匹配条数为 2,180 / 3,694 / 655 / 504 / 7,033。延迟不在表内各域列：Jev-Guard 与 SFT 的本地逐条中位数为 58.31 ms 与 513.94 ms，不含路由或许可；Official Jev 延迟未报告。

   • 作者解读：作者称相对 SFT 高 0.36 个百分点，95% 区间包含 0，因此不声称准确率优势。附录重算为 +0.355 个百分点，区间 [−0.327, 1.009]。作者称 SFT 中位延迟是 Jev-Guard 的 8.81 倍，但比较不能隔离架构。
   • 分域例外：Content 上 SFT 高于 Jev-Guard；Cyber、Privacy、Compliance 上 Jev-Guard 更高。不能把总体数字写成四个域都更高。
   • 延迟口径：摘要与贡献列表把分类延迟写成 mean 58 ms，把完整流程写成平均 240 ms。Table 1 标题与附录把 58.31 ms 标为中位数；Table 3 进程内完整审查均值为 239.64 ms。

   原生任务差异

   • 测了什么：同一冻结检查点在 147,643 条、109 个 view 上评测。有安全监督的 79,987 条上，安全准确率 91.78%（附录）。Table 2 的域级安全准确率为 Content 85.20%、Cyber 93.77%、Privacy 82.92%（安全分母 Ns=5,889）、Compliance 95.31%。
   • 偏低的视图：PrimeVul 单函数安全准确率 96.86%，成对视图 50.00%。CTI-RCM 无安全监督，类别 F1 为 35.36%。VLGuard 43.03%，Nemotron-3.5 56.02%，PrivaCI/HIPAA 39.25%（N=107）。SafeMT 为 100.00%。
   • 作者解读：作者称原生准确率随任务变化很大，重叠 view 不是独立数据集。附录给出 Content 安全样本上的条件假阳性率 54.31%，序数严重度准确率 15.28%（1,466 条）。

   编辑跟随与策略呈现

   • 规则编辑：五个规则族、30 个目标与 30 个对照，金标签由预定义谓词给出，不执行、也不加范围规则。choice 头在 21/30 个目标的新旧两个版本上都正确，30/30 个对照正确。safety 头 30/30 个目标正确，对照只有 24/30：6 个合法的 14 天保留动作仍为 unsafe。保留上限从 90 天改为 30 天时，6 个目标的 choice 仍为 compliant，safety 头则正确翻转。作者称两个头要分开检查。
   • 类别与树：24 个动作上，删除类别并给显式 fallback 后，准确率从 95.83% 降到 50.00%。需要新子类型的 4 个拆分动作全部失败（0/4）。200 例上原树为 190/200；反转兄弟顺序或把注入叶移到根，200 个预测都保持。插入中间语义组后为 172/200，新错误都在 cyber，从 40/50 降到 22/50，其他域仍为 50/50。这些源数据集未从训练中留出。
   • 树相对一次呈现：1,000 条上层次路由 93.10%，一步扁平选择 92.40%，差 0.70 个百分点，配对源簇 bootstrap 95% 区间为 [−0.10, 1.60]。作者称没有结论性证据表明层次结构提高路由准确率。69 个层次错误中 61 个首先在 cyber 分叉，该域为 80.45%。1,000 条里 488 条是具名策略的 compliance 任务，作者称这些分数衡量的是调用方条件分派。128 条、32K 上，树的安全准确率 66.28%，全扁平 79.07%；类别 F1 为 24.73% 对 20.65%；体系外类别为 12/128 对 115/128。作者称树比全扁平快 3.53 倍，也更遵守局部词表，但不是更准确。合规 41 例路由全对，树、扁平叶与 oracle 叶的安全标签都只对 18/41，全扁平为 33/41。隐私 oracle 的精确集合正确性为 0/40。

   执行门与 LLM judge

   • 测了什么：Jev-Guard 许可判断与单独的 LLM 许可调用都加上相同的显式范围规则，策略、范围、任务、工具、攻击与预算相同。攻击载荷不针对护栏改编。部分违规检查器看未授权转账、收件人或删除，覆盖 48/64 个攻击任务。
   • 结果：两个护栏的已覆盖策略违规都是 0，完整攻击者目标都是 0；无护栏基线也是 0。作者称这些零不能记到任一护栏上。0/48 的 95% Wilson 区间上端为 7.41%，只针对该覆盖样本。Jev-Guard 完成 51/64 个正常任务，LLM judge 完成 57/64，即 79.69% 对 89.06%。作者称两边完成率的 95% 区间重叠，不声称有可靠差异。Jev-Guard 拒绝 1 个正常用户请求，并在 10 个正常任务上拒绝 25 个拟议动作；LLM judge 为 1 个请求、3 个任务上的 3 个动作。正常任务平均审查时间为 1.33 秒对 4.80 秒。每个条件都完成的 48 个正常任务上，平均任务时间为 7.60 秒对 10.60 秒。
   • 作者解读：作者称 Jev-Guard 更保守。没有逐动作金标签，不能把这些拒绝称为假阳性。另一组边界工作流上，无护栏、仅规则、Jev-Guard 加规则、LLM judge 的已执行违规都是 0/24；无护栏的零同样使增量安全结论不能成立。

   其他消融与分析

   • Table 3 分阶段均值（200 个状态）：路由 87.85 ms，叶审查 71.32 ms，许可判断 74.50 ms，显式规则 0.01 ms；HTTP 完整审查均值 249.85 ms（647 次），p95 为 397.37 ms。
   • 类别编辑 24 个动作（Table 4）：改名 20/24，增加类别 24/24，合并 16/24，反转候选顺序 18/24；原类别为 23/24。
   • 规则族 choice 联合正确（Table 10）：外部收件人、发布审查、区域存储各 6/6，安全工作授权 3/6，保留期限 0/6。
   • 全路径叶正确率，树 / 扁平叶（Table 11）：Content 100.00% / 100.00%（100），Cyber 80.45% / 77.24%（312），Privacy 98.00% / 96.00%（100），Compliance 98.77% / 99.80%（488）。
   • 16K 部署上下文下，1,000 条审计输入只有 23 条放得下全扁平提示，长度从 12,742 到 27,318 token；32K 对比因此不是可直接换上的部署配置。
   • 安全分母随域变化：128 条对比里隐私只有 5 条安全监督；配对安全差距为 −12.79 个百分点，精确配对 bootstrap 区间 [−25.58, 0.00]，附录 McNemar p=0.0708，作者称没有结论性的安全准确率优势。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者写明叶策略未绑定执行门，且零违规不能记到护栏上。

   作者指出的局限与后续方向

   • 检查点与编辑范围（Limitations）：只评一个检查点、一组策略编辑和一个 actor API 别名。作者称五个规则族与六个类别族所提供的统计功效有限。受控编辑样例由显式谓词构造，不是独立标注的生产日志。
   • 样本与区间（Limitations）：200 例树研究在所选源上平衡，作者称不估计部署中的出现频率。按任务或源计算的置信区间不含训练种子变异，也不含未来 API 模型变化。
   • 对比配置（Limitations）：全策略对比使用 32K 输入，超出 16K 微调上限，并绕过部署时 512 候选的 HTTP 限制。作者称这是匹配实验比较，不是可直接换上的部署配置。未知类别槽被掩码；作者称严格的未支持输出指标并不能确立所有未支持预测在语义上都是错的。
   • 智能体实验（Limitations）：使用静态攻击、模拟工具、每任务一次 rollout，且只有部分违规覆盖。16 个攻击没有可靠的部分策略检查器，仍为 unknown。补充检查器在重新计分前冻结，不是在原始 actor rollout 之前。零基线违规使增量安全主张无法测量。没有评测人对 ask 的处理。
   • 执行绑定（Limitations；附录 J）：当前叶策略未绑定许可头。作者称该实现不能确立任意树编辑的端到端强制，也不声称改树就足以改变被执行的许可。
   • 数据与维护（Limitations；Discussion）：v3.2 划分审计在 case-ID、源组与内容检查下未见所审计训练/路由划分的重叠，但不能完全排除历史 v1–v3.1 训练数据或基座预训练中的暴露。作者不声称全部源数据可在同一许可下再分发，也不声称异质的原生安全标签共享一个普遍语义。Discussion 称层次结构组织了策略，但维护收益仍未测量；把树规则绑定到执行需要新接口和执行测试。

   实验覆盖范围

   • Table 1 在 7,033 条文本上比较 Jev-Guard、Qwen3.5-2B SFT 与 Official Jev 1.13；延迟列为本地中位数，Official Jev 的延迟未报告。
   • 原生分类覆盖 content、cyber、privacy、compliance 四个域，109 个 view、147,643 条任务记录；安全准确率的分母是有安全监督的 79,987 条。
   • 冻结编辑包含规则、候选列表与树结构；树编辑为 200 例、每域 50 例，源数据集未从训练中留出。策略呈现在 128 条文本上比较树、扁平叶、oracle 叶与全扁平，安全分母 86，类别指标分母 117。
   • Hermes rollout 以 deepseek-flash（temperature 0）同时作为 actor 与 judge，AgentDojo 四个 suite 各 16 个正常任务和 16 个注入任务，共 512 个 episode；部分违规检查器覆盖 48/64 个攻击任务。
   • 论文未报告训练种子重复，也未报告人对 ask 决定的处理结果。路由测试划分不是按域平衡的：content 100、cyber 312、privacy 100、compliance 488。

   收起这一问

6. 06总结一下论文的主要内容

   Jev-Guard把路由、诊断与许可拆开，7033条准确率93.72%，审查均值239.64ms。

   Jev-Guard 是装在智能体关键路径上的直接分类器：沿可编辑策略树选择审计叶，再按叶规则做诊断，执行许可由另一路判断。

   • 问题：每次工具调用生效前都要审查。作者认为自回归护栏先写理由再给结论，延迟高；固定词表又不能在不重训时改名、删除或加路由层。单独的 unsafe 标签也分不清审计任务和执行权限。
   • 方法：Qwen3.5-2B 加 LoRA，安全头与候选头共享于路由和审查。树有 85 个节点、73 个叶，覆盖内容审核、网络安全、隐私与法律合规。调用方审计上下文决定走到哪一叶；执行门只读默认策略 P0 与授权范围 At，allow 低于 0.55 改为 ask，范围规则优先于分数。诊断不自动否决执行。
   • 分类速度：7,033 条匹配文本上，Jev-Guard 安全准确率 93.72%，SFT 为 93.36%，Official Jev 1.13 为 75.89%。作者称相对 SFT 的差距区间含 0，不声称准确率优势。Content 上 SFT 为 99.91%，高于 Jev-Guard 的 97.29%。不含路由的中位延迟为 58.31 ms 对 513.94 ms。200 个预执行状态上，进程内完整审查均值为 239.64 ms。
   • 路由与编辑：1,000 条上层次路由 93.10%，一步扁平选择 92.40%，作者称没有结论性证据表明层次结构更准。需要新子类的 4 个拆分动作全部失败；插入中间路由层后，cyber 从 40/50 降到 22/50。合规子集路由全对时，树审查的安全标签仍只对 18/41。
   • 智能体运行：Hermes 与 AgentDojo 上，Jev-Guard 完成 51/64 个正常任务，平均审查 1.33 秒；LLM judge 为 57/64 与 4.80 秒。已覆盖攻击上两边及无护栏基线的策略违规都是 0，作者称不能把零违规记到护栏上。
   • 作者的结论：可编辑审计可以做经验检验，但接受新标签或新节点不等于解释正确，正确分派也不等于叶诊断正确。作者建议给新受影响样例打分、保留对照，并同时看完整审查时间与正常任务完成。

   收起这一问

相关论文