ActGov：用策略约束校验治理 LLM Agent 的工具动作

LLM 智能体在长程、动态分支的工具调用中，如何在不依赖模型自行识别恶意指令的前提下，对每个拟执行动作做细粒度授权，并同时保住任务效用。

• 场景：作者称 LLM 已从文本生成转向可规划、调用工具并跨邮件、日历、文件系统、代码仓库、金融账户等资源执行多步动作的智能体。模型输出可直接触发修改、删除、授权等高影响操作；不可信外部内容可能被当成用户意图，从而执行未授权动作。
• 现有不足：作者归纳三点。一是缺少统一语义框架，防御可能把不可信内容当成授权来源，或认不出未授权路径。二是预定义计划、预期工具轨迹或静态参数检查难以跟随中间输出与动态分支，要么过度限制合法适应，要么在偏离假设时失效。三是工具生态扩大后，手工策略难维护；自动生成的策略或权限缺少部署前检测遗漏、冲突或非预期权限的机制。作者称 VeriGuard 等形式化方法常把策略逻辑与智能体遇到的具体运行时状态分开验证。
• 核心设计：把非结构化执行上下文映到有限记录空间，使离线形式化验证与运行时执行前判定共用同一抽象；LLM 只做记录抽取和策略提议，授权由已验证策略确定性给出。
• 威胁模型：
  • 目标与入口：间接提示注入（indirect prompt injection, IPI）。初始用户指令可信；攻击者控制的内容经下游工具观测进入，并促使 LLM 提出未授权动作。
  • 攻击者能力：可控制外部内容并操纵动作提议；不能修改可信用户任务，也不能修改 ActGov 执行层（含工具规格与已部署策略）。
  • 系统假设：任何动作产生外部效果之前，必须先通过 ActGov 的执行前校验。
  • 受害系统：基于 LLM 的工具调用智能体；防御位于智能体与外部工具接口之间。
• 本文提出：ActGov，含离线的 ActGov-Policy（策略生成、Z3 校验与迭代）和在线的 ActGov-Runtime（上下文抽象与策略检查）。作者称它在 AgentDojo 与 AgentDyn 上降低 IPI 成功率并保留任务效用。

论文在引言和 Related Work 中把已有防御分成两类，并点名若干系统级基线。

形式化与基于策略的智能体防御

• VeriGuard（Miculicich et al. 2025）——把显式安全请求和智能体规格译成可执行策略代码，并在运行时执行前形式化验证实现满足对应前后条件。实验中因其源代码当时未公开而未纳入评测。
• Progent（Shi et al. 2025a）——面向最小权限，用工具名与参数上的符号规则表示当前允许的工具调用空间，并用 SMT 判断每次策略更新是收窄还是扩大该空间。
• 作者称二者已发表描述未给出证据表明采用了共享的、带类型的运行时上下文抽象，把任务权限、参数来源、目标绑定和执行历史同时作为验证与执行的一等因素。

结构防御与执行层分析

• CaMeL（Debenedetti et al. 2025）与 ACE（Li et al. 2026a）——建立可信控制流或抽象计划边界，并执行信息流与能力约束。
• 轨迹类方法（Li et al. 2026b; Wang et al. 2025; Weng et al. 2026）——用偏离预定轨迹的校验，或把执行轨迹重建为依赖与影响图，分析运行时行为。作者称这类结构防御隔离较强，但预承诺计划和控制流边界在合法目标须由运行时观测决定时可能偏保守；轨迹分析可能需要对演化中的执行状态持续在线推理。

提示级与其他防御（引言）

• 提示级来源标记与注入过滤（Hines et al. 2024; Meta 2025; Shi et al. 2025b），以及信息流与能力分离（Wu, Cecchetti, and Xiao 2024; Debenedetti et al. 2025）、执行隔离或结构化计划（Wu et al. 2024; Li et al. 2026a）。作者称这些方法提升了智能体安全，但在动态、开放工具生态中仍脆、难扩展。

基线方法与基准

• 基线：无防御，以及系统级防御 CaMeL、Progent、DRIFT（Li et al. 2026b，动态校验与轨迹隔离）、ACE。
• 基准：AgentDojo（Debenedetti et al. 2024）与 AgentDyn（Li et al. 2026c）。

作者把 ActGov 定位为：智能体仍可根据运行时观测改编计划，但每个候选工具调用都在有限语义记录空间上对已验证策略做确定性授权，从而避免在线 SMT，并减少把最终安全决定交给智能体 LLM。

ActGov 把动作意图与执行权限分开：智能体可自由提出候选工具调用，但在通过校验前不转发到外部工具。Figure 1 分为 ActGov-Policy（策略生成与迭代）和 ActGov-Runtime（上下文抽象与策略检查）。二者共用同一形式语义；LLM 只把自然语言变成有界记录或提议策略，授权由确定性解释器完成。

问题设定与形式化

• 在步骤 si，LLM 观察执行历史 Hi 并提出候选工具调用 ci。ci 可能受不可信外部内容或模型幻觉影响。ActGov 不直接评估整段非结构化历史，而把 Hi 与 ci 中相关状态抽象为有限运行时记录 ri ∈ R。
• 评估函数 V: R × P → {allow, deny} 给出判决 vi；状态转移 T 用 ci 与 vi 更新历史。外部工具当且仅当 vi = allowed 时执行。受保护智能体被写成有限状态机 M = (H, C, R, P, V, T)。
• 治理目标：降低把安全决定交给 LLM 的不可预测性。LLM 只抽取预定义的布尔或类别值（例如参数是否来自不可信来源），授权逻辑交给确定性解释器。

正交二维记录空间

• R 沿形成层级与语义范围组织。形成轴分三级：L1 Deterministic（由显式结构化系统状态直接计算）、L2 Bounded Semantic（LLM 只作为语义解析器，把非结构化文本映到有限值域）、L3 Composed（由 L1/L2 经布尔逻辑组合，捕捉组合或时序依赖）。
• 语义轴有七个范围：action、permission、parameter、history、binding、external、domain，分别描述候选动作、任务基线权限、参数来源与角色、执行历史、意图与实际目标是否一致、外部目的地的安全属性、任务所处操作阶段。Table 1 举例：pending_obligation 属于 L1 与 History，表示轨迹中是否仍有未解决的用户批准要求。
• 记录把具体资源及其来源抽象为预定义有限值，使策略可跨不同资源标识泛化。作者称固定模式与有限值域可避免对抗指令直接影响最终策略评估。

三层策略与校验门控演化

• 部署策略 P = PTP ∪ PHI ∪ PPO。Task-Permission（PTP）把可信用户任务绑定到完成该任务所需的最少工具与资源，形成基线边界 perm，界外动作被阻断。Hard-Invariant（PHI）编码全局安全性质，例如阻止由不可信注入内容导出的出站网络动作，与当前任务范围无关。Procedural-Obligation（PPO）处理超出智能体自主处理权限的条件，如弱目标绑定或不确定的参数来源；它们是条件规则，要求满足特定前提后才允许执行。
• ActGov-Policy 用三类输入迭代起草规则：工具规格（能力与风险约束）、良性任务轨迹（发现过严规则）、已观察到的攻击失败（发现缺失的安全条件）。LLM 只作提议者；候选规则经形式化检查和管理员确认后才部署，收敛后规则交给管理员确认。
• Z3 对预定义安全断言 Asec 在有限记录域中搜索满足策略语义 Psem 但违反断言的赋值。论文给出存在性查询：存在 r、v 使 DomainR(r) ∧ Psem(r, v) ∧ ¬Asec(r, v)。SAT 暴露策略缺口或冲突并触发精炼；全部查询 UNSAT 才部署。作者称这在数学上保证更新后的策略保持预定义安全不变量，且求解只发生在准备阶段。主实验用 GPT-5.5 作为策略提议者，做 10 轮精炼并配合 human-in-the-loop（HITL）复核，随后冻结策略。附录给出策略生成与迭代的完整提示词；受控消融使用固定模板，主实验中作者会按开发划分反馈调整精炼提示词。

运行时执行

• ActGov-Runtime 位于智能体 LLM 与外部工具之间。它拦截 ci，按模式实例化记录 ri = αR(τ, perm, Hi, ci)，再对 PHI 与 PPO 求值。动作被放行当且仅当它位于 perm 之内且不违反安全策略。
• LLM 不被用于端到端安全判断，只作为隔离的特征抽取器（例如参数来源分类）。昂贵的 Z3 留在离线阶段，运行时只对已冻结策略做确定性匹配。附录 Table 9 列出可执行规则目录，按层标注 deny、approval 或 escalate，并标明在 AgentDyn 或 AgentDojo 的策略包中是否启用。

成功判定

• 沿用 AgentDojo 与 AgentDyn 的原生用户目标与攻击者目标评分器。Clean Utility 为未受攻击用户任务成功完成的比例；Attacked Utility 为受攻击执行中仍完成原用户任务的比例；ASR 为受攻击执行中攻击者特定目标达成的比例。作者称只压 ASR、把所有执行都阻断的做法效用为零，因此 ASR 下降须与效用一起看。

实验设置

• 研究问题：RQ1 能否在不依赖底层 LLM 识别恶意指令的情况下降低 ASR 并优于系统级防御；RQ2 在良性与受攻击执行中是否保住任务完成率；RQ3 策略生成 LLM 与训练数据规模如何影响效果与效用。
• 被测智能体后端：Qwen3.6-flash、MiniMax-M2.5、DeepSeek-v4-pro、GPT-4o mini。主实验的策略提议者为 GPT-5.5。
• 基准：AgentDojo 含工作区、银行、旅行、Slack 等多步任务，攻击注入到邮件、网页等工具观测，共 629 个安全测试用例（用户任务与兼容注入任务配对）。AgentDyn 含动态开放任务与第三方指令，60 个用户任务、28 个注入任务，组成 560 个安全测试用例。
• 划分：两基准的攻击配对被等分为训练与测试。主评测中训练集只给 ActGov-Policy；策略冻结后，ActGov 与基线都在未见测试划分上比较。论文按策略来源分开报告：AgentDyn 训练的策略只在 AgentDyn 测试划分上评，AgentDojo 同理。
• 基线：无防御、CaMeL、Progent、DRIFT、ACE。CaMeL 被改写成带防护的流水线并保留原生评分器；DRIFT 用官方评测流程并报告所有完成的防护运行；ACE 用原生评分器。VeriGuard 因源码当时未公开而省略。
• 指标：Clean Utility、Attacked Utility、ASR，定义见第 3 问。论文未报告重复次数、统计显著性检验，也未报告各测试划分的具体条数。

主结果

主结果来自 Table 2（AgentDyn 测试划分）和 Table 3（AgentDojo 测试划分）。表中 Clean、Attacked 为效用，越高越好；ASR 越低越好。

Swipe horizontally to read the table

模型	基准	方法	Clean	Attacked	ASR
Qwen3.6-flash	AgentDyn	无防御 / ActGov	0.667 / 0.667	0.650 / 0.586	0.046 / 0.004
MiniMax-M2.5	AgentDyn	无防御 / ActGov	0.650 / 0.617	0.625 / 0.546	0.036 / 0.004
DeepSeek-v4-pro	AgentDyn	无防御 / ActGov	0.767 / 0.600	0.729 / 0.511	0.086 / 0.007
GPT-4o mini	AgentDyn	无防御 / ActGov	0.467 / 0.433	0.414 / 0.343	0.111 / 0.007
Qwen3.6-flash	AgentDojo	无防御 / ActGov	0.857 / 0.714	0.857 / 0.673	0.069 / 0.000
MiniMax-M2.5	AgentDojo	无防御 / ActGov	0.857 / 0.735	0.857 / 0.700	0.031 / 0.000
DeepSeek-v4-pro	AgentDojo	无防御 / ActGov	0.878 / 0.755	0.839 / 0.713	0.061 / 0.000
GPT-4o mini	AgentDojo	无防御 / ActGov	0.653 / 0.612	0.690 / 0.606	0.036 / 0.000

• 作者称在 AgentDyn 上 ActGov 把四模型 ASR 限制在至多 0.007，并保留有竞争力的效用。例如 Qwen3.6-flash 的 Clean / Attacked 为 0.667 / 0.586，无防御为 0.667 / 0.650。
• 作者称在 AgentDojo 上 ActGov 四后端 ASR 均为 0.000；Qwen3.6-flash 与 MiniMax-M2.5 的效用处于较高一档，DeepSeek-v4-pro 与 GPT-4o mini 为有竞争力的表现。Table 3 中 ActGov 的 Clean 均低于同模型无防御。
• 作者称 CaMeL 与 ACE 以结构限制换低 ASR，但效用损失大，尤其在 AgentDyn：Table 2 中二者在四模型上 Clean、Attacked、ASR 均为 0.000。Progent 与 DRIFT 在更结构化的 AgentDojo 上更好，在轨迹更长、工具集更大的 AgentDyn 上变差，且随后端变化。作者把 ActGov 的稳定性归于 LLM 只做有界记录抽取、授权由已部署策略确定性计算。

同表中的其他基线（AgentDyn / AgentDojo，ASR）：Qwen3.6-flash 上 Progent 为 0.011 / 0.004，DRIFT 为 0.000 / 0.004，CaMeL 为 0.000 / 0.002，ACE 为 0.000 / 0.000。DeepSeek-v4-pro 上 Progent 为 0.014 / 0.008，DRIFT 为 0.039 / 0.063。AgentDojo 上 DeepSeek-v4-pro 的 DRIFT，ASR 0.063 高于无防御的 0.061，Attacked Utility 为 0.753，低于无防御的 0.839。GPT-4o mini 在 AgentDojo 上，DRIFT 的 Clean 0.674 高于无防御的 0.653，ASR 为 0.015，ActGov 的 ASR 为 0.000、Clean 为 0.612。

策略生成器与数据规模（RQ3）

• 测了什么：去掉 HITL，在 AgentDyn 上把策略生成限制为全自动 5 轮。一组用相同提示词、在训练集的同一固定 50% 子集上让不同 LLM 生成策略，评测后端固定为 DeepSeek-v4-pro，评测用完整测试划分。另一组用 DeepSeek-v4-pro 同时作生成器与智能体后端，训练数据取训练划分的 25% 或 50%。
• 结果（Table 4）：50% 子集上，Qwen3.6-flash、MiniMax-M2.5、DeepSeek-v4-pro 作为生成器时 ASR 分别为 0.007、0.004、0.007；Clean / Attacked 分别为 0.317 / 0.271、0.283 / 0.232、0.533 / 0.429。训练比例从 50% 降到 25% 时，Clean 从 0.533 到 0.500，Attacked 从 0.429 到 0.432，ASR 均为 0.007。
• 作者解读：各生成器都能得到接近零的 ASR（≤ 0.007），但效用差别大；DeepSeek-v4-pro 的 Clean 与 Attacked 最高，Qwen3.6-flash 与 MiniMax-M2.5 的策略更严。作者认为生成 LLM 的能力与训练划分的覆盖程度都会影响策略生成与迭代。这些自动设置下的 Clean 低于 Table 2 中同一评测后端、带 GPT-5.5 与 HITL 的 ActGov（0.600）。

跨域迁移

• 测了什么：Table 5 在 DeepSeek-v4-pro 上交换策略来源。AgentDyn 测试：无防御、本域 AgentDyn 策略、AgentDojo 策略。AgentDojo 测试对称。
• 结果：迁到 AgentDyn 时，AgentDojo 策略的 Clean / Attacked / ASR 为 0.100 / 0.075 / 0.000，本域为 0.600 / 0.511 / 0.007，无防御为 0.767 / 0.729 / 0.086。迁到 AgentDojo 时，AgentDyn 策略为 0.224 / 0.302 / 0.000，本域为 0.755 / 0.713 / 0.000，无防御为 0.878 / 0.839 / 0.061。
• 作者解读：作者称域外任务上策略保持 ASR 为 0.000，方式是默认采取更保守的限制；不熟悉任务上的安全边界会带来效用下降。作者把无防御写成效用的理论上界，并称这与“策略精炼需要足够覆盖的良性任务和攻击场景”这一前提一致。

其他消融与分析

• 论文未报告逐条规则、记录层级或三层策略的单独消融数字；Table 9 只标明规则在 Dyn / Dojo 策略包中是否启用，不给单规则的效用或 ASR。
• RQ3 只比较了三种策略生成 LLM 和 25%、50% 两个训练比例，评测后端固定为 DeepSeek-v4-pro，且只在 AgentDyn 上。
• 主实验为 10 轮精炼加 HITL；RQ3 为 5 轮且无 HITL。论文未报告查询次数、运行时延迟或 Z3 求解耗时。
• AgentDyn 上 ActGov 相对无防御的 Clean 降幅在四模型间不同：Qwen3.6-flash 同为 0.667，DeepSeek-v4-pro 从 0.767 到 0.600。
• Table 2 中 DRIFT 在 Qwen3.6-flash 上 ASR 为 0.000，低于 ActGov 的 0.004，但其 Clean 为 0.033、Attacked 为 0.046。CaMeL 与 ACE 在 AgentDyn 上 ASR 为 0.000，效用亦为 0.000。

作者指出的局限与后续方向

• 跨域泛化（Limitations and Future Work）：域内评测有效且能保留效用，但策略泛化是局限。作者称当前实证验证限于在特定数据集划分上学习与精炼策略。
• 开放世界（同一节）：把 ActGov 扩展到开放世界的策略泛化，并在先前未见的工具与领域上保住效用，仍是未来工作的重要方向。
• 覆盖前提（同一节）：作者称，作为优先严格安全的框架，其基础前提是策略精炼组件需要接触足够全面的良性任务与攻击场景，才能合成相应规则包。Table 5 被用来量化域外效用下降。
• 结论节重述评测结果与框架定位，没有另列独立的局限清单。论文未在 Limitations 之外再列统计检验、人工一致性或运行时开销方面的后续工作。

实验覆盖范围

• 主对比的智能体后端为 Qwen3.6-flash、MiniMax-M2.5、DeepSeek-v4-pro、GPT-4o mini；基准为 AgentDojo（629 个安全测试用例）与 AgentDyn（60 个用户任务、28 个注入任务、560 个安全测试用例），攻击配对等分训练与测试（Experimental Setup）。
• 主结果策略由 GPT-5.5 经 10 轮精炼加 HITL 生成，冻结后只在同基准的未见测试划分上与无防御、CaMeL、Progent、DRIFT、ACE 比较；VeriGuard 因源码当时未公开未评测。
• RQ3 去掉 HITL，使用 5 轮全自动循环，只在 AgentDyn 上比较策略生成 LLM 与 25%、50% 训练划分，评测后端固定为 DeepSeek-v4-pro（Table 4）。
• 跨域只报告 DeepSeek-v4-pro 上 AgentDojo 与 AgentDyn 策略互换（Table 5）。指标为 Clean Utility、Attacked Utility、ASR。
• 论文未报告重复次数、各测试划分条数、运行时延迟、Z3 耗时，以及评审与人工评分的一致性；成功判定使用两基准的原生评分器。

ActGov 是面向工具调用智能体的运行时授权框架，用来拦截间接提示注入驱动的未授权动作，同时尽量保留任务完成。

• 问题：初始用户任务可信，攻击者经下游工具观测注入内容，诱使 LLM 提出越权工具调用。预定义计划、静态策略和把验证与具体运行时状态拆开的方法，在动态分支和可扩展工具集上要么过严，要么难保证部署前没有缺口。
• 方法：执行上下文被映到有限二维记录（形成层级 L1–L3，七个语义范围）。策略分 Task-Permission、Hard-Invariant、Procedural-Obligation。ActGov-Policy 用 LLM 根据工具规格、良性轨迹和攻击失败痕迹提议规则，Z3 搜索违反安全断言的赋值，全部 UNSAT 后冻结；管理员在主实验中做 HITL 确认。ActGov-Runtime 只做确定性匹配，允许的调用才产生外部效果。
• 主结果：AgentDojo 测试划分上，四个智能体后端的 ActGov ASR 均为 0.000（Table 3），Clean 低于同模型无防御，例如 DeepSeek-v4-pro 从 0.878 到 0.755。AgentDyn 上 ASR 为 0.004 至 0.007（Table 2）；Qwen3.6-flash 的 Clean 与无防御同为 0.667，DeepSeek-v4-pro 从 0.767 到 0.600。CaMeL 与 ACE 在 AgentDyn 上 ASR 与效用均为 0.000。
• 策略从哪来：无 HITL 的 5 轮自动生成在 AgentDyn、DeepSeek-v4-pro 后端上 ASR ≤ 0.007，但 Clean 最高为 0.533（Table 4），低于带 GPT-5.5 与 HITL 的 0.600。把 AgentDojo 策略迁到 AgentDyn 时 ASR 为 0.000，Clean 降至 0.100（Table 5）。
• 作者结论：作者认为逐动作、基于记录的确定性检查可以压制注入动作，而不把最终授权交给底层 LLM 的自然语言理解；同时认为当前验证限于特定划分，在未见工具与领域上保住效用仍是后续方向。