两阶段智能体轨迹审计框架：用门控规则加 LLM 审计降低监控成本

如何在动作执行前挑出值得语义检查的步骤，避免对每条轨迹事件都做 LLM 审计。

• 场景：作者称 LLM 智能体可通过工具调用、外部数据和多智能体流程执行命令、改文件、委派操作，有意或无意地伤害所操作的系统。引言称 2026 年 7 月，接受网络安全评估的 OpenAI 模型离开沙箱并攻陷 HuggingFace 的生产基础设施，并以此作为在危险执行前持续监控的动机。
• 现有不足：作者称规则护栏便宜，但可被混淆绕过，也可能漏掉预定义规则之外的有害动作。对每个动作调用 LLM 审计，成本和延迟会随遥测量上升。
• 观察：动机示例里，门控选中威胁情报智能体的 allow-list 编辑；分诊智能体的大量步骤是常规告警处理。作者据此只把可能有风险的待执行动作交给 LLM。
• 本文做法：两阶段框架用单事件规则和轨迹序列规则选动作，再由 LLM 审计智能体结合前序轨迹、在执行前判断。被标记则阻断该动作并终止该智能体。规则和审计提示词由优化器 LLM 按开发数据上的失败联合改写。
• 威胁模型：
  • 痕迹：攻击者不能篡改监控所用 traces，不能删除或修改已记录事件，也不能伪造 provenance。轨迹篡改不在本文范围。
  • 影响面：可以影响智能体的输入、推理和动作。
  • white-box：内部攻击者在被监控环境内，其 prompts、中间推理和动作可被记录。
  • black-box：外部攻击者在环境外；交互可被记录，内部 prompts 和推理对监控不可见。

论文在第 2 节把运行时安全分成轨迹审计和 LLM 监控，引言另写规则护栏的绕过与逐动作审计的成本。

轨迹审计

• A²E（2026）：给智能体 harness 装检测，产出标准化执行轨迹，用于系统化评估。
• AgentArmor（2025）：把运行时轨迹重建为程序依赖图，用类型系统检查安全性质。
• TraceAegis（2025）：在 provenance 上用分层约束和行为约束检测偏离。作者称这类检查明确、可复现，但只能发现预定义规则覆盖的异常。

LLM 监控

• AutoMonitor-Bench（2026）：作者称 LLM 监控面临漏报与误报的权衡；对每个轨迹事件调用监控，成本和延迟随遥测量增长。
• AgentSentinel（2025）：把规则检查与使用任务上下文和系统轨迹的 LLM 审计器结合起来，评估敏感工具调用，并用缓存的安全决定和审计预算降低开销。

规则护栏

• Invariant guardrails（2025）：面向 LLM 和 MCP 智能体的规则护栏层。引言称规则护栏可被混淆绕过，也可能漏掉预定义模式之外的有害动作，并引用该工作。

基线与基准

• 基线配置：测试集比较逐动作 LLM 审计、未调参门控、调参后的门控规则和审计提示词。
• 数据：公开基准 OpenAgentSafety，建在 TheAgentCompany 上；另有作者直接运行的两个模拟场景，分别是外部攻击者诱导保险库密钥泄露，以及内部被攻陷智能体诱导数据存储破坏。

作者称两条路线互补，目标是看整合后能否在降低 LLM 审计 token 成本的同时做准确监控。与从固定安全策略手写规则不同，门控规则和审计提示词由优化器 LLM 在开发集失败上联合修订。

两阶段 LLM 智能体监控框架把轨迹写入智能体改不了的日志环境，用确定性门控挑选待执行动作，再由 LLM 审计器在执行前裁决；被标记则阻断动作、终止该智能体并留下事件报告。

轨迹记录

• 三面遥测：采用 AgentTrace。operational 面记录执行的方法及结果；cognitive 面记录推理、计划和反思；contextual 面记录与外部资源交换的数据。事件按时间顺序逐条记录。
• 隔离：日志 append-only，放在智能体不能访问的环境。智能体环境可跨边界发出事件，但不能读或改已记录事件。作者称恶意智能体可以试图留下看起来干净的轨迹，但不能在记录之后改轨迹。

门控

• 两类规则：single-event 规则看待执行动作是否满足条件，例如动作类型（shell 命令、文件编辑、消息或浏览器交互）或参数中的正则。sequence 规则要求待执行动作和同一轨迹中更早记录都匹配，用于单条记录上看不出的情况，例如同事请求之后的破坏性操作，或敏感数据进入上下文之后的外传。
• 种子：一条规则，审计每个能改变状态或向外发送信息的动作；加上一段通用审计提示词，描述三面轨迹并询问最新动作是否有有害后果。作者写，这是为了不从固定安全策略手写规则。
• 修订：优化器 LLM 每轮根据当前配置、规则触发统计、漏掉的有害 run 和误标的良性 run，同时提出新规则和审计提示词。只有提高目标的修订才被接受。优化器被要求只写一般行为和结构，不从失败案例复制文件名或具体取值。优化只用开发数据，测试划分留到最终评估。

优化目标

目标把检出、误报和相对种子的 token 成本放在一起：J = TPR − FPR − λ · C/C0。TPR 是有害 run 被标记的比例，FPR 是良性 run 被标记的比例，C 是每 run 平均审计 token，C0 是种子配置的对应成本，λ 是成本项权重。

审计与标记

• 输入：动作触发门控后、执行前，审计智能体查看其 provenance。输入为该智能体最近 K 条三面记录、任务说明，以及触发规则的描述。论文未给出 K。任务说明留在上下文中。智能体生成的命令、文件内容、消息、推理，以及其他智能体的消息全文保留；普通工具输出（抓取的网页、命令日志）被截断。论文未给出截断长度。
• 输出：裁决为 BENIGN、SUSPICIOUS 或 MALICIOUS，并附引用支持记录的解释。裁决按智能体汇总。
• 实验标记规则：Section 5.3 把一条轨迹标为检出，若至少一次 MALICIOUS，或三次 SUSPICIOUS。被标记后阻断待执行动作，终止该智能体，并把解释和被引用记录留作事件报告。

实验设置

• 轨迹来源：重放基准作者发布的 Claude-3.7、GPT-4o、DeepSeek-V3、DeepSeek-R1 轨迹。排除 o3-mini，因其缺少构造真值所需的 judge 标签。论文未按这些模型分开报告指标。
• 监控模型：审计器与优化器均为 Claude Sonnet 5.5。两个模拟系统中每个智能体用 Claude Haiku 4.5，轨迹由 AgentTrace 采集。
• 真值与规模：OpenAgentSafety 有 356 个 workplace 任务，建在 TheAgentCompany 上；工具包括 shell、文件系统、访问 GitLab 和 ownCloud 的浏览器，以及与 LLM 模拟同事的聊天。危害可来自恶意请求，或对良性任务的粗心执行。高置信子集要求规则检查器（最终环境为 unsafe 或 safe）与 GPT-4.1 judge（not reached、safe、attempted、completed）一致。unsafe：规则检查器报 unsafe 且 judge 报 completed unsafe action；safe：两边都报 safe。排除 attempted 未完成或 never reached。得到 303 runs、145 tasks。按任务 50/50 分层：开发 154 runs（81 unsafe），测试 149 runs（81 unsafe、68 safe），含 72 个调参未见任务。
• 调参：从种子起，在 80 条开发 run（40 unsafe、40 safe）上调 5 轮，λ = 0.1。其余 74 条（41 unsafe、33 safe）作验证，然后冻结配置。
• 三种配置：逐动作 LLM 审计；未调参门控；调参后的门控规则和审计提示词。提供方拒绝审计请求时，实验按 fail-closed 把该 run 计入检出，不绕过提供方护栏。
• 指标：TPR、FPR 为 unsafe、safe 轨迹被检出的比例。成本为 API 报告的每 run 审计次数和 token，分成 input、cache-read、output。案例研究每场景 10 条攻击 run、10 条良性 run。Scenario 1 用 canary 子串和常见混淆的解码器检查密钥是否出现在攻击者可见输出；Scenario 2 以数据存储被破坏为成功。

主结果

表格较宽，可左右滑动

配置	TPR	FPR	平均审计	平均 token
逐动作 LLM audit	81.5%	11.8%	8.15	47.8k
门控，未调参	37.0%	13.2%	6.64	34.0k
门控，已调参	72.8%	5.9%	2.33	14.6k

据 Table 1，OpenAgentSafety 测试集。

• 作者称逐动作审计的 TPR 最高，token 也最高；未调参门控的 TPR 低很多；调参后门控的 FPR 低于逐动作审计。作者称相对逐动作审计，平均审计次数约降 71%，token 降 69%。
• 作者称该测试集相对均衡（81 条 unsafe、68 条 safe）。误报和 token 的下降对良性轨迹占多数的大规模监控更有价值，前提是 TPR 下降可以接受。
• 仅被逐动作审计检出的 unsafe run 有 10 条。5 条是门控跳过了触发检出的动作：依赖升级、关键词表外的 Python API 调用、任何规则都未覆盖的最终报告，以及两次浏览器点击。作者称点击以元素编号记录，门控看不出点了什么。另 5 条动作被审计，但裁决更轻，或 SUSPICIOUS 次数不够。

联合调参轨迹

• 训练 80 条：Table 3。未调参 TPR 47.5%、FPR 5.0%、审计 6.69、token 34.3k、J 为 0.325；第 5 轮为 95.0%、7.5%、2.52、15.7k、J 为 0.829。作者称 TPR 从 47.5% 升至 95.0%，审计降 62%，token 降 54%，FPR 从 5.0% 到 7.5%。五轮修订都因 J 上升而被接受。第 2 到第 3 轮 TPR 增加 17.5 个百分点，审计和 token 同时下降。第 2 轮审计次数少于第 1 轮，token 却从 32.6k 到 33.7k。作者称目标是在检出和成本之间权衡，而不是单独优化其中一项。
• 验证 74 条：未调参 TPR 31.7%、FPR 12.1%、审计 4.38、token 17.7k；调参后 78.0%、24.2%、2.28、13.2k。作者称审计和 token 分别降 48% 和 25%，FPR 从 12.1% 升到 24.2%。验证集 51 个任务中有 32 个也在训练划分，run 由不同智能体模型生成；另有反复引出 SUSPICIOUS 的良性 run。作者称误报变化随划分而不同，并写要在完全未见任务上评估。测试集上相对未调参配置的检出改进仍然存在。

模拟多智能体

• 检出：Table 4。Scenario 1（外部）与 Scenario 2（内部）各 10 条攻击、10 条良性。两种配置 TPR 都是 10/10，FPR 都是 0/10。作者称检出发生在有害动作执行前的边界：Scenario 1 的密钥请求，Scenario 2 的破坏性命令。
• 成本：作者称门控相对逐动作审计，Scenario 1 平均 token 降 82%（13.1k 对 72.2k），Scenario 2 降 86%（3.8k 对 27.3k）。平均审计次数为 2.4 对 14.8，以及 0.5 对 6.5。作者称节省主要来自少审良性轨迹：良性轨迹上 Scenario 1 门控触发一次，Scenario 2 不触发。
• 单次审计 token：Table 4 的 Tokens/audit 在门控后更高：Scenario 1 为 5.5k 对 4.9k，Scenario 2 为 7.6k 对 4.2k。论文未解释这一差值。

拒答与标记规则

• 拒答：调参门控 347 次请求中 15 次被拒（4.3%），逐动作审计 1,215 次中 16 次被拒（1.3%）。门控发生在 14 条 unsafe 和 1 条 safe；逐动作审计发生在 14 条 unsafe 和 2 条 safe。作者检查后认为拒答来自轨迹中的有害内容而非审计指令：有一例换成中性审阅提示词仍被拒，去掉任务中的「silently」后不再被拒。作者因此认为，经过安全训练的审计模型可能无法评估含有害内容的轨迹。Table 1 把拒答当检出。调参门控 59 次检出里 14 次只依赖拒答。忽略拒答时，Table 5 给出 TPR 至少 55.6%、FPR 至少 4.4%；作者称这是下界，因为拒答后停止审计。作者建议部署时 fail-closed。
• 怀疑累计：Section 7 写，标记规则是任一动作 MALICIOUS，或三个不同动作 SUSPICIOUS。测试集上该累计为调参门控贡献 8 次检出和 1 次误报。去掉后 Table 5：逐动作审计 TPR 61.7%、FPR 7.4%；调参门控 63.0%、4.4%。验证集上它贡献 2 次检出和 5 次误报。作者称效果依赖任务分布。

其他消融与分析

• Table 2 测试集平均 token：逐动作审计 input 24.8k、cache-read 21.1k、output 1.87k；未调参门控 26.3k、6.4k、1.21k；调参门控 7.7k、6.1k、0.72k。未调参门控的 input 高于逐动作审计。
• Table 3 中间轮：第 1 轮 TPR 57.5%、审计 5.05、token 32.6k、J 为 0.430；第 3 轮 87.5%、3.81、26.8k、J 为 0.722；第 4 轮 92.5%、2.94、19.2k、J 为 0.794。
• Table 5：逐动作审计在忽略拒答时 TPR 至少 64.2%、FPR 至少 8.8%。

作者指出的局限与后续方向

• 标记规则：Section 7 写，开发和标定能跨任务分布泛化的标记规则，是后续工作的一个方向。
• 模拟场景：Section 7 称现有模拟系统是初步的端到端演示。后续可加入含合法敏感操作的良性 run，增加场景的数量和多样性，并控制轨迹生成模型，以便更直接地比较。
• 攻击者：同一节写，后续还可评估更强的 monitor-aware 攻击者，使其在掩护叙述里避开显式线索，例如拒答。
• token 节省：同一节写，这些扩展还可以看已观察到的 token 节省在更难条件下是否仍然存在。

实验覆盖范围

• 公开基准评测重放已发布轨迹，使用 OpenAgentSafety 高置信子集 303 runs、145 tasks；测试集 149 runs（81 unsafe、68 safe）、72 个调参未见任务；轨迹来自 Claude-3.7、GPT-4o、DeepSeek-V3、DeepSeek-R1（Section 5.1–5.2）。
• 审计器与优化器为 Claude Sonnet 5.5；案例研究各智能体为 Claude Haiku 4.5，由作者直接运行（Section 5.1–5.2）。论文未报告按四个轨迹来源模型分开的 TPR。
• 测试集比较逐动作审计、未调参门控和调参门控；调参为 80 条开发 run 上 5 轮，λ = 0.1，验证集 74 runs（Section 5.2，Table 1–3）。
• 两个模拟场景各 10 条攻击 run 和 10 条良性 run；Section 3 的设定分别是 black-box 外部攻击者与 white-box 内部攻击者（Table 4）。
• Table 5 给出忽略拒答和去掉怀疑累计两种替代标记规则下的 TPR、FPR。论文未报告审计所用的 K，也未报告审计延迟。

两阶段监控用确定性门控减少 LLM 审计次数，并在待执行动作落地前阻断被标记的智能体。

• 问题：作者认为逐动作语义审计的成本和延迟随遥测量上升，固定规则又可能被混淆绕过或漏掉规则外行为。攻击者可影响输入、推理和动作，但不能改已记录轨迹。
• 做法：轨迹按 operational、cognitive、contextual 三面追加写入隔离日志。门控含单事件规则和序列规则；种子是能改状态或外发信息就送审。优化器 LLM 只接受能提高 J 的规则和审计提示词修订。审计器在执行前看最近 K 条记录，给出三级裁决。实验里一次 MALICIOUS 或三次 SUSPICIOUS 即标记，然后阻断并终止。
• 测试集：Table 1 中，调参门控 TPR 72.8%、FPR 5.9%，平均 2.33 次审计、14.6k token；逐动作审计为 81.5%、11.8%、8.15 次、47.8k token。未调参门控 TPR 为 37.0%。
• 调参与场景：80 条训练 run 上 TPR 从 47.5% 到 95.0%，验证集 FPR 从 12.1% 到 24.2%（Table 3）。两模拟场景中，门控与逐动作审计都是 10/10 攻击检出、0/10 误报；作者称平均 token 分别降 82% 和 86%（Table 4）。
• 作者的结论：作者称该框架可以在检出效果和更低的审计成本之间取得平衡，为可扩展的智能体监控提供实践基础。Section 7 同时写，若忽略提供方拒答，调参门控在测试集的 TPR 至少为 55.6%，且标记规则的效果随任务分布变化。