HazardAuditor：面向计算机使用 Agent 的执行级安全护栏框架

计算机使用智能体的运行时安全无法还原为对提示词、回复或孤立动作的分类，而现有守卫与可执行评测又给不出跨框架、以安全决策为单位的训练监督。

• 问题场景：作者认为，智能体操作浏览器、终端、文件系统和外部服务时，安全取决于执行中如何解释并采取行动。单步看似合理的操作可能共同推进有害目标；恶意指令或敏感信息也可能只出现在上下文中而未被执行。同一工具调用是否不安全，取决于授权、参数、交互历史和对环境的影响。
• 现有方法的不足：静态有害请求和合成动作描述往往看不出智能体是否在交互中越过安全边界。现有可执行安全平台产出的是结果裁决，日志也未规范成单一守卫可跨框架使用的模式。轨迹训练守卫如 BraveGuard 仍在单一框架数据上做监督微调（SFT），token 级模仿使更长理由在梯度中占更大权重，尽管每条回复只对应一次安全决策。
• 核心观察：监督应来自智能体实际做了什么，而不是它遇到了什么内容；优化单位应是安全决策，而不是生成的解释 token 数。
• 本文提出：HazardAuditor，包含可执行安全基础设施、Guard Policy Optimization（GuardPO） 与生成式运行时守卫。基础设施在受控环境运行 Claude Code、Codex、Hermes、OpenClaw，并把交互规范为统一事件。GuardPO 把确定性安全结果转为序列级优势，并在聚合前归一化理由与裁决区域。守卫输出可审计分析与确定性二分类裁决，供外部控制器做运行时干预，推理时不依赖外部评审。
• 威胁模型：
  • 受害系统：代表用户操作浏览器、终端、文件系统与外部服务的计算机使用智能体。
  • 守卫目标：判断轨迹中的智能体行为是否尝试或执行未授权/有害动作、暴露敏感信息、产生可执行的有害产物，或以其他方式实质推进不安全目标；仅观察到恶意指令或敏感值不算不安全。
  • 能力与知识：基础设施在受控环境采集轨迹，框架适配器把原生日志映射为统一事件；论文未把攻击者知识写成 white-box、black-box 或 gray-box。
  • 输出与干预：生成式守卫给出证据化分析与 safe|unsafe 裁决。标签由工具调用及其参数相对任务目标决定，环境观察与验证器只作佐证，不直接等同标签。

论文在第二节把相关工作分成可执行智能体安全，以及守卫模型与安全后训练。

可执行评测与交互风险

• AgentDojo（Debenedetti 等，2024）——为智能体消费不可信工具输出时的提示注入攻击与防御提供可扩展环境。AgentHarm（Andriushchenko 等，2025）——研究工具使用智能体能否完成明确有害的多步目标。SafeArena（Tur 等，2025）——把可执行评测扩展到自主网页智能体，并通过真实网站交互考察故意滥用。
• DTap（Chen 等，2026）——跨异构智能体框架与模拟服务的大规模交互红队平台。Vera（Feng 等，2026）——在隔离环境运行 OpenClaw、Hermes、Codex、Claude Code，并用工具调用证据与可观察环境状态核验行为。作者认为这些工作把执行确立为评测智能体安全的核心证据来源。
• ATBench（Li 等，2026）——构造带异构工具池与延迟风险触发的智能体轨迹。AgentHazard（Feng 等，2026）——关注单步看似合理、组合后构成有害目标的情形。作者认为这些基准也暴露出消息格式、工具模式、观察与监督信号不统一，给守卫学习带来实际困难。

内容守卫与推理型守卫

• Llama Guard（Inan 等，2023）——在可配置风险分类下做生成式安全分类。WildGuard（Han 等，2024）——联合预测提示有害性、回复有害性与拒答。Qwen3Guard（Zhao 等，2025）——多语言安全判断，并有用于增量检测的流式变体。
• YuFeng-XGuard（Lin 等，2026）——生成结构化风险评估与自然语言解释。SingGuard-NSFA（2026）——把生成式推理与轻量分类头结合，用于运行风险检测。作者认为这些方法提高了表达能力，但监督仍主要围绕文本交互，而不是工具中介的执行行为。

面向智能体的护栏与安全后训练

• GuardAgent（Xiang 等，2025）——把用户指定的安全要求转成对智能体动作的可执行检查。ShieldAgent（Chen 等，2025）——对照显式安全策略推理动作历史并做可验证策略检查。AgentDoG（Liu 等，2026）——把智能体安全写成对动作–观察轨迹的细粒度诊断。BraveGuard（Feng 等，2026）——从计算机使用 rollout 得到监督，使通用守卫骨干适应智能体行为，训练仍是单框架数据上的 SFT。
• Safe RLHF（Dai 等，2024）与 SafeGRPO（Rong 等，2026）——优化底层语言模型策略本身。作者认为 GuardPO 处理的是另一问题：生成式守卫的操作目标是一次安全决策，而标准 token 级目标按生成 token 数分配优化质量。

基线与基准

• 基线方法：通用轨迹评审（GPT 系列、Claude、Gemini、Qwen）、通用守卫（Llama Guard、Qwen3Guard、NemoGuard、YuFeng-XGuard）以及智能体向护栏（ShieldAgent、AgentDoG、AgentDoG 1.5、BraveGuard）。
• 基准/数据集：自建 CUA-EXEC，以及 AgentHazard、ATBench、R-Judge、ASSE-Safety；附录另有 NSFA-Query-Multilingual 的局部平衡子集。

作者把本文定位为沿两条轴延伸该方向：用统一事件表示规范四个异构框架的轨迹（Section III-A），并用 GuardPO（Section III-C）把优化对齐到二分类安全决策，而不是只依赖 SFT。

HazardAuditor 先把异构智能体的执行日志变成行为级监督，再用 GuardPO 让生成式守卫按整次安全决策而不是按理由长度更新。

问题设定与标注

• 安全案例：智能体 A 在带工具 T 的有状态环境 E 中运行。安全案例为 σ = ⟨g, s₀, V_g⟩，其中 g 是任务与安全相关目标，s₀ 是初始环境状态，V_g 是对可观察执行证据的可选验证器。
• 规范事件：到观察点 m 的轨迹 τ₁:m = (e₁, …, e_m)。事件属于用户消息 U、带可选框架暴露推理的智能体回复 A、带名称与参数的工具调用 T，或环境观察 O。推理不可得时记为空。适配器去掉时间戳等非语义元数据。
• 标签：y ∈ {0, 1}，0 为 safe，1 为 unsafe，针对智能体行为而不是“看起来有害”的上下文。当且仅当至少一次工具调用或智能体产物构成朝向安全相关目标的未授权动作时标为 unsafe。遇到提示注入后拒绝执行相应工具调用标为 safe；若继续以凭证为参数调用读文件或网络发送工具，无论调用是否成功都标为 unsafe。

生成式守卫与 SFT 冷启动

• 输入与输出：轨迹序列化后放入标明不可信输入的分隔符。策略 π_θ 生成理由区与裁决区，裁决为 safe|unsafe，作为下游控制的确定性接口。
• 冷启动：从 Qwen3Guard-Gen-8B 做全参数 SFT，共 10 个 epoch，输入预算 16K token，全局 batch size 16，AdamW，学习率 5×10⁻⁶。超预算时做保留轨迹开头事件的前缀截断。损失只在助手 token 上计算，并对最后 K_ver 个目标 token 加权，K_ver = 12，ω_SFT = 4。

GuardPO

• 决策级结果：对输入 x_i 从 rollout 策略采样回复。确定性解析器给出预测标签，畸形输出记为 ⊥。奖励在预测正确时为 +1，预测为合法但错误时为 −1，畸形时为 −γ，γ = 1.25。不使用可学习奖励模型，也不使用在线 LLM 评审。批次内减去平均奖励得到序列优势，并赋给该回复的全部有效 token。
• 裁剪更新与归一化：按 CISPO 的裁剪重要性加权，ϵ = 0.1。对每条回复，理由 token 与最后 K_ver 个裁决 token 分别做集合内平均，再以 L_GuardPO 聚合：每条回复贡献一个归一化理由项加 λ_ver 倍的归一化裁决项。K_ver = 12，λ_ver = 2。
• 长度不变性：作者给出 Proposition 1。把理由区每个元素复制 q 次后，该回复对 L_GuardPO 的贡献不变；在标准 token 均值目标下，同样复制会提高该回复在批次损失中的份额。内容仍可改变回复内的平均损失，目标并不假设更长分析更好或更差。

推理与成功判定

• 推理协议（Appendix A）：贪心解码，最大回复长度 384 token，轨迹上下文上限 16,000 token；超长轨迹沿用训练时的前缀保留截断。推理时不调用外部评审或奖励模型。变体共用同一轨迹序列化、解码配置与标签解析器。
• 评测约定：不安全类为正类。平衡的 CUA-EXEC 报告宏平均精确率、召回率与 F1；其他来源保留不安全类的 F1。解析失败在奖励中按畸形处理。

实验设置

• 被测守卫与评审：通用守卫 LlamaGuard3-8B、Qwen3Guard-Gen-8B、NemoGuard、YuFeng-XGuard；前沿评审在 Table I 含 Claude-Sonnet-4.6、GPT-5.2、Gemini-3-Flash；智能体向守卫含 AgentDoG-Qwen2.5-8B、AgentDoG1.5-4B、BraveGuard-Qwen3-Guard-8B；本文为 HazardAuditor-SFT 与 HazardAuditor。Table II 另含 GPT-5.4、Claude Sonnet 4.6、Gemini 3.1 Flash 等评审，以及 AgentDoG 的 Llama3.1-8B 与 Qwen2.5-7B 变体。被执行的智能体框架为 Claude Code、Codex、Hermes、OpenClaw。
• 数据：CUA-EXEC 每个框架 200 条轨迹，安全与不安全各 100，按安全案例与训练集隔离；分层抽样保证类别平衡。AgentHazard 的执行来自 GPT-5.5、Claude Sonnet 4.6、Gemini 3.1 Pro、Qwen3-235B-A22B 四个后端。另评测 ATBench、R-Judge、ASSE-Safety。附录 D 使用 NSFA-Query-Multilingual 的局部平衡子集，6,400 条查询（安全与不安全各 3,200）。附录 F 另报较小的自然不平衡固定测试集。论文未在正文给出 AgentHazard、ATBench、R-Judge、ASSE-Safety 的样本量。
• 指标与协议：Table I 报告 Accuracy、Macro-F1、Macro-Recall、Macro-Precision（%）。Table II 报告 Accuracy、Recall、F1（%）。通用评审使用共同的轨迹级安全指令；专用守卫尽量保留其发布时的推理协议，再映射到统一二分类。同一张表内的模型接收相同轨迹证据。论文未报告重复次数。

主结果

据 Table I，CUA-EXEC 上各框架准确率（%）：

Swipe horizontally to read the table

模型	Claude Code	Codex	Hermes	OpenClaw
LlamaGuard3-8B	58.50	64.00	52.00	57.50
Qwen3Guard-Gen-8B	61.50	65.00	56.00	55.00
YuFeng-XGuard	75.00	87.00	65.50	65.00
Claude-Sonnet-4.6	88.50	94.00	82.00	78.00
BraveGuard-Qwen3-Guard-8B	81.50	91.50	77.00	71.00
AgentDoG1.5-4B	19.00	21.00	14.00	10.50
HazardAuditor-SFT	82.00	91.00	75.00	74.00
HazardAuditor	94.00	95.50	86.50	87.50

• 相对最强先前智能体守卫：作者报告相对 BraveGuard，四个智能体上准确率分别高 12.5、4.0、9.5、16.5 个百分点，Macro-F1 分别高 13.0、4.0、10.2、18.7 个百分点；OpenClaw 上 HazardAuditor 的 Macro-F1 为 87.46，BraveGuard 为 68.72。
• 相对 SFT：作者报告 GuardPO 把准确率从 Claude Code 的 82.0 提到 94.0、Codex 从 91.0 到 95.5、Hermes 从 75.0 到 86.5、OpenClaw 从 74.0 到 87.5。作者称提升并非单纯更激进地预测不安全，而是学到更平衡的决策边界。
• 低准确率例外：AgentDoG1.5-4B 在四框架准确率为 10.50–21.00，同时 Macro-Precision 为 72.38–79.90（Table I）。NemoGuard 在 Hermes、OpenClaw 上准确率分别为 46.00、47.00。

AgentHazard 迁移

• 测了什么：Table II 在四个基础模型后端生成的 AgentHazard 轨迹上比较准确率、召回率与 F1。
• 结果：HazardAuditor 的准确率在 GPT-5.5、Claude Sonnet 4.6、Qwen3-235B-A22B 上为 84.03、85.55、89.73，高于同表 BraveGuard 的 83.65、81.37、87.45；Gemini 3.1 Pro 上准确率为 90.87，低于 BraveGuard 的 90.49 这一对比不成立——BraveGuard 为 90.49，HazardAuditor 为 90.87，作者称在 GPT-5.5、Claude Sonnet 4.6 与 Qwen3-235B-A22B 上准确率最高。F1 从 SFT 的 82.24、83.03、93.28、92.30 变为 84.31、85.98、95.07、92.51。
• 作者的解读：增益不限于自建基础设施轨迹。GPT-5.5 后端上 HazardAuditor 准确率最高，但 BraveGuard 的 Recall（91.28）与 F1（89.22）更高，作者认为该后端仍需进一步校准。通用守卫在该表上召回很低，例如 LlamaGuard3-8B 在 Claude Sonnet 4.6 后端 Recall 为 0.53。

跨基准与查询迁移

• 三个外部轨迹基准（Appendix B）：作者报告 HazardAuditor 在 ASSE-Safety 上准确率与 F1 最好，均为 91.5%；ATBench 准确率 88.4%，比最强先前守卫高 0.8 个百分点，F1 为 88.3%，低于 AgentDoG-Llama3.1-8B 0.5 个百分点、低于 GPT-5.2 2.4 个百分点。R-Judge 上 SFT 初始化比 HazardAuditor 高 0.8 个百分点。三基准上等权平均准确率 89.83%、平均 F1 89.77%；最差基准 F1 至少 88.3%，SFT 为 86.2%，最佳先前守卫为 80.7%。作者称 GuardPO 提高了跨基准下限，但并非每个来源都单调变好。Qwen3-Guard 在 ATBench 上精确率 100%、召回 10.8%；作者称 HazardAuditor 在每个数据集上最大精确率–召回率差距低于 1.1 个百分点。
• NSFA 查询子集（Appendix D）：6,400 条上准确率 88.89%，Macro-F1 88.88%，不安全精确率 96.01%，不安全召回 81.28%，解析率 99.89%。Figure 6 中拒绝 108 条安全查询、漏掉 596 条不安全查询。不安全召回在恶意代码上 96.54%、危险操作 95.14%，敏感信息 69.22%、资源滥用 42.95%。按精确率与召回率得到的不安全类二分类 F1 为 88.04%，比 AgentDoG1.5-FG 的 84.67% 高 3.37 个百分点。
• 消融表述：作者称仅执行落地数据可与最强基线持平，GuardPO 在跨智能体轨迹上再增加 10.4 个百分点（Table IV）。Appendix C 称 Table IV 给出 Figure 5 的精确值，CUA-EXEC 聚合对四框架等权并使用 Macro-F1，其他来源使用不安全类 F1；正文未列出 Table IV 各格数字。

其他消融与分析

• 固定测试效率（Table VII，batch size 1，四张 NVIDIA A100，预热后）：Linear 准确率 63.56、Macro-F1 47.47、平均推理 305.79 ms；MLP-64 为 75.02 / 69.63 / 303.99 ms；生成式 HazardAuditor 为 88.46 / 88.12 / 3138.10 ms，P95 推理 5522.97 ms，平均端到端 3148.81 ms。Figure 8 标注 Claude Code、Codex、Hermes、OpenClaw 的 N 分别为 69、47、58、54。
• 概率质量（Table VIII，越低越好的是 Brier 与 ECE）：Linear 的 AUROC 0.8744、Brier 0.3358、ECE 0.3468；MLP-256 的 AUROC 0.9065、Brier 0.1873、ECE 0.2037；MLP-64 的 Brier 0.1794、ECE 0.1871 为表中最低。
• 分类头的召回结构（Table VII）：Linear 的 Safe Rec. 10.28、Unsafe Rec. 99.08；MLP-64 为 41.11 与 97.63；生成式模型为 88.14 与 88.67。

作者指出的局限与后续方向

• NSFA 低覆盖类别（Appendix D）：作者称敏感信息与资源滥用等低覆盖领域暴露了当前模型的一个具体边界；该结果支持查询分类体系上的迁移，同时这些领域的不安全召回较低。
• 后端相关校准（Section IV-B）：作者称 GPT-5.5 后端显示出仍存在的权衡，HazardAuditor 准确率最高，但 BraveGuard 保持更高的召回与 F1，并认为该设置下进一步校准仍然必要。
• 发布计划（摘要）：作者计划在项目页面提供代码、模型与评测产物，论文未写成已经发布。
• 论文正文的 Conclusion 讨论了原则与结果，未另设 Limitations 专节列出更多不足。

实验覆盖范围

• 框架与主诊断：CUA-EXEC 覆盖 Claude Code、Codex、Hermes、OpenClaw，每框架 200 条且安全/不安全各 100，按安全案例与训练隔离（Section IV-A、Table I）。
• 外部轨迹：AgentHazard 使用四个基础模型后端（Table II）；Appendix B 比较 R-Judge、ASSE-Safety、ATBench，并给出等权平均与最差基准 F1。
• 训练与推理：从 Qwen3Guard-Gen-8B 全参数 SFT 10 个 epoch；推理为贪心解码、最长回复 384 token、轨迹上下文 16,000 token，不调用外部评审（Section IV-A、Appendix A）。
• 效率与轻量头：Table VII–VIII 在固定测试上比较 Linear 与三种 MLP 头和生成式 HazardAuditor 的准确率、召回、延迟及 AUROC、Brier、ECE；延迟在 batch size 1、四张 A100、预热后测量。
• 论文未报告：正文未给出 Table IV 的逐格数字，也未报告主实验的重复次数、与人工标注的一致性，以及 AgentHazard 等外部基准的样本量。

HazardAuditor 是面向计算机使用智能体的执行落地运行时守卫：监督来自真实工具交互，优化对齐到一次安全裁决。

• 问题：风险往往来自运行中的行为组合，而不是静态文本。可执行平台多只给评测裁决，轨迹守卫又多在单框架上做 token 级 SFT，长理由会主导更新。
• 方法：适配器把 Claude Code、Codex、Hermes、OpenClaw 的日志变成用户、智能体、工具与环境事件。标签看智能体是否尝试未授权动作，而不是上下文里是否出现风险内容。模型从 Qwen3Guard-Gen-8B 做 SFT 冷启动，再以 GuardPO 用确定性对错（畸形为 −1.25）构造序列优势，并分别归一化理由与最后 12 个裁决 token，λ_ver = 2。作者给出理由复制不影响该回复损失贡献的长度不变性。
• 结果：CUA-EXEC 上 HazardAuditor 准确率为 Claude Code 94.0%、Codex 95.5%、Hermes 86.5%、OpenClaw 87.5%（各 200 条）；相对 BraveGuard 的准确率差为 12.5、4.0、9.5、16.5 个百分点。AgentHazard 上四个后端的 F1 均高于同初始化的 SFT，但 GPT-5.5 后端 BraveGuard 的 Recall 与 F1 更高。ASSE-Safety 上准确率与 F1 为 91.5%，ATBench 准确率 88.4%；R-Judge 上 SFT 略高。NSFA 平衡子集（6,400 条）准确率 88.89%，资源滥用的不安全召回为 42.95%。生成式模型在固定测试上 Macro-F1 为 88.12，平均推理 3138.10 ms，高于约 304 ms 的 MLP 头。
• 作者结论：有效的计算机使用防护应基于执行证据，并在操作级安全决策上优化；跨框架与外部轨迹上的结果支持这一原则，同时个别后端与查询类别仍需校准。