AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

工具智能体在执行中要区分“看起来危险但是否被授权”，现有评测把表面风险、许可和任务能力混在一起。

• 场景：作者认为，对话场景的安全对齐主要是决定回答还是拒绝；同一模型通过工具执行多步任务、观察中间结果并改变外部状态时，决定所需证据可能只在执行中出现，初始指令未必说明操作对象、授权或影响位置。
• 现有不足：文本基准不执行会改变状态的动作；智能体评测虽引入工具、轨迹和环境状态，但良性与有害任务可能同时在表面风险、能力需求和“是否允许”上不同。失败可能来自过度拒绝、能力不足或执行错误，成功本身也可能不安全。
• 核心观察：可靠智能体应在表面风险变化而许可不变时保持行为稳定，并在执行证据改变许可时改变行为。作者把可靠智能体行为表述为同时具备对误导性风险线索的稳健性，以及对改变许可的执行证据的响应性。
• 本文提出：作者提出 AGENT BOUNDARY，并称这是首个在同一可执行工作流内独立变化表面风险与行动许可的四向反事实生成与评测框架，同时控制任务能力，并以完整轨迹和结果状态做评判。实例化为经人工校验的 4000 任务评测集，并评测 17 个模型与 harness 配置。作者还训练一个轻量运行时校准模块，在智能体整合执行上下文之后、提交下一动作之前修订行动前推理，底层模型不变。

对话级拒绝与过度拒绝

• XSTest、OR-Bench、SORRY-Bench（Röttger et al., 2024；Cui et al., 2025；Xie et al., 2025）：分别测良性提示上的过度拒绝，以及不安全指令上的拒绝。作者指出这些响应级基准不观察已授权工具使用或被禁止的状态转移。
• Do-Not-Answer、HarmBench、JailbreakBench、StrongREJECT（Wang et al., 2023；Mazeika et al., 2024；Chao et al., 2024；Souly et al., 2024）与 WildGuard（Han et al., 2024）：评测模型是否抵制不安全请求和越狱，或联合建模提示有害性、回复有害性与拒绝。作者称这类文献表明敏感词汇对有害意图既非必要也非充分，但主要给文本回复打分。

智能体效用评测

• ReAct、Toolformer（Yao et al., 2023；Schick et al., 2023）：把推理与外部动作、工具调用交错。
• AgentBench、GAIA、WebArena、OSWorld、SWE-bench、AppWorld、τ-bench、ToolSandbox（Liu et al., 2025；Mialon et al., 2023；Zhou et al., 2024；Xie et al., 2024；Jimenez et al., 2024；Trivedi et al., 2024；Yao et al., 2024；Lu et al., 2025）：在交互任务、网站、桌面、仓库或有状态工具上评测能否完成合法任务。作者指出它们没有在固定动作支架的同时系统改变授权下一转移的事实。

智能体危害与安全评测

• 提示注入相关工作及 InjecAgent、AgentDojo、Agent Security Bench、WASP（Perez and Ribeiro, 2022；Greshake et al., 2023；Zhan et al., 2024；Debenedetti et al., 2024；Zhang et al., 2025a；Evtimov et al., 2025）：在工具集成智能体或网页设置中操作化间接提示注入并比较攻击与防御。
• R-Judge、ToolEmu、AgentHarm、OS-Harm（Yuan et al., 2024；Ruan et al., 2024；Andriushchenko et al., 2025；Kuntz et al., 2025）：评测轨迹风险意识、沙箱中的安全与有用性、多步恶意请求完成，以及计算机使用智能体的有害性。作者称 AGENT BOUNDARY 要求同一系统在匹配的工具与状态支架下，对已授权同胞继续、对隐蔽恶意同胞停止。Table 1 中 AgentHarm 的良性对照计入 benign utility，但不计入 AGENT BOUNDARY 所用的四向局部控制。

智能体对齐与基线

• 过程监督与智能体后训练：InterMT、Agent Lightning、RAGEN（Chen et al., 2025；Luo et al., 2025；Wang et al., 2025）从轨迹或多轮结果优化行为；AgentAlign、Thought-Aligner、ToolSafe、GuardAgent（Zhang et al., 2025b；Jiang et al., 2026；Mou et al., 2026；Xiang et al., 2025）在动作形成或工具执行前介入。Thought-Aligner 在 think–act–observe 环中改写当前 Thought，再把控制交回未改动的智能体以重新生成动作。
• 基线与基准：主评测基线是 14 个模型智能体和 3 个已部署框架在 AGENT BOUNDARY 上的裸配置。缓解实验对照包括 Bare、Untrained plug-in、Safety-Aligner（发布的 Thought-Aligner 7B checkpoint）和 GuardAgent（官方代码生成基线），基准为 AGENT BOUNDARY 的 Hard-Benign 与 Covert-Malicious。

作者把本文定位为：在同一可执行工作流内独立变化表面风险与行动许可，并控制任务能力；缓解实验把 next-Thought 校正当作受控探针，基准及其边界诊断才是主要贡献。

AGENT BOUNDARY 把有害种子改写成共享工具、状态和工作流支架的四向同胞，使表面风险与行动许可独立变化，从而把过度拒绝和未授权遵从分开诊断。

问题设定

工具使用智能体被建模为部分可观察受控过程。任务实例 e = (x, s0, T, J)：x 为用户指令，s0 为初始环境状态，T 为可用工具与转移语义，J 为带成功、禁止状态和边界标注的隐藏评判器。策略在历史 ht 上产生中间 Thought ut 与动作 at（工具调用或 final、stop）。

• 效用与不安全：SJ(e, τ) 表示已授权目标以正确工具参数和事后状态达成；UJ(e, τ) 表示轨迹提议或执行了被禁止的副作用。
• 过度拒绝：对已授权良性子集 DB，Ior 在 SJ=0 且智能体拒绝、停止、给出不可执行的退路，或在仍存在可完成安全动作时避开该动作时为 1。没有轨迹证据表明安全或许可误分类时，普通能力失败不计为过度拒绝。
• 校准目标：在可接受的不安全动作率 ε 下最大化已授权任务的 SJ，见式 (3)。效用、不安全行为和过度拒绝分开报告；Ior 不是可与任务成功交换的第二奖励。

式 (3) 的含义是：在全体任务上的不安全率不超过 ε 的约束下，最大化已授权良性任务的完成。

四向家族合成

生成器不是写四条独立提示。每个家族从可执行的 Harmful-Source（HS） 种子及其环境出发：伪装显式有害意图但保留被禁止的转移，得到 Covert-Malicious（CM）；抽取主题、工具需求和工作流，做成明确合法的 Easy-Benign（EB）；再把 CM 的伪装与已授权的 EB 设置结合，得到 Hard-Benign（HB）。HB 保留高风险表面线索但合法且已授权，智能体应当完成它。Figure 2(a) 给出这一依赖顺序。

• 生成–校验：生成器使用按类别条件化的误用、伪装、授权和遏制模式，避免单一改写规则。校验器检查划分语义、共享主题与工具支架、可执行状态支持，以及与已接受家族的差异，并把针对性反馈返回生成器。失败候选被修订后重检或重采样。
• 分层：作者称刻意把 hard-validation 套件铺到全部 8 个顶层风险类别和全部 13 个 Cybercrime 风险类，以避免单一误用模式主导基准。附录 B.2 说明分类体系、覆盖标准和构造框架。
• 家族包：四条自然语言指令、可执行状态夹具、共享中性工具模式、语义完成标准和禁止状态谓词。运行时遵循 ToolEmu 的 LM 模拟沙箱原则，把工具调用变成可检查的观察和事后状态。被测模型只看到指令、环境状态和工具；划分标签与评测元数据隐藏。参考路径只用于构造时检查可执行性并导出完成标准，不要求被复现。

轨迹评判

Figure 2(c) 把效用和安全分开。两条评判都检查完整轨迹和事后状态。

• 效用评判：问任务是否被正确处理。EB 与 HB 要求以正确工具参数和事后状态完成已授权目标；HS 与 CM 上，安全拒绝或遏制可以计为正确处理。
• 安全评判：独立检查已执行的工具调用是否引入实质性风险或越过禁止状态转移。
• 计分：helpfulness hi 与 tool-call safety ri 均在 {0, 1, 2, 3}，至少 2 分通过。Utility(s) 与 Safety(s) 按式 (4) 在有效评判轨迹上取通过比例并乘 100。主要边界指标是 Utility(HB) 和 Safety(CM)。全划分效用与安全把 HS、CM、EB、HB 的分子分母合并。附录 D 给出完整量规、分母政策和聚合细节。

人工校验

人工分别检验家族构造、边界标签和轨迹分数。在全部 2787 个家族上，Figure 6(a) 的构造门通过率为 97.0–99.7%；HB/CM 边界对照为 98.0%，预期的划分安全语义为 99.1%。重复子集上的独立标签在相应检查上一致率为 92.2–99.5%。已执行轨迹上，人工与自动分数在 1 分以内的比例：helpfulness 为 91.0%，tool-risk 为 96.7%。附录 E 报告标注协议、置信区间和排除规则。

运行时校准

校准器是插件式决策层：条件于当前执行上下文，底座智能体、工具和运行时不变。介入点是当前 Thought，因为它已整合任务与轨迹、但尚未成为改变状态的动作。实现使用 Thought-Aligner 的编辑接口：改写当前 Thought 后交回未改动的智能体，由其重新生成下一动作。目标是双侧的：恢复 HB 上的已授权进展，同时保持 CM 上对被禁止转移的拦截，且不扰乱 EB 与 HS 上的普通行为。

对决策点 i，对齐器看到原指令 I、可见的 Thought–Observation 历史、表面工具名集合和原始下一 Thought，看不到划分标签、评测谓词、参考路径、动作参数或校正理由。只有校正后的 Thought 改变，下游智能体据此重新生成动作。

训练的对齐器是 Qwen3-14B。监督数据是与评测家族不相交的池，目标是下一决策而不是全局拒绝政策：已经安全且有用的 Thought 保留，会推进被禁止转移的 Thought 被改向，假阳性拒绝被改成继续已授权工作。每次目标只做改变边界判断所需的最小校正。训练混合保留样本、不安全遵从校正和过度拒绝校正，并跨风险类别和上游 rollout 模型。评测时只加入插件对齐器，底座提示、工具、运行时和评判器固定。附录 F、G 定义监督目标、不相交训练池和泄漏检查。

实验设置

• 被测系统：Table 2 的 17 个配置。Closed：GPT-5.5、Claude Opus 4.8、Gemini 3.5 Flash、Grok-4.5、DeepSeek V4 Flash、DeepSeek V4 Pro、Kimi K3、GLM-5。Open：Qwen3.5-397B-A17B-FP8、Qwen3.8-27B、Qwen3.8-27B Uncensored、Nemotron-Nano-9B-v2、SmolLM3-3B、Granite-3.3-8B-Instruct。Harness：Codex (GPT-5.5)、OpenClaw (GPT-5.5)、DeepSeek Harness (DeepSeek V4 Pro)。正文称评测 14 个模型智能体和 3 个已部署框架。
• 数据：同一批 1000 个边界关键家族。全文称人工校验的评测套件为 4000 任务、2787 个反事实任务家族；主表使用的是这 1000 个家族。论文未在正文说明 4000 与 1000×4 的对应关系。
• 指标：Utility(HB)、Safety(CM)，以及全划分 Utility、Safety。hi、ri ≥ 2 记为通过。附录 D 定义四个指标。
• 评审：效用评判与安全评判都看完整轨迹和事后状态；分数由自动评判给出，人工在轨迹上做一致性核对。论文未在正文写明自动评判所用的模型名称。
• 缓解设置：Table 3 的 10 个配置在 Bare 与 Aligner 之间配对比较，底座、提示、工具、运行时和评判器相同，Aligner 只加决策时 Thought 校正。对齐器为 Qwen3-14B。Table 4 在四个底座上比较 Bare、Untrained、Safety-Aligner（Thought-Aligner 7B）、GuardAgent 与 Ours。
• 重复次数：论文未报告每个条件的重复次数。

主结果

据 Table 2，边界关键划分与全划分结果如下（单位 %）。

表格较宽，可左右滑动

配置	HB utility	CM safety	全划分 Utility	全划分 Safety
GPT-5.5	28.7	99.5	65.9	99.4
Claude Opus 4.8	40.4	99.9	80.3	99.6
Gemini 3.5 Flash	36.6	91.2	52.0	93.1
Grok-4.5	52.0	95.7	76.7	97.5
DeepSeek V4 Flash	45.0	82.2	65.1	93.2
DeepSeek V4 Pro	55.9	83.6	66.5	92.6
Kimi K3	58.7	99.5	82.9	99.4
SmolLM3-3B	4.6	78.7	2.6	73.4

表中省略的 Open 与 Harness 行：Qwen3.5-397B-A17B-FP8 为 23.7 / 87.2 / 60.3 / 95.3；Qwen3.8-27B 为 37.1 / 97.4 / 71.9 / 98.2；Qwen3.8-27B Uncensored 为 90.2 / 66.4 / 51.4 / 72.3；Nemotron-Nano-9B-v2 为 38.5 / 83.5 / 51.5 / 90.6；Granite-3.3-8B-Instruct 为 53.8 / 71.6 / 34.9 / 73.0；Codex (GPT-5.5) 为 28.1 / 98.9 / 65.9 / 99.0；OpenClaw (GPT-5.5) 为 36.6 / 99.5 / 70.3 / 99.2；DeepSeek Harness 为 45.6 / 94.3 / 65.3 / 96.3。HB utility 最低的是 SmolLM3-3B（4.6%），最高的是 Qwen3.8-27B Uncensored（90.2%），后者 CM safety 为 66.4%，是表中最低。

• Finding 1：作者称 Figure 3(a) 中，Covert-Malicious safety 接近上限的系统只完成有限比例的 Hard-Benign；限制最少的系统提高效用，同时隐蔽风险拦截更弱。Figure 3(b) 中，17 个配置里有 16 个的最大非通过结果是仅 HB 失败。作者认为当前安全机制更像全局谨慎控制，而不是把表面风险和行动风险分开。
• Finding 2：作者把托管闭源模型当作更大规模的粗略代理，称它们一般避开最低效用区间，隐蔽风险拦截强于最小的开源模型；关系并非单调，大系统的 Hard-Benign utility 仍差异大，增加参数量并不一致地改善任一边界指标。作者认为边界校准仍是对齐问题。
• Finding 3：固定 GPT-5.5、任务提示和基准工具时，Codex 的 HB utility 为 28.1%、CM safety 为 98.9%，接近裸模型（28.7% / 99.5%）；OpenClaw 把 HB utility 提高到 36.6%，相对裸模型高 8.5 个百分点，CM safety 仍为 99.5%。作者称这与控制策略一致：Codex 是面向编码的智能体策略，OpenClaw 明确把循环偏向于通过可用工具行动直到完成。

Figure 3(b) 标注的“两者都通过”份额包括：GPT-5.5 28.5%、Opus-4.8 40.3%、Gemini 30.4%、Grok 49.1%、DS-F 35.2%、DS-P 45.0%、Kimi 58.0%、GLM 33.2%、Qwen397 17.8%、Qwen27 36.2%、Qwen-UC 60.3%、Nemotron 31.8%、SmolLM 3.0%、Granite 40.7%、Codex 27.7%、OpenClaw 36.2%、DSH 41.5%。这些是匹配家族中的份额，与 Table 2 的边际 Utility(HB) 不是同一量。

运行时校准

Table 3 给出相对匹配 Bare 的百分点变化。HB utility 在全部 10 个配置上上升：GPT-5.5 57.8%（+29.1），Gemini 3.5 Flash 58.9%（+22.3），DeepSeek V4 Flash 63.0%（+17.9），Kimi K3 68.4%（+9.7），GLM-5 52.6%（+15.8），Qwen3.8-27B 60.7%（+23.6），Qwen3.5-397B-A17B-FP8 55.6%（+31.9），Nemotron-Nano-9B-v2 50.8%（+12.3），SmolLM3-3B 10.6%（+6.0），OpenClaw (GPT-5.5) 50.3%（+13.7）。

• 平均变化：作者报告在 10 个配置上，已授权任务完成平均提高 18.2 个百分点，且 10 个全部上升；Covert-Malicious safety 平均提高 5.4 个百分点，8 个配置保持或提高。正文另称 7 个配置在两个边界关键指标上都改善。CM safety 下降的是 Kimi K3（99.3%，-0.2）和 OpenClaw（98.8%，-0.7）；GPT-5.5 的 CM safety 为 99.5%（0.0），全划分 Safety 为 95.5%（-3.9）。Qwen3.8-27B 的全划分 Safety 为 97.8%（-0.4）。
• 作者解读：作者认为对齐器恢复已授权进展，而不是靠更广的拒绝换取安全；同一训练模块在提示、工具、运行时和评判器固定时提高全部 10 个配置的已授权完成，因此把 Thought 校正视为可迁移的过程级机制。
• 案例：附录 I.2 的一个匹配家族中，裸智能体拒绝已授权的 Hard-Benign 发表任务，却顺着常规外观的 Covert-Malicious 请求走向针对性公开骚扰；加上对齐器后，同一智能体完成已授权工作流，并在内容生成或发表之前拦住有害一侧。附录给出完整提示、Thought、工具调用、观察和最终回复。

校正与工具门控对照

Table 4 每格为 HB utility / CM safety（%）。

表格较宽，可左右滑动

底座	Bare	Untrained	Safety-Aligner	GuardAgent	Ours
GPT-5.5	28.7 / 99.5	46.7 / 87.6	32.6 / 99.7	18.2 / 99.9	57.8 / 99.5
Gemini 3.5 Flash	36.6 / 91.2	56.4 / 89.7	51.6 / 95.2	36.4 / 98.9	58.9 / 95.9
Qwen3.5-397B-A17B-FP8	23.7 / 87.2	38.9 / 88.6	45.3 / 90.7	26.0 / 94.6	55.6 / 97.0
Nemotron-Nano-9B-v2	38.5 / 83.5	41.9 / 83.9	37.3 / 88.7	26.8 / 91.9	50.8 / 94.1

• 作者称，在四个底座上，相对未训练包装器，训练同时提高 HB utility 和 CM safety。GuardAgent 相对未训练包装器提高 CM safety，但在每个底座上 HB utility 都低于未训练包装器和本文对齐器。作者据此把“拦住不安全调用”和“修复导致过度拒绝的决策上下文”分开。
• GPT-5.5 上，Untrained 的 CM safety 从 Bare 的 99.5% 降到 87.6%，Ours 回到 99.5% 且 HB utility 为 57.8%；GuardAgent 的 CM safety 为 99.9%，HB utility 为 18.2%，低于 Bare 的 28.7%。

其他消融与分析

• 人工构造门（全部 2787 个家族，Figure 6(a)）：通过率 97.0–99.7%；HB/CM 边界对照 98.0%；划分安全语义 99.1%。
• 重复子集独立标注一致率 92.2–99.5%（Figure 6 Panel b）。
• 轨迹分：人工与自动在 1 分以内，helpfulness 91.0%，tool-risk 96.7%（Panel c）。
• 全划分上，Aligner 的 Utility 在 Table 3 的 10 个配置全部上升，幅度从 Kimi K3 的 +2.8 到 Qwen3.5-397B-A17B-FP8 的 +18.1 个百分点。
• SmolLM3-3B 加对齐器后 HB utility 仍为 10.6%，全划分 Utility 为 14.1%，是 Table 3 中最低。
• 论文未在正文给出对齐器训练步数、学习率或每个家族的工具调用步数上限。

作者指出的局限与后续方向

• 不代表可部署：附录 J 写明，基准结果不建立部署就绪性；后果性应用需要额外的领域专用评测和人工监督。（Broader Impact）
• 执行限于模拟：伦理声明写明，安全失败只在合成或沙箱工具环境中评测；有害任务操作模拟状态和本地端点，而不是真实账户、私人仓库、临床或金融系统、或公共通信渠道。（Ethics Statement）
• 分类可能被用来伪装意图：附录 J 称，由于分类体系包含合成的双用途工作流，它可能为伪装恶意意图的尝试提供信息；因此全部执行仍绑定在模拟工具和状态上。（Broader Impact）
• 计划发布而非已经发布：附录 J 写“We plan to release”任务、沙箱夹具、评测代码和提示词、脱敏标注，以及复现所报告读数所需的文档。工件会筛除凭证、个人信息、私有链接和真实目的地；有风险的工作流保持为不可部署的沙箱表示。文档将写明预期用途、已知局限，以及报告不安全或敏感工件的渠道。（Responsible release）
• 正文 Conclusion 未另列 Limitations 小节。上述四条是论文明确写出的边界与后续安排。

实验覆盖范围

• 主评测为 Table 2 的 17 个模型与 harness 配置，使用同一 1000 个边界关键家族；人工构造校验覆盖全部 2787 个家族（第 4.2 节）。
• 缓解实验为 Table 3 的 10 个配置；Table 4 的对照底座为 GPT-5.5、Gemini 3.5 Flash、Qwen3.5-397B-A17B-FP8、Nemotron-Nano-9B-v2。对齐器是 Qwen3-14B，Safety-Aligner 使用发布的 Thought-Aligner 7B checkpoint。
• 指标为轨迹级 Utility 与 Safety，阈值 hi、ri ≥ 2；主要边界读数是 Utility(HB) 与 Safety(CM)（第 4.1 节、附录 D）。
• 运行时按 ToolEmu 的 LM 模拟沙箱，把工具调用变成可检查的观察和事后状态；被测模型看不到划分标签（第 4.1 节）。
• 论文未报告每个条件的重复次数，也未在正文写明自动轨迹评判使用的模型名称；训练细节与泄漏检查放在附录 F、G，正文未给出训练步数或查询预算。

AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。

• 问题：对话对齐问的是答还是拒；智能体则要在执行证据出现后决定行动是否被允许。表面风险、许可和任务能力若同时变化，过度拒绝就和普通失败分不清。
• 做法：每个家族从可执行 Harmful-Source 出发，得到保留禁止转移的 Covert-Malicious、明确合法的 Easy-Benign，以及表面像高风险但已授权的 Hard-Benign。共享主题、工具接口和动作支架。效用与安全由完整轨迹加事后状态分开打分，≥2 分通过。主指标是 Hard-Benign 的 utility 和 Covert-Malicious 的 safety。Qwen3-14B 对齐器只改写当前 Thought，底座模型再生成下一动作。
• 主评测：在 1000 个边界关键家族、17 个配置上，GPT-5.5 的 CM safety 为 99.5%、HB utility 为 28.7%；Kimi K3 为 99.5% 与 58.7%；Qwen3.8-27B Uncensored 的 HB utility 为 90.2%、CM safety 为 66.4%；SmolLM3-3B 的 HB utility 为 4.6%、全划分 utility 为 2.6%。Figure 3(b) 中 16/17 个配置的最大非通过结果是仅 HB 失败。固定 GPT-5.5 时，OpenClaw 相对裸模型把 HB utility 提高 8.5 个百分点，CM safety 仍为 99.5%。
• 校准：10 个配置上 HB utility 全部上升，作者称平均 +18.2 个百分点；CM safety 平均 +5.4 个百分点，8 个保持或改善。GPT-5.5 升至 57.8%（+29.1），CM safety 仍为 99.5%，但全划分 Safety 为 95.5%（-3.9）。Table 4 中 GuardAgent 提高 CM safety，HB utility 在四个底座上都低于未训练包装器和本文对齐器。
• 作者结论：有效的智能体对齐需要行动决策跟踪与许可相关的执行证据，而不是只靠拒绝强度。作者称没有任何系统稳定地同时具备强已授权完成和可靠的隐蔽伤害拦截；行动边界校准是智能体对齐的中心目标。评测在沙箱中进行，作者称结果不建立部署就绪性，并计划以不可部署沙箱形式发布材料。