UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

现有工具型智能体基准仅在无扰动的标称条件下评估端到端任务完成，混淆了基线规划能力与运维故障恢复能力，且无法检测丢失确认等分布式系统故障引发的外部重复副作用。

• 场景与现实重要性：在企业级分布式软件系统中，智能体执行数据库迁移、云资源配置或跨境汇款等高风险操作，实际运行环境经常出现瞬时延迟、内部服务错误以及外部变异已在服务端提交但确认因网络中断丢失（lost-ACK）的分布式隐患。
• 现有基准的不足：作者称现有智能体基准（如 SWE-bench、ToolBench、API-Bank、AgentBench、WebArena 等）基本只在名义、无扰动的条件下评估，仅检查最终字符串答案或任务成功标量，既不注入丢失确认故障，也不检查线路级外部副作用，导致重试行为造成的重复外部破坏未被发现。
• 核心观察与假设：报告单一的端到端任务成功率混淆了名义任务能力（Task Competence）与故障恢复能力（Recovery Capability）；此外，恢复行为并非单一标量，而是随着故障发生在外部状态变异生命周期的不同阶段（变异前、变异中、变异后确认前）呈现出阶段依赖性（phase-dependent）。
• 论文的解决方案：作者提出了 UndoBench，涵盖 8 个企业领域的 36 个基线工作流与 36 个故障场景，通过相同随机种子下的成对反事实运行解耦任务能力与恢复能力，定义条件恢复成功率（CRSR），并结合物理环境状态预言机与线路级效应日志监控外部操作的执行安全性。

作者在文中讨论了三类相关研究，并明确了本文与它们在评测维度上的区别：

标称条件下的工具型智能体基准

• SWE-bench (Jimenez et al., 2024)、ToolBench (Qin et al., 2024)、API-Bank (Li et al., 2023)、AgentBench (Liu et al., 2024)、WebArena (Zhou et al., 2024) 与 OccuBench (Hu et al., 2026)：评估智能体在代码修改、API 调用或网络交互中的规划与工具执行能力。论文指出这些基准主要在名义、无扰动的条件下评估，未注入丢失确认故障，未追踪线路级副作用，无法区分规划失败与故障恢复失败。

智能体故障注入与可靠性基准

• ReliabilityBench (Gupta, 2026) 与 AgentChaos (Tan et al., 2026)：通过程序化故障注入测试智能体系统在压力和混沌工程条件下的可靠性。
• ToolMisuseBench (Sigdel and Baral, 2026) 与 ContainmentBench (Lan et al., 2026)：分别离线评估工具误用后的恢复行为，以及基于执行轨迹评估智能体在暴露后的遏制能力。
• LIMBO (Li, 2026) 与 AFT-Bench (Wang, 2026)：LIMBO 关注模型、治理框架与工具契约对智能体重复副作用的影响并探讨责任归属；AFT-Bench 通过受控接口干预估计接口语义对智能体可操作性的机制效应。

事务性保证与验证防御机制

• Verified Tool Calls (Mansoor et al., 2026)：结合后验条件验证、重试前验证与幂等中间件应对非原子性工具故障。
• The Verifier Tax (Sah et al., 2026b)：研究运行时安全干预，作者称其指出安全干预能阻止不安全操作但不能保证干预后恢复成功。
• Atomix (Mohammadi et al., 2026)、SagaLLM (Chang and Geng, 2025) 与 MemTX (Li et al., 2026)：分别研究基于纪元缓冲的事务性工具使用、Saga 事务协调规划以及记忆事务提交机制。

基线方法与基准定位

• 对比基线与数据集：评测包含朴素重试（Naive Retry, B0）、请求级幂等键（Idempotency Keys, B2）、零特权变异日志（EvoUndo-RB1, B5）、重试前验证（Verify-Before-Retry, B6）及全局服务端幂等（B2-K），评估数据集为 UndoBench（36 个工作流，划分为 14 个 DEV、10 个 VALIDATION 和 12 个 held-out TEST 任务）。
• 本文定位：作者指出，UndoBench 强调条件恢复评估（CRSR）、多轮工作流恢复、成对反事实对照、零特权下的双重状态与线路日志预言机，并实证展示了横跨变异生命周期的阶段依赖性恢复动力学。

UndoBench 通过构建成对反事实执行范式与双重预言机，形式化解耦名义任务能力与故障恢复能力。整体设计分为以下几个部分：

问题设定与解耦指标

设任务分布为 T，智能体为 A。标称任务能力定义为基准控制通过率 Comp = P(Success | Nominal)。在无反事实对照下注入故障所测得的为无条件恢复成功率 RSR = P(Success | Fault)。由于标称能力低时无条件 RSR 会混淆规划失败与恢复失败，UndoBench 定义以标称成功为条件的条件恢复成功率： CRSR = P(Success | Fault, Comp) = 1/D∑_i=1^N C_i F_i 其中 N 为成对试验总数，C_i ∈ {0, 1} 表示相同种子下的标称控制运行成功，F_i ∈ {0, 1} 表示故障运行成功，D = ∑_i=1^N C_i 为有能力的试验数。

故障模型与变异生命周期边界

智能体每次调用工具生成代理可见返回值与外部副作用状态转移。UndoBench 形式化了横跨外部状态变异生命周期的五个执行边界：

1. PRE_MUTATION：远程启动前的传输故障（如连接超时、DNS 错误）；
2. DURING_MUTATION：非原子状态更新执行过程中的故障（如唯一键冲突、并发中止）；
3. POST_MUTATION_PRE_ACK：远程变异已提交，但传输层在确认返回客户端前中断（丢失确认）；
4. POST_ACK_PRE_CHECKPOINT：客户端收到确认但在持久化检查点前崩溃；
5. DURING_COMPENSATION：在执行补偿回滚操作时发生故障。

冻结的主实验集中于 POST_MUTATION_PRE_ACK 边界，后续二级扩展补充了 PRE_MUTATION 和 DURING_MUTATION。工具效应按物理可逆性划分为可逆（REVERSIBLE）、可补偿（COMPENSATABLE）和不可逆（IRREVERSIBLE）。

物理调用、提交变异与语义效应分层

UndoBench 区分三个层级：

1. 物理调用：网络边界上 API 请求的线路级分发；
2. 提交变异：在远程服务上持久化改变状态的操作（如写数据库、提交 Git 树）；
3. 语义效应：任务规范要求的高层业务不变量。

若仅检查终端字符串，盲目重试已提交变异的模型可能通过断言却在真实环境中造成重复变更。

双重预言机与效应监控

评测系统通过两套预言机审计执行安全性：

1. 终态预言机（Final-State Oracle）：在任务结束后查询数据库模式、Git 提交图、对象存储和 CRM 系统，核验目标不变量与状态等价性；
2. 线路级效应日志预言机（Wire-Level Effect-History Oracle）：拦截并审计代理事务日志，统计每个目标实体 k 的提交次数：

dup_i = ∑_k max(0, commits(k) − 1) 进而计算重复效应发生率（DER）、缺失效应发生率（MER）及精确一次语义效应发生率（EORcond）。在冻结测试环境中，终态预言机严格要求无重复且无遗漏，因此 EORcond 在数值上与 CRSR 重合。

恢复范式与执行架构

基准实现了三种主要恢复范式：

• B0 朴素重试（Naive Retry）：收到错误后使用指数退避重试最多 3 次；
• B2 幂等键（Idempotency Keys）：从任务上下文、工具名和参数派生 SHA-256 摘要作为幂等键，服务端支持时缓存去重；
• B5 EvoUndo-RB1：UndoBench 约束下的零特权实现，仅使用客户端变异日志，无远程探针或预注册逆向函数，在无法对账时默认回退至有界重试。

同时在直接工具调用（F1）与 LangGraph（F2）两种运行时架构下评测。开源模型采样温度设为 T = 0.2，top-p = 1.0，最大生成 token 数为 512。

实验设置

• 被测模型：本地开源指令模型为 Llama-3.1-8B-Instruct（8.0B，Q4_K_M）和 Llama-3.2-3B-Instruct（3.2B，Q4_K_M）；商业 API 模型为 Gemini 3.8 Flash（gemini-3.8-flash）与 GLM-5.2 MaaS（zai-org/glm-5.2-maas）。
• 数据集与工作流：UndoBench 包含跨 8 个企业领域（Cloud、CRM、Database、Git、Messaging、Payments、Storage、Ticketing）的 36 个基线工作流，划分为 14 个 DEV、10 个 VALIDATION 和 12 个 held-out TEST 任务。
• 架构与基线：编排架构包括直接工具调用（F1）和 LangGraph（F2）；恢复基线包括朴素重试（B0）、幂等键（B2）、EvoUndo-RB1（B5），以及后续扩展中的重试前验证（B6）和全基准服务端幂等（B2-K）。
• 主要指标：名义控制通过率 Control、无条件恢复率 RSR、条件恢复率 CRSR、精确一次率 EORcond、重复效应发生率 DER、不安全重试率 URR 和缺失效应发生率 MER。
• 评测协议与样本量：开源模型主实验采用采样温度 T = 0.2，top-p = 1.0，单轮最大 512 tokens；跨 20 个评估种子运行（12个任务 × 2个模型 × 2个框架 × 3种方法 × 20个种子 = 5,760 次执行 / 2,880 对成对试验）；判定完全基于程序化终态与线路日志双预言机，不使用 LLM 评分。

主结果

在 12 个 held-out TEST 工作流、POST_MUTATION_PRE_ACK 故障注入下的开源模型（Llama-3.1-8B 与 Llama-3.2-3B）主实验结果如下：

表格较宽，可左右滑动

据 Table 1。注：CRSR 和 EORcond 基于名义成功试验数（D = 802）计算；DER 和 URR 基于全部 960 对试验计算。

• 任务能力与恢复能力分离（Finding 1）：作者称，整体名义任务成功率达到 83.54%（2,406 / 2,880），但注入故障后无条件恢复率 RSR 为 39.03%（1,124 / 2,880），条件恢复率 CRSR 为 46.72%（1,124 / 2,406），表明仅依靠名义任务成功率会高估受扰动时的可靠性。
• 恢复基线对比：作者指出，B2 相比 B0 的 CRSR 描述性提升了 +10.72 个百分点（53.49% 对比 42.77%），但由于 12 个测试端点中仅有 3 个支持幂等键去重，在任务聚类自举检验下未达到统计显著（Holm-Bonferroni 调整后 padj = 1.00）；零特权的 B5 相比 B0 变化较小（+1.12 个百分点，padj = 1.00）。
• 外部重复效应与安全性：在朴素重试（B0）下，重复效应发生率 DER 达到 53.33%（512 / 960）；在丢失确认机制下，每次对未受保护端点的不安全重试均产生重复提交，因此 URR 与 DER 数值完全一致。

商业 API 模型的扩展评估

• 测试设置：在相同 12 个 TEST 工作流和 20 个种子下评测 Gemini 3.8 Flash 和 GLM-5.2 MaaS（N = 2,880 对试验 / 5,760 次执行，据 Table 3 和 Table 13）。
• 实验结果：Gemini 3.8 Flash 和 GLM-5.2 的标称控制率分别为 80.69% 和 77.71%；在丢失确认下，B0 的 CRSR 分别降至 21.08%（82 / 389）和 21.89%（81 / 370），呈现 59.96 个百分点与 55.19 个百分点的能力与恢复差距；B0 下 DER 分别为 65.62% 和 51.25%。B2 的 CRSR 分别提升至 33.33% 和 33.07%（池化改善 +11.73 个百分点，调整后 padj = 0.0528）。
• 作者解读：作者认为通用推理能力的提升并未消除协调缺失的重试循环带来的外部副作用风险。

多边界恢复动力学评估

• 测试设置：在支持多边界语义的 4 个复合工作流（RB-DB-004、RB-STOR-004、RB-CLOUD-004、RB-GIT-004）上评估商业模型在变异前、变异中和丢失确认三个阶段的表现（N = 1,280 对试验 / 2,560 次执行，据 Table 4 和 Table 14）。
• 实验结果：在变异前（PRE_MUTATION），B0、B2、B5、B6 的 CRSR 在 76.68% 至 77.42% 之间，名义有能力试验中无重复效应；在变异中（DURING_MUTATION），B0、B2 和 B5 的 CRSR 全部为 0.00%（DER 达 81.56%–82.50%），仅 B6 凭借公共探针恢复了云任务，获得 25.89% 的 CRSR；在丢失确认下，B6 达到 75.00% CRSR。
• 作者解读：作者指出恢复表现具有阶段依赖性：变异前重发安全，变异中需要中间状态对账，丢失确认下则需要提交不确定性验证或服务端去重。

全基准服务端幂等机制隔离（B2-K）

• 测试设置：在商业模型上为全部 12 个 TEST 任务部署服务端幂等支持（B2-K，N = 960 对试验 / 1,920 次执行，据 Appendix L）。
• 实验结果：全量支持下，B2-K 的 CRSR 从标准 B2 的 33.20% 提升至 97.24%（741 / 762），DER 为 0.00%；在共同能力样本上 CRSR 达到 98.64%（728 / 738）。
• 失败分析：在残留的 21 次失败中，17 次发生在工具调用前的第 0 轮（由商业 API 报参数错误或响应校验失败导致），4 次发生在去重成功后的多轮延续中（模型生成了无法解析的参数导致审计日志校验失败）。

其他消融与分析

• 编排框架等价性：F1 与 F2 名义控制率均为 83.54%（差值 0.00 个百分点），CRSR 为 46.97% 对 46.47%（差值 +0.50 个百分点），TOST 检验确认在 ±10 个百分点区间内统计等价（pTOST < 0.001，第 4.4 节）。
• 开源模型对比：在共同支持的 10 个测试任务上，M1 的 CRSR 为 44.50%，M2 为 54.17%（差值 -9.67 个百分点，95% CI [-27.08 pp, +7.73 pp]，第 4.4 节）。
• 物理可逆性分层：可逆任务（1个）B0 与 B2 恢复率为 100.0%；可补偿任务（9个）B0 CRSR 为 33.27%，B2 为 48.42%；不可逆任务（2个）B0 与 B2 均为 48.05%（Table 9）。
• 运维开销遥测：故障运行相比控制运行平均延迟增加 29.3%（3,782 ms 对比 2,924 ms），工具调用增加 55.8%（2.40 对比 1.54）（Table 10）。
• 预言机对抗测试：在 12 个 TEST 合约上执行 72 个合成对抗测试用例，通过率为 72 / 72（Appendix N）。

作者指出的局限与后续方向

• 模型范围与提供商确定性：主研究集中在两款开源模型，商业 API 扩展中虽然任务配置和种子保持确定，但商业托管 API 在合同层面上不保证跨运行的逐比特生成可重现性（Limitations 1）。
• 任务集群的统计功效：TEST 拆分包含 12 个独立任务集群（K = 12），20 个重复种子减少了任务内方差，但没有增加独立集群数量（Limitations 2）。
• 故障边界覆盖范围：冻结研究集中在 POST_MUTATION_PRE_ACK，二级实验覆盖了 PRE_MUTATION 和 4 个变异中工作流；UndoBench 分类法中未研究的边界包括同步框架下无法真实实现的 POST_ACK_PRE_CHECKPOINT、DURING_COMPENSATION，以及级联故障和更大的工作流套件（Limitations 3）。
• 单故障注入模式：基准在每条轨迹中仅注入恰好一次故障，级联、并发或拜占庭故障留待未来工作（Limitations 4）。
• 沙盒环境拟真度：环境基于模拟企业 API（SQLite、本地 Git、Mock Stripe/AWS），而生产系统具有更高的并发性和可变延迟分布（Limitations 5）。
• 退避调度敏感性：B0 采用固定的 3 次重试预算和指数退避，针对不同退避调度表的敏感性扫描留待未来工作（Limitations 10）。

实验覆盖范围

• 被测模型包括 Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 与 GLM-5.2 MaaS 共 4 款模型。
• 任务套件覆盖 8 个企业领域的 36 个基线工作流，主实验和二级扩展覆盖 12 个 held-out TEST 工作流，变异中实验覆盖 4 个复合工作流。
• 故障注入覆盖变异前（PRE_MUTATION）、变异中（DURING_MUTATION）与丢失确认（POST_MUTATION_PRE_ACK）三个执行边界，每次运行注入单次故障。
• 恢复范式评测包括朴素重试（B0）、端点与基准级幂等键（B2、B2-K）、零特权变异日志（B5）及事后验证重试（B6）。
• 编排框架包括直接工具调用（F1）与 LangGraph（F2）两种运行时架构。

• 定位与核心问题：UndoBench 是一个面向工具型 AI 智能体运维故障恢复的评测基准，旨在解决现有评测主要在标称无扰动环境下进行、从而混淆基线规划能力与运维恢复能力的问题。
• 评测设计：基准涵盖 8 个企业领域的 36 个工作流，通过相同随机种子下的成对反事实运行机制，定义了以名义成功为条件的条件恢复成功率（CRSR），并结合物理环境状态与线路级效应日志双预言机，严密监测重复、缺失和精确一次外部副作用。
• 能力与恢复解耦结果：在 12 个 TEST 工作流和丢失确认故障下，开源 Llama 模型名义成功率达到 83.54%，但 CRSR 降至 46.72%，朴素重试导致 53.33% 的重复外部效应；商业 API 模型同样展现出超过 55 个百分点的标称成功与条件恢复差距。
• 阶段依赖性发现：故障恢复并非单一标量能力，在变异前阶段重试表现接近且无重复；在变异中阶段，朴素重试、单调用幂等和零特权日志对 4 个复合任务的 CRSR 全部降至 0.00%；在丢失确认阶段，重试前验证与服务端幂等能显著降低重复变异风险。
• 机制隔离结果：部署全基准服务端幂等（B2-K）可使商业模型 CRSR 升至 97.24% 并消除重复副作用，但仍存在第 0 轮 API 异常与去重后多轮规划错误等非恢复失效。
• 作者结论：作者指出，单看标称完成率会掩盖关键的阶段依赖性恢复漏洞，智能体容错恢复不仅取决于模型推理，还需要系统级基础设施与端点协议的协同支持。