Δτ-Bench：推动 Agent 迈向不断变化的能力前沿

1. 01这篇论文试图解决什么问题？

   工具生态持续演化时智能体经验会滞后，作者称现有基准未考察这种持续适应，故构建∆τ-Bench并提出Steward。

   核心问题：在大型工具生态持续演化（工具退役、替代、重叠、文档有噪声）时，智能体能否主动发现更高效的工具使用路径并及时更新其程序性知识，现有基准无法回答这一问题。

   • 问题场景：作者设想大公司把智能体作为统一服务入口，背后各部门独立维护工具；功能重叠和描述不准使目录难以导航，更新不断改变可行路径（Figure 1）。
   • 为什么重要：旧工具退役会让已建立的工作流失效，新工具可能带来更高效路径；作者认为任务成功本身可能掩盖智能体所学与生态实际能力之间的差距。
   • 现有基准的不足：作者称现有基准分别考察大规模工具检索、有状态执行、成本感知重规划或工具演化鲁棒性，但大多保持服务结构固定或限制服务变化时的工具发现，把这些能力孤立评测。
   • 论文的核心观察：要衡量适应，需要把智能体行为与当前生态对同一任务所允许的最优路径对比；作者据此提出"移动能力前沿（moving capability frontier）"的评测视角。
   • 论文提出了什么：一是∆τ-Bench，含42个领域、1,588个验证过的多轮任务、经能力保持变换生成的6个连续生态状态；二是Steward，一个联合管理工具与程序性知识的生态管理器，做增量技能维护和执行期动态供给。

   收起这一问

2. 02有哪些相关研究？

   相关工作分工具使用基准与技能学习两类，作者称前者孤立考察能力、后者假设操作基底稳定。

   工具使用智能体基准

   • 早期API与组合基准：Gorilla（Patil et al., 2024）、ToolLLM（Qin et al., 2024）、API-Bank（Li et al., 2023）、ToolAlpaca（Tang et al., 2023）、BFCL（Patil et al., 2025）、T-Eval（Chen et al., 2024b）、ACEBench（Chen et al., 2025a）等考察API选择、参数生成、多工具组合与规划。
   • 有状态多轮基准：τ-bench（Yao et al., 2024）、τ²-bench（Barrès et al., 2025）、AppWorld（Trivedi et al., 2024）、ToolSandbox（Lu et al., 2025）、Tool Decathlon（Li et al., 2025）评测有持久工具效果的多轮交互。
   • 检索、效率与演化鲁棒性：大规模工具检索（Xu et al., 2024; Shi et al., 2025; Qin et al., 2025a等）；成本与重规划（PlanBench、SayCanPay、ACPBench、TravelPlanner、CostBench等）；API扰动与MCP变异（Chen et al., 2025b; MCPEvol-Bench, Liu et al., 2026c）。作者称这些能力仍被孤立评测，演化生态中的端到端工具使用生命周期尚未被覆盖。

   技能学习与演化

   • 经验蒸馏与可执行技能：ExpeL（Zhao et al., 2024）、AutoGuide（Fu et al., 2024）、Voyager（Wang et al., 2024）、Agent Workflow Memory（Wang et al., 2025b）等把轨迹蒸馏为自然语言指导或可复用工作流。
   • 自动化技能构建与优化：AutoSkill（Yang et al., 2026b）、Trace2Skill（Ni et al., 2026）、EvoSkill（Alzubi et al., 2026）、SkillOpt（Yang et al., 2026a）等通过轨迹整合、优化、验证自动构建技能；另有SkillX（Wang et al., 2026）等做层级化与生命周期管理。作者称这些方法大多在稳定的操作基底上演化技能、强调最终任务成功。

   基线与基准：技能方法对比的基线为No Skill、EvoSkill、AutoSkill、Trace2Skill、SkillOpt（附录B给出各自机制），统一用DeepSeek-V3.2作骨干；所用基准即论文自建的∆τ-Bench。

   作者定位：称∆τ-Bench是统一大规模工具检索、多轮有状态执行与效率感知适应的基准；Steward把技能演化重塑为生态级适应，将工具与程序性知识耦合管理。

   收起这一问

3. 03论文如何解决这个问题？

   ∆τ-Bench用能力保持变换生成6个生态版本并以动态规划求最优参考路径；Steward增量维护技能库并动态供给工具与技能。

   整体思路分两部分：先构建∆τ-Bench，在有状态、可多轮交互的可执行环境中模拟生态演化，并用最优参考路径衡量智能体；再提出Steward，把工具与技能作为耦合资源联合管理。

   任务形式化

   • 交互建模为部分可观测序贯决策过程M = (U, S, A, O, P, R)：用户意图u不可直接观测，状态含外部环境状态与交互状态，动作含工具调用a = (f, x)与自然语言消息。
   • 每个episode有外生的生态版本v，整个执行期间固定；动作空间随v变化，同一意图在不同版本的可行路径不同。

   可执行环境与任务构建（§3.1、附录A.1）

   • 领域与服务蓝图：从种子领域扩展为角色特定的场景组，构建实体模式与实体-关系图，确定性转换为带自然语言描述和JSON Schema的工具接口。
   • 有状态MCP服务：在模拟数据库中实例化实体记录，按操作策略（前置条件、参数语义、状态变更、依赖）实现为Python函数，返回声明格式的结果或错误。
   • 任务合成与执行验证：从工具依赖图采样路径（偏向查询型起点），通过共享函数拼接、子路径重复增加难度；生成任务模板后由独立评估器按动机清晰度、连贯性、函数覆盖、自然性、具体性筛选；实例化后在MCP服务上回放，仅保留每步都成功的实例，得到参考轨迹τgold与终止状态。
   • 用户模拟：独立LLM用户智能体持有私密手册（完整意图、动机、可披露规则），渐进披露信息，不提及函数或执行计划。

   演化生态构建（§3.2、附录A.2）

   • 三类能力保持变换：一对一（重命名、加参数、改格式）、一对多（拆分为协调接口）、多对一（整合为统一接口，源块须为同领域已验证轨迹的连续子序列）；由LLM提议目标实现，自动验证能力、状态变更与输出等价后才保留。
   • 生态采样：每个版本对上一版本应用有界数量的变换；可保留源接口形成重叠，或停用源接口强制走新实现；递归验证所有基础能力仍可访问，否则拒绝该转移；可选扰动部分函数描述以模拟不完整或过时文档。
   • 参考路径搜索：把任务的基础函数序列划分为连续源块、每块选一个活跃实现，ρ_i^(v,c) = argmin ∑_j=1^m c^(v)(R_j)，即在覆盖函数序列的所有实现组合上最小化准则总值；用动态规划分别求步数最少与成本最低路径（成本由LLM按工具定义与实现打1–10分），并在对应MCP环境回放验证。

   评测协议（§3.3）

   • SR：任务成功当且仅当智能体产生的数据库变更覆盖gold执行要求的全部变更，S_i^(v) = 𝕀[Δ_i^gold ⊆ Δ_i^(v)]。
   • 工具检索P/R/F1：对比检索后暴露给智能体的工具集与参考路径工具集。
   • SPE：成功加权的相对路径效率，按步数与成本分别得Step-/Cost-SPE。
   • IDR/DAR：对相邻版本间参考权重下降的任务集测IDR（发现更优路径），对上升的任务集测DAR（适应退化）。

   Steward（§5、附录C）

   • 生态管理器：维护共享资源状态（当前工具目录+持久技能库），为任务智能体构建任务视图（可见工具子集+程序性上下文），任务智能体据此行动。
   • 三级技能库：规划技能（任务级工作流）、原子技能（可复用操作及其工具依赖）、工具技能（单工具调用要点）；v1按Wang et al. (2026)初始化，之后增量维护：把验证成功的训练轨迹蒸馏为局部编辑，按工具可用性标记技能活跃/不活跃，不活跃技能保留以便重新激活。
   • 初始供给：检索前5个规划技能改写为临时计划，每步检索至多5个原子技能（相似度阈值+MMR去重），LLM选至多8个；每步直接检索前3个工具，与技能依赖取并后交集当前目录。
   • 按需供给：任务智能体可调用retrieve_tools（至多5个工具）或explore_capabilities（每episode至多3次委托）；管理器搜索技能库与全目录、检查schema后返回报告，每次调查至多返回8个工具，技能正文累计上限4,000字符。附录D给出全部提示词。

   收起这一问

4. 04论文做了哪些实验？

   9个模型/ harness最高SR仅42.27%；四种技能方法增益不稳定；Steward平均SR 39.04%且维护成本更低。

   实验设置

   • 被测模型（Table 1）：专有模型Codex-GPT-5.5、Gemini-3.6-Flash、GPT-5.5、Claude-Sonnet-5；开源模型DeepSeek-V4-Pro、GLM-5.2、Qwen-3.8-Max、Kimi-K3、GPT-oss-120B。其中Codex-GPT-5.5为harness。
   • 基准：∆τ-Bench，1,588个任务（训练1,191、测试397），42个领域，6个生态版本共9,528个任务-生态实例；各版本工具数799–892（Table 3）。
   • 推理设置：可配置推理强度的模型设为high，其余参数用推荐默认值；用户模型固定为DeepSeek-V3.2。
   • 技能方法对比：No Skill、EvoSkill、AutoSkill、Trace2Skill、SkillOpt及Steward，统一以DeepSeek-V3.2为任务模型与用户模型，直接适配官方实现。
   • 指标：SR、工具检索P/R/F1、Step-/Cost-SPE、Step-/Cost-IDR/DAR、技能维护token（K/task）；成功判定基于数据库状态变更覆盖（式4），无需人工评分。
   • 重复次数：论文未报告。

   主结果

   Table 1：各模型在∆τ-Bench上的表现（指标单位%）。

   表格较宽，可左右滑动

   模型	SR	检索P	检索R	检索F1	Step-SPE	Cost-SPE
   Codex-GPT-5.5	42.27	19.90	90.36	32.04	26.93	27.90
   Gemini-3.6-Flash	41.65	19.30	87.51	31.13	25.49	25.88
   GPT-5.5	31.74	20.21	81.08	31.86	23.11	23.42
   Claude-Sonnet-5	29.97	19.36	76.93	30.41	20.48	20.60
   DeepSeek-V4-Pro	33.29	18.65	79.00	29.65	13.49	14.31
   GLM-5.2	32.28	19.32	78.25	30.47	19.39	19.84
   Qwen-3.8-Max	30.10	18.46	80.02	29.49	15.84	16.84
   Kimi-K3	28.30	19.20	77.01	30.20	17.78	17.83
   GPT-oss-120B	27.00	18.24	69.98	28.40	16.87	17.16

   • 作者称即使最强的模型（Gemini-3.6-Flash，41.65%）与harness（Codex-GPT-5.5，42.27%）SR也仅四成出头，Step-/Cost-SPE均不超过30%。
   • 检索呈"高召回、低精度"：作者称模型常能包含相关工具，却难以从生态中排除无关候选。
   • 成功不等于高效：DeepSeek-V4-Pro的SR略高于GLM-5.2，但Step-/Cost-SPE及SPE/SR均更低。

   工具供给诊断（Figure 3）

   • 测了什么：以DeepSeek-V3.2比较Standard、Domain Tools、Task Tools、Oracle Tools、Oracle Path五种供给条件。
   • 结果：图中SR与两个SPE从Standard经Domain、Task Tools到Oracle Tools逐步上升，Oracle Path无进一步提升；Task Tools到Oracle Tools的SPE/SR增幅明显（图上纵轴标有10至70的刻度，正文未给逐条件数值）。
   • 作者解读：模型难以从不可用或重叠候选中区分当前版本的高效选项；剩余差距更多在于正确高效地使用工具，而非高层规划。

   技能方法跨版本对比（Figure 4）

   • 测了什么：四种自动化技能方法与No Skill在六个版本上的SR、SPE、IDR、DAR及token消耗。
   • 结果：v1时四种方法SR与SPE均高于No Skill；AutoSkill在v3、v5的SR低于No Skill；v3时EvoSkill与AutoSkill的Step-/Cost-DAR降为0，而No Skill为11.11%/10.25%；No Skill在v2取得最高Cost-IDR、v5取得两个DAR最高值；SkillOpt在SR与SPE上领先，但维护成本约3,000 K/task，约为其他方法的两到三倍。
   • 作者解读：孤立地生成与优化技能不足以持续跟踪前沿，需要工具与技能联合维护。

   Steward主结果（Figure 6）

   • SR：Steward在全部六个版本SR最高，平均39.04%，SkillOpt为36.36%（DeepSeek-V3.2）。
   • 维护成本：v2起Steward最低，基线消耗1.2–5.5×的维护token（Figure 6(b)）。
   • 相对最优基线的百分点增益（Figure 6(c)正文）：Step-/Cost-IDR平均+4.04/+3.69，Step-/Cost-DAR平均+5.28/+4.76，Step-/Cost-SPE平均+2.68/+4.21，工具P/R/F1也有一致增益。

   其他消融与分析

   • 跨版本知识维护（Table 2）：增量维护在DeepSeek-V3.2与GPT-5.5上SR均最高（36.83%、40.81%）；相比全量重建SR高2.22/1.82个百分点、维护token少39.5%/30.4%；GPT-5.5上全量重建（38.99%）甚至低于冻结库（39.60%）。
   • 能力供给消融（Figure 7，DeepSeek-V3.2）：仅技能搜索各指标几乎无提升；仅工具搜索SR+8.65、Tool F1+4.14个百分点，但Step-DAR降2.76；完整供给相对仅工具搜索Step-/Cost-DAR再升11.41/9.30个百分点、Tool F1升4.90。
   • 参考路径漂移（Figure 8）：相邻版本间参考权重有升有降、非单调；Table 3给出各版本新增/退役/修改接口数（如v2新增110、退役161、修改176）。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未专门讨论局限；实验上技能对比只用单一任务模型，成本分数依赖LLM打分，未报告重复次数。

   作者指出的局限与后续方向

   论文未专门讨论局限（无Limitations或Future Work小节；结论与伦理声明中也没有明说"这是局限/未来可以做"的句子）。

   实验覆盖范围

   • 被测模型：主表（Table 1）覆盖9个模型或harness；技能方法与Steward的跨版本对比（Figure 4、6）只用DeepSeek-V3.2作任务模型；跨版本维护消融（Table 2）用DeepSeek-V3.2与GPT-5.2两个模型；能力供给消融（Figure 7）只用DeepSeek-V3.2。
   • 基准范围：全部实验在∆τ-Bench上进行，42个领域、1,588个任务、6个生态版本；领域分布见Table 4（如MedicalDeviceEngineeringServer 112个任务，部分领域不足10个）。
   • 用户模拟：所有实验的用户模型固定为DeepSeek-V3.2（§4 Evaluation Setup）。
   • 指标构造：执行成本由LLM按工具定义与实现打1–10分（§3.2）；任务模板由独立评估器按五项标准筛选，论文未报告该评估器所用模型或人工一致性。
   • 论文未报告：各实验的重复次数与统计显著性检验；技能方法对比中各方法的具体迭代预算（仅报告SkillOpt约3,000 K/task的维护token）。

   收起这一问

6. 06总结一下论文的主要内容

   ∆τ-Bench测演化工具生态中的持续适应，现有模型与技能方法均跟不上前沿，Steward联合管理工具与技能取得更高SR与更低维护成本。

   这是一篇基准加方法的论文：作者先构建评测演化工具生态的∆τ-Bench，发现现有智能体与技能学习方法都难以跟上"移动能力前沿"，再提出生态管理器Steward。

   • 要解决的问题：大型工具生态中工具持续退役、替代、重叠且文档有噪声，智能体积累的程序性知识会滞后；作者称现有基准把检索、执行、适应孤立考察，无法衡量这种持续能力。
   • ∆τ-Bench：42个领域的有状态MCP服务、1,588个验证过的多轮任务，经一对一/一对多/多对一的能力保持变换生成6个连续生态版本（共9,528个任务-生态实例）；用动态规划求步数与成本最优参考路径，指标含SR、检索P/R/F1、SPE、IDR、DAR。
   • 模型表现：9个模型/harness中最高SR为Codex-GPT-5.5的42.27%，检索呈高召回（90.36%）低精度（19.90%）；诊断实验显示瓶颈在区分当前版本的高效工具而非高层规划（Figure 3）。
   • 技能方法：EvoSkill、AutoSkill、Trace2Skill、SkillOpt在v1均有增益，但随演化不稳定——v3时EvoSkill与AutoSkill的Step-/Cost-DAR降为0（No Skill为11.11%/10.25%），SkillOpt维护成本约3,000 K/task。
   • Steward：增量维护三级技能库（规划/原子/工具），按工具可用性标记活跃状态，执行中动态供给工具与程序性指导；六版本平均SR 39.04%（SkillOpt 36.36%），v2起维护token最低（基线为其1.2–5.5×），IDR/DAR平均提升约4–5个百分点。
   • 作者结论：把工具与程序性知识作为相互依赖的资源联合管理，比反复重建技能更能保持经验的可用性；消融显示增量维护优于冻结与全量重建，工具搜索与技能搜索互补。

   收起这一问

相关论文