Skip to content

Translation in progress Some entries still include text in the original language.

Original
Hugging Face Daily Papers· arXiv:2609.40111·Indexed by this site · Originally published

Agent Error Dataset released with 50,000 error diagnosis pairs for failure analysis and error-aware post-training

Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

论文构建AED（50228对错误-诊断），首轮修正把回放通过率从18.4%提到51.1%，诊断微调把Qwen3-8B逐步一致率从47.2%提到63.6%。

Questions
失败的智能体轨迹含有观测、动作与环境反馈，但结果奖励并不指出该改哪一步、改成什么。现有失败分析资源也难在同一批自然失败上同时支持诊断与动作学习。
Methods
Agent Error Dataset收录50228对自然失败的错误–诊断，覆盖33个环境、19类harness与23个策略模型。五阶段AET流水线收集失败、生成并核对诊断与修正，在支持处做同检查点回放，再分别构建诊断与恢复训练视图。
Experiments and results
3062对匹配回放中，首轮修正把验证器通过率从18.4%提到51.1%。1656个源任务上的全诊断微调，使Qwen3-8B在943例上的内部逐步一致率从47.2%升至63.6%（三种子）。动作修复训练在WebShop-lite上高于仅成功训练6.67个百分点，但在TextQuest上更低。
Limitations and future work
作者称学习结果只涉及较小的冻结子集，公开迁移依赖协议与任务重叠，动作结果因环境而异。历史监督缺少策略上下文。诊断训练视图与需要执行分支的视图分开；论文计划在接受后开源代码、检查点与数据。
Experimental setupQwen3-8B · Agent Error Dataset (AED)、Who&When et al. · verifier pass rate、exact-step agreement et al.
Evaluated models
Qwen3-8B
Benchmarks
Agent Error Dataset (AED)Who&WhenAgentErrorBenchTrajErrBenchWebShop-liteTextQuestALFWorld-liteText-to-SQLGridWorldWarehouseALFWorldScienceWorld
Metrics
verifier pass rateexact-step agreementresponsible-agent accuracyinitial-state task successhuman agreement
AI summaryThe paper proposes the Agent Error Dataset (AED), containing 50,228 error-diagnosis pairs from 9,961 source tasks, 33 environments, 19 harness families, and 23 policy models, and retains source trajectories and execution metadata to support cross-scenario failure analysis and re-diagnosis. The authors use a five-stage Agentic Error-to-Training (AET) pipeline to collect natural failures, generate diagnoses and correction suggestions, and verify them against recorded evidence. In 3,062 matched replays, the first proposed correction improves the verifier pass rate from 18.4% to 51.1%, a 32.7 percentage point increase.

The paper proposes the Agent Error Dataset (AED), containing 50,228 error-diagnosis pairs from 9,961 source tasks, 33 environments, 19 harness families, and 23 policy models, and retains source trajectories and execution metadata to support cross-scenario failure analysis and re-diagnosis. The authors use a five-stage Agentic Error-to-Training (AET) pipeline to collect natural failures, generate diagnoses and correction suggestions, and verify them against recorded evidence. In 3,062 matched replays, the first proposed correction improves the verifier pass rate from 18.4% to 51.1%, a 32.7 percentage point increase.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    如何把失败智能体轨迹变成可复用的诊断与修正训练数据。

    失败轨迹里有观测、动作和环境反馈，但结果奖励并不指出该改哪一步、改成什么，也缺少能同时支持跨执行设置的失败分析、诊断学习和动作修复的公共资源。

    • 场景：作者认为前沿模型已支持长程智能体工作，harness把模型接到可执行工具和持久状态上。理解失败必须同时看模型与执行系统。Agent post-training常从交互中学习，但单独的结果奖励不指定要修改的决策或替代动作。
    • 现有不足：作者称MAST刻画失败模式，Who&When定位责任智能体与关键错误步，这些标注支持分析，但不直接给出应学习的替代动作。AgenTracer训练诊断模型，AgentDebug用纠正反馈做恢复；作者认为它们的主要学习与恢复目标不同于在纠正后的行为上训练行动策略。执行设置、标注目标和修正证据不一致，也使诊断与动作学习难以在同一批失败上研究。
    • 核心问题：作者把问题写成：应如何分析并转化失败的智能体经验，使模型能跨执行设置识别、避免并修复错误。
    • 本文做法：提出Agent Error Dataset（AED），收录50,228个错误–诊断对，来自9,961个源任务、33个环境、19个harness家族和23个策略模型，均为文本智能体系统中的自然失败。五阶段Agentic Error-to-Training（AET）流水线收集自然失败、生成诊断与提议修正、对照记录证据检查；在支持回放处，把修正与同一检查点、匹配执行设置下的原动作重试比较，再分别构建诊断与行动恢复的训练视图。

  2. What related research exists?

    相关工作分失败归因、从失败中学习两类；AED同时保留自然失败、诊断、修正与回放对照。

    失败归因与分析

    • MAST与AdaMAST（Cemri等，2026b；2026a）：把反复出现的错误模式组织成分类体系。Table 1中MAST为自然错误，8个环境、7个harness、6个模型、1,642条记录。
    • 责任与位置归因：Who&When（Zhang等，2025b）识别责任智能体和决定性错误步；Who&When Pro（Liu等，2026）扩大故障注入；TRAIL（Deshpande等，2025）、AgentRx（Barke等，2026）、TraceElephant（Chen等，2026）、Xia等（2026）以及长轨迹、span级定位（Wang等，2026a；2026b）也做归因。AgenTracer（Zhang等，2026a）构建归因数据并训练定位模型；AEGIS（Kong等，2026）在训练归因前核验注入失败。
    • 诊断到恢复：TrajDebug跟踪错误是否被解决并引入TrajErrBench（Qi等，2026）；AgentDebug与AgentDebugX（Zhu等，2025；2026）把诊断接到纠正执行；CUADebug（Zhang等，2026b）把诊断与修复用于基于截图的计算机使用。作者称这些工作的主要学习与恢复目标不同于在纠正行为上训练行动策略。

    从失败经验中学习

    • 重用失败片段：先前工作重用失败的动作、片段和目标（Lan等，2025；Ding，2026；Li等，2026；Yin等，2026），构造反思式恢复轨迹（Yuan等，2025；Chen等，2025；Kruengkrai与Yoshino，2025），并用批评引导后续行为（Shinn等，2023；Kumar等，2025）。
    • 可执行环境与格式：另一些资源保留可执行环境和验证器（Xu等，2025；Pan等，2024；Yang等，2026）；ADP统一轨迹格式（Song等，2026）。AgentTuning用奖励过滤轨迹做监督微调（Zeng等，2024）；RAGEN与AgentRL把策略优化扩展到多轮环境反馈（Wang等，2025；Zhang等，2025a）。

    基线方法与基准

    • Table 1比较失败记录资源，列包括错误来源（自然、注入或合成）、环境、harness、模型、记录数、是否定位步骤、是否有轨迹证据、是否执行修正、是否有同检查点原动作对照、训练对象（诊断器D或智能体A）以及人工一致率。AED为自然错误，33个环境、19个harness、23个模型、50,228条，步骤与证据均为有，执行修正与对照为部分，训练同时覆盖D与A，人工一致率85.5%（原文注明原始步骤一致为59/69，各工作指标定义不同）。
    • 实验对照：诊断学习的提示词参照包括Claude Opus 5、Gemini 3.8 Flash、Claude Sonnet 5、GPT-6 Astra；公开基准为Who&When、TrajErrBench、AgentErrorBench；资源对比使用AgenTracer数据与同一学生配方。行动训练以仅成功SFT为对照，作者称该对照沿用交互调优（Zeng等，2024）的做法，但使用本文数据池，不是AgentTuning的数据。

    作者把AED定位为：用探索性错误分组做跨设置分析，并把自然失败接到诊断、提议修正和可用的回放证据上，以支持后训练；在单独的支持回放子集上，把修正与同检查点的原动作重试比较。

  3. How does the paper address this problem?

    AET五阶段把自然失败做成诊断、回放对照和分目标训练视图。

    AED把一次失败轨迹连到一条诊断及可用的修正测试结果；AET分五阶段收集自然失败、生成并核对诊断与修正，再按证据门槛做成不同训练视图。

    记录与失败定义

    • 失败判定：环境适配器在允许预算内报告不成功的终止结果，即计为一次失败。这个集合层面的结果并不定位错误；把某次决策归为智能体错误，需要轨迹支持且可避免的决定。附录D.1区分任务失败、已恢复的工具错误和无法评分的运行。
    • 一条记录：把失败的动作–观测轨迹连到一条诊断、其提议修正、审核决定和可用回放分支，并记下构建时的策略、harness、调试器和所用信息。同一失败的多个提议仍是不同尝试，按源任务分组以便划分。诊断是自由文本，不是固定错误分类；错误模式事后归纳，不改底层标签。
    • 计数：一个错误–诊断对是一次失败执行加一条记录的诊断。不同模型、种子或温度的 rollout 可以贡献不同失败运行；对同一次运行再做诊断会增加对数，不增加运行数。源任务分组把相关执行放在一起。集合资格不等于训练资格或已验证的修复。

    AET五阶段

    1. 收集自然失败：跨环境、harness和策略收集，保留动作–观测轨迹，并把已知的基础设施或评分器故障从智能体错误目标中筛掉。只收真实失败，不注入故障。
    2. 诊断：定位错误步和责任智能体，给出引用轨迹的解释和提议修正，做法沿AgentDebug到AgentDebugX。
    3. 对照学生可见轨迹落地：用结构与语义检查核对诊断，记录被接受和被拒绝的提议。
    4. 回放（在支持处）：从同一检查点，在匹配的策略、harness、预算和验证器设置下，把修正与一次新的原动作重试比较。两种结果都保留。作者称恢复在这些条件下支持该修正，但不确立唯一根因。
    5. 构建视图：分别做诊断SFT、恢复SFT和动作偏好。诊断记录不要求回放；恢复目标要求一条已执行且通过的延续；偏好要求合法的共享输入比较。存下的失败可以再诊断而不必重新 rollout；通不过某视图准入的记录仍可用于集合审计。

    训练目标与视图

    对样本 i，可见上下文为 xi，目标响应为 yi，mik 是目标 token 的二值掩码，Mi 是目标 token 数。真实样本 Mi>0；行动侧填充不贡献损失和 token。诊断与行动的SFT损失为按样本平均与按全部目标 token 归一的负对数似然：

    ℓi(θ)=−∑k miklogπθ(yik∣ xi,yi,<k)

    Ldiag 对批次内各样本的 ℓi/Mi 取平均，Lactor 则把批次内损失按全部目标 token 数归一。只有目标助手 token 计损失，包括行动侧的回合结束 token；上下文和工具观测不计损失。

    • 诊断：yi 含被归因的步骤、责任智能体、带证据的解释和提议修正。紧凑目标只保留归因，可选短理由。输入排除仅用于构建的验证器上下文、成功参照和回放结果；准入不要求回放成功。
    • 预防与恢复：预防样本把错误前历史配上一条已执行且通过的动作。错误后变体把原错误动作及其拒绝作为被掩码的上下文，再监督修正，可带或不带由诊断得到的反思。只有保持状态的拒绝进入错误后上下文。两种形式都不包含之后的失败后缀。
    • 结果与偏好：回放保留修正动作和原动作的结果，包括负对比和零对比。偏好对要求同一状态下的已执行备选，并且在构建协议下结果对比为正。正文评测的是SFT；离线动作DPO试点没有确立恢复收益。

    集合范围与实验队列

    • 全量：Figure 3的当前审计为50,228对，连到38,278个存储的源轨迹blob和9,961个源任务（每个blob 1.31对）。作者称blob身份并不等于独立执行次数。每个环境、harness和模型至少有10个源任务。
    • 环境份额（Figure 3a）：BFCL 11.0%，ALFWorld 9.6%，AgentBench-DB 8.8%，Mind2Web（静态）8.1%，AgentBench-OS 6.6%，τ-bench retail 6.2%，Text-to-SQL 5.3%，τ-bench airline 5.0%，其余25个环境合计39.4%。这些是集合份额，不是失败率或训练准入率。
    • harness计数（Figure 3b）：ReAct（单智能体）16,646，原生工具调用9,614，smolagents 4,614，AutoGen 4,368，OpenHands 4,329，LangGraph 3,873，多智能体（规划–执行）2,797，mini-SWE-agent 1,695，其余11个harness 2,292。
    • 冻结诊断发布：第5节实验用的单独冻结版本有4,319行、2,309个源任务、15个环境，每个环境最多由九个harness家族和十个策略模型产生。集合、回放队列和各目标的训练子集准入规则不同。回放队列不并入该冻结诊断发布。

    成功如何判定

    • 修正效用：在匹配回放中比较验证器通过率。首轮提议不在重复提议中挑选；另有挑选后的提议，以及恢复到同一harness的敏感性设置。
    • 诊断学习：与内部教师标签的精确步骤一致率，用案例级micro平均；责任智能体标签在该留出集上为常数。公开基准另报责任智能体准确率与精确步骤准确率。缺失或无法解析的响应计为未命中。
    • 行动策略：从初始状态测任务成功，测试时没有教师。智能体从Qwen3-8B出发，按源任务留出划分。

  4. What experiments did the paper conduct?

    回放修正提升通过率，内部诊断一致率上升，动作修复的收益因环境而异。

    实验设置

    • 可训练模型：诊断与行动实验都从Qwen3-8B出发；每项研究使用冻结的、按目标划分的群体。内部划分按源任务留出。
    • 诊断参照：Figure 1b与Figure 5a在同一943个教师标注案例上比较提示的Claude Opus 5、Gemini 3.8 Flash、Claude Sonnet 5、GPT-6 Astra和未训练的Qwen3-8B。Table 3另用同一冻结案例、仅第一次调用，比较Gemini 3.7 Flash、GPT-5.6 Sol、Claude Opus 5、Claude Sonnet 5。学生从共识生成的标签学习，参照模型不在这些标签上训练。附录S说明教师不统一，并记录了Gemini 3.6 Flash仲裁者。
    • 公开基准：Who&When、TrajErrBench、AgentErrorBench（ALFWorld、WebShop、GAIA）。Table 2区分Who&When的人工构造（HC）与算法生成（AG），以及是否提供gold。
    • 行动环境：Figure 6给出相对仅成功SFT的变化，分母为Text-to-SQL n=1,014、ALFWorld-lite n=300、TextQuest n=300、WebShop-lite n=300、GridWorld n=100、Warehouse n=100。计划分母包含运行错误。另在真实ALFWorld和ScienceWorld上比较预防臂与未训练策略。
    • 回放：3,062对匹配回放，首轮提议与挑选提议各用自己的对照；恢复到同一harness的挑选提议为n=871。Figure 1c是另一批给定位置的延续研究，队列与Figure 1a、1b分开。
    • 指标与评审：验证器通过率、与内部教师标签的精确步骤一致率、责任智能体/精确步骤准确率、初始状态任务成功。citation-first评审衡量的是产出率，不是独立标签准确率。种子标准差描述运行波动；任务族配对区间描述评测抽样。缺失或无法解析计为未命中。

    主结果

    据Figure 1与Figure 5，三块实验使用分开的队列。

    Swipe horizontally to read the table

    设置对照方法指标
    3,062对匹配回放，首轮提议原动作重试 18.4%修正 51.1%验证器通过率，+32.7个百分点（任务聚类95%区间28.4–37.0）
    同上，挑选后的提议13.7%59.1%验证器通过率；Figure 2标注+45.3个百分点
    同一harness、恢复后的挑选提议，n=8716.1%53.2%验证器通过率
    943例内部教师标签，3种子均值Qwen3-8B基座 47.2%（Figure 5b为47.19%）1,656任务全诊断SFT 63.6%（Figure 2为63.56±0.82%）精确步骤一致率
    同一943例，提示参照Claude Opus 5 54.7%；Gemini 3.8 Flash 53.2%；Claude Sonnet 5 51.6%；GPT-6 Astra 50.7%AED Qwen3-8B 63.6%与内部教师标签的一致率，不是诊断能力的总排名
    • 作者对回放的解读：已执行的修正优于匹配的原动作对照。首轮修正不在重复提议里挑选。给定位置的研究中，诊断引导的延续为31.3%，通用再考虑为26.0%，回放为18.6%（Figure 1c）；相对通用再考虑的配对增益仍不确定。两项研究都在给定位置上测修正，都不测自主检测或行动后训练。
    • 作者对诊断学习的解读：全诊断监督提高了与所记录内部标签的一致率。Figure 5b四个嵌套训练集规模的三种子均值分别为53.13%、57.26%、60.59%、63.56%，每个规模都高于未训练基座。比较衡量的是与记录标注（含其惯例和缺陷）的一致，学生在这些标签上训练而参照没有。
    • 诊断产出：citation-first评审对公共失败池的93.5%产出带轨迹引用的诊断，被评估的其他配置为48.4–65.8%（附录Table 47b）。这是产出率，渲染和教师访问在配置间不同。

    公开基准与协议敏感性

    • Who&When与重叠：1,656任务臂的三个种子在统一协议下的全队列Who&When上高于基座，但这些分数包含与训练共享的任务。排除被标记的任务重叠后，区间包含零（Table 15）。替换被标记样本后重训，在该协议下仍保持正对比（Table 16），作者称这并不确立广泛迁移。TrajErrBench上的平均准确率仍低于基座。每个种子在各基准上保留一个检查点。
    • Table 2（948任务、种子17、共享提示、允许预算强制延续）：Who&When上，基座的责任智能体/精确步骤为HC 56.90/20.69、HC+gold 51.72/18.97、AG 56.35/37.30、AG+gold 55.56/38.89。AED诊断SFT降到50.00/15.52、44.83/13.79、23.81/15.87、11.11/9.52。加上答案格式多样性后回到70.69/24.14、68.97/22.41、59.52/34.92、58.73/34.13。AgentErrorBench的精确步骤/步骤+模块：基座的环境宏平均为16.67/1.67，诊断SFT为20.33/5.00，加答案格式后为22.00/3.00。作者称点估计上升，但没有清楚的配对优势；答案格式延续同时改变了训练暴露。
    • Table 3（同一冻结案例，只计第一次调用）：答案格式学生在Who&When两个HC条件上的责任智能体归因超过四个提示的前沿参照，但在算法生成条件、精确步骤和AgentErrorBench上并非如此。例如HC责任智能体/精确步骤：该学生70.69/24.14，Claude Sonnet 5为56.90/20.69，GPT-5.6 Sol为51.72/25.86，基座为22.41/8.62。AG上GPT-5.6 Sol为67.46/55.56，学生为59.52/34.92。AgentErrorBench上Claude Sonnet 5为23.00/27.50，学生为10.50/21.00。更大训练臂在基准专用协议下也会失去Who&When准确率；这些协议同时改变输入渲染、答案模式和步骤索引。

    行动修复配方

    Figure 6是相对仅成功SFT的18个配对百分点差，单一种子；实心标记和星号表示跨任务的事后Holm调整后显著。任务池和暴露量不同，对比衡量的是整个配方，不是单独的修复监督。

    • 分环境变化：WebShop-lite（n=300）上预防、错误后仅动作、动作加反思分别为+4.67、+6.67、+6.67个百分点，后两者带星号。TextQuest（n=300）为−9.00、−8.33、−9.67，三者都带星号。GridWorld（n=100）为+6.00、+8.00、+2.00。ALFWorld-lite（n=300）为+0.33、−1.00、−0.33。Text-to-SQL（n=1,014）为−0.89、+0.49、−1.38。Warehouse（n=100）为−3.00、−4.00、0.00。作者称其他差异未被检出，这不确立等价；反思相对仅动作目标没有被检出的收益。
    • 作者的解读：含修复的配方提高了WebShop-lite。WebShop-lite的提升伴随更短回合，许多新失败的TextQuest任务触及步数上限；作者称这些关联不能把预算机制从暴露量或更新次数的差别中分离出来。在真实ALFWorld和ScienceWorld上，预防臂输给未训练策略；只有该配方有这一真实环境比较。ScienceWorld的修复分母省略了六次运行错误。
    • 资源对比：在共同基座、紧凑归因配方和匹配的源任务数下，AED与AgenTracer数据各自在不同测试分布上领先（Table 11）。作者称AgenTracer的最大优势出现在注入错误上，同时任务和标注也不同。紧凑目标的AED在内部并不超过基座。这比较的是同一种学生配方下的训练资源，不是AgenTracer的RL系统。离线动作DPO试点没有确立恢复收益。匹配规模的过滤在所测配方下没有确立更严准入带来的学习收益。

    其他消融与分析

    • 历史错误画像（Figure 4）：2,604条轨迹中2,092条被分类；展示的九组含2,588条轨迹（2,086条已分类），16条落在组外。动作类标签在9个所示harness中的8个领先，规划–执行harness为61.7%；π agent把标签集中在验证与观测（61.3%）。作者称这是探索性子集比较，任务混合不同，不是因果效应，也不是全集合分布。
    • 训练规模（Figure 5b）：240、480、948、1,656个训练源任务的三种子均值精确步骤一致率为53.13%、57.26%、60.59%、63.56%，对照未训练基座47.19%，同一943例。检查点选择随规模变化。
    • 人工一致：Table 1将AED的Agree.记为85.5%，并注明原始步骤为59/69，各资源的一致率定义不同。
    • 紧凑监督预算（Table 40）：两种构造共用168条失败轨迹；执行辅助每个epoch 10,553个目标token，仅教师为9,375；两epoch与三epoch的更新数都是28与42。作者称试点与最终队列的构造和信息访问不同，估计不应合并。
    • 冻结发布的视图：诊断视图有3,157条训练行、219条开发行和943条留出行；需要已执行分支的四个视图为空，因为导出时汇集的9,715次尝试中有9,712次从未回放。

  5. What are some points that can be further explored?

    作者认为公开迁移依赖协议，动作结果因环境而异，学习只用了较小冻结群体。

    作者指出的局限与后续方向

    • 学习群体小于集合：第6节称50,228对的集合支持跨执行设置的分析，学习结果只涉及较小的冻结群体。修正效用、标签效度和学到的恢复各自需要自己的证据。
    • 迁移与动作结果：第6节称公开迁移依赖协议，行动结果有正有负。第5.2节的提要称内部一致率提高，广泛迁移取决于环境、答案约定和任务重叠，资源排名会在测试分布之间反过来。
    • 修复的适用范围：第5.3节的提要称所评估的含修复配方改善了WebShop-lite；TextQuest和真实环境上的损失把结果限制在所测配方和环境。单种子配方在任务池、暴露量和优化器更新上不同，对比衡量的是组合配方，不是单独的修复监督。
    • 历史监督：第6节称历史监督省略了策略上下文，后来的检查并不回溯验证它（附录A）。Figure 4的画像是探索性子集比较，不是因果效应或全集合分布（附录G.1）。
    • 回放不确立根因：第3.2节称在匹配条件下，恢复支持该修正，但不确立唯一根因。给定位置的两项研究都不测自主检测。
    • 发布仍是计划：可复现性声明称，接受后作者计划在GitHub开源代码，并发布模型检查点和数据，但受源许可证、隐私审查和再分发权利约束。伦理声明称任何数据发布都要经过针对来源的隐私审查和许可限制。

    实验覆盖范围

    • 集合与训练子集分开：全量审计为50,228对、33个环境、19个harness家族；第5节的冻结诊断发布为4,319行、2,309个源任务、15个环境。回放队列不并入该发布。诊断SFT用1,656个源任务训练、943例留出，三颗种子；行动配方对比是单种子。
    • 回放与延续：修正效用来自3,062对匹配回放，以及n=871的同一harness恢复设置。Figure 1c的给定位置延续（31.3%、26.0%、18.6%）使用另一队列。诊断记录的准入不要求成功回放。
    • 公开评测协议：Who&When在统一协议、排除重叠、换样本重训，以及Table 2、Table 3的共享提示和基准专用协议下都有结果。AgentErrorBench分ALFWorld、WebShop、GAIA。TrajErrBench上报告平均准确率仍低于基座。重叠审计写明训练与留出集共享环境和许多harness–策略组合。
    • 行动环境：六个开发环境是训练环境内的留出任务，位于冻结核心诊断语料之外，分母见Figure 6。真实ALFWorld与ScienceWorld上只有预防臂与未训练策略的比较。
    • 一致率与空视图：Table 1报告AED原始步骤人工一致为59/69。附录T.2写明，该冻结发布只实现诊断视图；导出时9,715次尝试里9,712次从未回放，因此要求对照臂的视图为空。论文报告了citation-first的产出率，并写明它不是独立标签准确率。

  6. Summarize the main content of the paper

    AED把自然失败做成诊断与修正数据；内部诊断一致率上升，动作修复因环境而异。

    AED是一个面向文本智能体的错误–诊断集合，用来把失败轨迹转成可分析、可训练的诊断与修正，而不是只保留最终奖励。

    • 问题：失败运行保留了观测、所选动作和环境响应。作者认为只靠结果奖励无法指出该改哪一个决定、该换成什么动作。已有归因和恢复资源的标注目标与执行证据也不一致，难以在同一批自然失败上同时做诊断学习和动作学习。
    • 做法：AET分五阶段收集自然失败、生成带轨迹引用的诊断和提议修正、做结构与语义核对，并在支持回放的地方，从同一检查点、匹配设置下比较修正与原动作重试。诊断、恢复和偏好各自有准入规则。诊断目标包含归因步骤、责任智能体、解释和提议修正；行动侧用错误前的已通过动作，或把原错误动作作为掩码上下文后再监督修正。
    • 规模：当前审计为50,228对，对应9,961个源任务、33个环境和19个harness家族。实验使用单独冻结的诊断发布和分开的回放、行动队列。集合份额最高的环境是BFCL（11.0%），计数最高的harness是ReAct（单智能体，16,646对）。
    • 证据：3,062对匹配回放中，首轮修正的验证器通过率从18.4%到51.1%（+32.7个百分点，任务聚类95%区间28.4–37.0）；挑选后的提议从13.7%到59.1%。在1,656个源任务上做全诊断SFT，Qwen3-8B对943例内部教师标签的精确步骤一致率从47.2%到63.6%（三种子均值），同一比较里最高的提示参照是Claude Opus 5的54.7%。四个嵌套训练集规模上均值逐级上升。
    • 例外：同一学生在部分Who&When协议上低于基座，排除任务重叠后统一协议的区间包含零；答案格式延续能补回一部分，但同时改变了训练暴露。单种子的仅动作修复训练在WebShop-lite上比仅成功训练高6.67个百分点，在TextQuest上低8.33个百分点；真实ALFWorld和ScienceWorld上，预防臂低于未训练策略。作者的结论是：修正有用、内部诊断一致率提高，但公开迁移依赖协议，行动结果因环境而异，学习结果对应的是较小的冻结群体。
Read originalhuggingface.co