A²E：面向 Agent harness 的端到端审计评测引擎

如何在不逐对编写集成代码的前提下，对异构agent harness做可复现、并能诊断执行过程的端到端评测。

• 场景：作者认为系统表现越来越取决于harness，包括系统提示词、工具接口、上下文管理和执行策略。只评底层模型不能代表已部署agent；可复现的harness级评测和细粒度轨迹采集因此更重要。
• 现有不足：引言称既有框架通常只覆盖该流程的一部分。Inspect AI能编排、沙箱执行和打分，但外部harness主要靠专用adapter与模型API代理，可能改变原生执行并降低轨迹保真度；Phoenix能观测原生执行，却不是带任务编排和结果核验的端到端runner。
• 观察：作者认为终点正确性难以区分harness；规划、工具使用、效率与错误恢复上的差异更大。摘要称模型–harness组合随任务类型变化很大，没有一种组合在每个任务上都始终领先。
• 系统：A2E（Agent Auditing Engine）以Agent Task Protocol（ATP）接入不同harness，用自动插桩的Monitor生成标准化轨迹，再按多维指标评测。Figure 1a写明23个基准可与9个框架配对，无需为每个组合另写集成代码。

论文没有独立的Related Work节，相关讨论在引言和第5节。

评测编排与观测

• Inspect AI（AI Security Institute, UK, 2024）：支持基准编排、沙箱执行和打分。论文指出外部harness主要经专用adapter和模型API代理接入，需持续维护，并可能改变生成参数、调用路径或原生执行，降低轨迹保真度。Table 1将其标为无原生执行、生命周期评测部分支持、无持久存储、harness无关性部分支持。
• Phoenix（Arize AI, 2024）：基于OpenInference，为原生执行提供标准化观测。论文指出它不是带任务编排和结果核验的端到端runner。Table 1标为无任务编排、无生命周期评测、持久存储部分支持、harness无关。
• Xi et al.（2025）：引言把它与上述二者并列，称这些框架通常只覆盖该流程的一部分。正文未再描述其做法。

任务接口与执行分离

• AgentQuest等：Gioacchini et al.（2024）、Bandel et al.（2026）、Lacoste et al.（2026）。论文只说近期系统把任务接口与agent执行分开，未逐篇比较。
• OpenTelemetry（2019）：Monitor采用其span模型，并建立在OpenInference上。论文把它当作轨迹表示，而不是待比分数的评测系统。

轨迹级评测与目录

• 只看终点的评测：第5节称，把轨迹收成任务成功或最终答案质量，诊断信号少、指标目录难扩展，轨迹又常存成孤立文本或JSON。
• AgentBoard（Ma et al., 2024）：用进度和轨迹级分析处理上述第一点。作者称A2E进一步做成生命周期对齐、可扩展、数据库支撑的架构。
• HELM与MLflow：Liang et al.（2022）支持递增加入模型、场景和指标；Zaharia et al.（2018）讨论生产向机器学习基础设施的溯源与可复现。论文用来说明模块化和结构化元数据，未报告分数对比。

基线与基准

• 系统对照：实验不与Inspect AI或Phoenix比运行分数。Table 1只比较功能支持（完全、部分、不支持）。
• harness对照：LangGraph、CrewAI、Google ADK、AutoGen AgentChat、Smolagents、Agno、LlamaIndex、Claude SDK、OpenAI Agents；第4.2节登记名还包括Anthropic Python SDK。
• 基准：引擎支持23个基准。Table 2报告DeepSearchQA、GDPval、τ系列和Terminal-Bench 2.1；作者称它们是当前前沿评测，其余registry条目保留作覆盖。

作者把A2E定位为轻量、侵入较小、与harness无关的底座，统一基准执行和保真轨迹采集；并称核心实现小于Inspect AI和Phoenix，论文未给出代码规模。

整体上，A2E把任务编排、轨迹监测和评测收进同一栈。Figure 2分为Task、Monitor、Evaluation三层；Figure 3的运行时再分成Task、Server、Evaluation和只读UI。

Task Layer与ATP

• 协议：ATP是任务层内部软件协议，不是网络协议。它分开基准适配与harness执行，避免每个harness–基准对各写一套适配器。
• 四个对象：基准适配器生成TaskInput和AgentBinding。前者存指令、状态、期望动作、期望输出、元数据和可选沙箱说明；后者提供工具schema、工具执行和提示词构造。AgentRunner按binding运行，返回含状态、最终答案和有序工具调用的TaskTrace。
• harness：登记Agno、AutoGen AgentChat、CrewAI、Google ADK、LangGraph、LlamaIndex、OpenAI Agents SDK、Smolagents、Anthropic Python SDK。Runner把ATP工具schema转成原生对象，控制循环留在harness内，再归一成TaskTrace。AutoGen AgentChat因依赖冲突使用隔离环境。登记支持不等于每个框架–基准对都通过了端到端验证。
• 任务形态：报告把23个基准分成编码、对话、科研、计算机使用四类；这是报告范围，不替代registry的数据集种类。适配器支持文本、工具使用和沙箱任务，执行差异不改变与harness的边界。

Monitor与span轨迹

• 三层插桩：语义层定义agent、chain、模型调用、tool、skill及其输入、输出和身份。Span层记录起止、上下文、成败和父子关系。SDK层把各框架的模型调用、工具执行、工作流转移和异步操作映射上去。
• 记录内容：采用OpenTelemetry span。最高层span是整次运行。循环记为R1→A1→O1→R2→…，并采集状态转移、错误、延迟、token和产物。
• 扩展方式：框架差异在组织轨迹前被消化，时间边界和父子关系保留因果结构。新框架复用语义词表，只补自身执行模型的解释。

生命周期评测

• 四阶段（Figure 5）：Reasoning分Task、Flow、Logical，对应目标理解、规划完整性和推理连贯性；Action分Tool、Skill、Memory；Final Answer分Answer Correctness与Task Completion；Runtime Quality分Efficiency与Safety，覆盖整条轨迹的资源消耗和运行风险。
• 指标实现：指标注册到阶段和细维度；实现可以是LLM judge、确定性规则、环境核验器或统计聚合。新指标不必改runner、harness或已有指标。作者称该目录不是agent质量的完整定义。
• 两类评估器：规则侧计算准确率、任务成功率、工具成功率、延迟、token、成本和轨迹步数。LLM-as-judge侧覆盖最终结果、推理、工具使用、指令遵循、相关性与完整性、安全。方法节未写评审模型名称。目录还提到prompt-injection resilience。
• 数据库：运行记录含任务、配置、轮次、模型输出、工具调用、状态、错误和资源用量。轨迹生成与指标计算分离，新指标可对已存轨迹重算，而不必重跑agent。大附件可放外部存储，库中只记标识和位置。

轨迹生成与界面

• 抽样：输入为基准键、harness键和模型名。CLI默认从候选划分无放回抽40题，可改样本量或给种子；无种子则由CLI生成。
• 两条路径：原生ExperimentRunner为每个任务建一个根span并直接返回trace；CLI路径上传抽样任务并调用run_experiment。二者都遵循ATP，差别在编排和根span归属。
• 可复现字段：元数据含agent_framework、model、sdk、数据集键、抽样种子和任务标识。复现还需要相同数据集版本、模型端点和运行设置。UI只查询服务器，不启动实验、不改评测记录。

实验设置

• 被测对象：九个harness为LangGraph、CrewAI、Google ADK、AutoGen AgentChat、Smolagents、Agno、LlamaIndex、Claude SDK、OpenAI Agents。Table 2骨干为gpt-5.6-sol与glm-5.3。Figure 6写作GPT-5.6-SOL，论文未说明与gpt-5.6-sol是否同一端点。引言称Figure 1的模型是DeepSeek-V4-Pro。
• 基准：引擎列出23个：humaneval、swe-bench-lite、swe-bench-verified、swe-bench-pro、agieval、arc-challenge、bbh、commonsenseqa、gsm8k、hellaswag、math、mmlu、mmlu-pro、openbookqa、truthfulqa、traject-bench、DeepSearchQA、gpqa、gdpval、τ-bench、τ²-bench、τ³-bench、terminal-bench-2.1。Table 2只报告DeepSearchQA、gdpval、τ系列和terminal-bench-2.1。
• 指标：DeepSearchQA为paper F1；GDPval为相对人类金标的Bradley–Terry Elo（human=1000）；τ系列为TRAJ-OK轨迹上的Sierra pass@1，论文未定义TRAJ-OK；Terminal-Bench 2.1为resolved-task success。另有任务成功率和token用量。
• 匹配预算：同一骨干内共享task ID、推理配置、工具、步数和超时。附录A：默认8轮、每次补全4096输出token、单次LLM调用180秒。τ系列30轮；DeepSearchQA与GDPval-AA为8轮。Table 2写GDPval，预算表写GDPval-AA，论文未解释名称差异。三个A2E原生族每次LLM调用最多重试两次。未显式设置temperature与top_p，使用gateway和provider-SDK默认值。
• Terminal-Bench：官方89题，去掉8个gpt-5.6-sol拒答的网络安全任务后，两个骨干都评81题。预算来自各任务task.toml，agent超时600至12000秒，不设套件级轮数或token上限。
• 评审与样本：官方协议给终点分；LLM-as-judge用于语义和行为维度。论文未写评审模型、阈值、与人工的一致性，也未写重复次数或显著性检验。正文称Table 2样本量见附录A，附录未列出DeepSearchQA、GDPval、τ系列题数。第4.3节默认抽40题，未说明Table 2是否采用该默认值。

主结果

作者称Table 2不是harness排行榜，而是展示同一流水线能对多harness、多基准、多骨干打分。下表只摘每行最高与最低，数字均来自Table 2的九列。

| 基准与指标 | gpt-5.6-sol最高 | gpt-5.6-sol最低 | glm-5.3最高 | glm-5.3最低 | | DeepSearchQA Paper F1 | Google ADK 58.13% | AutoGen 56.38% | Smolagents 38.51% | LlamaIndex 5.81% | | GDPval Elo | LangGraph 1129.6 | OpenAI Agents 1041.4 | LlamaIndex 1070.4 | Smolagents 1024.5 | | τ-bench pass@1 | Claude SDK 84.72% | CrewAI 35.29% | Google ADK 63.48% | CrewAI 15.65% | | τ²-bench pass@1 | Agno 82.67% | CrewAI 37.86% | Google ADK 62.28% | CrewAI 23.68% | | τ³-bench pass@1 | OpenAI Agents 84.00% | CrewAI 38.61% | Google ADK 63.16% | CrewAI 20.18% | | Terminal-Bench 2.1 Success | Smolagents 76.5% | Google ADK与Claude SDK均为63.0% | LlamaIndex 54.3% | AutoGen 40.7% |

• 作者称没有普遍领先的harness–模型配置，领先者随任务和模型变化。原表用加粗标出每行最高；上表最低是按九列读出的。
• 作者称在其称为较强的骨干上，DeepSearchQA和GDPval的harness差异较小，glm-5.3上更明显，τ系列变化最大。
• 正文另报Terminal-Bench 2.1成功率：gpt-5.6-sol为68.3%，glm-5.3为48.1%。论文未说明这是九个harness的何种汇总。

效果与token

• 测了什么：Figure 6在GPT-5.6-SOL上比较九个harness，基准为DeepSearchQA、τ-Bench、τ³-bench。图注称横轴为median total token usage、纵轴为task success rate；图中轴文字为Average completion tokens与Task success rate。
• 结果：按离“高成功、低token”的距离给Qh，越高越好。图注给出的前三名：DeepSearchQA为CrewAI、Google ADK、Claude-SDK；τ-Bench与τ³-bench均为Claude-SDK、OpenAI Agents、AutoGen-AgentChat。作者称DeepSearchQA上成功率较集中，token用量相差近一个数量级；后两个基准的成功率和token变化都更大。若干harness用掉更多token，任务成功并未相应更高。
• 与引言不一致：引言称Figure 6的成功–效率前沿比较的是GDPVal、MMLU-Pro和τ³-bench，并称最优harness随模型变化。图注是单一模型GPT-5.6-SOL，基准为DeepSearchQA、τ-Bench、τ³-bench。论文未在Figure 6中给出GDPVal或MMLU-Pro的点。

同任务失败轨迹

• 测了什么：第6.3节与Table 3比较GPT-5.6-sol在同一Terminal-Bench 2.1任务（Task 41，pyknotid，NumPy 2.3.0兼容）上的两条轨迹。两者correctness与task_completion都是0。
• 结果：Google-ADK（run 44）为6次bash、tool_invocation=1.0、plan_grade=0.2（论文称mostly_incorrect）、plan_completeness=0.0、plan_goal_alignment=1.0、failure_transparency=0.0。LangGraph（run 30）为22步、tool_invocation=0.0、plan_grade=1.0（论文称perfect），plan_completeness、plan_goal_alignment和failure_transparency与前者相同，repeated_tool_call_rate都是0。
• 作者解读：前者是早期规划深度失败，检查后未进入构建安装；后者完成修改、构建和README核验，但超时前未跑要求的测试，末段调用被判为截断或畸形。作者称模型、任务和环境固定，差异来自harness执行，而不是模型能力噪声。两条都未在超时处说明已完成和未完成的部分。

生命周期指标跨度

• 测了什么：Figure 1b把指标按Reasoning、Action、Answer、Runtime Quality分组。图注称每个花瓣是九个harness在23个基准上平均后、从最差到最好的跨度。引言称比较对象是DeepSeek-V4-Pro；图注未写模型名。
• 结果：图注写correctness跨度约为0.42–0.77，并称规划、工具使用和效率的跨度宽得多。引言称若干过程与运行指标的花瓣比correctness更宽，终点正确性对harness的分辨力有限。花瓣端点在文本转换中无法可靠对齐，此处不引用图注以外的端点数字。
• 作者解读：作者称这些信号覆盖从筹划、行动到答案，并包括cost和safety，而不只是最终输出是否正确。实验章节未单列safety或prompt-injection resilience的数值。

其他消融与分析

• 论文未报告去掉某一层、更换评审模型或扫描解码参数的消融。
• 附录A：工具返回默认截断到2500字符；τ leftover recovery为8000字符。
• 第4.2节：registry登记不等于每个framework–benchmark组合都通过端到端验证。

作者指出的局限与后续方向

论文未专门讨论局限。正文没有Limitations、Discussion、Future Work或附录中的局限说明。

实验覆盖范围

• 第6.1节与Table 2报告9个harness、骨干gpt-5.6-sol和glm-5.3，基准为DeepSearchQA、GDPval、τ-bench、τ²-bench、τ³-bench和Terminal-Bench 2.1。引擎支持23个基准；作者称其余条目保留作覆盖，但不再是最有区分度的agent测试。
• Figure 6比较九个harness，模型写作GPT-5.6-SOL，基准为DeepSearchQA、τ-Bench、τ³-bench。引言称同一图比较GDPVal、MMLU-Pro与τ³-bench，与图注不一致。
• 引言称Figure 1比较DeepSeek-V4-Pro与九个harness，并在23个基准上取平均；图注未写模型名。第6.3节的案例是GPT-5.6-sol在Terminal-Bench 2.1同一任务上的两条轨迹。
• 附录A写明同一骨干内匹配task ID、推理配置、工具、步数和超时；未显式设置temperature与top_p；三个A2E原生基准族的每次LLM调用最多重试两次。Terminal-Bench从89题去掉8个gpt-5.6-sol拒答的网络安全任务，两个骨干都评81题。
• 第4.3节默认无放回抽40题。正文称Table 2样本量见附录A，附录未列出DeepSearchQA、GDPval、τ系列题数。论文未报告重复次数、显著性检验和LLM-as-judge的评审模型。第5节的指标目录写有prompt-injection resilience，实验未给出该指标数值。第4.2节写明登记支持不等于每个组合都通过端到端验证。

A2E是面向agent harness的端到端审计引擎，把基准组合、轨迹采集和多维评分放在同一条流水线里。

• 问题：作者认为部署表现取决于系统提示词、工具接口、上下文和执行策略，只评模型不够。Inspect AI一类编排框架与Phoenix一类观测框架各自只覆盖一部分流程。
• 做法：ATP把基准适配和harness执行分开，使23个基准可与9个harness组合。Monitor用OpenTelemetry span记录模型调用、工具和父子关系。评测按Reasoning、Action、Final Answer、Runtime Quality注册，规则指标与LLM-as-judge并用，轨迹入库后可重算新指标。
• 官方分数：Table 2在gpt-5.6-sol与glm-5.3上比较九个harness。gpt-5.6-sol的τ-bench pass@1从CrewAI的35.29%到Claude SDK的84.72%；glm-5.3的DeepSearchQA Paper F1从LlamaIndex的5.81%到Smolagents的38.51%。每行最高的harness不同。正文报告Terminal-Bench 2.1成功率gpt-5.6-sol为68.3%、glm-5.3为48.1%，未说明汇总方式。
• 过程分辨：图注称九个harness在23个基准上平均后，correctness跨度约0.42–0.77；引言把该比较连到DeepSeek-V4-Pro，并称规划、工具和效率分得更开。Table 3里两条同模型、同任务、终点同为零的轨迹，plan_grade为0.2对1.0，tool_invocation为1.0对0.0。
• 作者结论：没有一种harness–模型组合在每个任务上都领先；只看终点正确性难以区分harness。作者称这支持做系统评测，并为模型与harness的共同演化提供参考。