A²E：面向 Agent harness 的端到端审计评测引擎
$A^2E$ : An End-to-End Agent Auditing Engine
AI 导读
研究者提出 A²E（Agent Auditing Engine），一个面向 Agent harness 的端到端评测引擎，用于系统评估 harness 能力。该引擎基于新提出的 Agent Task Protocol（ATP）快速接入不同 harness 的评测任务，并通过自动插桩的 Monitor 在实验过程中捕获并生成标准化执行轨迹。评测阶段使用一组多维指标，除正确率外还刻画 harness 在执行效率、工具使用、任务规划和错误恢复上的差异。实验显示，模型与 harness 的组合在不同类型任务上表现差异明显，没有单一组合能在所有任务上持续领先。代码已公开。