SafeActBench 发布:工具型 Agent 在证据到行动链上的失败模式
From Evidence to Action: How Tool-Using Agents Fail
AI 导读
研究者提出 SafeActBench,用 656 个案例覆盖六个操作领域和五种协议,考察工具型 Agent 从静态行动判断、调查后不行动到单步与多步工作流的失败位置。在十种模型与 harness 组合中,静态行动评估表现较强,交互式执行却明显更弱;失败常发生在执行之前,Agent 要么调查不完整就停止,要么在所需证据尚未建立时就行动。一旦证据齐备,单步执行通常可靠,多步工作流则暴露出未解决的前置条件和执行不完整。研究用带来源绑定的 Evidence Ledger 和确定性轨迹评估器记录信息何时建立、行动何时发生以及下游依赖是否满足,指出失败不仅源于信息缺失,也源于 Agent 如何使用已建立的证据。