重新思考智能体框架中的验证

研究者将验证作为测试时扩展的一个维度，在七个前沿编码模型上比较 17 种验证设计，发现由独立评审者进行的独立评审在准确率与成本之间提供更有利的权衡。该框架覆盖智能体生命周期的四层，即初始指令、回合中提醒、完成门控与独立评审，并在 Terminal-Bench 与 SWE-bench Verified 上评测。在 Terminal-Bench 和 SWE-bench Verified 上，独立评审分别以 1.13-1.25 倍和 1.00-1.04 倍基线成本带来 5.9-9.5 和 3.9-6.6 个百分点的平均准确率提升；初始指令和执行时提醒仅带来幅度不大、依模型而异的提升且平均输出 token 用量没有大幅增加，完成门控提升更大但可能大幅增加成本。增加评审轮次或独立评审者可使 Terminal-Bench 平均准确率再提升最多 3.5 个百分点。