HERA 提出 harness 与环境协同演化,提升 Agent 拒答准确率至 83.3%
HERA: Harness-Environment Co-Evolution for Reliable Agentic Abstention
AI 导读
HERA 是一个面向 Agent 拒答(agentic abstention)的 harness 与环境协同演化框架,用于解决 LLM Agent 在工具使用环境中无法识别任务不可行的问题。它包含两部分:一是通过受控环境变异,把可解任务自动转化为需要拒答的不可行任务,构造可验证的可行与不可行任务对;二是协同演化流程,用此前任务上的失败驱动 harness 调整,并生成针对既往弱点的执行环境与任务。在留出评测任务上,演化后的 harness 将拒答准确率从 61.7% 提升到 83.3%,可行任务完成率从 68.3% 提升到 76.7%,在对比方法中两项指标均为最高。该 harness 无需针对具体模型优化即可迁移到其他 19 个 LLM,平均提升拒答准确率 15.3 个百分点,并使较小模型以约低 85% 的成本达到更强模型的性能。