HERA 提出 harness 与环境协同演化，提升 Agent 拒答准确率至 83.3%

LLM智能体在工具环境中常常不能识别任务不可行、因而应当停止行动（agentic abstention）。

• 场景：作者认为，请求欠指定或环境缺少完成前提时仍继续行动，会损害任务表现、增加不必要的API成本与延迟，甚至导致非预期或不可逆动作。
• 现有路线：一类直接优化模型（监督微调、强化学习、在线策略优化）；另一类固定模型、优化外部harness，后者管上下文、记忆与技能、工具使用、动作校验，以及继续、恢复或停止的控制逻辑。作者称前者已受较多关注，harness优化在agentic abstention中仍largely unexplored。
• 固定任务的不足：对着固定任务优化harness只能暴露有限失败；一旦适应这些失败，同一批例子对剩余弱点的信号减弱。作者因此考虑让任务分布本身适应，持续生成挑战现有能力的新例子。
• 本文提出：HERA做harness–环境协同演化：自动构造可验证的可行/不可行任务对，并用以往失败驱动harness修改和新环境、新任务的生成。评测集HERA-BENCH含60对已验证任务。
• 可见信息：一对任务共享同一请求，是否可完成由环境突变决定。求解器看不到参考答案、private acceptance rules和可行性标签（Appendix A.2）。

LLM拒答与模型侧优化

• LLM abstention：Wen et al.（2025）将其定义为不确定时不回答。论文按理由分成三类：查询或上下文信息不足、模型知识的时间或事实缺口、安全或价值上不宜回答，并列举相应数据集，未把它们当作本文基线。
• 模型侧优化：引言对照监督微调、强化学习与在线策略优化（Agarwal et al., 2026; Chen et al., 2026a;b），以及固定模型后优化harness（Shao et al., 2026; Wang et al., 2026; Karten et al., 2026）。作者称后者在agentic abstention中仍largely unexplored。

Agentic abstention

• Luo et al.（2026）：论文称其引入agentic abstention（原文first introduce），在QA、web与terminal环境中评测智能体是否知道何时停止而非行动，并发现当前智能体常常不能识别应当abstain的情形。
• Liu et al.（2026）：构造可执行的环境–任务对，通过对任务或环境的受控改变，制造应当abstain而非行动的情形。
• Lin et al.（2026b）：从预算意识看相关的停止问题，即智能体能否估计剩余资源需求，并识别预算内不太可能完成任务的情况。

论文指出，这些工作的环境是固定的，或独立于智能体表现而生成；本文用失败驱动环境生成，再用所得环境迭代改进harness。

Harness演化

• 局部支架：Khattab et al.（2023）、Opsahl-Ong et al.（2024）、Yuksekgonul et al.（2025）、Agrawal et al.（2026）优化提示词、示例或语言模型程序。
• 完整harness：Meta-Harness（Lee et al., 2026）用执行反馈搜索harness代码；Agentic Harness Engineering（Lin et al., 2026a）联合演化prompts、tools、middleware、skills与memory；AEVO（Zhang et al., 2026c）优化引导后续演化的流程与上下文。另有失败驱动自精炼、运行时编辑、搜索泛化与种群演化（Zhang et al., 2026b;d;e; Shao et al., 2026）。
• 任务选择与泛化：Task-CoEvolve（Miyai et al., 2026）随harness变化调整验证任务的选择。Wang et al.（2026）质疑harness演化的收益能否泛化到优化中反复使用的任务之外。

论文称，先前方法通常对着固定环境改进harness；本文让harness与环境–任务生态一起演化，并用于agentic abstention。

基线方法与数据

• 基线：H0、H0 + abstention prompt、Harness-only evolution、Task-augmented harness evolution、Task generation from H0 failures。均在累积训练池与HERA-BENCH上比较（§4）。
• 环境合成：Stage 1的环境构造沿用Dong et al.（2026）。引言把协同演化与Meng et al.（2026）的自适应数据生成相类比。

作者将本文定位为：模型权重保持固定，用执行失败同时推动harness适应和更难的可执行环境–任务生成。

HERA分两段：先构造可验证的可行–不可行任务对，再让harness与环境按失败交替更新。底层语言模型权重保持固定。

任务对构造

• 环境：从环境主题出发，用深度研究智能体A（固定研究策略与研究工具）建主题对齐的结构化数据库，再迭代扩充。有界编码过程在工具生成策略下产出候选工具集，并过滤不可执行或与数据库模式不一致的工具，得到可执行环境Eθ。论文未点名智能体A的具体模型。做法与Dong et al.（2026）相同。
• 任务：任务提议者基于数据与工具能力出题。为避免同一模型既出题又自评，独立求解器只通过公开工具接口尝试；只保留能完成并验证的任务，记为Qθ，并留下参考轨迹。附录A.1写该独立求解器为GPT-5.6 Sol。
• 突变：对每个(Eθ, Qθ)，N个独立提议者生成突变提案（论文未给出N）。语义策略πsem检查突变是否与任务和环境语义一致；救援策略πres检查是否仍有非预期替代路径可以完成任务。未通过者进入提案精炼循环。通过的提案p⋆θ由算子M作用到原环境。

突变写作 E_θ′=M(E_θ;p^⋆_θ)，即在不改任务请求的前提下得到用于abstention评测的突变环境。

协同演化循环

每轮维护环境池Eg与当前harness Hk。池中每项是同一任务指令及其配对的可行环境（Act）与不可行环境（Abstain）。智能体在两侧执行，轨迹记为Rk。基于LLM的失败分析员按原因归类任务完成失败与abstention失败，得到诊断Fk。论文未点名该分析员模型。

• 环境演化：对当前智能体未能恰当abstain的环境，环境设计者按Fk修改父环境P的数据、工具行为或约束，再走§3.1的任务生成与环境突变；Fk也引导这两段的提议者。新对经同样验证：可行实例有可执行解，abstention实例不可行。
• 准入：候选批用当前Hk评测。若未能恰当abstain的不可行实例比例高于阈值τ，整批进入累积训练池，包括当前harness已经做对的实例；否则修改或换一批。实验中τ=0.4，即5个不可行实例里至少2个失败（§4、Appendix B.4）。
• Harness演化：训练池更新为Eg+1后，先在全部实例上得到新诊断。优化器可改prompts、memory、sub-agents、skills、tools与control logic，模型不变。连续更新写为 H_k,i+1=Optimize(H_k,i,F_k,i)。每步都接在前一候选上，不论该候选是否变好；n步内训练池固定。Appendix A.3将每块的顺序候选数定为4。

检查点选择

• 指标：Abstain为不可行实例上正确abstain的比例；Pair为可行实例完成且不可行实例正确abstain的配对比例。Act（可行任务完成率）在附录中记录，但不用于选择。
• 采纳条件：全部候选与本轮起始Hk在固定验证集上比较。只有Abstain与Pair都不下降、且至少一项严格提高，候选才可被采纳；在合格候选中选取论文所称best eligible candidate作为Hk+1，否则保留Hk。验证结果只用于检查点选择，不反馈给优化器。
• 数据隔离：验证集与全部累积训练池、HERA-BENCH不相交，各轮不变。Appendix C.1写验证集为15对。HERA-BENCH的任务与轨迹不进入任务生成、harness修改和检查点选择（Appendix A.3）。

运行接口

• 基础harness H0：基于OpenAI Agents SDK的最小工具调用智能体，环境工具经MCP暴露。收到任务后交替模型回复与工具调用，直到最终回复或达到30回合（§4）。
• 可编辑范围：每轮可改prompts、memory、harness级工具、skills、控制逻辑与子智能体配置。环境工具实现与语义、任务说明、计分规则、数据划分和执行预算在优化期间不可改（Appendix A.4）。
• 预算：每任务变体最多30个智能体回合，每次模型回复最多8192个输出token（Appendix A.2）。若生成预算用尽仍未得到5个有效对，该轮记为未完成；论文未报告是否出现过这种情况。

实验设置

• 模型：开发与主比较用GPT-5.6-Luna。同一最终harness再在19个模型上评测，不作逐模型优化：GPT-5.6-Terra、GPT-5.6-Sol、GPT-6-Astra、Claude Opus 5、Claude Sonnet 5、Gemini 3.1 Pro (Preview)、Gemini 3.8 Flash、Gemini 3.5 Flash-Lite、Grok 4.6、DeepSeek-V4.1-Flash、GLM-5.2、GLM-5.3、GLM-5.3-Flash、Kimi K3、Qwen3.8-2.4T-A95B、Qwen3.8 Flash、MiniMax-M3、Mistral Medium 3.5、Mistral Large 3（Table 3、Appendix A.2）。均不微调。温度与top-p用API默认；reasoning设置见Table 4，多数为High，Luna为Default。
• 数据：训练池从20对起，六轮各加5对，累积到50对（100个实例）。验证集15对，固定（Appendix C.1）。HERA-BENCH为60对（60可行、60不可行），域与训练不相交，再经作者人工修订（§4、Appendix D）。
• 基线：H0；H0 + abstention prompt；只在初始训练任务上演化harness；每轮加入无环境演化的额外任务对；只用H0初始失败生成额外对，再分批做harness优化（§4）。
• 指标：Abstain、Act、Pair定义见§4。附录另定义Over-abstain：在可行任务上对全部或必要部分明确abstain的比例，它不是Act的补集。
• 协议：同一环境工具与计分协议。求解器不见参考答案、private acceptance rules与任务侧标签。论文未点名最终计分的评审模型，也未报告HERA-BENCH每个任务的重复次数。验证集选择写明每个任务变体one rollout（Appendix A.3）。
• 协同演化参数：六轮；τ=0.4；每优化块4个顺序候选（Appendix A.3）。

主结果

GPT-5.6-Luna、HERA-BENCH，单位%（Table 1）：

Swipe horizontally to read the table

方法	Abstain	Act	Pair
H0	61.7	68.3	48.3
H0 + abstention prompt	68.3	63.3	46.7
Harness-only evolution	76.7	71.7	60.0
Task-augmented harness evolution	80.0	75.0	65.0
Task generation from H0 failures	78.3	75.0	73.3
Co-evolution	83.3	76.7	70.0

• 作者解读：显式abstention提示提高Abstain，但降低可行任务完成；相对H0，harness演化两项都更高。摘要称Abstain与可行任务完成在所比较方法中最高。
• Pair的例外：Table 1的Pair列中，Task generation from H0 failures为73.3，协同演化为70.0。引言里的48.3%到70.0%是相对H0，不是相对全部基线。
• 训练池：作者称最终50对训练池上协同演化达到86.0% Abstain与78.0% Pair，两项都超出次优基线10.0个百分点（Table 2、Table 6）。作者认为这支持harness更新与环境/任务更新都需要，并且需要多轮。

跨模型迁移

最终harness在GPT-5.6-Luna上开发，固定后评测其他模型。下表为Table 3的一部分（Abstain / Pair，%）。省略Terra、Sol、Claude Opus 5、三个Gemini、Grok 4.6、DeepSeek-V4.1-Flash、GLM-5.3、GLM-5.3-Flash、Kimi K3、Qwen3.8 Flash、MiniMax-M3。表中包含H0 Abstain最低的Mistral Large 3。

模型	H0	Final Harness
GPT-5.6-Luna	61.7 / 48.3	83.3 / 70.0
GPT-6-Astra	81.7 / 70.0	91.7 / 80.0
Claude Sonnet 5	40.0 / 33.3	60.0 / 41.7
GLM-5.2	31.7 / 15.0	50.0 / 33.3
Qwen3.8-2.4T-A95B	40.0 / 35.0	80.0 / 63.3
Mistral Medium 3.5	10.0 / 8.3	26.7 / 20.0
Mistral Large 3	6.7 / 3.3	16.7 / 5.0

• 作者解读：作者称19个其他LLM上Abstain与Pair平均提高15.3与12.5个百分点，增益范围分别为6.7–40.0与1.7–28.3个百分点，幅度因模型而异。H0下GPT-6-Astra的Abstain为81.7%，高于Luna的61.7%；Final Harness仍到91.7% / 80.0%。
• Act并非一律上升：Table 5中若干模型的Act下降，包括GPT-5.6-Terra（83.3到78.3）、Claude Sonnet 5（70.0到66.7）、Gemini 3.8 Flash（60.0到56.7）、Grok 4.6（81.7到80.0）、Mistral Medium 3.5（61.7到60.0）、Mistral Large 3（21.7到20.0）。作者未对这些下降作解释。
• Over-abstain：Table 5中多数为0.0。Mistral Large 3从13.3到15.0；Luna从0.0到1.7。分母为HERA-BENCH的60个可行实例。

协同演化动态

• 测了什么：Figure 2跟踪每个固定任务批在后续harness上的Abstain、Pair、Act。B0为初始20对；Bi（i≥1）为第i轮新引入的5对。Ti是累积池。
• 结果：作者称新批次在同一harness下往往低于较早批次。例如作者称H5在新引入的B6上差于B0和多数先前批次；B6纳入后，H6将该批Abstain与Act从60.0%提高到80.0%。B6仅5对。
• 作者解读：作者称这是预期的协同演化动态。较早批次的Act大体稳定，有波动但总体略向上；生成新任务时并不显式针对Act。作者认为abstention的收益可以不牺牲完成可行任务的能力。Figure 2的其他曲线端点正文未逐点给出。

成本与演化内容

• 成本：Figure 3覆盖14个模型。作者报告套用HERA后，API成本与token用量的中位数倍数为2.09与3.31。GPT-5.6-Luna + HERA的Pair为70.0%，与base GPT-6-Astra相同；每episode API成本估计为0.0091美元对0.0610美元，作者称约低85%。作者还点名Gemini-3.5-Flash-Lite，但未给出其美元成本。
• Harness示例：Figure 4给出一条代表更新序列。H0为基座执行器；H1加基于证据的决策门；H2做跨来源证据调和；H3在后果性动作前联合核验约束；H4扩展到授权关系与累积隐私约束。图注称绿色区域是相对前一版新引入或精炼的逻辑。
• 环境变化：附录E.3把六轮保留的30对相对父任务的主要变化分成四类：新约束组合、证据有效性与访问、更多实体或关系、规格与接口修订。作者称侧重点随轮次变化：E3–E4引入需一并考虑的交互约束，E5主要扩展已有问题，E6关注证据是否可得、表面限制是否仍适用。Figure 6的柱高在文本转换中无法逐柱核对。

其他消融与分析

• T6的Abstain/Act（Table 2）：Harness-only 64.0/66.0；Task-augmented 74.0/76.0；H0 failures 76.0/82.0；协同演化86.0/88.0。
• T6的Pair（Table 6，同一顺序）：46.0、58.0、68.0、78.0。
• 早期重合：协同演化与「从H0失败生成任务」在T0、T1的Abstain/Act同为95.0/90.0与96.0/92.0，T2起分开（Table 2）。
• 随池扩大的变化：Harness-only的Abstain从T0的90.0到T6的64.0；协同演化从T0的95.0到T6的86.0（Table 2）。
• 未做的参数扫描：论文未报告对τ、候选数或验证集大小的消融。

作者指出的局限与后续方向

论文未专门讨论局限。文中没有Limitations、Future Work或等价专节。结论未把任何结果写成不足，也未列出后续实验。伦理声明与可复现性声明写的是研究做法和附录材料，不是局限。

实验覆盖范围

• 模型：任务执行模型为GPT-5.6-Luna；最终harness另在Table 3的19个模型上评测，合计20个，均不微调。
• 数据：训练池20对经六轮扩到50对；验证集15对；HERA-BENCH 60对，域与训练不相交，并经作者人工审阅修订（§4、Appendix C.1、Appendix D）。
• 对照：§4的五种设置：H0、固定abstention提示、仅harness演化、无环境演化的任务扩充、仅用H0初始失败生成任务。
• 已写明的协议：成本与token分析为Figure 3的14个模型。Appendix A.3写验证集选择为每任务变体one rollout，候选数为4，τ=0.4。
• 未报告项：论文未报告HERA-BENCH主评测的重复次数、统计显著性检验、审阅者间一致性，也未点名失败分析员、环境设计者与harness优化器所用模型。

HERA在模型权重固定时，让harness与可执行环境按失败协同演化，以改进agentic abstention。

• 问题：智能体常在不可行任务上继续行动。作者认为固定任务集只能暴露有限失败，适应后信号减弱。
• 方法：受控突变生成请求相同的可行/不可行对，并检查不可行侧没有替代完成路径。失败诊断同时改harness（提示、记忆、技能、工具与控制逻辑）并生成新环境任务。验证集上Abstain与Pair都不降且至少一项上升才替换harness。
• 主结果：HERA-BENCH、Luna上，协同演化相对H0，Abstain从61.7%到83.3%，Act从68.3%到76.7%，Pair从48.3%到70.0%（Table 1）。Pair列另有基线为73.3%。
• 训练池与迁移：最终50对上Abstain 86.0%、Pair 78.0%，作者称两项均超出次优基线10.0个百分点。同一harness使19个其他LLM的Abstain、Pair平均提高15.3与12.5个百分点。
• 成本与作者结论：作者称Luna+HERA以估计低85%的每episode API成本达到base Astra的70.0% Pair。作者称该harness可迁到开发模型之外；Table 5中部分模型Act下降，作者未解释。