Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样

终端智能体即使能生成更好的命令，一次差的执行也会改写环境并拖累后续步骤；作者要弄清在执行前增加计算何时能提高轨迹成功率。

• 场景：作者认为大语言模型驱动的终端智能体用于软件工程、数据科学与科学发现，但同一模型与 harness 会因随机动作序列而有的运行成功、有的失败。每条已执行命令改变后续决策所依赖的环境，错误改代码或装错包都可能阻碍后续进展，即便模型本可以生成更好的替代动作。作者把 action reliability 定义为持续生成有助于完成任务的动作，并用任务成功评估其轨迹级后果。
• 现有方法的不足：先前工作把测试时计算用于采样、验证与精炼，也包括执行前验证候选动作。作者认为这些结果促使人们为动作可靠性扩展计算，但仍不清楚这种扩展何时、为何能提高轨迹成功；生成更多候选的收益取决于能否验证它们，因此需要把两者一起研究。
• 核心观察：作者用强验证器间接探测：固定生成器是否已经产出可被识别的有用替代动作。在 TerminalBench-Lite 上，TMAX-9B 生成、GPT-5.6 Sol 验证，Pass@1 从 base agent 的 50.00% 升至 68.03%（Figure 1(b)）。作者认为这是生成器已产出有用替代、而验证能在不改生成器、也不再后训练生成器的情况下利用它们的证据。
• 提出的方法：Mid-Harness 放在模型调用与执行 harness 之间。每步用同一交互历史向生成器采样多个候选，经验证器选出一个再交给未改动的 harness 执行。主比较固定 TMAX-9B 与其 harness，改变候选宽度、验证机制与验证器能力，并检验它能否与轨迹级并行、顺序扩展组合。
• 要回答的问题：额外计算在动作执行前何时能提高轨迹成功，以及什么使它有效。作者把两个条件并列：生成器是否提供有用替代，以及验证能否在执行前把它们识别出来。

作者在第 7 节把相关工作分成三组，并在引言中把 Mid-Harness 放在已有的执行前验证与轨迹级扩展旁边。

终端智能体的模型与 harness

• 接口与上下文：Yang 等（2024）的 SWE-agent、Wang 等（2025）的 OpenHands 等工作发展智能体接口；Karten 等研究上下文管理。作者只描述这些方向，未逐篇对照 Mid-Harness。
• harness 优化：Lee 等的 Meta-harness 做模型 harness 的端到端优化。
• 模型侧训练：Pi 等、OpenThoughts-Agent、Gandhi 等的 Endless Terminals、Ivison 等的 TMAX，以及 Kim 等的 FrogNano，用合成任务扩大监督或强化学习。作者的定位是：Mid-Harness 在模型与 harness 都固定时研究动作扩展。

测试时扩展与过程奖励模型

• 推理任务上的测试时计算：Snell 等研究推理的测试时计算扩展；Cobbe 等训练验证器解数学题；Zhang 等把奖励建模做成生成式验证；Wang 等用自一致性聚合；Yao 等的 Tree of Thoughts、Hao 等的 RAP 做搜索。
• 过程奖励：Lightman 等逐步验证中间步骤；Khalifa 等、Lee 等研究会推理的过程奖励模型。Singh 等的 V1 用成对比较与锦标赛验证数学和代码解答。
• 与本文的关系：作者称上述工作大多面向推理任务，而本文主要处理智能体任务与动作扩展，因为每个动作都会影响环境。

智能体测试时扩展

• 整条轨迹：Zhu 等、Kwok 等做并行验证；Kim 等、Madaan 等做顺序精炼。Kwok 等的 LLM-as-a-Verifier 也在 Terminal-Bench 上验证逐步候选。
• 动作排序与补丁反馈：Zainullina 等把训练好的 critic 做动作排序，并与轨迹选择结合，用于 SWE 任务。作者称本文改为用生成器本身当验证器，比较多种验证机制，并覆盖更广的终端任务。Shum 等的 SWE-RM、Raghavendra 等评估已完成补丁；Gandhi 等在 SWE 执行过程中提供反馈。

基线方法与基准：主实验的 base agent 每步只执行一个采样动作，不做额外动作验证或轨迹扩展。轨迹级基线是 Best-of-T Trajectories（概率枢轴锦标赛，对应规模的 TMAX 做轨迹验证器）和 Sequential Refine（R 轮，用前一轮摘要指导新运行）。主基准是 TerminalBench-Lite，harness 为 Vanillux2；迁移实验还用 Terminal-Bench 2.1、SWE-bench-Verified 的 Mini 子集、FeatureBench-Mini，以及 Terminus-2。

作者把本文定位为：在固定的模型–harness 边界上改变采样与验证，考察额外计算何时提高轨迹成功，并称其与并行、顺序轨迹扩展兼容。

Mid-Harness 只改模型调用封装：同一历史采样 N 个候选，验证后只把一个动作交回未改动的 harness，不改模型权重或服务架构。

问题设定与动作扩展

• 历史与基线：生成模型为 π，时刻 t 的历史为 h_t，其中 o_0 含任务指令，其后观测为终端反馈。base agent 从 π(·|h_t) 抽一个动作并执行。生成器按 ReAct 在每个动作前用 think 标签产生推理；验证器只看任务、已观测历史和候选动作，不看这些候选的推理。
• 选择规则：同一历史采样 N 个候选 A_t，验证器必须返回其中之一：a*_t = Verify_ψ(h_t, A_t) ∈ A_t。harness 执行 a*_t，得到观测 o_t，历史更新为 (h_t, a*_t, o_t)，其余候选丢弃。作者认为，同一历史下的候选可能目的或效果不同，对照未完成的任务要求来比较，可能同时改善下一步动作和之后遇到的状态，且只需一个环境实例。
• 采样设置：主实验生成器温度 0.8，最多 64 步，上下文上限 65,536 token，每步输出上限 16,384 token。除非另有说明，验证器与生成器是同一语言模型。

三种验证机制

• Listwise：一次调用把全部候选放进同一提示，返回选择 i* = ψ_list(h_t, A_t)。作者列出的优点是一次调用即可直接比较；缺点是集合变大时，要在同一次回复里区分并排出全部候选。前沿验证器因成本使用 listwise。
• Pointwise：对每个候选打标量分 q_i = ψ_point(h_t, a^i_t)，取 arg max。作者称这类似于过程奖励模型的步骤打分，N 次评估可并行；缺点是不同目的的动作必须落在可比较的尺度上。
• Pairwise：每次比较两个候选并给出带比较分数的偏好。默认实现按已评估对上的 margin-weighted win rate 排序，返回最高者。作者称每次比较只需关注两个选项的差异；代价是调用更多：8 个候选时 listwise 1 次、pointwise 8 次、全部无序对 28 次。默认验证器先生成推理再给分数或选择。自验证时 π 与 ψ 为同一模型。Decision-only 变体只输出 A/B 偏好，可用零样本模型，或蒸馏成单 token 回复的模型。

蒸馏、轨迹组合与成本

• 蒸馏：用 GPT-5.6 Sol 在 244 个较难的 TMAX-15k 任务、732 条轨迹上收集的 117k 条成对响应，以 LoRA 训练验证器复现教师的推理、分数和偏好标签。LoRA 只在验证时启用，生成器不变。各规模的蒸馏验证器都从该规模的生成器骨干初始化。
• 与轨迹扩展组合：Best-of-T 用概率枢轴锦标赛从 T 条已完成轨迹中选一个输出，轨迹验证器为对应 TMAX。SR 做 R 轮精炼，每轮摘要上一轮并指导一次新运行，摘要也由对应 TMAX 产生。作者要检验 Mid-Harness 能否在不增加这些方法的环境运行次数时改善它们。# Env. 统计每个返回输出对应的环境执行次数。
• 成本口径：并行化输出 token（POT）在理想并行下近似生成器与验证器的解码延迟；验证器总输出 token 则把所有验证调用的输出相加、不并行。Figure 5 的美元估计套用参考价格，作者写明按 OpenRouter 上 Qwen3.5-9B 的每百万输入/输出 token 0.08/0.13 美元。

成功判定与离线诊断

• 在线指标：一次 run 是一个任务上的一次执行。每任务评 3 次 run，Pass@1 是这些 run 上精确成功的平均；Pass@3 是三次中至少一次成功的任务比例。Best-of-T 的 Pass@1 评的是每个任务返回的那一个输出，因此 Pass@3 无定义。
• 离线协议：第 5 节用 21 个留出的 TMAX-15K 任务上存下的 TMAX-9B 轨迹，N=8，在同一状态下比较不同验证器，测的是与教师的一致性，不是动作正确性或轨迹成功。pairwise agreement 是 A/B/TIE 偏好一致的比较所占比例；verification agreement 是双方选出同一最高排名候选的状态比例。分歧分类由 GPT-5.6 Terra 按预定义类别标出它判定为明确验证失败的案例。

实验设置

• 被测生成器：主实验 TMAX-9B（由 Qwen3.5-9B 经强化学习在合成终端任务上训练，harness 为 Vanillux2）。规模实验加 TMAX-4B、TMAX-27B。迁移实验加 Qwen3.5-9B、Nemotron3.5 Lightning（30B）、Nemotron3 Ultra（550B）。前沿验证器为 GPT-5.6 Sol；离线分歧复审为 GPT-5.6 Terra。
• 基准：主基准 TerminalBench-Lite。迁移包括 Terminal-Bench 2.1、SWE-bench-Verified 的 Mini 子集（50 个任务）、FeatureBench-Mini（23 个 CPU 任务）。蒸馏数据来自 244 个较难 TMAX-15k 任务；离线分析用 21 个留出 TMAX-15K 任务。
• 基线与变体：base agent（每步一个动作）；零样本 Mid-Harness（验证器即生成器，无微调）；蒸馏 Mid-Harness（pairwise，N=8，除非另述）；Best-of-T（主表 T=3，Figure 5 另有 T=5、7）；SR（主表 R=1，Figure 5 另有 R=2、3）。
• 指标与重复：每任务 3 次 run。Pass@1 为精确成功率在 run 上的平均；Pass@3 为至少一次成功的任务比例。离线另报 score MAE、pairwise agreement、verification agreement。成本用 POT、验证器总输出 token，以及参考价格下的美元估计。论文未在正文给出统计显著性检验；任务级置信区间放在 Appendix C.4，正文未列出区间数值。
• 默认超参：温度 0.8，最多 64 步，上下文 65,536 token，每步输出上限 16,384。前沿验证器因成本使用 listwise。自验证默认与生成器同一模型。

主结果

主结果是 TMAX-9B 在 TerminalBench-Lite 上改变验证机制与 N（Figure 2；N=1 即 base agent）。前沿验证器为 listwise。

表格较宽，可左右滑动

设置	N=1 Pass@1 / Pass@3	N=4 Pass@1	N=8 Pass@1 / Pass@3
Base agent	50.00% / 69.39%	—	—
Listwise 自验证	—	49.32%	51.02% / 67.35%
Pointwise 自验证	—	未报告	略高于 listwise的 Pass@1；Pass@3 与 listwise 相同（正文）
Pairwise 自验证	—	54.42%	54.76% / 71.43%
Distilled pairwise	—	55.44%（Pass@3 70.41%）	57.14% / 75.51%
Frontier listwise（GPT-5.6 Sol）	—	64.63%	68.03%（Figure 1 与 Figure 2）；Figure 2 的 Pass@3 标注 80.61%

据 Figure 2。Pointwise 在 N=8 的精确 Pass@1 正文只说相对 listwise 略高、Pass@3 不变，未给出单独百分数，故不填精确值。Figure 2 还标有 First-runnable proxy，正文未给出其定义下的单独数字，表中不列。

• 作者解读：零样本 listwise 从 N=4 到 N=8，Pass@1 只从 49.32% 到 51.02%，Pass@3 从 66.33% 到 67.35%。作者认为弱验证器难以在一次比较全部候选时区分有用动作，所以只增加候选收益很小。
• 机制：N=8 且生成器固定时，作者称 pairwise 在所评机制中最好（Pass@1 54.76%，Pass@3 71.43%）。
• 蒸馏：N=8 的 pairwise 从 54.76% 提到 57.14%（Pass@3 从 71.43% 到 75.51%），生成器不变。作者认为即便最强的零样本机制仍有提升空间。

与轨迹扩展的组合

Table 2 在 TerminalBench-Lite 上组合 pairwise Mid-Harness（N=8）、Best-of-T（T=3）与 SR（R=1）。Best-of-T 只返回一个输出，Pass@3 无定义。

• TMAX-9B：base 50.00% / 69.39%（Pass@1 / Pass@3，# Env.=1）。Best-of-T 55.10%（+5.10，# Env.=3）；SR 55.10% / 71.43%（+5.10 / +2.04，# Env.=2）。零样本 Mid-Harness 54.76% / 71.43%；再加 Best-of-T 为 61.22%（+11.22）；再加 SR 为 56.80% / 73.47%。蒸馏 Mid-Harness 57.14% / 75.51%；加 Best-of-T 为 66.33%（+16.33）；加 SR 为 60.20% / 75.51%（+10.20 / +6.12）。作者称相对单独 Best-of-T，零样本或蒸馏 Mid-Harness 生成那三条轨迹时，在同样 3 次环境执行下 Pass@1 升到 61.22% 与 66.33%，并写出 11.23 个百分点（相对 55.10%）。
• TMAX-4B / 27B：4B base Pass@1 38.78%，零样本 41.50%，蒸馏 43.88%；蒸馏加 Best-of-T 为 46.94%，蒸馏加 SR 为 46.60%。27B base 71.09%，零样本 73.13%，蒸馏 76.19%；蒸馏加 Best-of-T 为 80.61%，蒸馏加 SR 为 75.85%。4B 的 Best-of-T 单独为 34.69%（相对 base −4.09）。SR 在 27B 上 Pass@3：base 82.65%，单独 SR 84.69%，零样本 Mid-Harness 加 SR 回到 82.65%（+0.00）。
• 成本（Figure 5，仅 TMAX-9B）：作者称 SR 的 Pass@1 在 R=1、2、3 为 55.10%、56.46%、55.78%。蒸馏 Mid-Harness（N=8）与 Best-of-T 在 T=5 同为 57.14%，作者称其参考价格 token 成本约为后者的三分之一。蒸馏加 SR 或加 T=3 分别到 60.20% 与 66.33%，二者都高于 Best-of-T 在 T=7 的 59.18%，且参考价格成本更低。摘要写“与一轮 SR 组合超过 T=7 的 Best-of-T，且估计 token 成本不到其一半”（Figure 5）。

迁移与离线一致性

• 跨基准、模型、harness（Table 3，Pass@1 / Pass@3，均为相对 base 的变化）：Qwen3.5-9B + Terminus-2 在 TerminalBench-Lite 上 base 40.48 / 60.20，零样本 42.52（+2.04）/ 61.22（+1.02），蒸馏未报告。Nemotron3.5 Lightning + Terminus-2：41.16 / 55.10 → 43.20（+2.04）/ 58.16（+3.06）。Terminal-Bench 2.1 上 TMAX-9B + Vanillux2：21.72 / 25.84 → 零样本 27.34（+5.62）/ 35.96（+10.12），蒸馏 26.59（+4.87）/ 35.96（+10.12），蒸馏未超过零样本。Nemotron3 Ultra + Terminus-2：50.94 / 65.17 → 56.18（+5.24）/ 66.29（+1.12）。SWE-bench-Verified Mini、TMAX-9B：46.67 / 54.00 → 零样本 48.00（+1.33）/ 58.00（+4.00），蒸馏 48.67（+2.00）/ 62.00（+8.00）。FeatureBench-Mini、TMAX-9B：1.45 / 4.35 → 零样本 5.80（+4.35）/ 17.39（+13.04），蒸馏 7.25（+5.80）/ 13.04（+8.69）；此处蒸馏提高 Pass@1 但 Pass@3 低于零样本。TMAX-27B：17.39 / 26.09 → 零样本 Pass@1 仍为 17.39、Pass@3 34.78（+8.70），蒸馏 23.19（+5.80）/ 39.13（+13.04）。作者称七个设置里零样本都提高 Pass@3，并且 Pass@1 持平或提高。
• 离线教师一致性（Table 1，21 个留出任务，N=8）：score MAE 从 2.59 降到 1.05，pairwise agreement 从 59.01% 升到 74.58%，verification agreement 从 38.52% 升到 57.79%。Figure 4(a) 使用双方都有有效比较的 1,355 个状态（占状态的 83.4%）：verification agreement 在回合 1–4 为 68.13%，在 17–32 为 54.07%。Figure 4(b)：GPT-5.6 Terra 判定的明确失败从零样本 3,328 例降到蒸馏后 1,810 例，各类都更少；作者称候选语义与执行可行性占蒸馏后这类案例的 67.4%。

其他消融与分析

• Figure 3，TMAX-9B，N=8：零样本 pairwise 增加约 26.6k POT，listwise 与 pointwise 至多 1.3k；验证器总输出 token 为 listwise 0.6k、pointwise 7.0k、零样本 pairwise 125.7k。
• Decision-only，N=8（Table 9）：两个 TMAX-9B 只输出偏好的验证器，Pass@1 高于各自带推理的对应项，零样本与蒸馏的参考价格 token 成本分别低 20.9% 与 24.1%。4B 与 27B 上，所评 decision-only 变体成本更低，但 Pass@1 也低于带推理的对应项。
• 组合上的 decision-only（Appendix C.2）：作者称可把这些组合的总参考价格 token 成本再降 22–24%。
• N=4 的 listwise Pass@3：66.33%，低于 base 的 69.39%（Figure 2）。
• 4B 的 Best-of-T（T=3）：Pass@1 34.69%，低于该规模 base 的 38.78%（Table 2）。
• 附录案例：附录给出一次被选中候选仍使评测失败的执行轨迹（11/12 测试通过，最终 reward 为 0）；作者用它说明失败与所选候选引入的别名规则一致。附录 B 给出验证提示词，此处不复述其约束。

作者指出的局限与后续方向

• 蒸馏差距：Limitations and Future Work 写明，蒸馏相对前沿验证仍留下较大差距，因而考虑更好的训练算法，例如用强化学习训练验证器（并指向 V1 那类工作）。
• 没有动作金标签：同一节写明，评测缺少 gold action labels，因而难以直接测量验证正确性和候选覆盖。作者在第 4.1 节也说明，没有动作级真值时，只能通过强验证器下的轨迹成功间接探测覆盖。
• 附录中的展开：作者称 Appendix A 更详细讨论这些局限与后续方向。正文未再列出其他局限条目。
• 安全边界（Ethics statement，作者写的是使用条件，不是实验局限）：实验在隔离的基准环境中进行；所研究的动作可靠性只关乎任务完成，并不确立所生成命令的安全或安保。作者认为能力提升可能有益于正当自动化，也可能便于有害活动，部署时应保留受限权限、环境隔离，以及对敏感或不可逆动作的人工批准；动作验证应补充这些防护，而不是取代它们。

实验覆盖范围

• 主协议：TerminalBench-Lite 上固定 Vanillux2，生成器温度 0.8、最多 64 步；每任务 3 次 run，报告 Pass@1 与 Pass@3（第 3 节）。任务级置信区间写在 Appendix C.4，正文未给出数值。
• 规模与验证器：动作扩展的规模比较覆盖 TMAX-4B、9B、27B；前沿验证器为 GPT-5.6 Sol，且因其成本使用 listwise（第 4.1 节、Table 2）。自验证时验证器与生成器为同一模型。
• 迁移设置：Table 3 的七个设置为 TerminalBench-Lite、Terminal-Bench 2.1、SWE-bench-Verified Mini（50 任务）、FeatureBench-Mini（23 个 CPU 任务），模型含 Qwen3.5-9B、Nemotron3.5 Lightning、Nemotron3 Ultra，harness 含 Vanillux2 与 Terminus-2。部分格子未报告蒸馏结果。
• 离线分析：21 个留出 TMAX-15K 任务、N=8 的已存 TMAX-9B 轨迹；1,355 个双方均有有效比较的状态（83.4%）。分歧由 GPT-5.6 Terra 按预定义类别判定。该诊断测教师一致性，不是动作正确性（第 5 节）。
• 成本与环境次数：POT 与验证器总输出 token 在 Figure 3；Figure 5 的美元数使用作者给出的 Qwen3.5-9B 参考单价。Table 2 的 # Env. 为每个返回输出 1、2 或 3 次环境执行。蒸馏数据为 117k 条成对响应、732 条轨迹、244 个任务（第 4.3 节）。

Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。

• 问题：一次糟糕命令会改变环境并影响后续步骤。作者问的是，执行前的额外计算何时有效，以及有效取决于生成器是否提供替代动作、验证能否在执行前认出它们。
• 做法：每步从同一历史采样 N 个候选，用 listwise、pointwise 或 pairwise 选出一个再执行。验证器可以是生成器自己、GPT-5.6 Sol，或在 117k 条教师成对响应上用 LoRA 蒸馏、且只在验证时启用的模型。还可与 Best-of-T、Sequential Refine 叠用。
• 主证据：TMAX-9B、TerminalBench-Lite、Vanillux2 上，base Pass@1 为 50.00%。GPT-5.6 Sol 的 listwise 在 N=8 达到 68.03%。零样本 listwise 从 N=4 的 49.32% 只到 N=8 的 51.02%。同为 N=8 时 pairwise 为 54.76%，蒸馏后为 57.14%。
• 组合与迁移：TMAX-9B 上，蒸馏 Mid-Harness 加 Best-of-T（T=3）为 66.33%，加一轮 SR 为 60.20%；作者称二者都高于 T=7 的 Best-of-T（59.18%），且参考价格 token 成本更低。Table 3 中零样本在七个模型、基准或 harness 设置上提高 Pass@3，Pass@1 持平或提高；个别设置里蒸馏的 Pass@1 或 Pass@3 不高于零样本。
• 作者的结论：验证决定采样加宽是否有用；比较方式和蒸馏能收回一部分前沿验证器的收益，但命令语义与执行可行性仍是与教师分歧的主要来源。作者把动作扩展视为与轨迹扩展互补的测试时计算方向，并指出蒸馏距前沿验证仍有差距，且缺少动作金标签，不能直接测量验证是否正确。