长时程轨迹监督如何影响终端智能体训练的可靠性与成本

终端智能体模仿学习里，教师轨迹应监督多长并不清楚，更长并不总更好。

• 场景：作者称 Codex、Claude Code 一类终端智能体直接在终端和仓库里执行命令、改代码、迭代解题。常见做法是模仿更强教师的长轨迹；后期动作依赖先前观测、修改、错误和中间结果。
• 现有做法的缺口：短 horizon 会漏掉恢复、修正、验证和策略切换。长 horizon 能看到更长的时间依赖，但训练更贵，历史也更杂。Table 1 中截止从 8K 增到 16K，时间从 21.65 h 到 50.81 h，Accuracy 从 25 到 26；12K 为 29（35.44 h）。
• 作者的问题：Q1 是更长的教师轨迹是否总更好；Q2 是有选择的长 horizon 轨迹能否比用完全部长数据更有效、也更省。
• 观察与做法：作者认为可靠性先升后饱和，行为从过早停止、到有效坚持、再到过度坚持。他们用时间监督偏差下降、有限样本估计误差上升来解释饱和，并提出 selective long-horizon refinement：先训短前缀，再只精炼暖启动模型下更可能的续段。

论文按两类工作定位，并单独列出本文的基线与基准。

终端智能体训练与数据

• 环境与监督：Gandhi 等（2026）、Cheng 等（2026）、Shrivastava 等（2026）改进环境或监督信号。引言把 Pi 等（2026）、Cheng 等（2026）、Gandhi 等（2026）、Wu 等（2026）列为训练较小终端智能体的近期工作，未展开 Wu 等的具体做法。
• Pi 等（2026）：研究长上下文训练，观察到延长上下文并不总提升表现。论文指出其分析只看聚合准确率，留下更长监督如何改变可靠性的问题。作者称聚合准确率会掩盖一种变化：过了中间 horizon，更长监督很少解开新任务，而是让已能解的任务更可重复。

按似然挑选 SFT 数据

• 少而精：LIMA（Zhou 等，2023）用较小、挑过的数据集去比肩大得多的数据。
• 拟合与难度：Ren 等（2024）讨论 LLM 生成回答优于人工撰写，并主要归因于更低困惑度、更好学；Zhang 等（2025）在候选回答里选目标模型似然最高者。另一路偏好更难样本，如 Li 等（2024）的指令遵循难度。Marion 等（2023）与 Ankner 等（2024）的预训练困惑度剪枝中，最佳子集取决于参考模型和保留比例。
• Cuong 等（2026）：高似然偏好并非普遍。数学推理里，高似然带来更快的早期收益，尤其是小学生模型；低似然在更大模型、更长训练下更有益。这些方法给整条例子打分，且多在单轮设置。

基线与基准

• 基线：单阶段全量监督，截止 4K、8K、12K、16K。附录 Table 10 另有两阶段全量合格轨迹，以及与 Top/Bottom 同条数的随机子集。学生为 Qwen/Qwen3-8B，轨迹来自 nvidia/Nemotron-Terminal-Corpus（DeepSeek-V3.2 生成）。
• 基准：主评测 Terminal-Bench v1.0；附录为 Terminal-Bench v2.0 与 OpenThoughts-TBLite。交互用 Terminus-2（Merrill 等，2026）。

作者把本文与整例打分分开：只对长轨迹新暴露的续段 (H1, H2] 打分，似然表示与已学短 horizon 策略的相容性，而不是轨迹的内在质量。

固定基座、轨迹和评测，只改变 token 监督 horizon；再用两阶段的 selective long-horizon refinement 挑选长续段。

交互、模仿与 horizon

• 环境：沿用 Terminus-2。模型面对单一无头终端，用 Bash 完成任务。第 t 步观测 ot，动作 at 从 πθ(·|ht) 采样，ht 是到当前观测为止的完整历史。一条轨迹含 T 个环境级动作。
• 模仿：离线行为克隆让学生复现教师在已访问历史上的动作，目标是教师动作的对数损失。SFT 在 token 序列上做；动作概率是下一个 token 概率的乘积。
• 截止：按决策步截断并不能对齐各轨迹的序列长度。监督实现为 token 预算 K，只保留序列化轨迹的前 K 个 token，并诱导决策步 horizon HK(τ)。经验部分控制 K，理论部分用诱导出的 H。实验截止为 4096、8192、12288、16384 个 response token，记为 4K、8K、12K、16K。

成功如何计数

• 重复尝试：每题八次独立尝试。si 是任务 i 的成功次数。Rel≥k 统计至少成功 k 次的任务数；s̄+ 是已解任务（Rel≥1）上的平均成功次数。脆弱任务定义为 1≤si≤2。
• 行为标签：成功轨迹若目标失败从未出现，记为 proactive；若失败出现后被诊断并恢复，记为 reactive。附录 A.4 用终端观测中的错误签名做机械分类，不推断推理。

偏差–复杂度界

• 偏差：时间监督偏差 B(H):=sup_π∈ΠH^⋆ L_T(π)−L_T(π_T^⋆)，即只监督前 H 个决策时，前缀最优策略在全 horizon 上相对最优策略的最坏超额风险。作者假设 B(H) 随 H 非增，horizon 诱导的策略复杂度 C(H) 非减。
• 界：在 N 条独立教师轨迹、损失有界、前缀到全 horizon 的转移系数有限时，作者给出模仿风险的上界：偏差项，加上随 C(H) 与 log(2/δ) 增长、随 N 下降的估计项。作者写明该界约束模仿风险而非任务成功，并把它当作权衡的透镜。
• 诊断：对长于 16K token 的训练轨迹，偏差代理比较 horizon-H 模型与 16K 参考在全长上的对数似然差；局部难度用 w=4 的窗口平均对数似然。附录 A.3 写明这些不是定理项的直接估计。

选择性长 horizon 精炼

• 池子：只对长度至少 H2 的轨迹打分，以便看到 (H1, H2] 的完整续段。实验里 H1 为 8K，H2 为 12K 或 16K。
• 热启动：在全数据上把监督截到 H1，得到 θ1。它既是后续初始化，也是打分模型。
• 打分与保留：续段分数 s_i(H₁,H₂)=1/(H₂−H₁)∑_t=H1+1^H₂log p_θ1(x_t⁽ⁱ⁾∣ x_<t⁽ⁱ⁾)，即暖启动模型对新增 token 的平均对数似然。按比例 ρ 保留最高（Top）或最低（Bot.）。附录 A.1 写明实现上打的是续段中 assistant token 的教师强制对数概率。作者把似然解释为与 H1 已学行为的相容性，不是通用质量。
• 精炼：从 θ1 继续训练，监督延到 H2。目标覆盖入选轨迹从第 1 个到第 H2 个 token，不是只训续段。未超过 8K 的轨迹不进入这一阶段。ρ 取 25%、50%、75%，约 9.8K、19.6K、29.4K 条；12K Top-50% 略少于 16K Top-50%，因为部分候选在 8K–12K 区间 token 不足而被跳过。

优化设置

• 全参数 SFT，LLaMA-Factory，基座 Qwen/Qwen3-8B。每个阶段两个 epoch。BF16，四张 NVIDIA H100，DeepSpeed ZeRO-3，每卡 batch 1、无梯度累积（全局 batch 4），AdamW，学习率 1×10−5，无 warmup 的 cosine，梯度裁剪 1.0，不做 sequence packing。
• 只使用已完成轨迹，以便把 horizon 与不完整轨迹分开。各单阶段变体来自同一轨迹集，只改截断。

实验设置

• 学生与数据：全部实验的学生是 Qwen/Qwen3-8B。轨迹来自 nvidia/Nemotron-Terminal-Corpus，由 DeepSeek-V3.2 生成。附录 A.1 写 59,407 条 ShareGPT 轨迹；Table 4 的 Full 为 59,408。
• 训练变体：单阶段截止 4K、8K、12K、16K。精炼从完整 8K 检查点再训两个 epoch，对超过 8,192 token 的候选按续段似然取 Top 或 Bot. 的 25%、50%、75%。Table 4：12K Top-50% 为 19,568 条、精炼 11.83 h；16K Top-50% 为 19,600 条、17.48 h。
• 基准与脚手架：主结果为 Terminal-Bench v1.0、Terminus-2。附录 D.4 为 Terminal-Bench v2.0 与 OpenThoughts-TBLite。论文未给出各基准题目总数。
• 协议：每题八次独立尝试。每个检查点报告四次评估的均值和 run-to-run variation。成功由基准判定；论文未写 LLM 评审模型或阈值。
• 指标：成功尝试数、Rel≥1/4/6/8、s̄+、脆弱任务（1≤si≤2），以及训练时间、proactive/reactive 计数和 episode 数。
• 对照：单阶段全量。附录 Table 10 增加两阶段全量合格轨迹，以及与 Top/Bottom 同预算的随机子集。

主结果

下表为 Terminal-Bench v1.0、Qwen3-8B、八次尝试、四次评估。单阶段据 Table 2，精炼据 Table 5。

Swipe horizontally to read the table

设定	成功尝试	Rel≥1	Rel≥6	脆弱任务
4K 单阶段	78±2.8	24±0.8	4±0.5	15±0.8
8K 单阶段	97±2.6	25±0.8	8±0.6	11±0.7
12K 单阶段	111±2.3	29±0.7	9±0.6	12±0.8
16K 单阶段	110±2.7	26±0.8	9±0.7	9±0.7
12K Top-50%	121±2.3	27±0.7	11±0.6	9±0.7
16K Top-50%	122±2.4	28±0.7	11±0.6	9±0.7
16K Top-75%	126±2.1	26±0.7	14±0.6	9±0.7

• 作者称 4K 到 12K 的提升大于评估间 variation；12K 到 16K 的成功尝试落在 variation 内。Rel≥8 从 6±0.5 降到 4±0.5，s̄+ 从 3.83±0.1 升到 4.23±0.1。作者认为此后额外监督主要把成功重新分到已能解的任务上。
• 作者称 ρ≥50% 时，Top-ρ 精炼优于同 horizon 的单阶段训练，且 16K 的 Top-75 在成功尝试和 Rel≥6 上最高。表中 16K Top-75% 的 Rel≥1 并未高于单阶段 16K。
• Table 4：含 8K 热启动后，12K Top-50% 共 33.48 h（相对单阶段 12K 少 5.5%），16K Top-50% 共 39.13 h，相对 50.81 h 少 23.0%。摘要称一半长 horizon 数据仍达到 122±2.4；Table 4 的这一半是合格长轨迹的 50%，条数约为单阶段全量的三分之一。

Horizon 与 persistence

• 测了什么：Table 3 用错误签名划分成功轨迹；Figure 2 统计成功试验的 episode。附录 C 对 36 个任务做人工分类。
• 结果：reactive 成功从 4K 的 61 到 16K 的 83；proactive 从 17 到 12K 的 29，再降到 16K 的 27，占比在 12K 为 26.13%、16K 为 24.55%。Figure 2 中成功试验平均 episode：12K 为 10.8（n=111），16K 为 12.7（n=110）；reactive 子集为 12.6（n=82）对 15.1（n=83）。Table 7/9 的人工分类中，reactive 成功为 27、38、41、42，通过率（五道八次均被分类的任务）为 50%、70%、63%、80%。附录 C.1 写从 4K 的 50% 到 16K 的 80%，表中 8K 为 70%、12K 为 63%。
• 作者解读：作者认为 12K 在主动求解与纠错之间更均衡，16K 与过度坚持一致。Table 8 中 vim-terminal-task 在 8K 为 5/8、平均 13.0 个 episode，16K 为 3/8、23.1。作者把 4K 上 oom、tmux-advanced-workflow 的 2/8（更长 horizon 至多 1/8）视为抽样噪声，不解释为 horizon 效应。

跨基准与训练分解

• 跨基准：Table 11 的 TB v2.0 成功尝试为 4K 44±2.6、12K 65±2.3、16K 64±2.6，16K Top-75% 为 73±2.1。Table 12 的 OpenThoughts-TBLite 为 96±2.9、139±2.4、137±2.7，16K Top-75% 为 155±2.2。12K 到 16K，Rel≥1 从 17 到 15（v2.0）、从 36 到 32（TBLite），已解任务的平均成功次数上升。
• Table 10：两阶段使用全部合格数据时，12K 成功尝试 120±2.4（单阶段 111±2.3），16K 为 123±2.4（单阶段 110±2.7）。作者认为热启动日程本身有收益。随机子集在 12K 从 25% 到 75% 为 116±2.5 到 118±2.6，落在 variation 内；16K 从 111±2.8 到 122±2.4。固定预算下，12K-25% 的 Top、随机、Bottom 为 125±2.2、116±2.5、108±2.8；16K-50% 为 122±2.4、121±2.5、120±2.5，分离很小。
• 任务级抵消：附录 B.2 称 12K 到 16K 的聚合成功从 111 到 110，是 34 个至少被一个单阶段模型解出的任务里，11 个变好、13 个变差、10 个不变，+18 与 −19 相抵。附录 D.1：八个过滤模型的成功尝试均在 112–126。16K-B75 解出 30 题、114 次成功；16K-T75 为 26 题、126 次。作者认为高似然偏向可重复求解，低似然扩大覆盖。

其他消融与分析

• Table 1：训练时间 10.17、21.65、35.44、50.81 h；Accuracy 为 24、25、29、26，点估计与 Table 2 的 Rel≥1 相同。论文未在 Table 1 标题写明该列即 Rel≥1。
• Table 5：12K Top-25% 成功尝试 125±2.2，Rel≥1 为 26±0.7，低于单阶段 12K；Bot.-75% 的 Rel≥1 为 31±0.8，脆弱任务 14±0.8。
• 12K、ρ=50%：Top 对 Bot. 为 121±2.3 对 112±2.6 次成功，Rel≥8 为 6±0.5 对 3±0.4。作者称其他设置差距变窄或反转。
• ρ=50% 时 12K-Top 与 16K-Top 为 121±2.3 对 122±2.4，Rel≥6 均为 11±0.6；ρ=75% 时成功尝试 119±2.5 到 126±2.1，Rel≥6 从 9±0.6 到 14±0.6。
• Figure 3、Figure 5：正文称局部对数似然随轨迹下降，且 B̂(12K) 小于 B̂(8K)；同 ρ 下 Top 的局部似然高于 Bottom，Top-25% 在目标 horizon 附近超过全量 12K。正文未给出图上刻度。
• 附录 D.2：fibonacci-server 全量 16K 为 4/8，T50 与 T75 为 7/8，T50 平均 episode 从 14.0 到 7.9；vim-terminal-task 全量 16K 为 3/8，T75 为 1/8，T50 为 0/8。modernize-fortran-build 在 T75 为 7/8，在 B75 为 1/8。

作者指出的局限与后续方向

论文没有独立的 Limitations、Discussion 或 Future Work 节，结论也未列出后续工作。附录 E「Scope of the analysis」写明分析边界：

• 不外推到任务成功：界针对教师访问历史上的模仿风险、有限策略类上的经验风险最小化器和有界损失。作者写明该界本身并不蕴含真实误差或智能体自身 rollout 下的任务成功率随 H 非单调，也不预测轨迹长度或 persistence；第 5.1 节的行为发现被当作经验结果。
• 网络训练只是近似：有限优化步、token 平均目标只近似上述经验风险最小化。对数损失要有界，需要把概率在某个 ϵ>0 处截断。
• 与 token 截止不完全对应：HK(τ) 随轨迹变化，分析却用统一的 H；跨越预算的动作会被部分监督，而 HK(τ) 忽略这一点。作者写明分析应读作延长监督的定性效应，不是 token 截断的定量模型。
• 无限策略类未展开：作者写明无限策略类须用覆盖数或对称化替换 Lemma E.7 的 union bound，本文不展开该扩展。

实验覆盖范围

• 被测学生为 Qwen/Qwen3-8B；教师轨迹由 DeepSeek-V3.2 生成，训练限于已完成轨迹（第 4.1 节、附录 A.1）。
• 单阶段截止为 4K、8K、12K、16K 个 response token。选择性精炼从 8K 检查点出发，目标为 12K 或 16K，ρ 为 25%、50%、75% 的最高或最低似然（第 7 节）。
• 主评测为 Terminal-Bench v1.0、Terminus-2，每题八次尝试，四次评估报告均值和 variation（第 4.1 节、Table 2）。附录 D.4 另有 Terminal-Bench v2.0 与 OpenThoughts-TBLite。
• 附录 Table 10 包含两阶段全量合格数据，以及与 Top/Bottom 同条数的随机子集。行为分析包括附录 A.4 的自动错误签名分类，以及附录 C 对 36 个任务的人工分类。
• 论文未报告各基准题目总数，未报告显著性检验，也未报告这 36 个任务人工分类的一致性。

这项工作研究终端智能体模仿学习里，教师轨迹应保留多少 token。

• 问题：短截止会漏掉后期恢复、验证和策略切换；长截止训练更贵，后期历史也更杂。作者问更长是否总更好，以及挑选续段能否胜过用完全部。
• 做法：学生为 Qwen3-8B，数据是 DeepSeek-V3.2 生成的已完成终端轨迹。单阶段只改 response token 截止。精炼先在 8K 全量上热启动，再按新增续段的平均对数似然保留 Top 或 Bottom 的 25%–75%，把监督延到 12K 或 16K。似然被当作与短 horizon 策略的相容性。
• 单阶段：Terminal-Bench v1.0 上，Rel≥1 在 12K 为 29±0.7，在 16K 为 26±0.8；成功尝试为 111±2.3 对 110±2.7（Table 2）。作者认为过了中间点，额外监督主要提高已解任务的可重复性，而不是扩大覆盖。
• 行为：reactive 成功从 4K 的 61 增到 16K 的 83；12K 成功试验平均 10.8 个 episode，16K 为 12.7（Figure 2）。作者认为 12K 更均衡，16K 出现过度坚持。第 5.2 节写明偏差–复杂度界不解释这一行为，它是经验发现。
• 精炼与迁移：16K Top-75% 的成功尝试为 126±2.1，Rel≥6 为 14±0.6（Table 5）。16K Top-50% 为 122±2.4，总训练时间 39.13 h，比全量 50.81 h 少 23.0%（Table 4）。从 16K 单阶段到 16K Top-75%，TB v2.0 为 64±2.6 到 73±2.1，OpenThoughts-TBLite 为 137±2.7 到 155±2.2。
• 作者的结论：有效训练 horizon 在中间，用来平衡下降的时间监督偏差和上升的估计难度。对长 horizon 监督，选对轨迹比训完全部更重要；似然要和保留比例、目标 horizon 一起看，不是在所有格子上都分开 Top 与 Bottom。