研究：Agent 准时停机不等于有效使用时间预算

小规模 LLM 智能体能否在显式 wall-clock 时间预算下既按时返回，又把多给的时间换成更好的任务结果。

• 场景：作者认为智能体做长程规划、工具使用和迭代改进时，耗时与答案质量同为行为维度。用户用预算表达质量与时间的权衡；嵌在更大系统中的智能体还须赶上截止，才能与其他组件协调。
• 现有缺口：预算只写在提示词里时，智能体不能把它变成受控用时。作者认为原因包括上下文没有 wall-clock、不能可靠预估动作时长，以及没有从剩余时间到策略的映射。token 数依赖硬件和推理配置，作者认为它不是 wall-clock 的可靠代理。
• 作者的划分：adherence 指在分配时间内返回。硬中断可以强制截止，作者仍希望智能体自己赶到。productive use 指额外预算应提高质量，而不是提前停或用无用动作垫时间。检验是成绩是否随预算增加。
• 做法：环境是额外时间原则上能改变结果的 MLE-Bench Lite 五场竞赛（Qwen3.6-27B）和 Jericho 的 Zork I（Qwen3-4B 等）。干预分两类：harness 暴露计时并可强制截止；GRPO 用预算相关奖励。作者称在这些设置里 adherence 大体可处理，productive use 仍然困难。

相关工作按预算意识、约束强化学习和 LLM 强化学习组织。作者只在点名对比时写出差异。

预算意识与测试时扩展

• Lin 等（2026）BAGEN：把 budget-awareness 写成逐步估计剩余预算上下界，并称前沿智能体对剩余预算持续过于乐观。其 SFT+RL 改善提前停止，但精确校准仍然困难。作者对比：对方是 token 预算和单一训练方法；本文是 wall-clock，并比较提示、harness 强制和 RL。
• Li 等（2026）、McCleary 和 Ghawaly（2026）：前者提出免训练的 Budget-Aware Value Tree Search，预算减少时从探索转向利用。后者测量搜索深度、检索策略和 completion budget 在固定约束下对准确率的影响。作者称二者在 token 或工具调用层，计 token 捕捉不了 wall-clock 的随机动作时长。
• Snell 等（2024）、Ma 等（2026）、Paglieri 等（2025）：Snell 等称计算最优的测试时扩展可以超过大 14× 的模型，但假设预算无限。Ma 等用 Timely-Eval 和 Timely-RL 把测试时扩展改成 wall-clock，并称现有模型不能按时间预算调整推理。Paglieri 等用 SFT 和 RL 教智能体何时值得规划。作者对比：Ma 等只做一种 RL，本文把提示、harness 和 RL 当作递进；本文要整套策略随预算改变，并称 RL 学会何时停，没有学会时间更多时做什么不同的事。

带预算的约束强化学习

• Altman（1999）：用约束马尔可夫决策过程形式化代价约束下的奖励最大化。
• Carrara 等（2019）：Budgeted MDP 让单一策略以预算为条件，从而不必为每个预算重训。作者称 RL 阶段采用这一想法；其代价是随机 wall-clock，经典 BMDP 则假设状态–动作代价已知。
• McMahan 和 Zhu（2024）、Achille（2026）：前者要求任一时刻都不超预算，并称 anytime 约束下马尔可夫策略不够。作者称这支持把剩余预算注入上下文。Achille 认为扩展推理模型时应优化时间，并警告奖励驱动模型会蛮力求解而不获得可迁移策略。作者称其“记忆前缀加空操作”符合这一失败模式。

LLM 强化学习与实验对照

• Shao 等（2024）GRPO：为 DeepSeek-Math 提出，并用于 DeepSeek-R1（Guo 等，2025）。每任务采样一组 rollout，组内归一化奖励，不另训 critic。作者采用它，理由是该归一化能处理多预算同时训练带来的多峰奖励。
• 基线与基准：对照是同一模型上的条件，不是另一些已发表系统：仅提示词、注入时钟、clamp 或 refuse、GRPO。环境是 MLE-Bench Lite 中选出的五场竞赛，以及 Jericho 的 Zork I。

作者把区别放在：对象是 wall-clock 而不是 token 预算；比较的是提示、harness、RL 的递进，而不是单一训练方法；并称学到的是停止时机，不是如何把更多时间用到不同策略上。

作者把失败分成看不到时间、预估不了动作时长、以及不会把剩余时间映射成计划。harness 补前一类观测，GRPO 用预算相关奖励处理停止与分数的权衡。两个环境都要求额外 wall-clock 原则上能提高分级分数。

任务设定

• MLE-Bench Lite：从 22 场子集选 5 场：dog-breed identification、dogs-vs-cats、leaf classification、spooky-author identification、NOMAD 2018。标准是不同时间尺度上策略应有差别，且 10 到 25 分钟的初步运行有非平凡分数方差。智能体检查数据、执行建模代码、迭代并交出提交。模型为 Qwen3.6-27B，经 OpenCode 运行。
• Zork I：Jericho 文字游戏。每步读状态、生成动作、收观察。评测用 Qwen3-4B、Qwen3.5-9B、Qwen3.8-27B，轻量循环且 thinking 关闭。任务分是游戏分数除以 350。
• 用时：t 含生成、工具和 harness 开销。作者同时看工具延迟和生成时间。模型原则上可自己查系统时钟，作者称没有观察到这种行为。

Harness

• 只加信息（Table 3）：每次工具调用后写入剩余时间；固定间隔即使命令仍在跑也报告剩余时间；报告该动作前生成花了多久。三者不规定动作。
• 强制，且不同时使用：clamp 在 shell 命令运行前缩短其时限，命令仍跑但在截止前被截断；refuse 阻止命令并返回原因，让智能体改选更短的动作。未写时限按 harness 默认超时计。作者给出的失败是：剩余时间已少，仍发出时长超过剩余预算的工具调用，调用期间没有再行动的机会。
• Zork 的时钟：Clock Tool 由模型发 time elapsed，返回已用时间与预算，不推进游戏，检查本身计入预算。Clock Tool++ 是同一工具，提示中增加何时查询的说明和示例。Auto-Clock 每步由 harness 附加同一条信息。另有只写预算，以及不提时间的 No Budget。时钟做成文本伪工具，而不是原生 function calling，以避免不同模型走不同解析器。截止在每次生成前检查，不能打断正在进行的生成。附录给出各条件的完整提示词。

两类 GRPO 奖励

MLE-Bench 设 B 为预算，t 为已用时间，q∈[0,1] 为提交的归一化分。按时且已提交时奖励为 q 加正常数 ctime；超时且已提交时为 αq 减去 p 乘超出秒数；无提交为 −cfail。作者要求同等质量下按时优于超时，无提交最差。正文写成

R(q,t)=q+c_time

只覆盖第一支；后两支是 αq−p(t−B) 与 −cfail。附录 Table 11 给常数，并在第 106 步换成另一套；质量项还相对 chance 和历史高分做分段，并加提交奖励与按时速度项。

Zork 设 s 为结束时的归一化分数，λ=0.1。作者写成

R(s,t)=[s+λ b(t;B)]· g(t;B)

b 为时间奖励，g 可把整段奖励清零。四种形状只改 b 和 g：Cutoff 只有门；Linear 与 Gaussian 在 t=B 附近给分；Step 按预算的十分位加分，超过 1.1B 则整段清零。作者选用 step-wise。比较数字在附录 Table 7，不在这里展开。

训练与终止

• MLE-Bench：从已发布的 Qwen3.6-27B 开始，学习率 1×10^-6，KL 系数 0.001。一个 GRPO 组是一个（竞赛，预算）。扫描 5 场 × 4 个预算（10、15、20、25 分钟），每组 21 个 episode，每步 20 组。dogs-vs-cats 用来凑满 20 组，附录称它被排除在表格外。轨迹经内部工具转成 TITO 再训练。Table 2 条件的 kill 在 2B；RL 后来改为 B+30 秒。
• Zork：每个 GRPO 步从 0 到 16 秒均匀抽预算，对 Auto-Clock 和 Clock Tool++ 都训；Figure 2 的策略是 400 步。另用预算混合 {15, 30, 60, 90} 秒和 {15, 90} 秒。策略从 Qwen3-4B 基座开始，无热启动；每提示 8 条 rollout，温度 1.0，thinking 关闭，512 行训练、16 行验证，20 个 epoch 共 640 步，1 节点 8 块 H200。不自行 quit 时，正文写会打到 180 秒硬终止或回合上限；附录 Table 5 写 kill=2×B。

判定

• MLE-Bench：on budget 指 t≤B。Table 2 的 quality 是既有效又按时的提交上的 Kaggle leaderboard percentile，并列计一半，mean±s.e.m.。Table 1 的 quality 只要求提交有效。Valid 是文件能被评为有效提交的比例。
• Zork：分数从对局直接读出，满分 350。短预算评测每格 16 局，在 2 倍预算处终止。附录把 overrun 定义为 elapsed/cutoff，并称 overrun≥1.5 的格子不应读成定时对局的分数。

实验设置

• 模型：MLE-Bench 为 Qwen3.6-27B，经 OpenCode 1.17.4，SGLang 张量并行 4，上下文 131072，单次生成上限 16384，每局一块 GPU。Zork 的提示与 harness 为 Qwen3-4B、Qwen3.5-9B、Qwen3.8-27B，thinking 关闭。Zork 的 GRPO 从 Qwen3-4B 基座训练。论文未使用 LLM 评审。
• 数据与预算：3.1 节的五场竞赛。Table 2 固定 15 分钟（900 秒）并五场合并。Figure 4 的预算为 10、15、20、25 分钟。Zork 短预算为 0.5、1、2、4、8、16 秒；混合训练为 {15, 30, 60, 90} 与 {15, 90} 秒。
• 条件：仅提示词、信息型时钟、clamp、refuse、GRPO。Zork 另有 Clock Tool、Clock Tool++、Auto-Clock 及两条对应 RL 策略。各 Zork 条件共享同一预算陈述和 2 倍预算 cutoff。
• 指标：按时比例；耗时；leaderboard percentile；Valid；回合数；Zork 原始分。Table 2 的 quality 只统计既有效又按时的提交，因此各行分母不同；RL 行该格为“–”。
• 样本量：Zork 每格 n=16。Table 9 每格 n=9–20，80 次探测中 54–67 次解析出答案。MLE 的 GRPO 每步 420 个 episode。论文未报告 Table 1、Table 2 每个条件的 episode 数。

主结果

据 Table 2，Qwen3.6-27B，五场合并，预算 15 分钟。quality 为 mean±s.e.m.；turns 与 time 为 mean±s.d.。

Swipe horizontally to read the table

条件	On budget	Quality	Turns	Time (s)	Valid
Prompt only	15%	49.4±4.4	22.4±10.1	1453±454	78%
+Harness (clocks)	62%	42.1±1.8	16.5±6.4	897±202	88%
+Enforcement (clamp)	74%	46.8±1.8	17.0±6.5	847±165	90%
+Enforcement (refuse)	88%	42.4±1.9	20.3±8.0	812±160	78%
+RL (GRPO, refuse)	86%	未报告	18.9±3.7	807±37	74%

• 与正文的质量说法并列：4.1 节称仅提示词平均用掉 15 分钟预算的 161%，按时完成的运行占 15%。4.2 节写用时从 161.4% 降到 99.7%，质量从 47.5 到 47.0 百分位、在误差内无 measurable 变化，有效提交从 78% 到 88%。引言称 harness 使质量无 measurable 损失。Table 2 的 quality 列与 47.5、47.0 不是同一组数字。
• 强制与 RL：作者称主导失败是剩余时间不够时仍发出更长的工具调用。clamp 的有效提交比例最高；refuse 更贴近预算，但智能体会用更短时限重发被拦命令，回合增加。GRPO 行作者称没有超过它所训练的 harness，quality 未报告。
• 加时：作者称没有 RL 时，有时钟也会让耗时随所写预算缩放，但质量不随预算上升（Figure 4）。图注如此，正文未给出这四档预算各自的百分位。

Zork I 的按时与分数

• 测了什么：Figure 2 与 Table 6 比较固定权重条件和训了 400 步的策略。每格 16 局，thinking 关闭，2 倍预算硬截断。
• Qwen3-4B、16 秒：仅提示词耗时 21.2±13.1 秒、分 0.0±0.0；Auto-Clock 为 14.2±4.0 秒、0.0±0.0；RL+Clock Tool++ 为 15.4±0.2 秒、16.6±10.9；RL+Auto-Clock 为 15.8±0.1 秒、46.4±2.1。Figure 2 写固定权重条件在任一预算都不超过 0.6 分，两条 RL 策略在 16 秒为 46.4 与 16.6。同表中 RL+Auto-Clock 在 8 秒为 42.8±7.5，16 秒为 46.4±2.1。
• 作者解读与反例：作者称只写预算不能可靠按时，常打到 2 倍截断；Clock Tool 几乎不改善按时，Clock Tool++ 增加调用后较好，Auto-Clock 最好。作者称各预算分数仍低于 5；Table 6 中 Qwen3.8-27B、仅提示词、16 秒均分为 5.3±4.3。Qwen3.5-9B 与 Qwen3.8-27B 的 Auto-Clock 在 16 秒耗时 22.1±6.8 与 16.6±1.1 秒，分数 2.5±4.1 与 2.8±3.6。作者把 RL+Clock Tool++ 分数更低归因于大约一半回合在查时钟。混合预算训练中，作者称耗时按预算分开、分数趋势接近，策略坍到最短预算所学的做法（Figure 3）。结论称更大预算上分数停在 45/350。

中途时间估计

• 探测：截断 15 分钟 MLE-Bench 轨迹，询问已用时间、剩余预算、还将运行多久、总时长（Table 9、Figure 1 右）。有无时钟由保留或去掉 harness 计时行决定。
• Qwen3.6-27B 的 mean signed error（预测减真值，秒）：无时钟时 elapsed −69±110，剩余预算 +43±381，还将运行 −25±366，总时长 −735±546；有时钟时为 +46±187、−19±58、−53±214、−554±538。
• 作者说法：作者称有时钟时两个模型都能准确读出已用时间和剩余预算。Table 9 只列出 Qwen3.6-27B，有时钟时 elapsed 误差为 +46±187 秒。作者称无论有无时钟，该模型都把总时长低估大约十分钟。

其他消融与分析

• Table 1（仅 dog-breed identification、仅提示词；附录称更早启动器、无插件、无 kill，局在智能体退出时结束）：8/15/60 分钟与无预算的按时率为 35%、83%、100%、–，耗时 12.9±12.6、9.7±10.6、10.5±6.3、12.2±11.4 分钟，quality 50.3±2.9、43.1±8.6、54.8±7.2、53.5±7.8。不能与 Table 2 的 15% 直接对比。
• Table 7：linear / gaussian / step 的 on-target 为 100.0% / 99.7% / 96.1%，分数 8.7 / 20.8 / 22.5，到达分数至少 10 的步数为 – / 89 / 56。
• Table 8（每局 time elapsed 调用均值，16 局）：Clock Tool、Qwen3-4B、16 秒为 0.00；Clock Tool++、同格为 3.12。Qwen3.5-9B 的 Clock Tool 六格均为 0.00。
• MLE 的 GRPO（4.3.1 节）：作者称用掉的预算比例在各设定下保持 0.87 到 0.93；约四分之一按时提交不优于均匀猜测，把 q 的权重乘三后该比例未下降。论文未给该比例的精确值。
• 无效动作（附录，某次训练第 500 步）：填充命令出现在 128 局中的 127 局；B=15 时占回合 45%，B=90 时占 88%。作者称预算误差在 0.2 秒以内，但主要来自被解析器拒绝的重复命令。
• 生成延迟（附录）：16 路并发下 4B 单次生成约 0.2–0.4 秒，27B 为 1.4–1.8 秒；最快完整局 0.233 秒。作者称低于约 2 秒的预算按构造处于分数下限，只用于看时钟行为。Qwen3.8-27B、Auto-Clock、0.5 秒预算的耗时为 1.3±0.2 秒（Table 6）。

作者指出的局限与后续方向

• 策略坍缩（第 5 节、结论）：策略能跟上所写预算，但不为不同预算做不同计划。Zork 中不同预算以同一记忆动作序列开局，分数相同，预算只改变用填充动作垫到退出的时间。混合预算训练只帮助把停止泛化到多个预算。MLE-Bench 上额外时间带来更多训练尝试，不提高最终分数。
• 固定环境记忆化（第 5 节）：单一游戏、固定开局使记忆成为加分的便宜路径。策略收敛到一段固定得分的 walkthrough 前缀。把模型自己的输出换成合法动作反馈后，同一检查点分数低很多。奖励给耗时、不给探索，也不区分被拒绝的动作和有效动作，剩余时间靠重复命令填满。
• 动作时长噪声（第 5 节指向附录）：MLE-Bench 上同一训练脚本的时长随系统负载变化，奖励噪声与决策不相关，信用分配变难。作者称 harness-only 的预算利用率已到 99.7%，时长方差可能解释 RL 相对未训练 harness 的 negligible gains。
• 评测范围（第 5 节）：作者写实验使用 Qwen3-4B 与 Qwen3.6-27B 两个模型、两个环境，Zork 的 RL 只在一个游戏上训练。能否推广到 frontier-scale 模型、策略空间更丰富的环境仍开放。五场竞赛限制训练中见到的任务结构。
• 后续方向（结论）：按新状态而不是耗时给奖励；用环境变化避免记忆代替搜索；用奖励项区分重复尝试和真正不同的策略。作者称 adherence 与 productive time allocation 之间的差距是预算条件智能体的中心挑战。

实验覆盖范围

• MLE-Bench 的被测模型是 Qwen3.6-27B。Zork 的提示与 harness 表包含 Qwen3-4B、Qwen3.5-9B、Qwen3.8-27B。Zork 的 GRPO 从 Qwen3-4B 基座训练，Figure 2 的策略为 400 步。
• 环境是 MLE-Bench Lite 的五场竞赛和 Jericho 的 zork1。Table 2 为 15 分钟、五场合并；Figure 4 为 10、15、20、25 分钟。Zork 短预算为 0.5 到 16 秒，混合训练预算为正文给出的两组集合。
• 条件包括仅提示词、三类信息钩子、clamp、refuse、Clock Tool、Clock Tool++、Auto-Clock 和 GRPO。Zork 评测关闭 thinking。判定用 leaderboard percentile、按时比例、有效提交比例和游戏分数。
• Table 6 每格 n=16。Table 9 的时间探测只列出 Qwen3.6-27B。附录比较了 linear、Gaussian 和 step 三种时间奖励，并记录时钟调用次数。
• 论文未报告 Table 1 与 Table 2 各条件的 episode 数，也未列出结论所称四个 held-out 预算的具体取值。结论称 Zork 上 5 到 90 秒、含这四个未见预算时，耗时对到 0.2 秒以内。

作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回，并把更多时间换成更好的解。

• 问题：外部截止与质量–时间权衡都要求预算可控。作者把失败分成没有计时反馈、预估不了动作时长，以及不会把剩余时间映射成策略。要求分成 adherence 和 productive use。
• 做法：MLE-Bench Lite 五场用 Qwen3.6-27B；Zork I 的提示条件用 Qwen3-4B、Qwen3.5-9B、Qwen3.8-27B，RL 从 Qwen3-4B 训练。比较仅提示词、注入剩余时间、命令级 clamp 或 refuse，以及预算塑形的 GRPO。
• 按时：15 分钟、五场合并时，仅提示词按时率 15%，4.1 节称平均用掉预算的 161%，4.2 节写 161.4%；注入时钟后用时占预算 99.7%，refuse 的按时率为 88%（Table 2）。Zork 上 Auto-Clock 是作者所称最有效的 harness 干预。结论称 GRPO 在 5 到 90 秒、含四个未见预算上，把耗时对到 0.2 秒以内。
• 成绩：Qwen3-4B、RL+Auto-Clock、16 秒、n=16 的均分为 46.4±2.1（满分 350）；作者称同模型固定权重条件不超过 0.6（Figure 2）。MLE-Bench 上 Table 2 未报告 GRPO 的 quality，作者称没有超过其所训练的 harness，用掉预算的比例在 0.87 到 0.93。
• 作者的结论：学会停止不等于会分配时间。多预算训练倾向于坍到最短预算的策略，并用重复或无效动作填满剩余时间；更大预算上 Zork 分数停在 45/350。作者认为 adherence 与 productive use 难度不同，后者仍是预算条件智能体的中心问题。