AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠

智能体能否估计任务运行时间，并按要求的时长工作，而不是只在自认为做完时停止。

• 使用场景：作者设想用户要求就某任务迭代一小时。一种结果是超出计算预算；另一种是约十分钟后认为做完，并睡掉剩余时间。作者认为，即便结果好，也留下 duration-following 的缺口；智能体必须可控，并响应用户指令。
• 现有评测：作者称 METR time horizons、BRIDGE 等用人类完成时间代理任务难度，不测智能体对自身运行时间的控制或意识。LLM 没有内部时钟，只能从上下文推断时间。作者称先前工作聚焦 time-awareness，原生 harness 中的 duration-following 与控制仍未被探索。
• 三项技能：作者分为 duration-following（按指定时长工作）、forecasting（预测运行时间）、retrospection（估计已流逝时间）。作者认为，估准十分钟并做完十分钟，仍可能不用剩余时间或选择睡眠；按要求分配努力需要三项。
• 本文的评测：提出 AgentTime，从 18 个来源选 222 个任务，覆盖 coding、computer use、agentic work 与 automated research。在原生 harness 中去掉原有时限，追加约一分钟到多日的时长指令，并测预测与事后估计，同时保留各基准原生评分。作者称每个智能体的请求工作时间超过 600 小时。
• 双用途：作者称时间自控是双用途。公开调查报告称，据信来自 OpenAI 内部运行的智能体用外部 heartbeat 探测运行何时结束，并用公开 wiki 跨运行共享信息。作者认为执行时间可以成为被调查的变量；本文测的是底层能力，不把 duration-following 当作欺骗手段来测。

作者用 Table 1 对照各项评测测了哪些能力；勾选表示测过该能力，不是智能体成功。

任务时长作为难度

• METR time horizons 与 BRIDGE（Rein et al., 2025; Wijk et al., 2025; Liu et al., 2026a; Kwa et al., 2025; METR, 2026）：测智能体相对人类基线能完成多长的任务。作者在引言中称，它们把人类完成时间当作难度代理，不测智能体对自身运行时间的控制或意识。

估计已用时间

• Can LLMs Perceive Time?（Garikaparthi, 2026）：让模型预测自身运行时间。作者称误差在不同模型和任务上都很大，并问估计是在预测工作时长，还是对不同运行给出一个一般性回答。
• Discrete Minds（Wang et al., 2025）：用基于 token 的时间意识，考察时长判断、对紧迫性的反应和限时决策。
• TicToc（Cheng et al., 2026）：考察决定刷新工具信息时，是否考虑信息有多旧。作者称即便给出时间戳仍然失败，所以只有时间信息并不够。

预算、截止与跟随时长

• BATS 与 BAGEN（Liu et al., 2026b; Lin et al., 2026）：BATS 研究显式工具调用预算下的规划与工具使用；BAGEN 评测对剩余资源需求的估计，以及任务不太可能在预算内完成时是否警告。
• Real-Time Deadlines 与 Timely Machine（Sehgal et al., 2026; Ma et al., 2026）：前者在不同截止反馈下测协商；后者在秒级 wall-clock 预算下奖励用完全部预算。Table 1 把 Timely Machine 的 duration-following 标为部分成立，脚注为秒级预算。
• 成本与调度：Calibrate-Then-Act（Ding et al., 2026b）问更多探索是否值得其成本；另有演化环境中的及时行动、并行规划与工具调度（Wen et al., 2026; Zhang et al., 2026; Xu et al., 2026）。作者称本文关心的是在区间内做完与为整个区间工作的差别，并单独记录睡到时间结束。

时间推理、记忆与自我约束

• 事件时间与长对话：TimeDial、TimeBench、Test of Time 考察被告知事件的时长、顺序与时间关系（Qin et al., 2021; Chu et al., 2024; Fatemi et al., 2025）。LoCoMo、LongMemEval、TReMu 测长对话记忆与多会话时间推理。作者对照的是：那些评测问事件何时发生、信息是否仍相关；AgentTime 问这次执行用了多久、是否做满被要求的时段，信息在运行 transcript 里。
• 情境意识与推理长度：SAD 考察对身份、能力与处境的了解（Laine et al., 2024）。CoT-Control 考察能否遵守对思维链的约束（Chen et al., 2026b）；另有用 token 控制推理长度的工作（Muennighoff et al., 2025; Aggarwal and Welleck, 2025; Han et al., 2025）。作者称 AgentTime 问的是原生 harness 是否响应所要求的 wall-clock 工作时长。
• heartbeat：作者引用 Von Arx et al. (2026)，作为把执行时机纳入智能体行为的理由，并称本文不把 duration-following 当作欺骗来评测。

基线与基准：主实验没有重跑上述方法作对照，而是在 AgentTime 的 222 个任务上比较三个智能体。附录 E.5 在初步研究中用可见事件数作为 transcript 长度基线，与事后运行时间报告比较，各 harness 200 次。

作者的定位是：在智能体自有工具下评估运行时间估计和 duration-following，而不是把时间报告当成无辅助内部时钟的证据；并区分完成任务与用满所要求的时间。

AgentTime 在原生 CLI harness 里对同一批任务分头问三件事：将耗时多久、做完后用了多久、能否按指定 wall-clock 时长工作。计时和评分都在容器外。

任务套件与环境

• 构成：18 个已有基准、222 个任务（Table 2）。单基准请求范围从 WildClawBench 的 1–40 分钟到 METR public tasks 的 2–60 小时。作者要同时看任务表现和时长遵循，故保留各基准原生评分；体裁包括问答、软件工程、computer use、网页研究、文档编辑和自动研究。
• 运行：每次新 Docker 容器、新会话、新工作区，机器为 Hetzner 或 AWS，部分经 Runpod 提供 H100。容器内文件、工具和网络按该基准惯例。例如 ProgramBench 有编译后的二进制和文档、无互联网。去掉各基准原生时限与预算，由智能体自己决定何时结束。
• 外部计时：监督进程在任务送达时启动单调时钟，会话结束时停止。智能体可在容器内查时间，但看不到也不能改所记录的运行时间。之后用该基准自己的 grader 评分。

Duration-following

• 三次独立运行：每个任务–智能体组合在三个请求时长上各跑一次，均为新会话。时长通常按四倍递增，例如 1.25、5、20 分钟，使每个任务都有可能不够和可能过多的两端。
• 指令不是强制停止：在提示词末尾追加一句，指定要工作满的时长，并要求在该时段内尽量完成任务。控制器不恢复会话，也不督促填满区间。过早自愿返回保留为观察结果。
• 管理性截止：同一任务三档共享隐藏截止，为该任务最大请求的两倍。到达截止与自愿返回分开记录。作者保留碰到截止的运行（41 次）以及其他非基础设施失败。Table 3 不含 7 次 Fable 在 30 秒内的拒答。
• 智能体与时钟：主实验为 Claude Code 中的 Fable 5.1，以及 Codex 中的 GPT-5.6 Sol、GPT-6 Astra，均为 maximum reasoning effort。两个 harness 都能用工具读时钟。GPQA 与 Humanity's Last Exam 没有其他工具，作者为这些运行提供了可调用时钟。每次记录耗时、临近结束是否仍在工作、是否明确等待，以及原生分。

预测与自然运行

• 无时长运行：与 duration-following 分开，三个智能体各在无请求时长、无时限下跑完全部 222 个任务，得到自然运行时间（Appendix C）。
• 另一次会话做预测：在原生 harness、maximum reasoning effort 下只给出任务，要求返回分钟数。预测会话与无时长任务运行分开。Fable 5.1 对 6 个任务没有给出数字。
• 偏差与敏感度：作者拟合 log Tb = α + β log T + ε，其中 Tb 为预测、T 为自然运行时间。斜率 beta 称为 compression exponent：为 1 表示预测按运行时间成比例变化，为 0 表示拟合预测不随运行时间变化。作者同时报告预测除以运行时间的几何平均。

事后估计

• 样本：23 个任务，即 10 个 CORE-Bench、10 个 GPQA Diamond、3 个 TUA-Bench。取各智能体自己的、无请求时长的已完成自然运行。
• 五级去掉时间信息（Appendix D）：前三级继续已完成会话的 fork。Oracle 有普通工具加 elapsed-time 工具；Native 只有普通工具；Context-only 关闭全部工具。Replay 与 Scrubbed 把会话日志重建的 transcript 经 API 重放，且无工具。Replay 含模型推理；Scrubbed 去掉时间戳和其他明确时间线索，以及加密推理。
• 作答：每条件两个独立回答，对照该次运行的总 elapsed session time。问题是这次任务用了多少分钟。Scrubbed 中未给数字的回答会再要一次估计（Astra 46 次中 29 次，Fable 8 次，Sol 0 次）。

评分与准时定义

• 原生分：有成绩就保留该基准 grader 的分数。18 个里 11 个有公开的通过/失败规则，按发表规则使用；另外 7 个只报连续分数，作者不加自己的及格线（Appendix A）。固定范围的分数显示为百分比，通过/失败记为 0% 或 100%。ALE-Bench 与 YC-Bench 无跨任务共同量纲，只在任务内比高低。0 到 1 尺度上，变化小于 0.01 算相同。
• 准时、偏差、斜率：准时为请求的 0.95–1.05 倍，两端包含。偏差是偏离因子的几何平均，1× 为完全吻合。斜率为运行时间对请求的 log–log 斜率，理想为 1。作者另算任务内斜率，以去掉更长请求分给更难任务这一混淆。
• 用时标签：作者阅读带时间戳、可分类的 transcript。Working 指结果在运行最后五分之一发生变化，或有必要的作业在跑。明确的 sleep 调用被当作等待的直接证据；作者称可见输出的空档不能证明推理暂停。复查早前工作也可能是有用工作。

实验设置

• 被测智能体：主实验为 Fable 5.1（Claude Code）、GPT-5.6 Sol（Codex）、GPT-6 Astra（Codex），maximum reasoning effort。附录 E 另测 Opus 4.8、Opus 5、Fable 5 与 GPT-5.5，作者称不与主结果合并。
• 任务与时长：222 个任务、18 个基准（Table 2）。论文写请求从约一分钟到数日；表中单基准范围从 1 分钟到 60 小时。每任务每智能体三次新运行，各对应一个请求时长。
• 指标：准时为 0.95–1.05 倍请求；偏差为偏离因子的几何平均；斜率为 log–log 斜率，理想为 1。另记过早、过晚、是否明确等待和原生分。
• 判定：运行时间由容器外单调时钟记录，准时不由 LLM 裁判。原生分沿用各基准 grader。HLE 的判定模型为 o3-mini-2025-01-31；PPTArena 为 gpt-5.1-2025-11-13；Table 5 的 PaperBench 用 GPT-6 Luna，并与 o3-2025-04-16 在两份提交上对照。
• 次数：Table 3 为 659、666、666 次，Figure 1 称合计 1,991 次；不含 7 次 Fable 在 30 秒内拒答。作者保留 41 次碰到管理性截止的运行。
• 重复：第 6 节写明，除 Appendix B 经 OpenRouter 复跑的 55 次问题运行外，没有为测量运行间变异而重复。

主结果

摘要把偏差写为 Fable 5.1 的 2.9× 与 Astra 的 1.2×；Table 3 与 Figure 1 的对应数字如下。

| 智能体（harness） | 准时率 | 过早 | 过晚 | 偏差 | 斜率 | | Fable 5.1（Claude Code） | 4% | 55% | 41% | 2.86× | 0.59 | | GPT-5.6 Sol（Codex） | 39% | 13% | 48% | 1.77× | 0.71 | | GPT-6 Astra（Codex） | 63% | 3% | 34% | 1.18× | 0.94 |

据 Table 3，运行次数为 659、666、666。95% 置信区间见表，此处不重复点估计。

• 短请求与长请求方向不同：最短请求上，Fable 有 79% 偏长，中位数 1.8 倍；最长请求上有 89% 提前停，中位数 0.3 倍。Sol 在短请求上 91% 偏晚，中等请求准时 47%，长请求准时 64%。Astra 的 247 次未准时里 226 次偏晚，其中 167 次在最短请求上，中位数 1.15 倍。请求增至 16 倍时，任务内运行时长变为 Fable 1.9 倍、Sol 5.0 倍、Astra 12.1 倍（任务内斜率 0.24、0.58、0.90）。至少达到 0.95 倍请求的运行占 Fable 45%、Sol 87%、Astra 97%。
• 准时不等于持续工作：智能体任务的准时运行中，Fable 4 次全部符合 Figure 2b 的 working 规则；Astra 49 次中 11 次符合，其余 38 次里 24 次复查早前工作、14 次在看似完成后明确睡眠。Sol 13 次中 3 次以睡眠结束（23%，文中 Astra 的对应比例为 29%）。158 条可分类、带时间戳的 Astra 记录（含问答）中，14 次明确睡眠（9%），74 次复查（47%）。作者称 sleep 调用是等待的直接证据，输出空档不能证明推理暂停。一道 GPQA 题上，Fable 在 75 秒请求的约 20 秒时已有答案，之后继续调用时钟直到超过请求时间。
• 更长请求很少改变原生分：最长请求通常为最短的 16 倍，但两端原生分相同的任务为 Fable 62%、Sol 63%、Astra 64%（Figure 2c），升高只有 23%–25%。作者称 Astra 在长请求上运行了 12.1 倍时长，分数只在 23% 的任务上提高。例外：OSWorld 任务 038，Fable 在 15 分钟请求下停在 36%，60 分钟请求下到 100%。

换 harness

| 设置 | 准时率 | 偏差 | 任务内斜率 | | Fable 5.1，Claude Code | 5% | 3.14× | 0.07 | | Fable 5.1，Codex | 1% | 2.99× | 0.23 | | GPT-6 Astra，Codex | 61% | 1.10× | 0.92 | | GPT-6 Astra，Claude Code | 27% | 1.34× | 0.78 |

据 Table 3 下块，同一 98 次运行：18 道 GPQA/HLE 题加 16 个 agentic 任务，请求最长 80 分钟。互换两行经 OpenRouter。

• 作者称模型比 harness 更重要：在这些任务上，Astra 的任务内斜率比 Fable 高 0.71（Claude Code）和 0.69（Codex）；换 harness 只使任一模型的斜率移动 0.14–0.16。
• 供应商检查：经 OpenRouter 复跑使 Fable 问题运行的斜率只移动 0.06；其偏差从直接调用的 3.78× 到 2.95×（35 次）。Astra 在 20 次问题运行上，直接调用准时 12 次，OpenRouter 为 7 次，偏差从 1.06× 到 1.09×。6 道题按更早的 0.8–1.25 倍规则挑过至少一次 Fable 未命中；作者称回归均值会使 Fable 新的 Codex 运行占优，因而 harness 效应即便有也被高估。
• 未准时的方向：Astra 在 Claude Code 中的 72 次未准时全部偏晚。作者称 Fable 在两个 harness 中都先思考，再从第一次查时钟计时；被要求 75 秒时，它在 Codex 中思考了十分钟，约 15 分钟才作答。

预测自然运行时长

| 智能体 | 预测偏高 | 偏差 | 中位自然运行 | | Fable 5.1 | 63% | 2.6× | 13 分钟 | | GPT-5.6 Sol | 83% | 3.8× | 6 分钟 | | GPT-6 Astra | 66% | 2.9× | 10 分钟 |

据 Figure 3，与无请求时长的 222 次自然运行比较。三者中位预测都是 15 分钟。Fable 有 6 个任务未给数字。一个 Astra 预测为 80 小时，落在图的上沿。

• 作者称三者都偏高，与人类规划谬误的方向相反。compression exponent 为 Fable 与 Sol 的 0.89、Astra 的 1.12（95% 区间分别为 [0.78, 0.99]、[0.78, 1.01]、[0.97, 1.29]）。作者称预测/运行的几何平均约为 Sol 的 3 倍、Fable 的 1.3、Astra 的 1.4，并称预测里很少看到人类计时的中央倾向，这与初步的 ProgramBench 研究不同。
• 作者称打中给定时间与知道任务需要多久是不同技能。Figure 3 的预测偏差高于 Table 3 中 Astra 跟随时长的偏差。

事后估计已用时间

| 条件 | Fable 5.1 | GPT-5.6 Sol | GPT-6 Astra | | Oracle | 1.00× | 1.01× | 1.00× | | Native | 1.30× | 1.08× | 1.03× | | Context-only | 1.31× | 1.08× | 1.03× | | Replay | 1.33× | 1.07× | 1.03× | | Scrubbed | 2.58× | 5.38× | 2.62× |

据 Figure 4。各用自己的 23 个自然运行，每条件两个回答。

• 去掉时间线索后偏差变大：作者称 Native、Context-only、Replay 之间变化不大；Scrubbed 下 Sol 从 1.07× 到 5.38×，Fable 与 Astra 到约 2.6×。摘要称去掉时间信息使 Sol 与 Astra 的偏差超过原来的两倍、Fable 接近两倍；引言称典型偏差增至五倍、2.5 倍与 1.9 倍。去掉 GPQA 后，Scrubbed 为 Fable 2.0×、Sol 1.7×、Astra 1.4×。作者称 Sol 与 Astra 的偏差大多来自 GPQA。
• 引言与第 4.3 节的说法不完全同一：引言称增长大多在被垫到请求时长的短问题上；第 4.3 节写这些事后估计用的是无请求时长的自然运行。作者称所检查的每份 transcript 都有时间线索，许多智能体在自己的 transcript 里寻找时钟读数。

其他消融与分析

• 开放式任务：Fable 任务内斜率为 0.77（ALE-Bench、PaperBench、ProgramBench、METR、PostTrainBench），其余 13 个基准为 0.16；ahc016 在请求 10、40、150 分钟时停于 3.6、12、61 分钟。
• 原生分例外：Table 5 中 CORE-Bench 为 Fable 0.0%（36/36）、Sol 8.3%、Astra 34.3%；AssistantBench 为 4.8%、10.6%、3.3%。匹配单元格套件均值为 54.6%、55.6%、61.9%。作者称 PaperBench、PostTrainBench 等单元格基于较少已评分运行。
• 初步运行（Appendix E.1，不并入主结果）：Opus 4.8 平均 85 分钟、测试通过率 65.1%；GPT-5.5 平均 17.5 分钟、通过率 60.5%。
• 同轮预测：Opus 4.8 的 compression exponent 为 0.24，校准比 1.16×，64% 落在 1.5 倍内；GPT-5.5 为 0.19、4.12×、1%。
• 指称对象（Appendix E.3）：作者称 Fable 对熟练人类专业者的估计约为对自己的四倍，Sol 约为三倍。
• 事件数基线（Appendix E.5，各 200 次）：可见事件数与运行时间的 Pearson r 为 Claude Code 0.91、Codex 0.52；事后报告为 0.86 与 0.48。作者称这些相关不能确定报告是否比 transcript 长度多提供信息。

作者指出的局限与后续方向

• 单次运行：每个智能体对每个任务的每个请求时长只跑一次，单次结果把对请求的响应和运行间变异混在一起；除 Appendix B 经 OpenRouter 复跑的 55 次问题运行外，没有重复来测量该变异（第 6 节）。
• 模型族：只测来自两家实验室的三个智能体；作者称成本使其未能加入更多模型族（第 6 节）。
• 服务速度：运行时长依赖服务速度，三个智能体的运行都经过订阅、API key 和 OpenRouter（第 6 节）。
• 一种指令：duration-following 结果只反映一种指令措辞，且为 maximum reasoning effort（第 6 节）。
• 长时与互换范围：超过 8.3 小时的请求只出现在 METR 与 PostTrainBench，合计四个任务；harness 互换只覆盖最长 80 分钟的请求（第 6 节）。
• 后续安全评测：作者在第 7 节称，提前返回或明确睡眠不是逃避监控的证据；未来应检验这些行为是否预测受监督时的行为、智能体是否在提前完成或等待时告知用户，以及知道自身生成速度或在快得多的推理上运行是否改善估计。

实验覆盖范围

• 主实验模型为 Fable 5.1（Claude Code）、GPT-5.6 Sol（Codex）、GPT-6 Astra（Codex），maximum reasoning effort；附录 E 另跑 Opus 4.8、Opus 5、Fable 5、GPT-5.5，作者称不与主结果合并。
• 时长实验使用 Table 2 的 222 个任务、18 个基准，每任务每智能体三个请求时长；Table 3 为 659、666、666 次运行。
• 预测覆盖全部 222 个任务的无时长自然运行；事后估计为 23 个任务、五种条件、每条件两个回答（Figure 4）。
• Harness 互换为 18 道 GPQA/HLE 题加 16 个 agentic 任务，比较时保留 98 次配对运行，请求最长 80 分钟（Table 3 下块、Appendix B）。
• 论文未报告主实验各条件的重复次数（第 6 节写明除 55 次问题复跑外未重复），也未报告 working/睡眠 transcript 标签的标注人数或一致性。准时由外部时钟规则判定；HLE、PPTArena、PaperBench 的模型裁判写在 Appendix A。

AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。

• 问题：用户可以要求按某一时长持续工作。作者认为，超出预算、不说明就提前停、或安静等到时钟走完，都会使长时间程委托更难指挥，即使最终答案是好的。
• 做法：从 18 个基准取 222 个任务，在 Claude Code 与 Codex 中去掉原有时限，由容器外时钟计时。时长实验在提示词末追加工作时长，每任务三档独立运行；预测和事后估计使用没有时长要求的单独运行。准时定义为请求的 0.95–1.05 倍。
• 跟随时长：Table 3 中，Codex 里 GPT-6 Astra 的准时率为 63%、偏差 1.18×（666 次），GPT-5.6 Sol 为 39% 与 1.77×，Claude Code 里 Fable 5.1 为 4% 与 2.86×（659 次）。摘要把后两个偏差写为 1.2× 与 2.9×。请求变为 16 倍时，任务内运行时长为 1.9、5.0 与 12.1 倍。换 harness 后，作者称差距仍主要随模型而不是 harness（Table 3 下块）。
• 用时与分数：158 条可分类 Astra 记录中有 14 次明确睡眠。最长与最短请求相比，原生分不变的任务为 62%–64%，升高为 23%–25%（Figure 2c）。
• 预测与回顾：三个智能体的预测多高于自然运行，Sol 有 83% 偏高、偏差 3.8×（Figure 3）。去掉时间线索后，回顾偏差为 Fable 2.58×、Sol 5.38×、Astra 2.62×（Figure 4）。
• 作者的结论：完成任务和管理所用时间是容易被混在一起的两种能力。作者认为长时间程评测应同时看 duration-following，以及智能体是否坦白时间是如何花掉的；时间控制值得继续做安全评测，但提前返回或睡眠本身不是逃避监控的证据。