Predicting the capabilities of frontier language model agents

如何在前沿模型的训练算力往往不公开时，预测其作为智能体的前沿能力何时跨过关键阈值。

• 场景：作者认为 LM 正被部署为可独立追求目标、执行较长真实任务的自主智能体，需要预测关键能力阈值，以准备社会与经济影响。作者关注前沿而非平均表现，因为前沿决定当时可被自动化的能力，且更可能带来新风险与社会影响（Hendrycks et al., 2023）。
• 现有不足：Observational Scaling Laws（Ruan et al., 2024）与 Sloth（Polo et al., 2024）须先在新模型族的多个基准上评测，才能得到 PC-1 或家族效率参数。作者援引 Ruan et al. 称从算力直接预测准确度较低，并称从发布日期预测尚未被系统评估；FLOP、参数量与数据量对前沿模型往往不可得。
• 观察与做法：作者称 Chatbot Arena Elo 可代理底层性能并与 FLOP 强相关，发布日期可聚合算法进步与算力增长。本文比较六条预测路径，在 38 个有 Elo 的模型上回测，再用 Release Date→Elo→Benchmark 预测三项智能体基准的低启发与高启发表现。作者认为未计入推理时算力缩放，预测可能偏保守。

预训练缩放定律

• Hestness et al.（2017）讨论误差相对数据量与参数量的幂律，覆盖多个领域。
• Kaplan et al.（2020）给出固定算力下训练 transformer 的幂律指数，并称这些定律在多个数量级上成立。
• Hoffmann et al.（2022）提出 Chinchilla 缩放定律；Besiroglu et al.（2024）重复该实验并进一步修正参数。

预测下游表现

• Finnveden（2020）用 GPT-3 数据外推未来模型在 Winograd、SuperGLUE、ANLI 上的表现。Owen（2024）用 Scaled FLOP 建模 BIG-Bench，称可预测聚合表现，但不能预测单个任务。
• Ruan et al.（2024）对基准分数做 PCA，称跨基准表现 largely 可由一个主成分解释，并将其视为 general capability factor。脚注称：该方法虽可对特定模型族做直接 FLOP 预测，但未计入跨家族算法进步，因此会低估未来基准表现。
• Polo et al.（2024）的 Sloth 用低维 skill 模型，若同族有较小模型则可跨家族预测。Zhang et al.（2024b）用协同过滤处理并非所有模型都有相同基准分的稀疏情形。

前沿表现及相关因素

• 作者称直接预测前沿而非平均表现的工作较少。Steinhardt et al.（2022）讨论训练数据可得性与算法进步，并尝试预测前沿模型在 MATH 与 MMLU 上的分数。
• Villalobos et al.（2024）讨论未来模型可能获得多少训练数据。Ho et al.（2024）讨论算法进步速率。Cottier et al.（2024）讨论训练基础模型的成本上升。
• Erdil & Sevilla（2023）讨论突破性进展的基础速率，以及它如何贡献于算法进步。

涌现能力

• Srivastava et al.（2022）注意到 BIG-Bench 某些任务出现能力突然跃升。Wei et al.（2022）进一步讨论 emergent abilities。
• Schaeffer et al.（2023）称涌现能力在很大程度上取决于评分标准或指标，一种指标上的非线性跳跃在另一种指标上可以是平滑的。

基线与基准：实验对比的是作者自己实现的六条路径，不是重跑上述文献中的原系统。回测用 Open LLM Leaderboard v2 的 IFEval、BBH、MATH Lvl 5、GPQA、MUSR、MMLU-PRO；外推用 SWE-Bench Verified、Cybench、RE-Bench。

作者在结论中把区别概括为：预测前沿而非平均；用 Elo 与发布日期等公开量，以便训练算力不可得时仍可预测；对象换成为 LM 智能体设计的基准，而非问答基准。

作者比较 六条路径（Figure 2）：一步法直接从输入拟合基准分；两步法先预测中间能力指标，再映射到基准。外推选用 Release Date→Elo→Benchmark。

输入变量与前沿点

• Scaled training log-FLOP：按 Owen（2024），用 Hoffmann 缩放定律把模型归一到达到同样损失的最低 FLOP，以处理 overtraining。只计预训练 FLOP，不含 RLHF/RLAIF，也不含推理时算力；作者写明 o1 的 inference compute 范式未计入。
• 发布日期：模型正式对公众发布的日期。作者推测它聚合了算法改进与训练算力增长，尤其对前沿模型。
• 两种「前沿」：预测对象是给定时间或算力水平下已知最好模型的表现。拟合时，点 (xi, yi) 在前沿上，当且仅当不存在 xj < xi 且 yj > yi 的另一点。
• 一步法只在前沿点上拟合 sigmoid。除 RE-Bench 外天花板为 1。RE-Bench 的渐近值为 1.67，作者称这是各任务最大可达表现的平均（Wijk et al., 2024）。

一步法写成 y_i=σ(ax_i+b)，即基准分是输入变量的 sigmoid。

中间能力指标

• PC-1：对模型×基准表做 PCA 的第一主成分。Ruan et al.（2024）用前三个成分，本文只用第一。回测预测某基准时，拟合 PCA 会去掉该基准，且只用当时已有数据。
• Elo：Chatbot Arena 上由人类两两偏好比较得到的分数（Chiang et al., 2024）。作者列出的优点是不必做昂贵、方法可能不一致的基准评测，且不易饱和；缺点是分数只相对当时的评分池有意义。
• 作者称以 Elo 表达的预测应理解为：若一个模型相对今天的模型 Elo 为 X，它会有多好；模型真正发布时，整个评分格局可能已经改变。
• 选取标准是易计算、覆盖大量模型，并对大量下游基准有预测力。

两步拟合

• 先在前沿点上对输入 x 与中间指标 z 做线性回归，写作 zi = cxi + d。Figure 3 中作者称 PC-1 与 Elo 由 FLOP 或发布日期预测时都接近线性。
• 再在全部有数据的模型上、不只前沿上，拟合中间指标到基准分的 sigmoid。作者预期前沿模型与其他模型共享同一能力–分数关系。
• 外推不用 FLOP、不用 PC-1：多数前沿模型的训练 FLOP 已不公开，且不一定有全套基准分；发布日期与 Chatbot Arena Elo 通常公开。

第二步写成 y_j=σ(ez_j+f)，即基准分是中间能力指标的 sigmoid。

智能体脚手架与启发

• SWE-Bench Verified 与 Cybench 用同一简单脚手架：Bash、Python，以及可查看、创建、搜索替换编辑并撤销的文件工具。每次运行消息上限 50、token 上限 200 万；上下文用尽时删除最早的非指令消息。附录 D 给出完整提示词。
• RE-Bench 使用 METR 提供的分数。作者称不了解所用脚手架。
• 低启发：只拟合该统一脚手架的数据。作者将其视为保守估计，因为智能体未优化，也未使用额外推理算力。
• 高启发：合并自有点与公开排行榜上当时的最高公开分数。作者称优点是预测公开前沿，缺点是各点脚手架几乎总不相同。RE-Bench 无公开高启发数据，不做该情景。

实验设置

• 回测数据：Open LLM Leaderboard v2 中有 Elo 的 38 个模型（附录 F）。六个基准为 IFEval、BBH、MATH Lvl 5、GPQA、MUSR、MMLU-PRO。按发布日期分成模型数大致相等的 4 段，用 expanding window 做 3 个测试划分。
• 智能体运行：作者用统一脚手架评测 Table 3 的 17 个模型。正文称 SWE-Bench 与 Cybench 都评了 17 个模型；Table 3 中 openai/o1-2024-12-17 在 0.342 与 0.47043 之间留空，按表头 Cybench 未给出。RE-Bench 为 METR 分享的 8 个前沿模型分数。
• 外推设定：只用 Release Date→Elo→Benchmark。低启发只用自有脚手架；高启发再加入公开排行榜分数。RE-Bench 只做低启发。
• 指标与抽样：能力指标回测对全部测试点算 RMSE；完整路径只对测试划分中的前沿点算 RMSE，某划分无前沿点则忽略。达到分数 0.9（SWE-Bench、Cybench）或 1（RE-Bench，专家基线）的时间用 bootstrap 10,000 次，并给 95% CI。
• 判定：作者选择这些基准的理由包括解答可验证。论文未写使用 LLM 裁判，也未报告智能体运行的重复次数。
• 算力输入：回测中的 FLOP 为按 Hoffmann 定律缩放后的预训练 FLOP。外推不用 FLOP。

主结果

下表据第 4.5 节。Figure 1 画到 2027 年初，转换文本看不到曲线读数。

基准	低启发，2026年1月	高启发，2026年1月
SWE-Bench Verified	54%	87%
Cybench	55%	66%
RE-Bench	0.73	未报告

• 摘要把 SWE-Bench 一行称为 non-specialized、low capability elicitation 与 state-of-the-art，时间写作 2026 年初，并都用 will。第 4.5 节对低启发写作 will、对高启发写作 may。引言贡献条写的是 2026 年初 55% 与 85%，与上表不同。
• 作者称预测未计入大幅提高的测试时缩放，性能还可能更高。Cybench 两种启发的差距更小，作者认为很可能是因为迄今对该基准的启发投入更少。
• Figure 1 图注称 RE-Bench 无公开高启发数据，故不画高启发曲线。METR 称未在启发上投入很多努力，作者认为该估计可能偏保守。

路径回测

• 只拟合「能力指标→基准」的 sigmoid 时，Table 1 的全部模型平均测试 RMSE 为：PC-1 0.068，Elo 0.080，log-FLOP 0.102，Release Date 0.146。作者称中间指标优于原始输入变量。
• 完整路径只对前沿点计误差（Table 2）：

中间变量	log-FLOP	Date
无（一步法）	0.119	0.125
Elo	0.197	0.095
PC-1	0.105	0.082

• 作者称以发布日期为输入整体优于 log-FLOP。与此排序不同的是：Table 1 里发布日期直接映射基准的 RMSE 高于 log-FLOP；Table 2 里 log-FLOP→Elo 差于两种一步法。作者仍用 Date→Elo 做外推，因为前沿模型通常有 Elo，但不一定有计算 PC-1 所需的全套基准分。

达到指定分数的时间

• SWE-Bench Verified 达到 0.9（正文亦写作 90%）：高启发约在 2026 年 3 月，95% CI 为 2025 年 10 月至 2027 年 9 月。作者在该段把另一档称为 standard elicitation，称约两年后、2028 年 1 月达到；Figure 5 图注写的是 low 与 high elicitation。论文未另作声明二者是否同一设定。
• Cybench 达到 0.9：高启发的作者 best guess 为 2026 年 12 月，95% CI 为 2026 年 4 月至 2029 年 4 月；standard elicitation 为 2027 年 6 月。
• RE-Bench 达到 1：约 2026 年 12 月。作者称 95% CI 从 2025 年 8 月到 2033 年 5 月，跨度超过 8 年。三个基准、两种启发下，作者称分布不对称、右尾更长，并认为对推迟的不确定性大于对提前达成的不确定性。Figure 5 注明直方图中位数不必等于 Figure 1 用全部数据点作出的预测。

其他消融与分析

• Figure 3：由 FLOP 或发布日期预测 PC-1 或 Elo，四种组合 R² ≥ 0.91。
• 附录 B / Figure 6：Elo 与 PC-1 的 R² 为 0.74。
• 作者称简单脚手架下 Claude-Sonnet-3.5 的 SWE-Bench Verified 约 33%，公开排行榜上已知使用该模型的最高脚手架为 62.2%（Pani, 2024）；论文未说明 33% 对应 Table 3 的哪一个日期版本。
• Table 3 中 claude-3-5-sonnet-20241022 与 20240620 的 SWE-Bench Verified 分别为 0.3306613226 与 0.2685370741。
• 第 3.1 节：拟合 PC-1 时省略被预测基准，主成分向量只用截至当时的数据。
• 论文未给出 Figure 7 各基准分开的 RMSE 数字。

作者指出的局限与后续方向

• 范式变化（第 6.1 节）：拟合几乎都基于预训练缩放范式。作者认为 OpenAI o1 所代表的推理时缩放可能使预测失效，并构成进展快于预测的理由，包括对高启发预测。
• 启发不足（第 6.1 节）：作者称结果低于前沿表现，低启发预测偏保守；即便 max-current-elicitation 也可能因范式变化或日后的脚手架与启发突破而低估。
• 样本少（第 6.1 节）：前沿模型数量少，作者认为预测应有大的不确定性。两步法独立预测中间变量可部分缓解。回测可用测试数据有限，评估窗口有短至两个月的，对更长时段的经验证据很少。
• 评测范围（第 6.1 节）：所用基准主要是软件工程、网络安全能力与机器学习工程。作者点名的其他智能体基准包括 GAIA、OS-World 与 MLE-Bench。
• 后续方向（第 6.2 节）：增加智能体基准与模型；高启发估计来自很不相同的脚手架与技术，作者认为在选点和设计预测技术上仍有改进空间；为预测技术加入推理时算力缩放因子，可能得到更准确的结果。

实验覆盖范围

• 回测使用 Open LLM Leaderboard v2 中有 Elo 的 38 个模型和六个基准，expanding window 为四段、三个测试划分（第 3 节、附录 F）。
• Table 3 列出作者用同一脚手架运行的 17 个模型；RE-Bench 为 METR 提供的 8 个前沿模型分数，作者称不了解其脚手架（第 4.1、4.3 节）。
• 外推只使用 Release Date→Elo→Benchmark，并分别拟合低启发与高启发；RE-Bench 只有低启发（第 4.2、4.4 节）。
• 回测里的算力是缩放后的预训练 FLOP，不含后训练与推理时算力；外推不用 FLOP（第 2.1.1、4.2 节）。
• Figure 5 的时间分布用 10,000 次 bootstrap 并报告 95% CI。论文未报告智能体评测的重复次数，也未报告 Figure 7 各基准分开的 RMSE。

作者比较六种由输入变量预测基准分的路径，再用发布日期经 Chatbot Arena Elo 外推前沿 LM 智能体能力。

• 问题：前沿模型的训练 FLOP 往往不公开。作者要预测的是给定时间下已知最好模型的表现，而不是平均表现，并估计低启发与公开最高启发何时在智能体任务上达到高分。
• 方法：一步法在前沿点上用 sigmoid 直接拟合；两步法先线性预测 PC-1 或 Elo，再在全部模型上用 sigmoid 映射到基准分。智能体侧用同一 Bash、Python 与文件编辑脚手架测低启发，用公开排行榜最高分测高启发。RE-Bench 的 sigmoid 渐近于 1.67，专家基线为 1。
• 回测：38 个有 Elo 的模型、六个 Open LLM Leaderboard v2 基准上，Date→PC-1→Benchmark 的前沿 RMSE 为 0.082，Date→Elo→Benchmark 为 0.095（Table 2）。作者因 Elo 更常公开而采用后者。能力指标单独回测时，PC-1 的 RMSE 为 0.068，Elo 为 0.080（Table 1）。
• 2026 年 1 月：SWE-Bench Verified 低启发 54%、高启发 87%。摘要将二者对应 non-specialized 与 state-of-the-art，时间写作 2026 年初；引言贡献条写 55% 与 85%。同期 Cybench 为 55% 与 66%，RE-Bench 低启发为 0.73。
• 阈值：高启发下 SWE-Bench Verified 达到 0.9 约在 2026 年 3 月，95% CI 为 2025 年 10 月至 2027 年 9 月。Cybench 达到 0.9 的作者 best guess 为 2026 年 12 月。RE-Bench 达到 1 约在 2026 年 12 月，95% CI 作者称超过 8 年。
• 作者结论：相对既有工作，本文改预测前沿、改用公开的日期与 Elo，并改用智能体基准。作者认为未计入推理时缩放，预测可能偏保守；时间分布右尾更长，对推迟的不确定性更大。