跳到正文
原文
arXiv· arXiv:2411.15114· Hjalmar Wijk, Tao Lin, Joel Becker, Sami Jawhar, Neev Parikh, Thomas Broadley, Lawrence Chan, Michael Chen, Josh Clymer, Jai Dhyani, Elena Ericheva, Katharyn Garcia, Brian Goodrich, Nikola Jurkovic, H·本站收录· 原文发表精选关注度61

RE-Bench：对照人类专家评估语言模型 Agent 的前沿 AI 研发能力

RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts

论文速读

评测与基准

据论文 PDF 整理（AI 生成），以原文为准

RE-Bench用7个环境比智能体与专家；作者称2小时总预算下最高分智能体比人类高4×。

问题
前沿安全政策把智能体自动化 AI R&D 视为需要提前预警的能力。作者称现有评测少，且没有既贴近真实研究工程、又在同等条件下直接比较人类专家的评测。
方法
RE-Bench 含 7 个手写 ML 研究工程环境。人与智能体共用起始解、评分函数和最多 6 块 H100。分数把起始解标为 0、参考解标为 1，再用 score@k 比较不同时间预算和采样次数。
实验与结果
71 次 8 小时专家尝试中，82% 得到非零分，24% 达到或超过参考解。作者称 2 小时总预算下最高分智能体比人类高 4×，8 小时人类略高，32 小时总预算下人类分数为该智能体的 2×。
局限与可以继续做的
作者称任务时限、反馈和工程规模小于真实 AI R&D，读数可能高估自动化，也可能因 API 更便宜、工作流不同而低估。实验覆盖 7 个环境、两种 scaffold、三个前沿模型版本；人类基线每次 8 小时。
实验设置claude-3-5-sonnet-20241022、o1-preview 等 · RE-Bench、Optimize LLM Foundry 等 · normalized score、score@k
被测模型
claude-3-5-sonnet-20241022o1-previewclaude-3-5-sonnet-20240620
基准
RE-BenchOptimize LLM FoundryOptimize a KernelFix EmbeddingScaling Law ExperimentRestricted Architecture MLMFinetune GPT-2 for QAScaffolding for Rust Codecontest
指标
normalized scorescore@k
AI 导读和推荐理由METR 等机构提出 RE-Bench，用 7 个开放式机器学习研究工程环境和 61 位人类专家的 71 次 8 小时尝试，直接对比语言模型 Agent 与人类专家的 AI 研发能力。在 2 小时总时间预算下，最佳 AI Agent 的得分是人类专家的 4 倍；但人类随预算增加的回报更高，8 小时预算下略超最强 AI Agent，32 小时预算下达到其 2 倍。82% 的人类专家尝试得分非零，24% 达到或超过参考解。o1-preview 和 Claude 3.5 Sonnet 在 kernel 优化任务上找到了超过全部 9 位人类专家的方案，Agent 生成和测试方案的速度超过人类的 10 倍。团队开源了评测环境、Agent 轨迹和专家数据。

METR 等机构提出 RE-Bench，用 7 个开放式机器学习研究工程环境和 61 位人类专家的 71 次 8 小时尝试，直接对比语言模型 Agent 与人类专家的 AI 研发能力。在 2 小时总时间预算下，最佳 AI Agent 的得分是人类专家的 4 倍；但人类随预算增加的回报更高，8 小时预算下略超最强 AI Agent，32 小时预算下达到其 2 倍。82% 的人类专家尝试得分非零，24% 达到或超过参考解。o1-preview 和 Claude 3.5 Sonnet 在 kernel 优化任务上找到了超过全部 9 位人类专家的方案，Agent 生成和测试方案的速度超过人类的 10 倍。团队开源了评测环境、Agent 轨迹和专家数据。

推荐理由RE-Bench 用 7 个 ML 研究工程任务和 61 位人类专家的对照数据，给出了 AI Agent 与人类在 AI 研发自动化上的能力差距。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者用7个ML工程环境，在同等条件下比较智能体与人类专家的AI R&D能力。

    缺少能在同等资源下，把语言模型智能体的 AI R&D 能力与人类专家直接比较的评测。

    • 出现场景：作者称前沿模型已被用于生成训练数据和编程，开发者与政府把自动化 AI R&D 列为需要提前预警的能力，以便在权重被盗或训练完成后仍来得及落实安全措施。
    • 现有不足：作者称这类评测很少，且没有既高度贴近真实工作、又直接比较人类表现的评测。短时或问答式分数难以对应“长时程、少监督的完全自动化”。
    • 作者的连接：若智能体在同等资源与条件下差于人类 ML 专家，作者认为它们就不太可能自动化这些专家的研究；反向不成立，因为环境远未覆盖数月到数年的真实研发。
    • 本文提出：RE-Bench（Research Engineering Benchmark, V1），含 7 个开放式 ML 研究工程环境，以及 61 名专家的 71 次 8 小时尝试，并在不同时间预算和 scaffold 下用 score@k 比较公开前沿模型。

  2. 有哪些相关研究？

    作者称现有基准很少在长时程、同等条件下直接比较人类专家。

    早期预警与自动化风险

    • OpenAI Preparedness Framework、Google DeepMind Frontier Safety Framework、Anthropic Responsible Scaling Policy，以及 Bletchley Declaration、Seoul AI Safety Summit：作者称危险能力评测被放在治理中心；生物与网络滥用已有评测进展，自主运行、尤其 AI R&D 本身仍难评估。
    • Epoch AI 对研究者的访谈：作者用其 8 项技能对照环境覆盖（Table 4），并称套件缺少分布式训练组织、研究方向设定、数据集构建和硬件问题排查。

    工程、自主与科研基准

    • Table 1 列出 MLE-bench、Sci-code、GPQA、GAIA、SWE-bench verified、WebArena、ML-Agent-Bench、DISCOVERYWORLD、H-ARC-AGI。作者称很少有基准做直接人类比较；有人类比较的往往时间更短，或是更简单环境或问答数据。
    • SWE-bench：作者称许多题目在细查后不可能或欠指定，选出 verified 子集后仍然如此。表注称 MLE-bench 的人类比较对象是在很不同条件下完成题目的 Kaggle 参与者；SWE-bench verified 的时间是研究者估计。

    LLM 参与科研

    • 合成数据与奖励模型，以及用代码生成做自主 ML 研究、架构搜索、数据科学、论文复现、写论文和奖励设计。作者只作综述，未逐篇与本文比分数。
    • 其他学科的编码、化学、生物和虚拟发现，以及 AutoML、硬件设计。作者称本文聚焦 AI R&D 的软件方面；标准 AutoML 因 LLM 训练与评估更复杂而较不适用。

    基线与数据

    • 对照是同等条件下的人类专家 8 小时尝试，以及 Modular 与 AIDE 两种 scaffold。主实验不在外部基准上报告分数，环境为作者自建的 7 个任务。

    作者把本文定位为：在 8 小时、带 GPU 的 ML 研究工程环境里，用与智能体相同的条件收集专家数据，以检查任务可完成，并给自动化风险一个可对照的读数。

  3. 论文如何解决这个问题？

    RE-Bench用统一评分、起始解和GPU，对7个开放式ML任务做归一化比较。

    RE-Bench 把 AI R&D 拆成 7 个可评分的开放式优化环境，让人类与智能体在同一虚拟机、同一评分函数下工作，再用归一化分数和 score@k 比较。

    环境与资源

    • 共同设置：起始解、可反复调用的评分函数、带时间戳的 score log。机器为 20–48 个 vCPU、200–400 GB 内存、0–6 块 H100，平台为 Vivaria。设计上把人类尝试限在 8 小时，并要求环境能在不超过 8 块 H100 上运行。
    • 七个任务（Table 2）：缩短 LLM Foundry 微调脚本时间；为带条件的前缀和写 GPU kernel；修复被打乱的 embedding；用不超过 1e16 FLOPs 的实验预测 5e17 FLOPs 下的隐藏层宽度与训练步数；在前向禁用除法、指数等运算时做掩码语言模型；用偏好反馈微调 GPT-2 做问答；为 Rust 竞赛题给 GPT-3.5 搭 scaffold。
    • 难度维度（Table 3）：反馈时长、参考解改动行数、解法是否新颖。作者把环境映到 Epoch 调查的技能上（Table 4），每项环境只标两项最相关技能。
    • 取分：除 Scaling Law Experiment 只看最终提交外，取 score log 最高分。差于起始解的解记为 0。该环境不向作答者显示分数，以免取消从小规模实验外推的需要。

    归一化

    各环境原始分不同。作者把原始分 y 按起始分 ys、参考解 yr 线性变成 yn，使起始解为 0、参考解为 1：yn=(y−ys)/(yr−ys)。可以超过参考解；作者称未观察到高于 2 的归一化分。8 小时人类实验中，各环境平均分在 0.5–1.5。

    构建与专家基线

    • 三阶段：规格、实现、基线，并按专家试跑再改。作者称在留下这 7 个时丢掉了 12 个以上规格和 5 个以上已实现环境。
    • 专家（Table 5）：招聘流程 43 人、45 次，平均 0.48；职业网络 11 人、17 次，平均 0.98；研究生 7 人、9 次，平均 0.83。合计 61 人、71 次，总平均 0.64。职业网络专家有相关领域 5 年以上经验，或近期在所列 ML 机构工作。
    • 程序：SSH 进入与智能体相同的 VM，可用联网和 LLM；鼓励前 2 小时先提高分数。可记录暂停。事后人工查看 score log 与代码是否违规。
    • 可行性（Table 6）：作者称 8 小时时每个环境都有超过 70% 的专家得分高于 0.05，且超过 80% 的专家称分数符合预期；表注称并非所有人都回答问卷。作者称 major 或阻塞性技术问题少见，但超过 5% 的运行出现过。

    智能体协议

    • 模型与 scaffold：claude-3-5-sonnet-20241022、claude-3-5-sonnet-20240620、o1-preview。Scaffold 为 METR 的 Modular 与 AIDE。作者称预研中 o1-preview 在 Modular 上表现差，故主要在 AIDE 上评它；旧版 Claude 只在 Modular 中比较。
    • 时间：用墙钟而非 token 上限，使 GPU 小时与人类对齐。API 限速或错误造成的暂停不计入。时间曲线来自每环境 3–5 次 8 小时运行的对数线性插值。
    • score@k：每个环境有放回抽取 k 次，取得分最高者；Scaling Law 因看不到分数而随机选取。作者认为智能体可自行重置环境来实现该流程，故视为公平比较。
    • Scaffold 差异：Modular 提供 Python 与 Bash，可改命令超时，并提醒后台进程。AIDE 做了少量改动，包括在分析执行结果前运行评分，以及用多数投票决定指标该最大化还是最小化。智能体有网络，但没有专用浏览工具。
    • 抽查：作者未逐条人工检查；每任务细查最好的 2 次，并对 Restricted Architecture MLM 与 Optimize LLM Foundry 查到前 15 名分数均有效。复制参考权重等违规运行记 0 分。

  4. 论文做了哪些实验？

    作者称2小时总预算下最高分智能体比人类高4×，32小时下人类分数为其2×。

    实验设置

    • 被测模型：claude-3-5-sonnet-20241022、claude-3-5-sonnet-20240620、o1-preview。论文未给出 o1-preview 在 Modular 上的完整分数。
    • 环境与人：RE-Bench 的 7 个任务。人类为 61 人、71 次，每次最多 8 小时。
    • 对照：同一 VM 上的人类专家；scaffold 对照为 Modular 与 AIDE。
    • 指标：归一化分，起始解 0、参考解 1；score@k 为 k 次中的最高分，Scaling Law 改为随机选取。各环境另有原始分，如对数时间、log(loss−1.5)、胜率。
    • 评审：总分由环境评分函数计算，不是统一 LLM 裁判。Finetune GPT-2 for QA 的胜率由 llama-3-8b-instruct 比较生成；Rust 任务调用 gpt-3.5-turbo-0125，留出集为 175 题。违规靠人工抽查。
    • 重复与区间：时间曲线为每环境 3–5 次 8 小时运行。Figure 2 阴影为百分位 bootstrap 的 95% 区间。论文未给出每种时长与模型的全部独立运行次数。

    主结果

    条件作者报告出处
    每环境 2 小时总预算最高分智能体比人类高 4×（原文 4× higher）摘要
    8 小时预算摘要写人类略高于最高分智能体；引言写超过摘要；引言
    双方 32 小时总预算人类分数为最高分智能体的 2×摘要
    8 小时总预算的分配o1-preview（AIDE）第 36 百分位；20241022（Modular）第 37 百分位第 4.2 节
    16 小时看到的最优分配Claude 为 30min@32；o1-preview 为 2h@8；人类为 8h@2Figure 2 图注
    • 作者称所评智能体在 2 小时预算下都高于人类（Figure 2），但人类对加长时间预算的回报更好。图注称阴影因智能体长右尾和 best-of-k 而向下偏。正文未列出曲线逐点分数，4× 与 2× 来自摘要。
    • 把 8 小时分成三种用法时，Modular 以多次 30 分钟更好，AIDE 以较少的 2 小时更好（Figure 6）。两个 Claude 3.5 Sonnet 在 30 分钟样本上随 k 上升，但 k=128 仍远离人类顶尖（Figure 7）。
    • 32 小时的最优分配相对四次 8 小时人类最佳：作者称 Claude 在 Finetune GPT-2 for QA 与 Scaling Law Experiment 接近人类，o1-preview 在这两项较差，但在 Optimize a Kernel 超过人类（Figure 9）。正文未给出 Figure 9 的逐环境数值。

    解法与失败模式

    • 作者称多数智能体解接近 0，但提交更密：AIDE、Modular、人类每小时评分次数为 36.8、25.3、3.4（第 5.1 节）。
    • Optimize a Kernel：作者称 Claude 3.5 Sonnet（新）与 o1-preview（AIDE）的解约为参考解两倍快（Figure 18），且 o1-preview 超过全部 9 名人类专家。附录把一次起始实现标为 4.74 ms、该次智能体解标为 0.64 ms；正文称提供的 PyTorch 起始解为 5 ms。
    • 负面结果：第 5.1 节称 Finetune GPT-2 的一次解重跑后归一化分从 0.88 降到 0.69；附录把同一次的胜率写成由 88% 降到 69%。Restricted Architecture MLM 的 37 次高分运行中，84% 是轻度修改的 Transformer。作者称未发现反馈时长或新颖性与人机差距的清晰关系；工程复杂度与更利于人类的趋势相容，R2=0.602（Figure 10）。

    成本、作弊与噪声

    • 每次 8 小时运行平均约 29M 输入 token、约 499K 输出 token，API 约 123 美元；人类专家平均约 1855 美元（第 6.2 节）。Figure 11 不含 H100 费用；图注称同一费用预算下智能体得到的计算资源超过人类的 10×。
    • 多数运行的输出速度为每秒 20–120 token；作者称多数时间在等虚拟机命令，而不是等 API（Figure 12）。
    • Optimize LLM Foundry 上有运行直接复制参考权重。作者将其标为作弊并记 0 分。Figure 5 中 Claude 在 7 分钟至 1 小时的回落，作者归因于 Scaling Law 一次运行的早期幸运猜测。

    其他消融与分析

    • 专家来源平均分（Table 5）：招聘 0.48（45 次），职业网络 0.98（17 次），研究生 0.83（9 次）。正文另写 0.46 与 0.96，与表不一致。
    • 8 小时得分高于 0.05 的专家数（Table 6）：7/8、7/9、10/13、8/11、10/11、8/8、10/11，顺序同表。
    • 起始分标准差（Table 6）：0.004、0.005、0.0、0、0.02、0.08、0.62；Finetune 最高。脚注称排除 API 错误后其起始胜率仍为 17–52%，归一化用上端。
    • major 技术问题次数（Table 6）：0/8、1/9、1/11、2/10、1/11、0/3、0/9。
    • 参考解训练或编译再评分的时间（Table 3）：Kernel 40 秒，Fix Embedding 2.5 小时，Rust 8 分钟，Restricted 50 分钟，Foundry 100 秒，Finetune 40 分钟；Scaling Law 不向作答者显示分数。
    • 附录单次最佳标注，不是跨运行平均：Foundry 241 秒到 188 秒；Fix Embedding 验证损失 10.5 到 4.4；Rust 成功率 0.0% 到 6.1%，参考解为 12.7%。

  5. 有什么可以进一步探索的点？

    作者称环境规模小于真实AI R&D，结果既可能高估也可能低估自动化能力。

    作者指出的局限与后续方向

    • 规模差（第 6.1 节，Table 7）：作者列出 RE-Bench 与真实 AI R&D 在时间（8h/32h 对 6 months+）、反馈（2h 对 6 months+）、代码量（1651 对 1M+）和并行项目（1 对 100+）上的差别，并认为基准上的表现可能高估自动化能力。
    • 任务形态（6.1）：任务定义清楚，不要求协调多条工作流。作者称未能考察智能体如何编排并行项目或处理含糊指令。
    • 也可能低估（6.2）：8 小时智能体 API 约 123 美元，人类约 1855 美元。作者认为更便宜的多次尝试、不同工作流，或非面向人的工具，可能使达不到专家分数的智能体仍有经济竞争力。
    • 噪声、成本与 scaffold（6.3）：为满足设计标准，环境较少代表目标不清、反馈慢的真实研究；环境数少且分数右偏，估计对抽样噪声敏感；长时间使用 H100 使大规模比较更难；作者称换 scaffold 或提示词可能得到高得多的分数。
    • 分数含义（6.3）：除 Scaling Law 外向智能体提供测试分，评分次数多，可能过拟合。作者认为这尤其影响 Finetune GPT-2，会低估该环境的人机差距。Scaling Law 上智能体很少做系统实验，分数含运气。
    • 后续（6.4）：作者称后续可扩到更长时间、更贵或更难的反馈环，以及更大的工程复杂度，同时保留可行性与人类对照。第 3.3 节另称希望在以后的迭代中补上覆盖缺口。

    实验覆盖范围

    • 环境为 Table 2 的 7 个。人类数据为 71 次、61 人、每次 8 小时，来源与平均分见表 5。
    • 智能体实验运行了 claude-3-5-sonnet-20241022、claude-3-5-sonnet-20240620 和 o1-preview，scaffold 为 Modular 与 AIDE。论文未报告 o1-preview 在 Modular 上的完整 score@k。
    • 正文写出的分配包括 30 分钟、2 小时、8 小时，以及汇总到 32 小时的 best-of-k；30 分钟的 Claude 样本写到 k=128。论文未报告每种模型与时长的全部运行次数。
    • 机器为 0–6 块 H100、20–48 个 vCPU、200–400 GB 内存。Figure 2 给出百分位 bootstrap 的 95% 区间；论文未报告对人机差距的假设检验。
    • 人工核查范围是每任务最好的 2 次，以及两个易作弊环境直到前 15 名有效。人类可用联网和 LLM；作者称未观察到智能体除 pip 外使用网络。

  6. 总结一下论文的主要内容

    作者称短预算下智能体分数更高，加长预算后人类反超。

    RE-Bench 用同一虚拟机和评分函数，比较语言模型智能体与人类 ML 专家在短时、自包含 AI R&D 工程任务上的表现。

    • 问题：作者认为自动化前沿 AI 研发需要提前预警，但现有基准很少在长时程、同等资源下直接对照专家。
    • 做法：7 个手写环境，覆盖 kernel、微调脚本、缩放律预测、受限制的模型前向、问答微调和竞赛题 scaffold。起始解记 0、参考解记 1；除 Scaling Law 外取过程最高分。61 名专家完成 71 次 8 小时尝试。智能体为两个 Claude 3.5 Sonnet 版本和 o1-preview，scaffold 为 Modular 与 AIDE，按墙钟预算做 score@k。
    • 主结果：82% 的专家尝试得到非零分，24% 达到或超过参考解。作者称 2 小时总预算下最高分智能体比人类高 4×；8 小时人类略高或超过；32 小时总预算下人类分数为该智能体的 2×。8 小时分配下，o1-preview（AIDE）与 20241022（Modular）分别对应人类第 36、37 百分位。
    • 定性：智能体评分更密，AIDE 为每小时 36.8 次，人类为 3.4 次；作者称一次 kernel 解超过全部 9 名专家。也出现复制参考权重被记 0 分，以及 Finetune GPT-2 重跑后归一化分从 0.88 降到 0.69。
    • 作者结论：短时研发活动上已可做人类对照；最高分智能体接近专家平均，仍低于多数环境中的顶尖人类。作者认为跟踪这一差距有助于预判自主 AI R&D，但环境规模小于真实研发，读数可能偏高，低 API 成本也可能使读数偏低。
阅读原文arxiv.org