EvalResearchBench：AI 智能体自主设计评测基准，最佳排序一致率约 75%

固定预算下，智能体能不能自己设计可执行评测，使分数和排序接近复杂目标基准。

• 场景：作者认为递归自我改进要靠评测反馈判断改动是否更好、下一步往哪走；长工具轨迹或专用环境会使反复跑基准变贵，并推迟下一轮实验。人类会抽代表性子集或做更便宜的代理，文中例子是 tinyBenchmarks。
• 现有不足：PostTrainBench、RSIBench-Data、AlphaEvolve 把改进自动化了，但测什么、怎么打分、怎样把反复测量做便宜，仍由人决定。作者称，把自主性扩到新领域，仍要一份人设计的评测。
• 缺口：PACE、AutoBencher、BenchAgents、BenchBench 只自动化了评测设计的一部分。作者称这些设定都没有提出完整问题：智能体要自己选测量策略、花掉有限实验预算，并修订可执行评测器，直到它追踪复杂目标基准。
• 本文：提出 EvalResearchBench（ERB）。研究员选题或合成任务、实现评分器，用试点修订后冻结评测器，覆盖 coding、co-work、reasoning；独立评测再与 14 个目标基准比分数和排序。

评测设计

• 覆盖与构造：CheckList（2020）、HELM（2023）、Dynabench（2021）讨论覆盖和标准化；Perez 等（2023）、Liu 等（2023a）、EvoEval（2024）做任务构造；G-Eval 与 Zheng 等（2023）做自动评分。
• 自动建基准：AutoBencher（2025）用模型反馈精炼数据；BenchAgents（2025）接上规划、生成、验证和评测；BenchBench（2026）比较效度、区分度和排序可靠性。

高效测量

• 子集与轻量题：tinyBenchmarks（2024）、Fluid Benchmarking（2025）、Ndzomga（2026）研究选择、估计和自适应测试；APTBench（2025）把智能体轨迹变成轻量问题；Agent Psychometrics（2026）用任务和系统特征预测任务表现。
• PACE（2026）：选便宜源题，对照昂贵的智能体目标做校准。引言把它与 AutoBencher、BenchAgents、BenchBench 并列，称这些设定没有提出完整研究问题。

自主研究

• 协议外生：PostTrainBench（2026）、RSIBench-Data（2026）、AlphaEvolve（2025）分别固定评测工具、固定评测服务，或使用用户给定的评价函数（并可加用户指定的测试级联）。作者指出，测什么、怎么打分、如何让反复测量负担得起，仍由人决定。
• 研究流程：MLAgentBench（2024）、MLGym（2025）、MLE-bench（2025）、RE-Bench（2025）、PaperBench（2025）、AI Scientist（2024）、Agent Laboratory（2025）覆盖迭代实验、复现和科研多阶段。
• 用反馈改系统：FunSearch（2024）、AlphaEvolve、Darwin Gödel Machine（2026）用评测反馈改程序或智能体；MIRROR（2026）、TRIAGE（2026）研究自我知识与资源分配。作者称 ERB 要构造的是反馈工具本身。

基线与基准

• Random120：人类定 16 个公开源的配额和本地评分器，种子 42 在源内抽样，三域各 40 题，域内等权，不用目标参考分。
• 14 个目标：开发可见 DeepSWE、SciCode、SWE-bench Multilingual、GDPval、AdvancedIF、HLE；密封 Terminal-Bench 2.1、ProgramBench (Vals)、SWE-bench (Vals)、BrowseComp、Harvey LAB-AA、AA-Briefcase、AA-LCR、CritPt。

作者把区别放在：智能体自选测量策略、花有限预算、修订可执行评测器去追踪复杂目标，并且只按冻结提交物打分。

ERB 把自主评测研究做成一次有预算的研究回合。研究员在开发材料上设计、试点、修订，冻结后由独立执行器对照开发与密封目标打分。

角色与一次回合

• 三个角色：研究员是带工具的 LLM 智能体，能看文件、写并执行代码、调用模型、改自己的工作。候选是一套模型–执行配置。目标基准提供应被复现的参考分。
• 三个域、一次回合：coding、co-work、reasoning 放在同一次研究里，智能体可共用资源，并自己决定哪里还值得再测。论文把三域分别对应实现与测试、专业交付、分析性工作。
• 可见性分开：候选 API 和目标参考分的可见性独立指定（Table 1）。密封候选不能调用，密封参考分在冻结前看不见。开发测试返回回答、评分，以及和可见参考分的对照。

材料、预算与允许的改动

• 输入：目标说明、可用原题和评分资源、历史执行轨迹、开发候选的参考分、计量 API、执行 SDK 和提交契约。资源因目标而异。可以选已有题、合成新题，或两者合用。
• 三笔费用分开：研究员推理、开发/辅助模型测试、冻结后的独立评测。论文给出的理由是，避免把思考和工具调用算进测试额度。研究限时 3 小时，推理 100 美元，开发/辅助测试 100 美元。独立评测总上限 120 美元，每候选 30 美元。试点套题可以小于最终提交。
• 允许的操作：选题、合成或简化任务，修评分器，改权重，设回答额度，查看试点回答。调用和重试走计量网关。开发预算如何分给探索、测试和修订，没有规定顺序。

提交契约与域分数

• 要交什么：至少 100 道不同的计分题、可执行评分器和固定聚合规则。论文给出的理由是要可复用套题，而不是几次演示。程序只从候选回答和冻结资产返回每域一个分数；评分时不能按候选身份查表，也不能读参考标签。题、评分代码和权重在评测前冻结。一条记录是某个模型加某个工具框架的一个研究回合。
• 完成与缺失：按提交契约评完的回答算完成，包括输出上限处的错误或空回答。基础设施失败和因预算停下的题算未完成，不进分母。权重在评测前固定且非负。
• 域分数：已完成题的加权平均。没有完成的正权重题时，该域记为缺失。部分执行另报覆盖。支出分开记录三笔费用，未结清的预留另计。

测量分是 x_a,m,d=∑_{i∈ Ca,m,d} w_a,is_a,m,i/∑_{i∈ Ca,m,d} w_a,i。它是研究员 a、候选 m、域 d 在已完成题上的加权平均。

Score 与配对一致

• 对准谁：冻结程序在开发候选和密封候选上运行，测量分分别与可见、密封的目标参考比较。每个域分数不经变换，与该域每个合格目标比较。合格目标：至少 6 个同时有测量分和参考分的候选，且参考分不是常数。
• 尺度：测量分保持提交时的 [0, 1]。百分比参考分除以 100。Elo 用固定参考面板的最小值和极差，常数对所有研究员相同。AA-Briefcase 的偏移为 0.00、除数为 1640.35（附录 A）。
• Score：100 倍的一致性相关系数，用匹配候选上的总体矩。完全一致为 100，常数测量为 0，方向相反可以为负。它同时惩罚均值和尺度不合。组内对目标等权；总体对全部合格目标等权，不是先对域等权。
• PA：非平局参考对里，顺序正确记 1，测得平局记 1/2，逆序记 0。参考平局排除，不设显著性阈值。

Score_a,t=100· 2Cov(x,y)/(Var(x)+Var(y)+(x̄−ȳ)²)。这是测量分 x 与参考分 y 的一致性，再乘 100。

实验设置

• 研究员：9 个配置各 1 回合。GPT-6 Astra、GPT-5.6 Sol、Grok 4.7 用 Codex；GLM-5.3、DeepSeek V4 Pro、Kimi K3、Fable 5.1、Opus 5、Fable 5 用 Claude Code（§4.1）。
• 候选：13 个。开发可见 4 个：GPT-5.5、GLM-5.2、DeepSeek V4 Flash-0731、Qwen3.8 Max。密封 9 个：GPT-6 Astra、GPT-5.6 Sol、Kimi K3、MiMo V2.5 Pro、DeepSeek V3.2、Gemma 4 31B、Qwen3.5 397B-A17B、GPT-OSS 120B、Nemotron 3 Ultra。研究阶段不能调用密封候选 API（Table 1）。同名模型同时出现在研究员和密封候选里，角色不同。
• 目标：14 个，开发 6、密封 8。参考分是固定公开快照：9 套来自 Mercor 的 APEX，ProgramBench (Vals) 与 SWE-bench (Vals) 来自 Vals AI，Harvey LAB-AA、AA-Briefcase、CritPt 来自 Artificial Analysis（附录 A）。Table 3 里有参考分的候选数为 7–12，不是每个目标都匹配全部 13 个候选。
• 预算：研究 3 小时、推理 100 美元、开发/辅助 100 美元。独立评测总上限 120 美元、每候选 30 美元。试点可以比最终提交更小。
• 指标：Score 为 100 倍 CCC；合格目标至少 6 个匹配且参考分非常数。PA 对非平局参考对计分，测得平局记 0.5，不设显著性阈值。百分比参考分除以 100；AA-Briefcase 的 Elo 偏移 0、除数 1640.35。
• 完成与基线：8 份提交有全部 39 个候选–域分数。Fable 5 在评测预算处停止，完成 20/39。Random120 从 16 个公开源抽 120 题（每域 40），12 个候选三域都完成。

主结果

据 Table 2。下面 8 行是完整提交、13 个候选。开发组 6 个目标，密封组 8 个，组内对目标等权。PA 为百分数。

表格较宽，可左右滑动

评测器	总体Score	总体PA	开发Score	密封Score
GPT-6 Astra	22.79	69.54%	20.98	24.15
Grok 4.7	22.59	74.87%	17.84	26.14
Fable 5.1	21.96	67.80%	23.40	20.87
Opus 5	21.79	64.88%	17.93	24.68
Kimi K3	18.03	74.58%	16.58	19.12
GPT-5.6 Sol	16.99	63.32%	17.14	16.88
GLM-5.3	14.27	64.72%	13.15	15.12
DeepSeek V4 Pro	10.49	63.50%	10.78	10.28

• 没有一行全领先：三域的 Score 和 PA 没有同一评测器都最高。作者称复现分数水平与恢复排序偏向不同设计。作者称 Grok 4.7 领先 coding、Astra 领先 co-work、Opus 5 领先 reasoning；Table 2 总体列分别为 23.28、42.06、38.46。Figure 1 文本标出总体分以及 coding 的 -0.20、-0.31，各域柱的其他数值未标出。
• 可见性会换领先者：开发 Score 最高是 Fable 5.1 的 23.40，密封 Score 最高是 Grok 4.7 的 26.14。作者称对准可见参考分并不保证迁到密封目标。Sol 的总体 co-work Score 为 3.48，开发组为 -6.66。Astra、Opus 5 的总体 coding Score 为 -0.20、-0.31。
• 表外两行：Random120 用 12 个完整候选，总体 Score 13.10、PA 68.29%。Fable 5 的填补情景把 19 个缺失域分数记为 100%，总体 Score -13.18、PA 42.07%；论文称这不是观测面板估计，主排名不含它。总体分对 14 个目标等权（coding 6 个、reasoning 3 个）。附录 B.2 在 12 候选匹配面板上，目标等权时 Grok Score 22.18、Astra 21.35；域等权时 Astra 25.20、Grok 21.14。主榜保持目标等权。

与 Random120 的同候选比较

• 同面板：Table 9 把 8 份完整评测器和 Random120 放在相同 12 个候选、14 个目标交集上。Score 高于 13.10 的有 7 个，DeepSeek V4 Pro 为 10.45。PA 高于 68.29% 的有 4 个：Grok 76.07%、Kimi K3 74.17%、Astra 69.08%、Fable 5.1 68.46%。
• 分域：Figure 3 的 Score 差里，Astra 为 coding -25.6、co-work +36.3、reasoning +29.2；Grok 的 coding 差标为 +0.0。作者称 Random120 在 coding 上尤其强。Table 2（12 候选）其 coding Score 为 22.92、PA 为 75.25%；Table 9 上 Grok 的 coding Score 为 22.94。作者称 DeepSeek 的短确定性检查把 coding 和 co-work 分数挤近上限，reasoning 上的增益补不回 coding。

任务贡献、题量与权重

• 删组件：附录 C 在 12 个候选上删任务组。去掉 Astra 的 8 道表格题，co-work Score 降 31.94，PA 降 12.57 个百分点；该组 46/96 个回答在输出上限处没有最终答案。作者称 K3 的 5 道难 coding 使 Score 上升、PA 略降，Astra 的 8 道仓库追踪不改变 PA；相对同域同规模随机删除，这两组效应不大。论文未给出后两组的具体差值。
• 题量：Figure 4 与 Table 8 对 Astra、GLM-5.3、K3（112/100/107 题）做嵌套、按域分层的子集，候选和回答固定。子集变大时平均 Score 上升，Score 和 PA 的标准差下降。90 题时，落在完整套题 Score 的 1 分以内的抽样占 34.4%、70.5%、63.3%。
• 权重：Grok 的 20 道 co-work 题里 6 道占 93.87% 权重。Table 11 在 12 候选匹配面板上把 Grok 改为域内等权，总体 Score 从 22.18 到 37.03，PA 从 76.07% 到 76.01%。作者称套题里有权重没用上的信号。其权重搜索用的是三个被测开发候选的通过模式，不是全部四个开发候选。

成本与试点修订

• 运行成本：作者称记录执行成本最低者 PA 最高，且题数相近不等于运行成本相近。Table 4 中 Grok 为 8.63 美元（107 题，无辅助评审），Fable 5.1 为 109.41 美元（候选 75.44、rubric judge 33.97），Opus 5 为 105.24 美元，Fable 5 为 118.02 美元。正文未列出全部 8 个评测器的美元数。Table 6：Fable 5 相对 Grok 的候选调用费，在 GPT-5.5 上为 16.73 倍，在 GPT-6 Astra 上为 7.12 倍；论文称完成题数相差不到 10%。
• 回答额度：Table 7 的声明上限合计，Grok 为 0.115M token（每题 768–2,048），Fable 5.1 为 1.374M（5,000–16,000）。作者称成本来自两处：候选要产出什么，以及答案如何判定。
• 试点修订：§5 与附录 E。Astra 补了 8 道多文件仓库追踪；一份备忘录试点为 11/12 后，把评分规则里有、题面没写的量补进题面，并放宽过窄的架构要求。GLM-5.3 修正无效样例和数值答案；K3 在接近满分的试点后加了 5 道难 coding。论文把这些写成试点的三种用法：改有效性、补覆盖、改执行设置。

其他消融与分析

• 附录 A.1 的 8 个尺度更接近的目标上，Fable 5.1 的 Score 为 33.47、PA 为 69.57%；Astra 为 27.51、67.08%；Grok 为 23.95、75.06%。主榜 14 目标上总体 Score 最高的仍是 Astra。
• 全部目标的总体 PA 上界为 91.20%（开发 90.95%，密封 94.59%）。全员打 0.5：总体 Score 为 0，PA 为 50.00%。coding 总体的 oracle RMSE 下限为 0.303。
• Table 3：ProgramBench (Vals) 上 Grok 的 Score 为 -0.04，Opus 5 为 0.59（n=8）。作者称 Figure 7 中 Astra、K3、Fable 5.1 在 HLE 上 Score 为 55.33–63.94，在 AA-LCR 上为 3.62–7.83，且测量分系统性低于参考分。Grok 的 HLE Score 为 13.33、PA 为 82.22%（n=10）。
• 去掉 Astra、GLM-5.3、K3 的 ArXiv-math 后，reasoning 的 Score 和 PA 都上升；论文未给出幅度。Figure 10 无最终答案：Astra 140/192、GLM 91/144、K3 64/96。
• Table 10（12 候选匹配面板）：co-work 上 Astra 的平均相关为 0.521、尺度因子 Cb 为 0.808，GLM-5.3 为 0.514 与 0.275。作者用此解释相近相关仍可对应不同 Score。

作者指出的局限与后续方向

论文未专门讨论局限。结论只把 ERB 写成对评测设计能力的可执行基准，没有列出不足或后续工作。

实验覆盖范围

• 研究员为 9 个配置，各 1 个研究回合；GPT 系与 Grok 4.7 用 Codex，其余用 Claude Code（§4.1）。
• 候选 13 个（开发可见 4 个、密封 9 个），目标 14 个，分 coding、co-work、reasoning；两类可见性分开指定（Table 1）。
• 完整域分数的提交为 8 份，各 39 个候选–域分数。Fable 5 完成 20/39 后因评测预算停止；主排名不含它，另报一种把 19 个缺失域分数记为 1 的情景（Table 2、附录 A.1）。
• 对照包括 Random120、任务组删除、嵌套抽题、Grok 的等权反事实，以及建造成本与冻结运行成本（§4.2–4.4、附录 B–C）。
• 每个配置只贡献 1 个研究回合。论文未报告该回合之外的重复，也未写明 rubric judge 所用模型。§3.3 写明 PA 不设显著性阈值，论文未另行报告显著性检验。

ERB 用来测一件事：智能体在固定预算内做出的可执行评测，能否复现既有基准对候选模型的分数和排序。

• 问题：递归自我改进要靠评测反馈，但复杂基准反复跑又贵又慢。人会抽子集或做便宜代理；文中的自动改进工作多半仍用人给定的评测协议。
• 做法：研究员拿到目标说明、可用题和评分资源、开发参考分与候选 API，在 3 小时和两笔 100 美元预算内设计、试点、修订，再冻结至少 100 道题。密封候选和密封参考分在研究时不可见。独立执行器另计预算，每域给一个分数。
• 主结果：8 份完整提交、13 个候选、14 个目标（Table 2）。Astra 总体 Score 22.79，Grok 4.7 总体 PA 74.87%。开发 Score 最高是 Fable 5.1 的 23.40，密封 Score 最高是 Grok 的 26.14。coding 上 Astra、Opus 5 为 -0.20、-0.31。
• 对照：同一 12 个候选上，7 个智能体评测器的 Score 高于 Random120 的 13.10，4 个的 PA 高于 68.29%（Table 9）。作者称记录执行成本最低者 PA 最高；Table 4 里 Grok 的冻结评测支出为 8.63 美元。
• 作者的结论：没有设计在每个域、每个指标上都领先；对准可见参考分不等于迁到密封目标。难度、名义题量和测量价值要分开看。作者称 ERB 把自主改进所需的评测设计做成了可执行基准。摘要里的最高 PA 约为 75%，低于目标间分歧对应的 91% 上界（附录 A.1 为 91.20%）。