TasteVal 基准：用算力效率衡量 AI 的实验研究品味

给定已经固定的研究问题，如何衡量模型设计实验并解释结果的能力，并把它写成实验算力的乘数。

• 场景：作者认为AI研发除实现能力外，还有研究品味（research taste）：选值得做的问题、决定跑哪些实验、从结果下什么结论。多个前沿安全框架把自动化AI研发列为要跟踪的能力，起飞时间的预测也依赖研发自动化推进有多快。
• 现有不足：写代码、调试和跑实验已有软件工程与机器学习工程评测。作者称端到端基准虽是前瞻的，但把品味和实现缠在一起；专门的研究判断评测多是回顾性的。TASTE前瞻且把判断分开，但对照的是专家偏好，不是已经发生的实验分数。
• 操作化：作者把实验品味定义成相对专家基线的串行算力效率。同一硬件上用一半时间达到专家的分数，就是2倍实验品味，效果等同于把可用实验算力乘以2。该倍率依赖于任务分布、算力预算、固定Coder和基线技能。
• 本文提出：TasteVal，8个从零设计、不公开的AI R&D任务。被测模型只当Researcher；Coder固定，负责实现。24名人类专家在同样的40 H100小时与120墙钟小时预算下做题，每题取分数最高的尝试为专家基线。

端到端研发评测

• MLE-bench（Chan et al., 2024）与RE-Bench（Wijk et al., 2024）：在结果实现之前评测机器学习工程或前沿AI研发。作者称它们把品味和实现缠在一起。
• Expenditure Horizon（Cunningham et al., 2026b）：作者引为背景，称智能体在前沿邻近优化任务上已接近专家研究者的成本效益。论文未把它当作TasteVal的对照方法。

研究判断评测

• TastyBench（Mahajan et al., 2025）、Tong et al.（2026）、Ye et al.（2026）：作者把这三篇归为对已完成论文排序的回顾性评测。
• HindSight（Jiang, 2026）：作者称其把生成的想法匹配到后来的高影响论文，同样是回顾性的。
• TASTE（Baig et al., 2026）：前瞻，且把判断与实现分开。作者明确写它对照的是专家偏好，而不是已经实现的结果。

预测里的品味与判断

• AI Futures Model（Kokotajlo et al., 2025）与Davidson and Eth（2025）：作者引来说明，软件智能爆炸一类预测依赖研发自动化有多快，其中包含研究品味如何随能力上升。
• Huang（2026）：作者引其立场，即AI R&D基准应把研究判断与实现分开测。
• Cunningham et al.（2026a）：讨论递归自我改进的经济学，并把研究品味留给后续工作。作者在第5节把TasteVal的估计代入该模型与AIFM。

基线与基准

• 基线方法：每题有手工做成的naive baseline（作者称为零品味的弱提交），以及expert baseline。后者来自24名专家，每题至少2次尝试，取该题分数最高的一次。Coder在所有运行中固定为Opus 4.8。
• 基准：比较发生在作者自建的TasteVal上，不是在某个公开数据集上重跑既有方法。任务不发布。

作者把本文放在“结果尚未实现时、对照真实实验分数、并与实现能力分开”的位置，并把测到的实验品味定义成串行实验算力的乘数。

被测模型担任Researcher，只提出实验并解释结果；Coder固定为Opus 4.8，实现并运行实验。分数再换成相对专家基线的compute multiplier。

角色与合同

• 信息隔离：Researcher看到任务说明以及训练、验证集，不见测试集、评分代码和Coder的代码。它有shell、等待实验结束、网页检索与抓取；能跑实验的命令（如Python解释器）被挡住。作者称会审阅轨迹，检查是否绕过限制。
• Coder：见训练、验证、测试集和评分代码，在单张H100上实现。它不被告知Researcher是人还是模型，不得自行做研究决策、不得补关键缺口、不得在报告里写结论或下一步。测试分从给Researcher的回复里剥掉。
• 两侧监控：Experiment Monitor（Opus 4.8，high）在Coder看到描述前拒绝过细实现、指定文件结构、欠指定，或会把测试数据泄露给Researcher的描述。附录称，预实验30例上其决定与作者标签全部一致。Report Monitor检查报告是否含测试分或Coder插入的研究判断。
• Liaison：Opus 4.8。Researcher可询问Coder进度。它只根据当次问题附带的转录切片作答，被要求不透露测试分、代码和研究建议。通道单向。

任务、预算与评分

• 八题标准（Table 1）：未污染、抗饱和、能代表前沿AI R&D、连续评分而非通过/失败、专家用单张H100在不超过40 H100小时内能远超naive、主题多样。抗饱和指最好可达分数远超专家，多数题的饱和是数据的理论上限，例如不可约损失。
• 范围：文本与视觉。主题包括筛选预训练数据、预训练语言模型、微调、建模人类偏好、针对对抗提示做对齐等。单题细节不公开，以免污染。附录B.1给出一个未采用任务的说明。作者估计每题设计与实现平均30小时，并经过规格、智能体试跑、人类先尝试破坏再求解三道门（Figure 9）。
• 预算：40 H100小时与120墙钟小时，先耗尽者结束。算力按该卡nvidia-smi报告非零占用的墙钟计，一次只跑一个实验，因此是串行预算，不计Researcher自身token。可随时取消实验。
• 官方提交：实验最多产生一份可评分提交，验证集与测试集各评一次，Researcher只见验证分。运行分数是被标为官方的那份提交的测试分；若未标记，则取验证分最高者。

专家基线

• 招募：24人，研究经历与所做题直接相关，近期任职机构包括OpenAI、Google DeepMind、NVIDIA、Microsoft Research和牛津大学。每题至少2人，与模型使用同一Coder、同一两项预算。
• 开跑前：每人用4–16小时做文献综述并写短评，此时只知道高层问题摘要。设计实验和解释结果不得使用AI。该题专家基线定义为这些尝试中分数最高的一次。
• naive baseline：建题时手工做成，作者期望所有非平凡提交都超过它。

两个倍率

• compute multiplier：两次运行很少停在同一分数，故在较弱运行的终点分数上比较。较强运行的算力是它首次达到该分数的GPU小时，较弱运行则用完全部预算。单次倍率为专家算力除以模型算力。模型分数先在题内对种子取几何平均，再对题取几何平均。
• 参照链：直接对专家只适用于接近人类水平的模型。低于专家第一份提交的运行会得到相同倍率；超过专家最高分后，倍率只反映到达该分有多快，不反映超出多少。因此用三个参照：GPT-4、专家基线（发布日定为Opus 4.8的发布日）、Opus 5.0（max）。各模型对发布日最近的参照比较，再把相邻参照的倍率比链式换算到人类基线单位（附录H.1）。
• performance multiplier：不管用了多少算力，只看官方提交的最终测试分。该题上naive为0、专家为1。低于naive的运行计0；种子内取算术平均，题间取几何平均。若某题没有任何运行超过naive，该题记ε=0.01。论文给出的重标度为 s_t,i=(y_t,i−y^naive_t)/(y^expert_t−y^naive_t)。

脚手架与跑完后的审计

• Researcher脚手架：多数模型用ReAct，上下文窗口封顶200k token。正文写GPT-4与GPT-4o用简化动作的脚手架；附录D.10.2写GPT-3.5、GPT-4、GPT-4o、Llama 3.1 70B用ReAct-Shim，只生成实验描述。推理模型用可得的最高推理设置，GPT-5.2用high。Coder为Opus 4.8、high、Claude Code 2.1.201。
• 奖励黑客审计：每次运行结束后，由Opus 5.5审计器（ReAct，medium，最多100轮）判断提交是否以任务不允许的方式得分。作者人工确认被标记者并丢弃。若官方提交被确认，改用未被标记者中验证分最高的提交；若一个不剩，该运行记naive。

实验设置

• 被测模型：摘要称评估2023–2026年发布的20个模型。Table 2给出各模型及推理设置的倍率，行包括Opus 5.5（max）、Opus 5.0（low/medium/max及Super-Think）、Fable 5.1（max）、GPT-6 Astra（max）、Opus 4.8（max）、GLM 5.3（max）、GPT-5.6 Sol（max）、Opus 4.7（max）、GPT-5.5（xhigh）、Kimi K3、Opus 4.6（max）、GPT-5.2（high）、GPT-5.4（xhigh）、Opus 4.5、GPT-5（high）、Kimi K2.5、o3（high）、o1（high）、GPT-4o（gpt-4o-2024-05-13）、GPT-4（gpt-4-0613）、GPT-3.5（gpt-3.5-turbo-instruct）、Llama 3.1 70B，以及专家基线。趋势拟合只用当时的前沿模型，不含GLM 5.3、Kimi K3、Kimi K2.5。附录写Fable 5.0因大量拒绝未作为Researcher评测。
• 任务与机器：8题；主协议为每模型每题6个种子；40 H100小时与120墙钟小时。机器为16 vCPU、125 GiB内存、200 GiB SSD、单张H100 80GB。模型当Researcher时，脚手架跑在这台机器上。
• 固定与辅助模型：Coder一律是Opus 4.8、high。奖励黑客审计器用Opus 5.5。新颖性标注用Fable 5.0（high），每份提交最多100轮。预测实验的过滤用Sonnet 5.0；该实验用GPT-4 Turbo代替GPT-4。
• 指标与区间：compute multiplier与performance multiplier，定义见第3问。误差条为两层分层bootstrap，先抽任务再抽运行，1000次。断点用Chow扫描；倍增时间的区间在每次抽样中重选断点日期。
• 专家协议：24人，每题至少2次，取分数最高的一次为该题1x。开跑前4–16小时文献综述；设计与解释不得用AI。
• 拒绝：Opus 5.5（max）与Fable 5.1（max）在8题中有1题拒绝。作者把拒绝当缺失，而不是失败。论文未公布各题名称、样本量与评分函数。

主结果

下表数字均来自Table 2，相对专家基线（定义为1.00）。方括号为95% CI。Opus 5.5与Fable 5.1的主数字对应“拒绝题按缺失”的报告，不是下面的七题对齐数字。

模型	compute multiplier	performance multiplier
Opus 5.5 (max)	2.30 [1.15, 4.37]	1.14 [1.01, 1.31]
Fable 5.1 (max)	1.72 [0.75, 3.70]	1.09 [0.91, 1.29]
GPT-6 Astra (max)	1.60 [0.77, 3.02]	1.13 [0.94, 1.32]
Opus 5.0 (max)	1.29 [0.69, 2.33]	1.11 [0.91, 1.35]
GPT-5.2 (high)	0.28 [0.16, 0.54]	0.70 [0.39, 0.98]
o1 (high)	0.07 [0.03, 0.14]	0.22 [0.06, 0.48]
GPT-4 (gpt-4-0613)	0.03 [0.01, 0.08]	0.22 [0.06, 0.55]
Llama 3.1 70B	0.01 [0.00, 0.03]	0.09 [0.03, 0.32]

表中省略了Opus 5.0的其他推理设置与Super-Think、Opus 4.8、GLM 5.3、GPT-5.6 Sol、Opus 4.7、GPT-5.5、Kimi K3、Opus 4.6、GPT-5.4、Opus 4.5、GPT-5、Kimi K2.5、o3、GPT-4o、GPT-3.5。GPT-3.5的compute multiplier同为0.01 [0.00, 0.04]，performance multiplier为0.11 [0.03, 0.42]。

• 断点：作者报告单一对数线性趋势拟合较差（R2=0.82）。Chow扫描把断点放在2025年12月11日、即GPT-5.2发布日（bootstrap p<0.001）；两段拟合R2=0.96。断点前compute multiplier每14.0个月翻倍（95% CI 6.6–54个月），摘要写的是14个月；断点后每3.0个月（1.7–5.0）。Figure 1把当时的前沿模型画成深绿并用于拟合，非前沿模型为浅绿、不拟合。
• 作者对不确定性的说法：单模型误差条宽，但跨模型高度相关；题与题的倍率常差数量级，重抽任务主导不确定性。作者称对趋势比对任一模型的倍率更有把握。作者称从GPT-4的0.03到Opus 5.5的2.30上升约85倍，并称o1的0.07意味着专家基线只需o1算力预算的7%即可匹配o1的最终分数。七题对齐后，Opus 5.5为2.25（1.16–4.29），Fable 5.1为1.68（0.76–3.81）。
• 最终分数没有同一断点：performance multiplier的断点检验p=0.12，作者因此拟合单一趋势，每14.6个月翻倍（8.4–29.8），R2=0.83（Figure 4）。另有行为描述：30 GPU小时之后，21%的GPT-5运行仍提高所选提交的测试分，Fable 5.1为43%。作者从审阅的转录称，最强的人类运行会先测运行间波动，并丢弃小于该波动的单次改进，而Fable 5.1很少换种子重跑；Fable常把多次训练捆进一个实验，人类通常每次实验只改一处。

提交新颖性

• 测了什么：把主实验中Researcher主动标为官方的提交分成Tuned、Composed、Modified、Invented。共540份，18个模型各30份，按compute multiplier的下、中、上三分之一抽取，并摊到各题。排除GPT-4与GPT-4o，因为它们几乎不标记官方提交。标注器为Fable 5.0（high），可联网，每份最多100轮。
• 结果：540份里没有Invented。Figure 5左图各桶的标注运行数为0–0.5x的319、0.5–1x的75、1–2x的62、2–4x的45、≥4x的39。作者称低于0.5x时Tuned占多数，0.5x及以上各桶Composed占多数；Composed与Modified的份额大致随倍率上升。GPT-5.6 Sol之前，Modified在每个模型上至多1/30。人类官方提交为Tuned 20%、Composed 72%、Modified 8%，论文未给出人类份数。
• 作者的补充检查：又标注了顶十分位运行里约1600个实验，含失败和被拒的，仍没有Invented。

拿掉显式评分信号

• 设置：4题做成messy变体：Researcher得到改写后的题面，没有验证集、验证分和评分函数，只被告知留出分数存在、但不告知如何计算。评测Opus 5.0（max）与Opus 4.5（high），每题6个种子。论文未说明是哪4题。
• 结果：同一4题的正常设置下，二者compute multiplier为1.12（95% CI 0.64–1.85）与0.14（0.06–0.28）；messy下降到0.54（0.23–1.34）与0.057（0.021–0.16），即正常值的49%与40%（配对95% CI 19–104%与13–110%）。
• 作者的解读：作者称以4题而言，两次下降的区间都跨过“没有下降”，因此没有证据支持messy与正常设置的倍增时间不同。这些倍率相对的是没有做messy变体的专家基线，作者称应读成同样messy条件下、模型相对专家的下界。两模型几乎每次运行都自建评估集：Opus 5.0常用公开数据去猜留出分布，Opus 4.5多从自己的训练数据切出，且这些集常常预测不好测试分。

代入既有预测模型

• 前提：第5节先把compute multiplier对Epoch Capabilities Index作图（Figure 8）。断点仍在GPT-5.2：此后每4.6个ECI单位翻倍（95% CI 3.1–8.8），此前15.7，两段R2=0.95。作者声明下面是朴素外推，不是预测，并假设每单位ECI上，前沿AI R&D的对数倍率与TasteVal涨得一样快；还假设单卡、低噪声评分、串行与并行这些差别不改变速率。
• AIFM：作者用Daniel Kokotajlo 2026年8月16日的参数分布，做10000次蒙特卡洛。在其A1–A3下，用4.6代替参数中的约8，taste-only singularity的概率从51%变为88%，ASI中位数从2030.5变为2028.9，2030年前出现ASI的概率从46%变为69%。
• 递归自我改进经济学：作者把每4.6个ECI单位翻倍写成每个ECI点提高有效实验算力0.151。论文转述Cunningham等的自我维持门槛为每个ECI点0.154，其从已报告提升估计的总效应约0.09。在作者的R1–R2下，若AI指挥全部实验、研究支出不流向人类，则当研究者质量回报γ超过约0.21时，算法进步在实验与AI研究者的几乎任意支出划分下都可自我维持；Cunningham等估计γ为0.15–0.3。作者称若仍有三分之一支出给人类，则只在该γ区间的上半段成立，且实验支出超过约30%时不成立。

其他消融与分析

• 推理预算：Figure 6只用6题，论文未说明是哪6题。相对Opus 5.0（max），ReAct-Super-Think为1.38倍（95% CI 0.86–2.18），总成本高53%，比Opus 5.5贵42%；作者称相当于Figure 1趋势上的1.4个月。Table 2另列Super-Think的compute multiplier为2.11 [1.47, 2.96]，论文未说明该行是否与Figure 6同一题集。
• 端到端：Opus 4.8（max）在8题×6种子上同时扮演两角。拆分下compute multiplier为0.84x（0.45–1.78），端到端为0.80x（0.38–1.80），比为1.05（0.69–1.67）。作者称二者在统计上分不开，并注明主实验Coder用的是high、端到端用的是max。全代理API花费平均每轮$101对$190。48次中1次得分提交违规，改记最后一份干净提交。作者称端到端训练运行大约多到3倍，但给自己评分的次数大约少一半。
• 分数预测：从4题、120次运行抽1173个已评分实验，论文未说明这4题是否与messy相同。MASE：作者称自GPT-4 Turbo起大约每年下降0.05。末次分数基线0.608，至今最好0.561，不可约误差下界0.211（24个实验各重跑9次，每题6个；不含Coder实现噪声）。logistic拟合R2=0.85。作者外推，到2030年10月会闭合该差距的90%（95% CI：2029年10月至2031年12月）。
• 奖励黑客：Opus 5.5、Fable 5.1、GPT-6 Astra、Opus 5.0（max）的官方提交被标记比例为0%。作者称无效提交中最常见的违规是在验证集上训练，占33%。Table 2该列最高为Kimi K2.5的10%。
• 预算截断（附录H.2）：与40小时排序的秩相关，在5小时为0.94，10小时起至少0.97，30小时起为1.0。10小时起，Opus 5.5落在2.0x–2.4x，Fable 5.1落在1.6x–2.0x；断点后倍增时间随预算缩短而变长，10小时起仍落在40小时估计的1.7–5.0个月区间内。
• 墙钟：附录称人类运行有0%触及墙钟上限，模型运行为1.3%。模型墙钟中位数48小时，人类工作小时中位数67小时。o3有5次、Kimi K2.5有4次触及墙钟上限，其他模型不超过3次。

作者指出的局限与后续方向

• 任务代表性（第4.1节）：作者认为TasteVal可能不能代表前沿AI R&D，从而高估倍率水平。任务被刻意做成容易验证，评分噪声低，两份划分通常不到10分钟；开发只需单张H100，低于前沿机器学习开发的算力规模。
• 缺少混乱因素（第4.1节）：作者认为可能高估。每题都有从测试分布抽出的验证集和快速、低噪声的评分函数，且不要求与其他智能体实时协调。作者按METR的16因素量表自评均值为7.5，并与METR Time Horizon v1.0的约3.7对比；作者同时写这些分数是自标的，所缺因素属于前沿研究里最重要的一类。
• 启发与美元成本（第4.1节）：作者认为可能低估。对Researcher和Coder的启发有限，优化脚手架、更新驱动Coder的模型都可能提高表现。Opus 5.5（max）平均每轮$282（全部代理的API，加$2.5/小时的GPU）；专家基线平均$9,123，同一口径并含$119/小时薪酬。作者称若把美元成本对齐到专家，智能体可能好得多；也写了初步实验里改进提示缓存后，测到的表现不变，Researcher的API成本大约降到五分之一。
• 未测的品味成分（第4.2节）：作者写TasteVal不测选题等重要方面。若这些成分比所测的更慢，其预测结果是上界，作者认为这可能高估增速。
• 浅层与中等优化（第4.2节）：作者写最强提交没有使用新想法，也没有做非显然的跨域适配；TasteVal上的进展主要来自把超参数调得更好、以及中等难度的适配。作者认为，若维持当前趋势需要越来越深的优化，进展可能变慢，从而可能高估。
• 串行算力与训练目标（第4.2节）：作者写前沿研发规模大得多且并行；若并行倍率涨得比串行快，则会高估倍增时间。作者还写前沿实验室可能尚未把实验品味当作直接训练目标，测到的趋势可能是一般能力提升的副产品，这可能低估速率。第5节把后续代入声明为朴素外推，不是预测。

实验覆盖范围

• 主实验：摘要所称2023–2026年的模型，主协议为每模型每题6个种子、8题、40 H100小时与120墙钟小时（第3节）。Table 2同时给出GPT-3.5、Llama 3.1 70B及多种推理设置。趋势拟合排除GLM 5.3、Kimi K3、Kimi K2.5。
• 专家基线：24人，每题至少2次尝试中分数最高的一次，Coder同为Opus 4.8；开跑前4–16小时文献综述，设计与解释不得用AI（第2.4节）。
• 附加实验：Opus 5.0的low、medium、max与ReAct-Super-Think，Figure 6限定为6题，论文未说明是哪6题；Opus 4.8端到端为8题×6种子；messy变体为4题、两个模型；分数预测为4题、120次运行、1173个实验（第3.3–3.6节）。第5节在写明的假设下，把4.6 ECI单位/倍增代入AIFM（10000次模拟）和Cunningham et al.（2026a）。
• 缺失与拒绝：Opus 5.5与Fable 5.1各因拒绝缺1题，按缺失处理。附录H.3写Fable 5.0因大量拒绝，未作为Researcher评测。GPT-4与GPT-4o在Table 2中标记官方提交的运行分别为4%与2%，因而未进入540份新颖性标注。
• 报告了什么：任务文本不发布。论文报告了分层bootstrap、Chow检验，以及奖励黑客标记的人工确认。论文未报告新颖性标注或奖励黑客审计的标注者间一致性，也未报告预测实验里Coder实现差异带来的噪声。

TasteVal测量实验研究品味里的实验部分：问题已经给定时，模型设计实验并解释结果，相对专家有多省串行GPU时间。被测模型只提出实验；固定的Opus 4.8 Coder实现、运行并写报告。两侧有监控，Liaison回答进度。8个不公开的AI R&D任务，每次40 H100小时或120墙钟小时。专家基线来自24名研究者在同样预算下的尝试，每题取分数最高的一次。

• 算力倍率：摘要写Opus 5.5为2.3x，Table 2为2.30（95% CI 1.15–4.37）。它与Fable 5.1各拒1题，按缺失计；七题对齐后为2.25与1.68。作者称从GPT-4的0.03到2.30约上升85倍。
• 趋势：前沿模型的该倍率在2025-12-11（GPT-5.2）之后每3.0个月翻倍（95% CI 1.7–5.0），此前正文与Figure 1为14.0个月（6.6–54），摘要写14个月。不计所用算力的performance multiplier全程每14.6个月翻倍，断点检验p=0.12。
• 提交与评分信号：540份被标注的正式提交中没有Invented。拿掉评分函数后，Opus 5.0与Opus 4.5的倍率变为正常设置的49%与40%，配对区间分别跨过100%。
• 外推：作者把断点后每4.6个ECI单位翻倍代入两个预测模型，并声明这不是预测。在其假设下，AIFM的taste-only singularity概率从51%变为88%，ASI中位数从2030.5变为2028.9。
• 作者的边界：任务易验证、单卡、不测选题，作者认为可能高估；启发有限，且Opus 5.5每轮$282、专家基线$9,123（含$119/小时薪酬与$2.5/小时GPU），作者认为可能低估。结论里作者还写，迄今的进展来自浅层和中等优化，而不是新想法。