TasteVal 基准：用算力效率衡量 AI 的实验研究品味

研究者提出 TasteVal 基准，用于评估前沿模型的实验研究品味，即给定固定研究问题后迭代设计实验并从结果中得出结论的能力。该基准把实验研究品味操作化为算力效率：达到与人类专家相同分数所需串行实验算力减半，即品味翻倍。TasteVal 包含 8 个开放式任务，受评模型作为 Researcher 迭代设计实验，由固定的 Coder agent 负责实现并汇报结果，预算上限为 40 H100 小时或 120 小时挂钟时间。研究招募 24 名人类专家（每任务至少 2 人），取每任务最佳专家尝试作为基线，并评测了 2023 至 2026 年间发布的 20 个模型。表现最好的 Opus 5.5 超过专家基线，算力乘数为 2.3x（95% CI 1.15-4.37），单次运行成本约为基线者平均成本的 1/30。