跳到正文
原文
公众号 量子位·本站收录· 原文发表· AI 动态 →· 扫描记录里的位置 →

UniPat AI发布湿实验预测基准SPU,推理拉满、算力翻5倍也未必提分

「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭

AI 导读

UniPat AI发布湿实验预测基准Science Prediction Universe(SPU),覆盖116个任务、4207个湿实验,12款前沿模型在首轮评测中均远未达到可靠预测水平。模型每次运行8小时、配一块H20,可联网检索,自主选择计算方法后提交预测排序,以Spearman相关系数对照实测结果评分,评分在断网容器中进行以防记忆污染。平均分最高的Claude Opus 5.5仅得0.486分,13种配置中能超过随机水平阈值的任务比例只有34%~52%。评测还发现,把GPT-6 Astra从中等推理强度调到最高后,运行时间中位数增至4.8倍、API成本中位数增至5.3倍,预测得分却几乎不变;各配置单次运行平均API成本从0.22美元到65.91美元不等。100个公开任务计划以Harbor任务包形式发布,数据集和代码已开源。

相关论文
阅读原文mp.weixin.qq.com