Artificial Analysis 新版指数扩大开源与闭源模型差距
New Artificial Analysis index widens the gap between open and closed models
AI 导读
Artificial Analysis 推出第5版 Intelligence Index，Kimi K3.1 Pro 从第4名跌至第9名，排在八个闭源模型之后，开源模型与榜首的分差从3分扩大到12分。新版指数首次将60%权重建立在私有测试集上，以防模型针对公开测试题刷榜（benchmaxxing），Grok 4.7 的得分也少了12分。AI 研究者 Nathan Lambert 认为刷榜只是部分原因，如今许多训练收益来自与基准任务相似的强化学习环境，要在多领域同时保持领先需要复杂的 RL 基础设施，并非每个实验室都具备。私有测试集的缺点是外界无法检查提示词中的错误，AA-Omniscience 知识测试就存在此类问题，Artificial Analysis 为新版指数修订了其中歧义和有缺陷的题目。