跳到正文
原文
公众号 新智元·本站收录· 原文发表· AI 动态 →· 扫描记录里的位置 →

Fable 5.2贵17倍还输了!12个AI进群当同事,OpenAI包揽前二

Fable 5.2贵17倍还输了!12 个AI进群当同事,OpenAI包揽前二

AI 导读

数据协作平台Deepnote发布Agent Initiative Benchmark,把12个前沿模型放进虚构公司的Slack群当AI同事,考它们何时该帮忙、何时该沉默。结果OpenAI包揽前二,GPT-6 Astra得8.97分,GPT-6.1 Sol得8.65分、单任务0.11美元;第三名Anthropic Fable 5.2得8.17分,单任务1.87美元,约为Sol的17倍,按70人公司折算月账单,Sol为281美元、Fable 5.2为4684美元。评测用有71名员工、11套业务系统的虚构公司PageMantle和50个职场任务测试,其中10个是不该出手的场景,两个盲评模型独立打0到10分,数据集和代码开源。该沉默时表现最好的模型也只忍住8次,插错嘴平均比沉默多花1.8倍时间和金钱;Gemini和Grok平均每任务调35次工具,分别有27个和18个任务超时未交卷。

阅读原文mp.weixin.qq.com