事件观察中
Andon Labs 发布 Vending-Bench 2 长时程经营评测
先了解这件事
AI 综述
Andon Labs 发布 Vending-Bench 2,让模型在一年期模拟中经营售货机业务,以年末账户余额评分。榜单显示 GPT-6 Astra 以 15514.70 美元居首,GPT-6 Sol、Gemini 4 Argon、Claude Opus 5 分列其后,前十名之间差距明显。表现最好的模型有两个共同点:全年工具调用频率稳定不退化,以及能通过持续谈判或寻找更好供应商拿到低价货源。该基准新增供应商对抗、发货延迟、供应商倒闭和顾客等设定。
AI 根据报道生成 · 2 天前更新
后续时间线
10月5日
- Andon LabsAndon Labs 发布 Vending-Bench 2,评测模型长期经营模拟售货机业务的能力
Andon Labs 发布 Vending-Bench 2,让模型在一年期模拟中经营售货机业务,以年末账户余额评分。榜单显示 GPT-6 Astra 以 15514.70 美元居首,GPT-6 Sol、Gemini 4 Argon、Claude Opus 5 分列其后,前十名之间差距明显。表现最好的模型有两个共同点:全年工具调用频率稳定不退化,以及能通过持续谈判或寻找更好供应商拿到低价货源。该基准新增供应商对抗、发货延迟、供应商倒闭和顾客退款等现实扰动,并推出多智能体竞争的 Vending-Bench Arena。作者估算一个良好的人类策略一年可赚约 6.3 万美元,远高于当前最好模型,说明基准仍有很大提升空间。
相关讨论
关注度走势
每天新增来源
- 10月5日 新增 1 个来源(1 家媒体、0 个账号)
- 10月6日 新增 0 个来源(0 家媒体、0 个账号)
- 10月7日 新增 0 个来源(0 家媒体、0 个账号)