跳到正文
原文
Andon Labs·本站收录 · 原文发表 日期未标

Andon Labs 发布 Vending-Bench 2,评测模型长期经营模拟售货机业务的能力

Vending-Bench 2

AI 导读

Andon Labs 发布 Vending-Bench 2,让模型在一年期模拟中经营售货机业务,以年末账户余额评分。榜单显示 GPT-6 Astra 以 15514.70 美元居首,GPT-6 Sol、Gemini 4 Argon、Claude Opus 5 分列其后,前十名之间差距明显。表现最好的模型有两个共同点:全年工具调用频率稳定不退化,以及能通过持续谈判或寻找更好供应商拿到低价货源。该基准新增供应商对抗、发货延迟、供应商倒闭和顾客退款等现实扰动,并推出多智能体竞争的 Vending-Bench Arena。作者估算一个良好的人类策略一年可赚约 6.3 万美元,远高于当前最好模型,说明基准仍有很大提升空间。

阅读原文andonlabs.com