跳到正文
事件观察中

Andon Labs 发布 Vending-Bench 2 长时程经营评测

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Andon Labs 发布 Vending-Bench 2,让模型在一年期模拟中经营售货机业务,以年末账户余额评分。榜单显示 GPT-6 Astra 以 15514.70 美元居首,GPT-6 Sol、Gemini 4 Argon、Claude Opus 5 分列其后,前十名之间差距明显。表现最好的模型有两个共同点:全年工具调用频率稳定不退化,以及能通过持续谈判或寻找更好供应商拿到低价货源。该基准新增供应商对抗、发货延迟、供应商倒闭和顾客等设定。

AI 根据报道生成 · 2 天前更新

后续时间线

报道和讨论按时间排:从发布、媒体跟进到各平台的讨论。

10月5日
  1. Andon Labs
    Andon Labs 发布 Vending-Bench 2,评测模型长期经营模拟售货机业务的能力

    Andon Labs 发布 Vending-Bench 2,让模型在一年期模拟中经营售货机业务,以年末账户余额评分。榜单显示 GPT-6 Astra 以 15514.70 美元居首,GPT-6 Sol、Gemini 4 Argon、Claude Opus 5 分列其后,前十名之间差距明显。表现最好的模型有两个共同点:全年工具调用频率稳定不退化,以及能通过持续谈判或寻找更好供应商拿到低价货源。该基准新增供应商对抗、发货延迟、供应商倒闭和顾客退款等现实扰动,并推出多智能体竞争的 Vending-Bench Arena。作者估算一个良好的人类策略一年可赚约 6.3 万美元,远高于当前最好模型,说明基准仍有很大提升空间。

相关讨论

各平台上讨论这件事的帖子和转述:不单独成文,只列链接和一句原文。72 小时的讨论链接数还含 1 篇报道,见后续时间线。

本站还没有收集到这件事的讨论链接。

关注度走势

内容价值与传播共同决定关注度;传播减弱时回落到内容价值。

每天新增来源

3 天共 1 个·最多 1(10月5日)·今天 0

  • 10月5日 新增 1 个来源(1 家媒体、0 个账号)
  • 10月6日 新增 0 个来源(0 家媒体、0 个账号)
  • 10月7日 新增 0 个来源(0 家媒体、0 个账号)

每小时关注度

还没有足够的连续观测数据,暂不绘制趋势。