跳到正文
事件历史事件

Andon Labs 发布 Vending-Bench 2 长时程经营评测

1篇报道1个报道来源

先了解这件事

AI 综述

Andon Labs 发布 Vending-Bench 2,让模型在一年期模拟中经营售货机业务,以年末账户余额评分。榜单显示 GPT-6 Astra 以 15514.70 美元居首,GPT-6 Sol、Gemini 4 Argon、Claude Opus 5 分列其后,前十名之间差距明显。表现最好的模型有两个共同点:全年工具调用频率稳定不退化,以及能通过持续谈判或寻找更好供应商拿到低价货源。该基准新增供应商对抗、发货延迟、供应商倒闭和顾客等设定。

AI 根据报道生成 · 8 天前更新

后续时间线

日期未标
  1. 日期未标
    Andon Labs
    Andon Labs 发布 Vending-Bench 2,评测模型长期经营模拟售货机业务的能力

    Andon Labs 发布 Vending-Bench 2,让模型在一年期模拟中经营售货机业务,以年末账户余额评分。榜单显示 GPT-6 Astra 以 15514.70 美元居首,GPT-6 Sol、Gemini 4 Argon、Claude Opus 5 分列其后,前十名之间差距明显。表现最好的模型有两个共同点:全年工具调用频率稳定不退化,以及能通过持续谈判或寻找更好供应商拿到低价货源。该基准新增供应商对抗、发货延迟、供应商倒闭和顾客退款等现实扰动,并推出多智能体竞争的 Vending-Bench Arena。作者估算一个良好的人类策略一年可赚约 6.3 万美元,远高于当前最好模型,说明基准仍有很大提升空间。

相关讨论

本站还没有收集到这件事的讨论链接。

关注度走势

每天新增来源

10天共1个·最多1(10月5日)·今天0

  • 10月5日新增1个来源(1家媒体、0个账号)
  • 10月6日新增0个来源(0家媒体、0个账号)
  • 10月7日新增0个来源(0家媒体、0个账号)
  • 10月8日新增0个来源(0家媒体、0个账号)
  • 10月9日新增0个来源(0家媒体、0个账号)
  • 10月10日新增0个来源(0家媒体、0个账号)
  • 10月11日新增0个来源(0家媒体、0个账号)
  • 10月12日新增0个来源(0家媒体、0个账号)
  • 10月13日新增0个来源(0家媒体、0个账号)
  • 10月14日新增0个来源(0家媒体、0个账号)

每小时关注度

暂无可比走势