跳到正文
事件历史事件

OpenDS-World基准发布,12模型最高准确率39%

1篇报道1个报道来源最近报道

先了解这件事

AI 综述

香港科技大学(广州)、复旦大学、华盛顿大学等机构团队在arXiv论文中提出真实开放网络深度搜索基准OpenDS-World,含200道任务,覆盖4种模态、42种资源格式和7类证据访问需求,采用先构建证据链、再反向生成问题的方式。12个参评前沿模型中最强的GPT-6 Astra准确率仅39.0%。

AI 根据报道生成 · 20 天前更新

故事线

同一主体、同一议题的持续进展,从早到晚

2 个事件
  1. · 1篇报道· 关注度38

    OpenDS-World基准发布,12模型最高准确率39%本事件

  2. · 1篇报道· 关注度34
    OpenDS-World 基准:12 个前沿模型最高仅 39%

后续时间线

10月30日
  1. 公众号 机器之心
    OpenDS-World 基准:Deep Search 进入真实互联网,最强模型 GPT-6 Astra 准确率仅 39%

    香港科技大学(广州)、复旦大学、华盛顿大学等机构的研究团队在 arXiv 论文《Deep Search in Real-World Web Environments》中提出真实开放网络深度搜索基准 OpenDS-World,12 个参评前沿模型中最强的 GPT-6 Astra 准确率仅 39.0%。基准包含 200 道任务,覆盖 4 种模态、42 种资源格式和 7 类证据访问需求,采用先构建证据链、再反向生成问题的方式,模型需在 1 小时和 100 次工具调用预算内自主搜索并给出可验证的事实答案。Claude Opus 5.5 和 Gemini 3.8 Flash 分别取得 38.0% 和 36.5%;50 名人类参与者共 1,000 次独立作答仅 211 次正确,85 道题无人解出。论文提出该基准可用于研究 Agent 的长程决策与递归式自我改进(RSI)。

相关讨论

共1条