跳到正文
事件历史事件

OpenDS-World 基准:12 个前沿模型最高仅 39%

1篇报道1个报道来源最近报道

先了解这件事

AI 综述

香港科技大学(广州)、复旦大学等机构团队在 arXiv 预印本中提出 OpenDS-World 基准,含 200 个真实网页研究任务:每个任务从一条视频线索出发,要求智能体在真实网站间发现并串联证据,配有独立核验的证据链和唯一事实答案。12 个受测前沿模型最好仅答对 39%,论文说明这不构成对研究助手的普遍排名。

AI 根据报道生成 · 4 天前更新

走势与进展

每小时关注度

现在 34,24 小时 0%·峰值 37(11月15日 21:00)

11月16日11月17日11月18日11月19日11月20日现在 34

故事线

同一主体、同一议题的持续进展,从早到晚

2 个事件
  1. · 1篇报道· 关注度38
    OpenDS-World基准发布,12模型最高准确率39%
  2. · 1篇报道· 关注度34

    OpenDS-World 基准:12 个前沿模型最高仅 39%本事件

后续时间线

11月15日
  1. X @jiqizhixin(机器之心)
    12 个前沿模型在 OpenDS-World 的 200 个真实网页研究任务中最好成绩仅 39%

    香港科技大学(广州)、复旦大学、华盛顿大学、帝国理工学院等机构团队在 arXiv 预印本 Deep Search in Real-World Web Environments 中提出 OpenDS-World 基准,12 个受测前沿模型中最好成绩仅答对 200 个真实网页研究任务中的 39%。每个任务从一条视频线索出发,要求智能体在真实网站间发现、访问并串联证据,信息可能藏在交互页面、视听材料、科学图表或结构化文件中;任务配有经独立核验的证据链和唯一事实答案,而非预设的工具调用序列。所有模型共用同一工具环境,搜索预算为 3600 秒或 100 次工具调用,以先耗尽者为准。文中说明该准确率只反映这一基准和执行协议,不构成对研究助手的普遍排名。论文见 https://arxiv.org/abs/2610.30181,代码开源于 https://github.com/Yu-xm/OpenDS。

相关讨论

共1条

关注度走势

每天新增来源

6天共2个·最多2(11月15日)·今天0

  • 11月15日新增2个来源(1家媒体、1个账号)
  • 11月16日新增0个来源(0家媒体、0个账号)
  • 11月17日新增0个来源(0家媒体、0个账号)
  • 11月18日新增0个来源(0家媒体、0个账号)
  • 11月19日新增0个来源(0家媒体、0个账号)
  • 11月20日新增0个来源(0家媒体、0个账号)

每小时关注度

当前关注度34·可比范围峰值37(11月15日 21:00)·近 24 小时可比范围变化 0%

01020304011月15日17:0011月17日04:0011月18日15:0011月20日02:00