事件历史事件
OpenDS-World 基准:12 个前沿模型最高仅 39%
先了解这件事
AI 综述
香港科技大学(广州)、复旦大学等机构团队在 arXiv 预印本中提出 OpenDS-World 基准,含 200 个真实网页研究任务:每个任务从一条视频线索出发,要求智能体在真实网站间发现并串联证据,配有独立核验的证据链和唯一事实答案。12 个受测前沿模型最好仅答对 39%,论文说明这不构成对研究助手的普遍排名。
AI 根据报道生成 · 4 天前更新
走势与进展
每小时关注度
现在 34,24 小时 0%·峰值 37(11月15日 21:00)
11月16日11月17日11月18日11月19日11月20日现在 34
故事线
2 个事件
- · 1篇报道· 关注度38OpenDS-World基准发布,12模型最高准确率39%
- · 1篇报道· 关注度34
OpenDS-World 基准:12 个前沿模型最高仅 39%本事件
后续时间线
11月15日
- X @jiqizhixin(机器之心)12 个前沿模型在 OpenDS-World 的 200 个真实网页研究任务中最好成绩仅 39%
香港科技大学(广州)、复旦大学、华盛顿大学、帝国理工学院等机构团队在 arXiv 预印本 Deep Search in Real-World Web Environments 中提出 OpenDS-World 基准,12 个受测前沿模型中最好成绩仅答对 200 个真实网页研究任务中的 39%。每个任务从一条视频线索出发,要求智能体在真实网站间发现、访问并串联证据,信息可能藏在交互页面、视听材料、科学图表或结构化文件中;任务配有经独立核验的证据链和唯一事实答案,而非预设的工具调用序列。所有模型共用同一工具环境,搜索预算为 3600 秒或 100 次工具调用,以先耗尽者为准。文中说明该准确率只反映这一基准和执行协议,不构成对研究助手的普遍排名。论文见 https://arxiv.org/abs/2610.30181,代码开源于 https://github.com/Yu-xm/OpenDS。
相关讨论
共1条
- 72 小时以前 · 不计入 72 小时的数字
- X@SeiraHisada2026年11月15日(日)XGBN AIニュース夜版から要約 【AIは実地で何を学ぶか】 今夜は、AIを『動かして確かめる』研究が目立ちました。 ロボットは別の機体の成功例から学び、エージェントは仕事をやり直して設定の良し悪しを比べ…(新标签页打开原帖)
关注度走势
每天新增来源
- 11月15日新增2个来源(1家媒体、1个账号)
- 11月16日新增0个来源(0家媒体、0个账号)
- 11月17日新增0个来源(0家媒体、0个账号)
- 11月18日新增0个来源(0家媒体、0个账号)
- 11月19日新增0个来源(0家媒体、0个账号)
- 11月20日新增0个来源(0家媒体、0个账号)