事件历史事件
OpenDS-World基准发布,12模型最高准确率39%
先了解这件事
AI 综述
香港科技大学(广州)、复旦大学、华盛顿大学等机构团队在arXiv论文中提出真实开放网络深度搜索基准OpenDS-World,含200道任务,覆盖4种模态、42种资源格式和7类证据访问需求,采用先构建证据链、再反向生成问题的方式。12个参评前沿模型中最强的GPT-6 Astra准确率仅39.0%。
AI 根据报道生成 · 20 天前更新
故事线
2 个事件
- · 1篇报道· 关注度38
OpenDS-World基准发布,12模型最高准确率39%本事件
- · 1篇报道· 关注度34OpenDS-World 基准:12 个前沿模型最高仅 39%
后续时间线
10月30日
- 网页机器之心· 媒体跟进最强模型准确率仅39%!当Deep Search真正进入复杂的真实互联网(新标签页打开原帖)
- 公众号 机器之心OpenDS-World 基准:Deep Search 进入真实互联网,最强模型 GPT-6 Astra 准确率仅 39%
香港科技大学(广州)、复旦大学、华盛顿大学等机构的研究团队在 arXiv 论文《Deep Search in Real-World Web Environments》中提出真实开放网络深度搜索基准 OpenDS-World,12 个参评前沿模型中最强的 GPT-6 Astra 准确率仅 39.0%。基准包含 200 道任务,覆盖 4 种模态、42 种资源格式和 7 类证据访问需求,采用先构建证据链、再反向生成问题的方式,模型需在 1 小时和 100 次工具调用预算内自主搜索并给出可验证的事实答案。Claude Opus 5.5 和 Gemini 3.8 Flash 分别取得 38.0% 和 36.5%;50 名人类参与者共 1,000 次独立作答仅 211 次正确,85 道题无人解出。论文提出该基准可用于研究 Agent 的长程决策与递归式自我改进(RSI)。
相关讨论
共1条
- 72 小时以前 · 不计入 72 小时的数字
- 网页机器之心最强模型准确率仅39%!当Deep Search真正进入复杂的真实互联网(新标签页打开原帖)