跳到正文
原文
公众号 机器之心·本站收录· 原文发表· AI 动态 →

OpenDS-World 基准:Deep Search 进入真实互联网,最强模型 GPT-6 Astra 准确率仅 39%

最强模型准确率仅39%!当Deep Search真正进入复杂的真实互联网

AI 导读

香港科技大学(广州)、复旦大学、华盛顿大学等机构的研究团队在 arXiv 论文《Deep Search in Real-World Web Environments》中提出真实开放网络深度搜索基准 OpenDS-World,12 个参评前沿模型中最强的 GPT-6 Astra 准确率仅 39.0%。基准包含 200 道任务,覆盖 4 种模态、42 种资源格式和 7 类证据访问需求,采用先构建证据链、再反向生成问题的方式,模型需在 1 小时和 100 次工具调用预算内自主搜索并给出可验证的事实答案。Claude Opus 5.5 和 Gemini 3.8 Flash 分别取得 38.0% 和 36.5%;50 名人类参与者共 1,000 次独立作答仅 211 次正确,85 道题无人解出。论文提出该基准可用于研究 Agent 的长程决策与递归式自我改进(RSI)。

相关论文
阅读原文mp.weixin.qq.com