跳到正文
原文

OpenDS-World:真实网页环境中的深度搜索基准

Deep Search in Real-World Web Environments

Hugging Face Daily Papers· arXiv:2610.30181· Xiaomin Yu, Hongliang Chen, Zhe Huang, Shilin Yan, Shao-Rong Su, Xuqiao Ma, Feiyang Wang, Jiayu Chen, Jiwei Fang, Yu Yan, Yini Huang, Chen Chen, Ruoxi Cheng, Yuzhi He, Yuhui Zhang, Xiaoxing Hu, Chen Liu, Jianbo Lin, Yijiang Li, Xiaobin Hu, Menglong Li, Zhuoran Lu, Weishi Wang, Zhongqi Yue, Chengwei QinHKUST(GZ); FDU; UW; IC; NTU; Stanford; SJTU; Yale; NJU; UCSD; NUS; HKU; SAP; Microsoft Research本站收录· 28 天前· 原文发表AI 动态

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者构建 OpenDS-World 基准(200 个真实网页深搜任务),评测 12 个前沿模型,最高准确率 39.0%(GPT-6 Astra),人类独立求解为 21.1%。

问题
现有 Deep Search 评测未充分覆盖真实网页环境中多模态、异构格式和交互式访问相互交织的证据获取过程,难以系统评估智能体的端到端深搜能力。
方法
提出 OpenDS 任务并构建 OpenDS-World:从真实视频锚点出发,经开放网页证据扩展和问题反转生成 200 个任务,经十名评审独立核验证据有效性与答案唯一性,并用 50 名人类求解者标定难度。
实验与结果
在统一工具环境(16 个工具、3,600 秒、100 次调用上限)下评测 12 个前沿模型:GPT-6 Astra 最高 39.0%,人类 21.1%;更多工具调用和更长耗时并不对应更高准确率;失败工具调用占比不高但消耗 19.27%–61.90% 的工具耗时。
局限与可以继续做的
论文未设专门局限章节;附录 E 将预算耗尽、失败恢复等列为改进方向。评测仅覆盖 12 个模型、200 个任务,评审用 Qwen3.8-27B,论文未报告评审与人工判定的一致性,也未报告重复运行次数。
实验设置GPT-6 Astra、GPT-5.6 Sol 等 · OpenDS-World · ACC、total token consumption 等
被测模型
GPT-6 AstraGPT-5.6 SolClaude Opus 5.5Claude Fable 5.1Gemini 3.8 FlashQwen3.8-MaxQwen3.8-FlashDeepSeek-V4.1-FlashDeepSeek-V4-ProKimi K3GLM-5.3-FlashGLM-5.3
基准
OpenDS-World
指标
ACCtotal token consumptionelapsed time
AI 导读研究者提出 OpenDS 任务并构建 OpenDS-World 基准,用于评估智能体在实时开放网页中自主完成多步深度搜索的能力。基准包含 200 项任务,覆盖多种信息模态、异构文件格式和需要交互访问的来源,并由人工独立核验证据有效性与答案唯一性。在统一工具环境与执行协议下评测 12 个前沿模型,表现最好的模型准确率为 39.0%,而在 1000 次独立尝试中人工评估的准确率为 21.1%。对工具使用、搜索成本、终止行为和失败恢复的分析显示,不同模型的研究策略差异明显,工具协同与长程搜索管理仍是持续存在的难点。

研究者提出 OpenDS 任务并构建 OpenDS-World 基准,用于评估智能体在实时开放网页中自主完成多步深度搜索的能力。基准包含 200 项任务,覆盖多种信息模态、异构文件格式和需要交互访问的来源,并由人工独立核验证据有效性与答案唯一性。在统一工具环境与执行协议下评测 12 个前沿模型,表现最好的模型准确率为 39.0%,而在 1000 次独立尝试中人工评估的准确率为 21.1%。对工具使用、搜索成本、终止行为和失败恢复的分析显示,不同模型的研究策略差异明显,工具协同与长程搜索管理仍是持续存在的难点。

相关热点

2 个事件 · 2 条新闻提到

提到这篇论文的新闻

OpenDS-World 基准:12 个前沿模型最高仅 39%

OpenDS-World基准发布,12模型最高准确率39%

  • 公众号 机器之心引用了论文编号或链接
    OpenDS-World 基准:Deep Search 进入真实互联网,最强模型 GPT-6 Astra 准确率仅 39%
    围绕这一问题,来自香港科技大学(广州)、复旦大学、华盛顿大学、帝国理工大学、斯坦福大学等多家机构的研究团队,在论文《Deep Search in Real-World Web Environments》中提出了新的深度搜索任务范式:OpenDS(Open-Web Deep Search),并构建了面向真实开放网络环境的评测基准 OpenDS-World。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    现有 Deep Search 评测未充分覆盖真实网页的多模态、异构格式与交互式访问挑战,作者提出 OpenDS 任务与 OpenDS-World 基准。

    核心问题:现有 Deep Search 评测不足以系统评估智能体在真实开放网页环境中跨异构信息源获取并整合证据的能力。

    • 问题场景:作者称真实网页的复杂性体现在三方面——多样模态(文本、图像、音频、视频)、异构格式(HTML、PDF、XML、Parquet 等)、交互式访问要求(网页导航、界面操作、参数更新、工件转移),要求智能体自主搜索、访问并整合证据。
    • 现有工作不足:作者称现有基准(Li et al., 2025b; Java et al., 2026; Liu et al., 2026a; Xu et al., 2026)未充分覆盖这些相互交织的挑战,限制了对真实环境深搜能力的系统分析。
    • 核心设计:提出 OpenDS(Open-Web Deep Search)任务——给定事实性问题和初始线索,智能体须自主探索开放网页,跨多模态、多格式、多访问机制的信息源连接证据,给出唯一可验证的事实性答案;证据位置和获取方式不预先提供。
    • 论文产出:构建 OpenDS-World 基准,含 200 个任务,覆盖八个领域、四种模态、42 种格式、七类访问要求,经独立人工核验保证证据有效与答案唯一;并在统一工具环境和执行协议下评测 12 个前沿模型,另做 1,000 次人类独立求解标定难度。
  2. 有哪些相关研究?

    相关工作分三组:开放网页深搜、多模态证据深搜、交互式证据获取;作者称现有基准未充分覆盖三类挑战的交织。

    开放网页环境中的深搜

    • 检索增强与可学习检索:Search-o1(Li et al., 2025c)将外部检索纳入推理;Search-r1(Jin et al., 2025a)、ReSearch(Chen et al., 2025a)用强化学习让检索决策可学习;DeepResearcher(Zheng et al., 2025)、WebDancer(Wu et al., 2026)、WebThinker(Li et al., 2026c)从网页交互轨迹中学习。
    • 长程搜索与任务构造:DeepDiver(Shi et al., 2025)按证据需求调整搜索频率与深度;HIRA(Jin et al., 2025b)、ManuSearch(Huang et al., 2025)用层级与多智能体协调;ReSum(Wu et al., 2025d)、WebResearcher(Qiao et al., 2025)做上下文摘要与状态管理;WebShaper(Tao et al., 2026)、DeepDive(Lu et al., 2025)、WebExplorer(Liu et al., 2025)合成组合式训练任务。
    • 深搜评测基准:BrowseComp(Wei et al., 2025)、LoHoSearch(Zhao et al., 2026)评测持久事实查找与关系复杂性;DeepSearchQA(Gupta et al., 2026)、DeepWideSearch(Lan et al., 2025)评估证据收集的深度与广度;Java et al.(2026)以声明(claims)形式刻画深搜;BrowseComp-Plus(Chen et al., 2025b)、SAGE(Hu et al., 2026)用受控语料;DeepResearch Bench(Du et al., 2026)及 II(Li et al., 2026b)评估报告质量。

    多模态证据深搜

    • 多模态搜索方法与评测:WebWatcher(Geng et al., 2026)、MMSearch-R1(Wu et al., 2025b)协调视觉推理与图文检索;MM-BrowseComp(Li et al., 2025b)要求来自网页图像和视频的证据并核验多模态依赖清单。
    • 视频锚定:Video-DeepResearch(Liu et al., 2026b)、Fang et al.(2026)将线索扩展到跨帧分布与开放网页检索;Ego2Web(Yu et al., 2026)从第一人称视频衔接到在线规划。

    交互式证据获取

    • 网站遍历与未索引信息:WebWalker(Wu et al., 2025a)通过站点结构导航超越着陆页检索;UIS-Digger(Liu et al., 2026a)扩展到动态界面与嵌入文档。
    • 浏览器智能体与跨站评测:Avenir-Web(Li et al., 2026a)、Wuying-Browser-Agent(Chen et al., 2026)强化元素定位与任务状态管理;GTA(Huang et al., 2026)做经验证的任务生成;MMInA(Tian et al., 2025)、CAP(Xu et al., 2026)做跨站组合评测;Xue et al.(2025)用中间视觉证据与动作历史评估交互是否完成任务。

    本文定位

    作者称,上述基准未充分覆盖多样模态、异构格式与交互式访问要求相互交织的挑战;OpenDS-World 将三者统一进证据路径,并以真实视频锚点、人工核验与难度标定补足系统评测。本文不设对比基线方法,实验为 12 个模型在统一环境下的横向评测。

  3. 论文如何解决这个问题?

    先定义 OpenDS 任务,再经"视频锚点→开放网页证据扩展→问题反转"构建 200 个任务,十人独立核验,50 人实测标定难度。

    整体思路:定义 OpenDS(Open-Web Deep Search) 任务形式,围绕真实网页的模态、格式、访问机制三个属性构建 OpenDS-World 基准,并用人工核验与人工实测保证质量与难度标定。

    任务定义与属性

    • 任务形式:给定事实性问题与初始线索,智能体自主探索开放网页,跨多模态、多格式、多访问机制的信息源搜索、访问、处理并连接证据,确定唯一可验证的事实性答案;证据位置与获取方式不预先给出。
    • 三个主属性:Diverse Modalities(文本、图像、音频、视频)、Heterogeneous Formats(HTML、PDF、WebP、MP3、MP4、RSS/XML、Parquet 等)、Interactive Access Requirements(页面导航、参数输入、时间索引、图形界面操作、结构化查询、资源下载)。
    • 访问类型体系:七类访问操作(Table 3):Immediate Observation(O)、Hypermedia Transition(N)、Parameterized State Update(P)、Temporal Indexing(T)、Graphical State Manipulation(G)、Declarative Query(Q)、Artifact Transfer(X);标签不互斥,按任务取并集统计。

    任务构建三阶段

    1. 真实世界锚点:专家标注者从八个领域选出 500 个候选公开视频,分析连续画面与音频确定可验证锚点实体;锚点识别必须依赖视频视听内容,且核心实体唯一对应一个有效 Wikidata 条目;视频随基准归档分发、按 ID 匹配任务。
    2. 开放网页证据扩展:标注者基于当前节点构造查询、用 Google Search 获取候选源,逐一检查并选取语义相关且可验证的源,兼顾模态、格式、访问类型多样性;每个节点须被多个独立网页来源佐证,递归扩展直至唯一稳定的终端节点作为参考答案。
    3. 问题反转:将完整证据路径反写为一组相互依赖的约束,中间节点不直接暴露,每条线索单独不泄露目标实体,组合后唯一确定答案,使直接检索显式线索无法解题。

    人工核验与人工实测

    • 人工核验:十名独立评审复核每条候选任务的完整证据路径,检查证据有效性(事实准确、多源独立佐证、锚点可由视频唯一识别且无法从视频页文本直接获得)与任务有效性(问题清晰、约束一致、答案唯一);含事实错误、证据不足、关系不一致、问题歧义或答案不唯一的候选任务直接排除,最终保留 200 个任务。
    • 人工实测:200 题分为 10 组各 20 题,每组由 5 名求解者独立作答,共 50 名参与者;求解者只有视频、音频与问题文本,可用常规浏览器但禁用任何 LLM 系统,无统一时间限制;提交最终答案、耗时与 0–5 主观难度评分,答案由人工判定正误。
    • 难度分组:按 5 名求解者中答对人数划分——Low(≥2 人答对,54 题)、Medium(1 人,61 题)、High(0 人,85 题)(Table 1)。

    评测协议

    • 统一 harness:16 个工具分三类(Table 4)——Search(文本/图像/视频搜索、开页面)、GUI(导航、点击、填表、滚动、截图、下载物读取等)、Other(视频帧查看与字幕提取);输入视频以只读文件经标识 input_video 提供,视频读取默认采样 10 帧、每次 1–100 帧。
    • 执行预算:每题搜索阶段限 3,600 秒、全部工具共享 100 次调用上限;上下文压缩保留最近 4 条工具观察,更早的搜索结果只留前 2 条、文本截断至 2,000 字符;图像上下文上限默认 250 张(Table 5)。
    • 终止与收尾:模型产出完整答案、预算耗尽、输出不完整、上下文溢出或执行错误时终止研究阶段;未产出完整答案则进入无工具的收尾阶段,仅基于已收集证据作答,最多 2 次请求共享 5,000 token 输出预算。
    • 判定:以 Qwen3.8-27B 为 LLM 评审,按与参考答案的语义等价性与完整性判定正误;主指标为答案准确率(ACC),另报告总 token 消耗与耗时;研究与收尾提示词见附录 C.3,评审提示词见附录 C.4。
  4. 论文做了哪些实验?

    12 个模型统一评测:GPT-6 Astra 最高 39.0%,人类 21.1%;成本、工具使用、错误与预算分析显示更多调用不等于更高准确率。

    实验设置

    • 被测模型(12 个):GPT-6 Astra、GPT-5.6 Sol、Claude Opus 5.5、Claude Fable 5.1、Gemini 3.8 Flash、Qwen3.8-Max、Qwen3.8-Flash、DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、Kimi K3、GLM-5.3-Flash、GLM-5.3;其中 DeepSeek-V4-Pro 与 GLM-5.3 标注 (T) 为 text-only 模型(Table 1)。
    • 基准:OpenDS-World,200 个任务,按人类答对人数分 Low(54)、Medium(61)、High(85)三组。
    • 执行条件:统一系统提示词、工具环境与预算(3,600 秒、100 次工具调用);论文未报告重复运行次数。
    • 指标与评审:主指标 ACC;成本指标为总 token 消耗与总耗时;评审模型为 Qwen3.8-27B,按语义等价判定;论文未报告评审与人工判定的一致性。
    • 人类对照:50 名求解者、1,000 次独立尝试,答案人工判定。

    主结果

    据 Table 1(Overall 为全部 200 任务;Â 为总耗时/小时,Token 单位为 M):

    表格较宽,可左右滑动

    模型Low Acc (%)Medium Acc (%)High Acc (%)Overall Acc (%)Â (h)Token (M)
    GPT-6 Astra59.2640.9824.7139.062187
    Claude Opus 5.553.7040.9825.8838.065339
    Gemini 3.8 Flash51.8534.4328.2436.559976
    Claude Fable 5.148.1532.7924.7133.5110481
    GPT-5.6 Sol46.3031.1514.1228.030186
    Qwen3.8-Max40.7426.2315.2925.585839
    GLM-5.3-Flash42.5916.3916.4723.5128389
    DeepSeek-V4.1-Flash33.3313.1117.6520.5120599
    Kimi K327.7814.7512.9417.5110310
    GLM-5.3 (T)22.226.5612.9413.5145345
    DeepSeek-V4-Pro (T)27.7811.483.5312.5148297
    Qwen3.8-Flash22.2213.114.7112.075752
    • 整体水平:作者称当前前沿模型在真实网页深搜上仍受限,最强的 GPT-6 Astra 也在 200 题中失败 122 题(失败率 61.00%)。
    • 难度趋势:12 模型平均准确率从 Low 的 39.66% 降到 Medium 的 23.50%、High 的 16.76%;排名随难度变化——GPT-6 Astra 领跑 Low 并与 Claude Opus 5.5 并列 Medium,Gemini 3.8 Flash 在 High 最高(28.24%)。
    • 成本不对应准确率:GPT-6 Astra 与 GPT-5.6 Sol 总 token 接近(187M 对 186M)但总准确率相差 11.00 个百分点;Gemini 3.8 Flash 的 token 约为 GPT-6 Astra 的 5.22 倍而准确率更低。

    人类实测

    • 可解性:1,000 次尝试中 211 次答对,整体准确率 21.10%;85 题(42.50%)无人解出,仅 1 题(0.50%)被全部 5 人解出,29 题(14.50%)被多数(≥3 人)解出(Figure 4(a))。
    • 投入与主观难度:50 名参与者完成各自 20 题平均耗时 12.92 小时(中位 9.44 小时),合计约 646 小时,平均每次尝试约 38.8 分钟;主观难度均值 3.884/5,43.00% 的尝试评最高难度 5,无人评 0(Figure 4(b)(c))。

    成本、工具使用与错误分析

    • 搜索成本(Figure 6):GPT-6 Astra 平均每题 51.05 次调用、18.66 分钟;GPT-5.6 Sol 调用数相近(52.42)但仅 8.99 分钟;Qwen3.8-Flash 平均 89.94 次调用,DeepSeek-V4-Pro 与 GLM 5.3 平均 44.47 与 43.36 分钟而准确率更低;作者据此认为成本取决于工具使用规模与能否及时终止低收益轨迹。
    • 工具使用模式(Figure 7):GPT-5.6 Sol 最偏 Search(74.50% 调用),Claude Opus 5.5 与 Qwen3.8-Flash 的 GUI 占比分别为 51.52% 与 49.42%,但二者总准确率为 38.00% 对 12.00%;DeepSeek-V4.1-Flash 平均每题 11.78 次视频/字幕获取调用(Claude Opus 5.5 为 4.67),准确率反而更低(20.50% 对 38.00%);同类连续转移占主导,Search→Search 最高为 Gemini 3.8 Flash 的 84.63%,GUI→GUI 最高为 Qwen3.8-Flash 的 84.97%。
    • 终止与失败恢复(Figure 8):自然终止率 GPT-6 Astra 69.0%、GPT-5.6 Sol 65.0%、Claude Opus 5.5 60.5%,Qwen3.8-Flash 仅 6.5%(80.0% 撞调用上限);失败工具调用占记录调用的 2.83%–9.42%,却占工具执行时间的 19.27%–61.90%(GPT-6 Astra 为 6.34% 与 42.57%);失败后最常见决策是换工具(Claude Opus 5.5 约 83%、Gemini 3.8 Flash 约 81%),Kimi K3 与 GLM 5.3 改参数重试占比约 38% 与 37%。

    其他消融与分析

    • 预算耗尽(Figure 9):至少触及一种上限的任务占比从 Claude Opus 5.5 的 16.5% 到 Qwen3.8-Flash 的 81.5%;Gemini 3.8 Flash 与 Qwen3.8-Flash 主要撞调用上限(call-only 37.0%、80.0%),GLM 5.3 主要撞时间上限(time-only 41.0%);同时耗尽两种预算每模型至多 1.0%。
    • 领域分布(Figure 13):GPT-6 Astra 在 Society 51.5%、Nature 50.0%;Gemini 3.8 Flash 在 History 最高(36.8%);Science 与 Society 的跨模型标准差最大(13.2 与 12.9 个百分点)。
    • 模态与格式(Table 6、7):GPT-6 Astra 在 Text(38.69%)与 Image(48.31%)最高,Gemini 3.8 Flash 在 Video(43.66%)领先并与 Claude Fable 5.1 并列 Audio 最高(50.00%);ZIP 格式准确率跨模型从 0.00% 到 57.14%。
    • 访问类型(Table 8):GPT-6 Astra 在七类中六类最高(X 46.67%、Q 61.54%),Gemini 3.8 Flash 在 T 类最高(46.32%);Q 类跨模型从 0.00%(Kimi K3)到 61.54%。
    • 视频时长(Figure 14):按时长分五组(36/24/28/43/69 题)准确率有差异,作者明确称这些差异不能确立视频时长与难度的因果关系。
    • 长程执行(Figure 15):含 3、4、5、≥6 个标注源的任务工具调用中位数为 74、56、72、82.5 次,执行长度不随证据链长度单调增长;模型平均调用 42.8–89.9 次,远高于每题平均 3.94 个标注源。
  5. 有什么可以进一步探索的点?

    论文未设专门局限章节;附录 E 给出长程执行与递归自我改进方向;评测覆盖 12 模型、200 任务,评审一致性未报告。

    作者指出的局限与后续方向

    • 长程执行挑战(附录 E"Natural Long-Horizon Tasks"):作者称紧凑的证据链会展开为长执行轨迹,长程规划、上下文管理与自适应工具使用是真实深搜的核心挑战。
    • 递归自我改进(RSI)测试床(附录 E"A Natural Testbed for Recursive Self-Improvement"):作者称 OpenDS-World 暴露多样执行失败并产生可行动的环境反馈,可用于改进搜索策略、工具选择、错误恢复与资源分配;具体优化目标包括减少重复失败、改进恢复决策、优先更有效的交互。
    • 执行层面的改进空间(附录 E,Figure 16):工具预算耗尽导致的终止占 15.5%–80.0%,失败调用占累计工具执行延迟的 19.3%–61.9%,作者称这凸显受限交互预算下自适应探索与终止策略的重要性。
    • 结论中的展望(第 5 节):作者称 OpenDS-World 为研究长程搜索与递归自我改进提供基础,目标是让智能体在真实网页环境中可靠地发现、访问与整合证据。
    • 论文未设独立的 Limitations 小节。

    实验覆盖范围

    • 被测模型:12 个前沿模型,其中 DeepSeek-V4-Pro 与 GLM-5.3 为 text-only(Table 1 标注 (T))。
    • 任务规模:200 个任务、787 个标注源条目,覆盖八个领域、四种模态、42 种格式、七类访问类型;难度分组基于 50 名人类求解者的 1,000 次尝试。
    • 执行协议:统一 3,600 秒与 100 次工具调用预算;论文未报告每个模型的重复运行次数。
    • 评审方式:LLM 评审为 Qwen3.8-27B,按语义等价判定;论文未报告评审与人工判定的一致性实验。
    • 分析维度:成本、工具使用、终止与失败恢复、预算耗尽、领域、模态、格式、访问类型、视频时长;作者明确称视频时长分析不能确立因果关系(附录 D.3)。
  6. 总结一下论文的主要内容

    OpenDS-World:200 个真实网页深搜任务的基准;12 个前沿模型最高 39.0%,人类 21.1%,暴露工具协调与长程搜索管理短板。

    一篇 Deep Search 评测基准论文,针对真实开放网页环境中端到端研究能力缺乏系统评估的问题。

    • 问题:作者称真实网页的证据分布在多模态、异构格式、需交互访问的来源中,现有基准未充分覆盖这三者交织的挑战。
    • 方法:定义 OpenDS 任务并构建 OpenDS-World——从真实视频锚点出发经开放网页证据扩展与问题反转生成 200 个任务,十名评审独立核验证据有效性与答案唯一性,50 名人类求解者(1,000 次尝试)标定难度;评测用统一 harness(16 个工具、3,600 秒、100 次调用上限),Qwen3.8-27B 作评审。
    • 主结果:GPT-6 Astra 总准确率最高,为 39.0%(200 题),Claude Opus 5.5 为 38.0%;人类独立求解准确率 21.1%,42.5% 的任务无人解出;12 模型平均准确率随难度从 Low 的 39.66% 降至 High 的 16.76%。
    • 行为发现:更多工具调用与更长耗时不对应更高准确率(Gemini 3.8 Flash token 约为 GPT-6 Astra 的 5.22 倍而准确率更低);失败工具调用仅占 2.83%–9.42% 却消耗 19.27%–61.90% 的工具耗时;部分模型预算耗尽普遍(Qwen3.8-Flash 81.5% 的任务触及上限)。
    • 作者结论:当前智能体在信息源选择、工具协调、搜索策略调整与长程执行管理上仍有持续挑战;作者称 OpenDS-World 可作为研究长程搜索与递归自我改进的统一评测平台。
阅读原文huggingface.co