HyperBrowseComp：面向网页浏览 Agent 的多语言多模态压力测试基准

现有浏览评测很少同时考察多语言撰写、异构证据和开放网页上的持续检索。

• 使用场景： 作者称 LLM 已被用作能搜索网页、检查外部来源并综合证据的工具型智能体。模型变强后，许多静态问答基准的区分度下降，因而需要更难的评测。
• 现有不足： BrowseComp 强调开放网页持续浏览，但是英文中心、以文本为主，题目偏 trivia，作者认为也容易被参数知识饱和。语言扩展各覆盖一种语言；XBCP 的问答仍为英文，支撑文档来自翻译。多模态评测另成一条轴。
• 作者观察： 答案可以唯一且简短，但实体、关系、来源和证据模态可以是隐含的。智能体须先决定搜什么、到哪里搜，再聚合候选或做多跳核验。
• 本文提出： HyperBrowseComp，423 道由对应语言母语或高熟练使用者手写、并经人工核验的题目，覆盖 13 种语言。较易题用无联网模型筛除，再在统一协议下比较原生搜索与外部检索框架。
• 例证： Figure 1 的德语题要求定位视频中的时刻、对应到真实地点，再从财务报告取出答案。

前沿知识与推理基准

• GPQA（Rein et al., 2024） 与 Humanity’s Last Exam（Phan et al., 2025）：前者是生物、化学、物理的研究生水平题，熟练非专家在不受限网页访问下也困难；后者扩展到专家撰写的多模态学术题。
• Last Translation Benchmark（Zouhar et al., 2026）：关注高难度翻译。作者称这类基准主要评领域知识与封闭式推理；即便评测时允许或考虑网页访问，持续的开放网页信息搜寻也不是其核心构念。

网页浏览与搜索基准

• GAIA（Mialon et al., 2024）：评通用助手在需要推理、浏览、多模态理解和工具使用的问题上的表现。
• WebArena（Zhou et al., 2024）：在可复现、自托管的网页环境中评智能体执行现实任务。
• BrowseComp（Wei et al., 2025）、BrowseComp-Plus（Chen et al., 2025） 与 SealQA（Pham et al., 2025）：BrowseComp 用难检索、短而可核验的答案考察开放网页持续搜索。BrowseComp-Plus 把类似题放进固定语料，并提供人工核验的支撑文档与 hard negatives。SealQA 研究检索结果嘈杂、冲突或误导时的搜索增强推理。

多语言与多模态搜索

• BrowseComp-ZH（Zhou et al., 2025） 与 K-BrowseComp（Lee et al., 2026）：分别把困难浏览评测适配到中文和韩文。作者称语言特定的信息生态会带来英文评测未充分代表的检索与推理挑战。
• XBCP（Lu et al., 2026）：问题与答案保持英文，支撑文档被译成多种语言。Table 1 记为非开放网页、12 种语言、基于翻译。作者明确对比：本文题目是直接、独立地用各自语言撰写，而不是从共享英文题翻译。
• MMSearch（Jiang et al., 2025）、MM-BrowseComp（Li et al., 2025）、BrowseComp-V³（Zhang et al., 2026） 与 MERRIN（Wang et al., 2026）：分别覆盖图文网页上的查询、重排与答案生成，提示或证据可含图像和视频的困难浏览，文本与视觉证据上的多跳推理及过程级子目标，以及含视频和音频的嘈杂证据检索与推理。

对照设置与基准对照

• 实验对照的是五个前沿模型，以及 built-in search、Exa、OWL 三种检索接入，基准就是 HyperBrowseComp。论文未报告在 GAIA、BrowseComp 等既有基准上复现已发表分数。
• Table 1 把本文标为开放网页、多模态、13 种语言、人工构建。作者称本文沿用 BrowseComp 难找但易核验的组合，同时要求多模态与多语言，并且不像 BrowseComp-Plus 那样使用静态固定语料，而是在开放、动态的互联网上运行。

作者构建 HyperBrowseComp：从公开可核验的短答案反写高难度检索题，筛掉可能只靠参数知识答出的题，再在统一的工具型智能体协议下比较检索接入。

设计原则

• 短答案： 沿用 BrowseComp，每题一个易区分的答案，如特定实体、名字、日期或数值。作者希望难度来自找到答案，而不是解释答案；题目应无歧义、基于事实。
• 多语言： 由母语或接近母语、自幼生活在该语言广泛使用城市、日常使用该语言并了解当地文化的人撰写。不用英文种子集。
• 不限于纯文本： 许多题需要或明显受益于图像、视频帧、语音、扫描件、数字化书籍、表格、图、地图或其他视觉呈现。多模态不是每题硬性要求；决定性模态往往不在题面写明。
• 压力测试： 优先指向冷门、高度具体但公开可及的信息。证据可能索引差、埋在长来源里，或只在视频或文档的某一处。许多题还增加线索链跳数。

构建、来源与校验

• 标注者从答案和支撑证据出发构造题目，并提交标准答案、可接受别名、相关网址、证据精确位置、来源语言、模态、访问日期和一条充分解题路径。该路径不假定为唯一轨迹。附录 A 给出标注与人工评测指南；校验分一般校验者与核心成员两阶段。
• 来源约束： 须公开可访问，不得要求付费、认证、私人群组或个人账号。排除依赖个人社交媒体孤立帖子的题。官方机构账号，或记录广泛报道的公共事件且能被持久独立来源佐证的社交媒体可以使用。排除私人个体的敏感个人信息，只允许公众人物相关问题。
• 第二标注者检查可理解性、答案正确且唯一、证据可访问且正确、时间敏感措辞是否有界限，以及是否有实质不同的实体满足约束。不够具体时加入非引导性消歧约束，论文称为 fingerprints；其目的是确认来源，而不是让搜索变容易。校验者也可要求提高难度。

难度筛选与数据构成

• 无联网审计： 七个模型为 Gemini 3.1 Pro Preview、Gemini 3.7 Flash、GLM-4.7、GPT-OSS-120B、Kimi K2 Thinking、MiniMax-M2、DeepSeek-V3.2。提交的 500 题中，121 题至少被一个模型答对，54 题至少被两个答对（§3.2；Table 7）。
• 剔除规则： 去掉被至少两个模型答对的题；若答案高度具体，例如被判定不太可能猜中的精确数值，则一个模型答对也剔除。特异性由 LLM 评估再经人工确认。剔除 54 加 23 共 77 题，保留 423。附录 C.1 称这是定性筛选，不是猜测概率，也不据此声称模型记住了答案。
• 构成： 13 种语言，题量从乌兹别克语 19（4.5%）到印尼语、泰语各 39（9.2%），见 Figure 2a。约 64.3% 被标为至少需要一种非文本模态，由 LLM 分类后经人工复核。Figure 2b 中类别可重叠：Video/YouTube 165（39.0%），PDF/book/OCR 126（29.8%），Arithmetic 119（28.1%，指对检索信息做计算），Image 78（18.4%），Audio 45（10.6%），Tables 43（10.2%），Maps 41（9.7%），Plots/graphs 8（1.9%）。12 个主领域加 Other 由事后提示的 LLM 标注；Economics & Business 最大，80 题（18.9%）（Figure 2c）。
• 发布： 作者计划以编码形式发布数据并提供解码密钥，以降低被自动化采集偶然摄入的可能；并计划在论文发布后公开数据、标注指南和代码。作者称这不能阻止故意在测试集上训练，有意污染的缓解与本文正交。

评测协议与判定

• 主评测五个模型：Gemini 3.1 Pro Preview、Gemini 3.7 Flash、GPT-5.6 Terra、GPT-5.6 Luna、GPT-5.6 Sol。三种浏览设置为 built-in search、Exa、OWL。
• built-in 与 Exa 用 ReAct，最多 25 个 research steps，模型自行决定查询和浏览。达到上限后追加提示，要求只根据已收集信息作答。built-in 使用提供商原生搜索，评的是模型与其专有搜索的组合。Exa 提供统一的搜索与页面获取：默认每次最多 5 条结果，页面截断到 20,000 字符，工具超时 60 秒。
• OWL 是基于 CAMEL 的多角色 workforce，同一主模型担任任务管理、协调、网页、多模态与综合角色。工具包括 DuckDuckGo、Wikipedia、带截图的视觉浏览，以及图像、视频、PDF 和音频检查。单题墙钟 2,400 秒，外部工具预算 50 次，模型调用预算 250 次。Shell 与 Python 关闭（Table 4）。
• 判定： 生成该回答的模型做二值正确性判断，输入为问题、完整回答和参考答案。评判输出无法解析为 yes 或 no 时计为不正确。附录 B 给出智能体、OWL 与评判提示词。评测 epoch 为 1。

实验设置

• 被测模型： 主评测为 Gemini 3.1 Pro Preview（Table 2 写作 Gemini 3.1 Pro）、Gemini 3.7 Flash、GPT-5.6 Terra、GPT-5.6 Luna、GPT-5.6 Sol。无联网筛选另用 GLM-4.7、GPT-OSS-120B、Kimi K2 Thinking、MiniMax-M2、DeepSeek-V3.2，以及上述两个 Gemini。
• 数据： 最终 HyperBrowseComp 为 423 题、13 种语言；模态与主领域见 Figure 2。约 64.3% 被标为至少需要一种非文本模态。
• 检索设置： built-in search、Exa、OWL。Table 2 的 Exa 行为 GPT-5.6 Sol 与两个 Gemini；OWL 只有 Gemini 3.7 Flash。built-in 与 Exa 最多 25 步 ReAct；OWL 为多角色框架。Shell 与 Python 关闭。
• 指标： Accuracy 为正确题数除以 423。另报总 token 与端到端累计时间。OWL 的终端运行失败计入不正确。
• 评审： 由生成回答的同一模型评判；无法解析 yes/no 则计错。附录 B.4 用 Gemini 3.7 Flash、GLM-4.7、Kimi K2 Thinking 重评已保存回答。
• 重复： evaluation epochs 为 1（Table 4）。ReAct 每次请求 API 至多再试 2 次，执行错误后样本级至多再试 3 次；OWL 不在 shard 内自动重跑。论文未报告多次独立运行的方差。

主结果

据 Table 2，分母均为保留的 423 题。OWL 的 93 次终端失败计为不正确。

Swipe horizontally to read the table

模型	内置 Accuracy	Exa	OWL
Gemini 3.7 Flash	31.68%（134/423）	22.22%（94/423）	17.73%（75/423）
Gemini 3.1 Pro	25.53%（108/423）	18.20%（77/423）	未报告
GPT-5.6 Sol	19.15%（81/423）	26.71%（113/423）	未报告
GPT-5.6 Terra	15.84%（67/423）	未报告	未报告
GPT-5.6 Luna	11.58%（49/423）	未报告	未报告

• 作者称这些分数显示基准仍有提升空间，并称 ChatGPT 较大变体表现更好。三个 GPT-5.6 变体的高低见上表；论文未报告参数量。
• 作者称把内置搜索换成 Exa 后，框架敏感性很强：Exa 提高 GPT-5.6 Sol，但两个 Gemini 变体下降。作者称专有模型与原生搜索生态协同适应，例如 Google Search 或 YouTube，因此网页智能体效果不能脱离检索框架评估。
• 只在 OWL 完成的 330 次尝试上计算时，Gemini 3.7 Flash 为 22.73%；作者称仍低于其内置搜索。作者称成本与准确率不对齐：三组 Exa 为每题 1.32–2.20 million tokens，OWL 约每题 462 thousand tokens、133 次模型调用，而 Gemini 内置搜索更便宜且准确率更高（§4.2）。

人工评测

• 测了什么： 随机 30 题，印尼语、泰语、越南语各 10。母语者可上网，禁止 LLM 辅助，满 1 小时可放弃。附录 A.2 写明标注者来自计算机或商科年级前列本科生，并在若干 QA 与 NLI 考试中超过 90%。
• 结果： 据 Table 3。计时含放弃；总体均值 89.50 分钟、中位数 54.57 分钟。正文将二者四舍五入为 89.5 与 54.6 分钟。双方都答对的只有 8 题（§4.3）。

Swipe horizontally to read the table

语言	人工	放弃	均值（分钟）	Gemini 3.7 Flash
Indonesian	6/10	1	40.23	3/10
Thai	3/10	2	159.70	3/10
Vietnamese	6/10	1	68.56	7/10
All	15/30	4	89.50	13/30

• 作者解读： 总体相当，但对错不完全重合。作者称对模型难的题并不直接对应人类的难；该样本里印尼语和泰语对模型较难、越南语最容易，并称这与全集 Figure 7 一致。人类在印尼语上又准又快，泰语上持续困难；越南语准确但更久。个体搜索差异不在本文范围内。

全错题与题目特征

• 测了什么： 五次内置搜索运行的题级结果，以及语言、领域、模态和英译用词与共同失败的关联。Exa、OWL 和无联网审计不在这组统计内（附录 C.3）。
• 结果： 244/423（57.68%）没有记录到正确答案；179 题至少一个模型答对，其中 49 题恰好一个。Figure 3 中至少 2、3、4、5 个模型答对的题数为 130、68、41、21。244 题这一组含 2 道模型结局未解析的题；确认的共同失败要求五次都记录为不正确。高于总体共同失败率的例子：德语 28/38（73.7%）、印尼语 27/39（69.2%）；Games 24/33（72.7%）、Food & Drink 10/14（71.4%）；Plots/graphs 6/8（75.0%）、Image 58/78（74.4%）、Maps 26/41（63.4%）。Figure 7 中越南语最低，8/25（32.0%）。英译 TF-IDF 差值最高的词为 issue（19/25，76.0%）、video（35/47，74.5%）、page（30/39，76.9%）；magazine、page、photograph 也更偏向共同失败（Figure 10）。
• 作者解读： 作者认为这不一定意味着模型在这些语言上更差，各语言划分的题目难度本身可能不同。这些模式是描述性的，不是因果，也不能分离检索、源访问、解释或推理中的具体失败。

其他消融与分析

• 评判敏感度（Table 6，8 个完整配置、3,384 对）：自评 Accuracy 21.37%；换 Gemini 3.7 Flash 为 21.87%（+0.50 个百分点，一致率 99.32%），GLM-4.7 为 20.86%（−0.50，98.85%），Kimi K2 Thinking 为 20.57%（−0.80，98.79%）。
• 无联网筛选（Table 7，500 题）：至少 k=1 个模型答对会涉及 121 题；最终规则排除 77 题、保留 423。
• OWL 调用（§4.2）：11,486 次外部工具调用（每尝试 27.15），其中 DuckDuckGo 6,953、视觉浏览器 3,719。93 次终端失败中，工作步超时 51、用尽 250 次模型预算 28、处理失败 9、触及 2,400 秒 4、其他运行失败 1。
• 内置搜索、Gemini 3.7 Flash 的语言 Accuracy（Table 8）：越南语 60.00%（n=25），德语 13.16%（n=38）。表中语言名写 Arabic（n=32），Figure 2a 写 Egyptian Arabic 32；论文未在表题写明二者是否同一划分。
• 同一模型的模态 Accuracy（Table 9）：Web only 43.90%（n=41），Image 16.67%（n=78），Plots/graphs 25.00%（n=8），Video/YouTube 32.12%（n=165）。模态行相互重叠。
• 资源（Table 2）：内置搜索累计时间从 GPT-5.6 Luna 的 8.5 小时到 Gemini 3.7 Flash 的 129.5 小时；Exa 的 GPT-5.6 Sol 为 928.8M tokens、75.1 小时。

作者指出的局限与后续方向

• 不代表日常查询： 基准有意做成压力测试，因此不总是代表日常搜索查询的自然分布（Limitations）。
• 实时网页会变： 搜索排名、页面内容、地理可用性和工具行为可能随时间变化。作者称通过保留全部 traces 缓解（Limitations）。
• 语言覆盖： 所选语言不代表所有语言社区，各语言可搜索在线信息的数量与质量差异很大（Limitations）。
• 模型范围： 作者称模型评测范围是关键局限。单次运行可能需要数天和数亿 token，部分模型 API 访问受限，因而主研究限于五个代表性前沿模型（Limitations）。
• 检索框架范围： 评测主要比较模型，只覆盖 provider-native search、Exa 和基于 OWL 的框架。因成本高，Exa 只在一部分模型上测试，更广的 harness 设计留待未来。分数反映已测的模型与工具组合，换 harness 后性能可能变化（Limitations）。
• 后续方向： 作者建议未来固定模型，在可比资源预算下比较搜索工具及其使用策略。结论称结果促使研究能解释隐含的语言与文化线索，并可靠发现、连接和核验异构证据的开放网页智能体（Limitations；Conclusion）。

实验覆盖范围

• 主评测模型为 Gemini 3.1 Pro Preview、Gemini 3.7 Flash、GPT-5.6 Terra、GPT-5.6 Luna、GPT-5.6 Sol，共 5 个（§4.1）。无联网筛选另使用 GLM-4.7、GPT-OSS-120B、Kimi K2 Thinking、MiniMax-M2、DeepSeek-V3.2，以及上述两个 Gemini（§3.2）。
• Table 2 报告 built-in search 的 5 个模型、Exa 的 GPT-5.6 Sol 与两个 Gemini，以及 OWL 的 Gemini 3.7 Flash。
• 题目为 423 道、13 种语言，模态与主领域见 Figure 2。人工评测为印尼语、泰语、越南语各 10 题（Table 3）。
• 每个模型与设置的 evaluation epochs 为 1（Table 4）。论文未报告跨多次独立运行的方差。
• 正确性由答题模型评判；附录 B.4 另用 Gemini 3.7 Flash、GLM-4.7、Kimi K2 Thinking 重评 8 个完整配置。论文未报告标注校验的一致性系数。

HyperBrowseComp 是一个多语言、多模态的开放网页浏览压力测试基准，用来考察智能体能否找到冷门但可公开核验的证据。

• 问题： 已有浏览评测往往把语言、证据模态和检索环境拆开。作者希望题目既有唯一短答案，又要求在动态网页上发现隐含来源、沿线索链或多模态材料把证据连起来。
• 做法： 13 种语言的母语或高熟练使用者从证据反写题目，第二人校验来源、唯一性和消歧约束。500 道提交题经七个无联网模型筛选，剔除 77 道，保留 423 道。评测比较提供商原生搜索、Exa 和 OWL，并由答题模型做二值判断。
• 主结果： 内置搜索下，Gemini 3.7 Flash 的 Accuracy 为 31.68%（134/423），GPT-5.6 Luna 为 11.58%（Table 2）。五个内置搜索模型都没有记录到正确答案的题占 57.68%（244/423）。
• 框架差异： Exa 下 GPT-5.6 Sol 为 26.71%，高于其内置搜索的 19.15%；两个 Gemini 则低于各自的内置搜索。OWL 把 93 次终端失败计错后为 17.73%；只看 330 次完成尝试则为 22.73%。
• 人工对照： 30 题样本上人工为 15/30，同子集 Gemini 3.7 Flash 为 13/30，双方同对 8 题（Table 3、§4.3）。作者称模型觉得难的题并不直接等于人类觉得难。
• 作者结论： 具备网页能力的智能体仍有提升空间，而且效果取决于模型与检索框架的组合。作者据此鼓励研究能处理隐含语言与文化线索、并能核验异构证据的开放网页智能体。