Harbor Adapters 与 Harbor-Index：面向大规模 Agent 评测的基础设施与精选元数据集

智能体基准格式、环境和评分各不相同，支撑 m 个基准和 n 个智能体往往需要 O(mn) 套集成，比较被实现差异干扰，也看不出进展是跨领域还是集中在少数知名任务上。

• 场景：作者称语言模型正被嵌入能规划、用工具、写代码、操作计算机并完成长程任务的智能体，评测从静态问答扩展到软件工程、网页研究、金融和终端解题；自 2024 年以来已出现 200 多个此类基准。
• 现有不足：作者称论文和模型发布通常只报告一小部分流行基准；基准实现、环境设置和评测协议的差异使比较被混淆。低解决率也常来自任务设计缺陷（如指令与验证不一致），而不只是任务本身难。
• 核心观察：Harbor 已为 Terminal-Bench 定义任务并在沙箱中运行智能体。作者认为每个基准只需一个适配器、每个智能体只需一次 Harbor 集成，负担可从 O(mn) 降到 O(m+n)。
• 本文提出：三项贡献。（1）Harbor Adapters，把 80 多个基准接到 Harbor，并用代码审查与 parity 实验核对是否仍与原实现可比；（2）8 个模型、每种恰好两种 harness、54 个基准的大规模评测；（3）Harbor-Index，从适配套件中筛出横跨 29 个基准的 82 道难、多样、高质量任务，使大规模评测的挑战和广度可以在更低成本下保留。

论文第 5 节把相关工作分成三组，只描述这些工作做了什么，没有逐篇写成本文的直接对照实验。

智能体基准与评测基础设施

• 领域基准：工具与 API 使用、具身与科学环境、网页与企业导航、应用与操作系统控制、从函数到仓库和终端的软件工程、科学与职场流程，以及若干聚合集合。作者称这种多样性有信息量，但每个基准自带动作空间、运行时假设和评分，阻碍汇总。
• 分数不只属于模型：界面、scaffold、成本预算和 holdout 卫生都会改变报告数字。HAL 在 21,730 条 rollout 上分解模型、scaffold 和基准效应；AstaBench 在科学研究场景中控制成本和工具访问这些混淆因素。

基准效度与任务质量

• 聚合分数继承任务和指标的设计缺陷：标注错误会动摇聚合，污染削弱留出集效度，排行榜机制使比较偏斜。
• 智能体验证器执行代码而不是匹配标签：不完美的验证器会限制可达到的准确率，因为重采样降不了它的假阳性率；智能体基准对设置或奖励的设计失误，足以使测得表现相对变化最高达 100%；对 SWE-bench 的审计把许多“已解决”实例追溯到泄漏、记忆和弱测试，加强测试后排行榜会重排。模型评审和在线服务会再引入误差。

高效评测与基准冗余

• 分数矩阵低秩：模型×基准分数矩阵本身低秩，因而有人做精选子集和自适应选题。压缩有限度：一致性估计依赖未标准化的选择，子集预测在更强模型上变差，微型基准需要的题目比通常假设的更多。

基线方法与基准

• 大规模分析没有另设外部方法基线：比较对象是同一批模型上的跨家族 Terminus-2 与三家原生 harness（GPT 用 Codex、Claude 用 Claude Code、Gemini 用 Gemini CLI）。基准是接到 Harbor 的 54 个基准、6,627 个任务；Harbor-Index 1.0 是其中筛出的 82 题。适配公平性用原实现与 Harbor 适配在相同智能体、模型、执行配置下的多轮 parity 实验核对（附录 D.4，Table 3、4 报告均值 ± SEM）。

作者把本文定位为：用 Harbor 的任务接口把异构基准标准化，把基准–智能体集成从 O(mn) 降到 O(m+n)，并在此之上给出可负担的 Harbor-Index。

Harbor Adapters 建在 Harbor 之上：Harbor 提供统一任务抽象和执行环境，适配器把各数据集译成 instruction、environment、tests、solution（Figure 1），从而把智能体执行和基准逻辑拆开。截至 2026 年 5 月，适配器支持 22 个智能体和 80 多个基准，并支持 GPU 交互、LLM-as-a-judge 验证器、自定义指标聚合，以及 Daytona、Modal、E2B 等多种沙箱后端。非智能体基准（如 HLE）也被改成可使用工具、写文件并与可执行环境交互。

适配器构建与核对

• 语义：适配器按原基准语义来写。公平性用两类程序核对：多轮 parity 实验对齐智能体、模型和执行配置，并用均值 ± 样本标准误（SEM）处理随机性；每个适配器经过 bot、初级、高级审查员的三阶段质量审计，全部适配器合计超过 10,000 条 GitHub 评论（附录 D.3.2、D.4）。
• 大规模运行：8 个模型各跑恰好两种 harness，共 16 个模型–harness 配置、4 种 harness 实现、54 个基准、6,627 个任务，每个（基准，模型，harness）重复 3 次，约 0.3M 条轨迹，消耗 226B 输入输出 token、超过 30 万美元计算。细节在附录 E。

大规模分析的四个问题

• 基准信号：按 BenchPress 的做法，对 16×54 的模型–harness × 基准分数矩阵做 PCA（Table 6、7、8）。另用绝对 Spearman 秩相关做贪心选择。基准内部冗余在至少有 10 题的 52 个基准上，用每个基准 3 道代表任务恢复系统排序（排除 CodePDE 的 5 题和 SLDBench 的 8 题）。
• 模型与 harness：基准难度的 ICC = 0.75。作者用基准为随机截距的线性混合模型，比较 8 个模型系数与 4 个 harness 系数的显著性（p < 0.05）和固定效应极差。
• 效率：经验任务难度定义为 1 减去全部模型–harness 运行的平均分，按 0.1 宽分成十桶。前沿模型指 Claude Opus 4.6、Gemini 3.1 Pro Preview、GPT 5.4，其余五个为对照。作者注明这是依赖配置的代理，可能被任务脆性和评测设置扭曲。
• 失败模式：两名有领域经验的标注者独立标注硬任务上前沿模型失败的 200 条轨迹、12 类失败模式（pooled κ = 0.66）；经校准的 Gemini 3.1 Pro 评审（相对金标 κ = 0.51）扩展到 N = 6,028 条轨迹、45 个基准、三个前沿模型和各自两种 harness。Figure 4 展示七个 rubric，Others 合并六个 κ < 0.5 的 rubric。分类学和协议在附录 G.2.1。

Harbor-Index 构建

• 漏斗：从 6,627 个 Harbor 任务出发。难度过滤保留 1,311 题：过滤当时的三个领先模型（Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro）各自在原生 harness 和 Terminus-2 上、各重复三次（共 18 次试验）的成功率至多 33%。Gemini-3-Flash 按指令–验证一致性和“难度必须来自真正的推理、算法、领域知识、长程交互或多步执行”等质量标准打分，剩 307 题。14 名领域审查者用同一标准复审，每题至少一次高级或两次初级审查，留下 110 多题；三人高级小组按难度、多样性和信息量选出 100 题。至少两名高级审查者再做基于轨迹的失败分析以及假阳性/假阴性分析，修复损坏题目并丢掉修不好或修好后变容易的题，最终 82 题、29 个基准（Figure 5）。完整流程在附录 H。
• 作者给出的损坏例子：进入人工审查的全部四道 GAIA2 任务里，适配器从未触发验证器等待的仿真事件，试验因此超时。一道 SWE-bench Pro 任务断言了指令未规定的 data-testid 字符串和日志格式。CRustBench 把转译钉死在手写 Rust 接口上，签名或所有权标注与参考不同就被拒绝。

Harbor-Index 的评分设置

• 模型与服务：9 个模型。闭源权重四个：GPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro、Qwen3.7 Max；开源权重五个：GLM 5.2、Kimi K2.6、MiniMax M3、DeepSeek V4 Pro、MiMo V2.5 Pro。前三个走第一方 API，其余六个经 OpenRouter。温度、上下文长度和推理力度均为默认。
• Harness 与判定：每个模型跑 Terminus-2 和一种模型原生 harness。Table 1 注明：GPT、Claude、Gemini 用各自厂商 harness（Codex、Claude Code、Gemini CLI），经 OpenRouter 的六个模型用 Claude Code。共 9×2×82 = 1,476 次 rollout。自由形式答案（如 HLE、GAIA、GPQA Diamond）用 LLM-as-a-judge；其余用程序化评分（单元测试、精确匹配、带阈值的连续指标）。AlgoTune 和 GSO 的加速比等连续指标被“SOTA-threshold”成通过/失败，只奖励推进当前前沿的解。

实验设置

• 大规模评测模型：Gemini-3.1-Pro、Gemini-3-Flash；Claude Opus 4.6、Sonnet 4.6、Haiku 4.5；GPT-5.4、GPT-5-mini、GPT-5-nano。每个模型恰好两种 harness：跨家族 Terminus-2，以及 Gemini CLI、Claude Code 或 Codex 之一。16 个配置、4 种 harness 实现。
• 规模与重复：54 个基准、6,627 个任务；每个（基准，模型，harness）3 次试验。token 与费用见第 3 问。Figure 3 把前沿定为 Claude Opus 4.6、Gemini 3.1 Pro Preview、GPT 5.4，其余五个为 other。
• Harbor-Index：Table 1 的 9 个模型（含大规模评测未列入的 GPT-5.5、Claude Opus 4.8、Qwen3.7 Max、GLM 5.2、Kimi K2.6、MiniMax M3、DeepSeek V4 Pro、MiMo V2.5 Pro），两种 harness，82 题，1,476 次 rollout。论文未报告这组实验的重复次数。
• 指标：Harbor-Index 为 pass rate（%）和一次完整 Index 运行的近似美元成本。大规模分析用分数、Spearman ρ、ICC、线性混合模型系数、每试验 token 与美元、失败模式占比和 κ。自由形式题用 LLM-as-a-judge，论文未在正文写明 Harbor-Index 的评审模型名称。
• Parity：原实现与适配版对齐智能体、模型和执行配置，Table 3、4 给均值 ± SEM。正文未列出这些表的数字。
• Figure 2：39/54 个基准自发表以来的进展。分数归一化到 [0, 1]。浅色填充条是本次评测的当前最好分，空心条是发表时的 SOTA；带 ∗ 的基准用全数据集的 i.i.d. 子集。发表时与当前最好分来自基准论文、排行榜和模型报告（附录 F.3）。

主结果

Harbor-Index 1.0 的 pass rate 与单次运行成本据 Table 1。† 为闭源权重。Native 列对 OpenRouter 上的六个模型使用 Claude Code。

Swipe horizontally to read the table

模型	Native pass %	Native $/run	Terminus-2 pass %	Terminus-2 $/run
GPT-5.5†（Codex）	28.0	178	19.5	155
Claude Opus 4.8†	20.7	269	15.9	293
Gemini 3.1 Pro†	13.4	74	11.0	89
GLM 5.2	8.5	205	9.8	52
Kimi K2.6	6.1	191	8.5	33
MiniMax M3	3.7	66	6.1	18
Qwen3.7 Max†	4.9	201	4.9	36
DeepSeek V4 Pro	4.9	177	3.7	35

表中省略 MiMo V2.5 Pro：Native 与 Terminus-2 的 pass rate 均为 2.4%，成本分别为 49 与 4 美元/run，是 Table 1 中 pass rate 最低的模型。作者称没有任何被评配置超过 30% pass rate。三个最高分模型从厂商原生 harness 获益最大；若干开源权重模型在 Terminus-2 下位于成本–表现 Pareto 前沿（Figure 6）。成本按官方 API 价（GPT/Claude/Gemini）或 OpenRouter 价重构，Claude Code on OpenRouter 可能因缓存命中率低而抬高成本。

基准进展、冗余与模型–harness

• 饱和与分化：作者称 54 个基准中 13 个大体饱和，SOTA 超过 90%，包括曾经很难的 GPQA-Diamond。软件工程内部分化：函数与竞赛式编程接近饱和（如 LiveCodeBench），仓库级功能实现和修 issue 进展快（如 SWE-bench-verified），软件加速仍然难（如 GSO）。Figure 2 标注的当前侧高分包括 IneqMath 100%、AIME 24&25 99%、CompileBench 100%、HumanEvalFix 100%、QuixBugs 98%、CRUST-Bench 98%；低分一侧包括 BigCodeBench-Hard 45%、GSO 45%、Spider 2 40%、BIX-Bench 48%。这些是 Figure 2 上的标注，其中一部分是发表时 SOTA、一部分是本次最好分，正文没有逐条标明哪一根条属于哪一类。
• 低维与冗余：作者称 PCA 后大部分变异由单一共享能力因子解释，加入智能体 scaffold 再增加一个方向，空间仍低秩（附录 F.1）。贪心选择 12 个基准后，每个剩余基准都与某个已选基准的绝对 Spearman ρ ≥ 0.7（Table 10）。这些独立有信息量的基准从难（CodePDE）到易（StrongReject）都有；有的难基准（如 BigCodeBench）大体可被其他基准预测，专门能力（如 FinanceAgent、LabBench）则不论难度都难预测。52 个至少 10 题的基准上，每基准 3 道代表任务恢复系统排序的平均 ρ ≈ 0.923；WideSearch 为 ρ = 0.99，CyberGym 为 ρ = 0.75。
• 谁更重要：控制基准难度后，8 个模型系数中 6 个显著（p < 0.05），4 个 harness 系数中 2 个显著；模型固定效应极差 0.451，是 harness 极差 0.087 的 5.2 倍（附录 F.2）。作者据此认为 harness 能影响表现，但不能替代基座模型能力。模型在各基准上的排序通常高度相关，即更好的模型通常在许多基准上都更好，而不是只占某个细分领域。

效率与失败模式

• 难度分布与增益：任务呈 U 形：最易桶（0–0.1）占 22.0%（1,461 题），最难桶（0.9–1）占 14.6%（966 题），中间八桶占 63.4%。Figure 3 左表中，前沿相对 other 的绝对增益在两端较小、中段较大：0–0.1 为 +5 pp（94%→99%），0.3–0.4 为 +29 pp（54%→83%），0.4–0.6 为 +27 pp，0.9–1.0 为 +3 pp（1%→4%）。
• token 与价格：前沿模型在每个难度层用的 token 都更少；最易桶只用较弱模型 token 的 42%，难度 ≥ 0.5 的上半段该比例升到 61–86%。人工查看轨迹后作者称，简单任务上较弱模型用明显更多 token、轮次和每轮 token，例如 SimpleQA 上多 6.14 倍 token、KUMO 上多 2.28 倍；额外轮次来自误解指令和重复工具调用，每轮用量来自冗长的思维链和为弥补弱推理而做的重复验证。other 模型每个试验仍便宜 2–3 倍，绝对成本差在 0.7–0.8 桶达到每试验 0.37 美元。作者认为 token 节省缩小但没有消除前沿模型的价格溢价。
• 失败：Figure 4 中，错误事实答案、算法 bug 和隐藏测试回归在所有前沿模型、不论 harness 上都占主导；智能体仍偶尔犯语法错误或漏交交付物。人工轨迹分析称 Claude Code 和 Codex 允许开放式迭代和自我修正，Terminus-2 强制线性的 Plan-Execute-Complete，缺少内置的验证–修正环。作者称 GPT-5.4 追求简短，要么很快给出正确解，要么在难题上放弃（如 HLE、LabBench），Terminus-2 下比 Codex 更明显；Claude 的轮次和执行模式大体不随难度变；Gemini 依赖外部搜索，并会出现“信息漂移”，用冲突的网上信息替换起初正确的假设，在 LabBench、MMMLU 上尤其明显。各 rubric 的 κ 标注在 Figure 4 上方，Others 的 κ < 0.5。

其他消融与分析

• Harbor-Index 失败构成：453 次超时且无答案，361 个接近正确的解，445 个差得很远的根本错误答案（§4.3）。
• 六个较低分模型的超时率约为三个最高分模型的两倍：各自 rollout 的 36.7% 对 18.7%。
• 原生 harness 的工具调用和输出 token 少于 Terminus-2；逐题对齐后，超时率从 42% 降到 26%。作者把一部分差距归因于 Terminus-2 只有 bash 动作空间、没有原生图像和网页工具。
• 人工审核：在 30 多个基准上，最难候选题大约三分之一因损坏而非真正难被拒绝（§4.1）。
• PCA 的具体特征值、贪心选择的 12 个基准名单，以及 Table 3、4 的 parity 数字在正文未给出，位于附录 F 与 D。
• 正文未报告大规模 54 基准实验中每个模型的总 pass rate。

作者指出的局限与后续方向

• 适配器覆盖：适配器的可用性把大规模评测限制在已收集适配器基准中的 54 个（§6 Limitations and future work）。
• 模型与设置：成本把实验限制在一组常用模型、原生 harness 和 Terminus-2 上，因此发现并不覆盖所有 LLM、智能体架构或评测设置，也不是普遍结论（§6）。
• 未来智能体与奖励漏洞：更强的未来智能体可能更有效地利用基准伪影或评测漏洞，导致目前还无法利用的 reward hack 和不可靠评测（§6）。
• 后续维护：作者计划把 Harbor-Index 作为持续存在的基准维护，更新它以降低饱和、保持质量，并接入更多适配器（§6）。

实验覆盖范围

• 大规模评测为 8 个模型、16 个模型–harness 配置、54 个基准、6,627 个任务，每配置 3 次试验（§2）。
• Harbor-Index 1.0 为 9 个模型、两种 harness、82 题、29 个基准、1,476 次 rollout；自由形式题用 LLM-as-a-judge，其余程序化评分（§4.2、Table 1）。
• 失败模式人工标注为 200 条轨迹、两名标注者、12 类，pooled κ = 0.66；模型评审扩展到 6,028 条、45 个基准（§3.4）。
• 冗余分析覆盖分数矩阵 PCA、贪心 Spearman 选择，以及 52 个至少 10 题的基准上“每基准 3 题”的排序恢复（§3.1）。
• 适配公平性包含三阶段审查和 parity 实验（附录 D.3.2、D.4，Table 3、4）；正文没有给出这些 parity 表的数值。论文未报告 Harbor-Index rollout 的重复次数，也未在正文给出 PCA 各主成分的解释方差数字。

Harbor Adapters 是接在 Harbor 上的智能体评测基础设施，Harbor-Index 是从中精选出的 82 题元数据集。

• 问题：智能体基准在格式、环境和评分上不统一，m 个基准对 n 个智能体常要 O(mn) 套集成；发布通常只报少数流行基准，进展是否跨领域并不清楚，比较还被实现差异干扰。低分也常来自任务本身写坏了。
• 做法：每个基准一个适配器、每个智能体一次 Harbor 集成，任务统一成 instruction、environment、tests、solution。适配器用三阶段审查和 parity 实验核对。非智能体基准通过允许用工具、写文件和与可执行环境交互而被做成智能体任务。Harbor-Index 从 6,627 题出发，经 18 次试验成功率不超过 33% 的难度过滤、Gemini-3-Flash 审核、人工复审和修复循环，得到 29 个基准上的 82 题。
• 大规模评测：8 个模型、Terminus-2 加一种原生 harness、54 个基准、3 次重复。作者称基座模型比 harness 更能拉开分数：混合模型里模型固定效应极差 0.451，harness 为 0.087。选出 12 个基准后，其余基准与已选者的 Spearman ρ ≥ 0.7；52 个基准里每基准 3 题的平均 ρ ≈ 0.923。前沿模型在每个经验难度层都更省 token，但 other 模型每试验仍便宜 2–3 倍。错误事实、算法 bug 和隐藏测试回归是主要失败类型。
• Harbor-Index：没有配置的 pass rate 超过 30%。GPT-5.5 配 Codex 为 28.0%（155–178 美元量级的单次运行成本见 Table 1），Claude Opus 4.8 配 Claude Code 为 20.7%，Gemini 3.1 Pro 配 Gemini CLI 为 13.4%；MiMo V2.5 Pro 两种 harness 都是 2.4%。三个高分模型更受益于厂商原生 harness；六个较低分模型超时率 36.7%，三个最高分模型为 18.7%。
• 作者的结论：基座能力是表现差距的主要来源，许多基准的排序信号重复，前沿模型更省 token 但仍更贵，低解决率常常反映任务设计缺陷。适配器与 Harbor-Index 被作者视为可复用的基础设施和可负担的测试床；作者同时写明，现有发现不覆盖全部模型和架构，并计划持续更新 Harbor-Index。