研究提出智能体排行榜污染审计框架，并检验评分器有效性

公开排行榜上的修复分数，在任务陈述和含解产物仍可访问时，可能混入回忆，而污染主张又把需要不同证据的问题绑在一起。

• 使用场景：作者称公开编程基准常被当作智能体能修复真实缺陷的证据。HAL 评测九个配置，覆盖编码、网页导航、科学和客服，任务陈述与含解产物仍可能公开可及。
• 现有主张的问题：作者称对这类分数的污染主张通常混淆三问：含解产物在训练时是否可得、被评配置在运行时能否触及、评测工具是否把金标放进提示词或评估器输入。行为差距同样可有多种解释。
• 直接相关结果的缺口：Liang 等报告 SWE-bench Verified 的文件路径准确率高于基准生态之外，但没有不确定性区间。作者认为仓库构成、issue 长度、补丁复杂度，以及该子集经人工筛选、问题规格更清楚，都可能造成这种差距。
• 本文提出什么：作者称目标不是确立 SWE-bench 已被污染，而是判断现有证据能支持哪些主张。框架含四部分：修订钉扎的来源审计、结果盲的同仓库匹配对照、对称答案泄漏筛查、复现评分器验证；并用于九个 HAL 配置，以及 SWE-bench Verified 上的文件定位与复现探针。

相关工作按论文的分组，涉及评测时检索、行为探针、污染检测信号，以及匹配和指标效度。

评测基础设施与检索时污染

• HAL（Kapoor 等，2026）：所审计的配置运行于 Holistic Agent Leaderboard。易感性卡片记录各配置、各修订的通道前提、支持证据和未知项。
• Han 等（2025）：报告带搜索的智能体可以在评测时从公开镜像取出基准金标。

行为探针

• Liang 等（2026）：提出文件路径识别和函数复现，报告 SWE-bench Verified 的文件路径准确率高于仓库外任务，复现用 5-gram 重叠计分。作者称本文改为同仓库匹配、对称泄漏筛查、显式不确定性分析，并验证评分器的假阳性与灵敏度；引言指出该报告没有不确定性区间。
• Prathifkumar 等（2025）：以行为记忆探针讨论 SWE-Bench-Verified 测的是智能体能力还是模型记忆。作者将其归入行为记忆探针。

污染检测与隐私审计

• Riddell 等（2024）与 Zhang 等（2024）：前者做语料侧重叠；后者的 PaCoST 用成对置信度显著性检验检测基准污染。
• Yang 等（2026）：把 canary 记忆和 PREMIA 成员推断信号当作经验诊断，而不是形式化隐私保证。作者称这类信号单独不能识别基准信息如何变得可得，因此本文分开三条通道，Stage II 估计基准关联对比，而不是成员概率。

匹配、聚类与指标效度

• Stuart（2010）、Cameron 与 Miller（2015）：作者称使用标准匹配方法，并对共享仓库采用聚类感知的不确定性。
• Xiao 等（2023）：作者称重叠指标可能奖励表面相似而非目标构念，因此在行为结论之前先检查 Probe 2 评分器。

基线与数据

• 对照与探针：行为对照是同仓库、已合并、关联 issue、且被排除出钉扎 SWE-bench Full、Lite、Verified 的缺陷修复 PR。两个探针改编自 Liang 等，两臂共用提示模板、资格规则和计分。Stage I 审计 HAL 的九个配置。

作者将本文定位为：按每条通道所需证据区分污染主张，并在匹配样本内估计基准关联差异；作者称不把通道标签合成总分，也不将其解释为污染已经成立。

作者提出 measurement-first audit framework：先按证据要求把污染主张拆成三条通道并做修订钉扎审计，再只在结果盲匹配、对称泄漏筛查和评分器验证门允许时，解释基准与对照的行为差。

通道、编码与推断范围

• 训练时暴露：任务陈述和含解产物是否公开可得、能否与任务关联、相对模型是否在时间上合格。除非有模型特异的时间证据，否则在基准层面评估。
• 评测时检索：被评配置是否提供检索机制、提示中是否有可见查找键，以及相关外部或本地语料检索路径未被技术阻断是否有正面证据。作者称这些条件只建立检索机会，不是检索已经发生。
• 管道/脚手架泄漏：在所记录修订上，任务、金标产物、隐藏测试信息或参考输出是否进入提示词、示例、脚手架或评估器输入。检索和管道发现特定于配置与修订。
• 编码：每条通道为 open（O）、partial（P）、closed（C）或 unknown（?）。O 要求全部预先规定的可观察前提，或有已确认的修订特异事件；P 为至少一项前提有肯定或部分支持，但通路不完整；C 要求范围内完整的否定证据；? 为没有肯定或部分支持，且证据不足以关闭。缺失证据不算否定证据。已确认事件另行记录：事件表示某修订上通路已实现，O 表示易感性。作者称不把标签合成总分，也不当作污染已经成立。卡片为 Table 1。

Stage I：HAL 范围审计

• 范围与时间：九个 HAL 配置，固定快照和带版本的注册表。主证据检索冻结于 2026-08-25；编码与裁决中的修订钉扎核对延至 9 月 9 日。
• 谁做判断：自动程序收集元数据并标记候选，最终由人编码。两名作者独立编码 117 个字段判断，裁决前一致 90 个（76.9%，Appendix B）。最终 T/R/L 由裁决后字段机械导出。
• 三项补充：本地盘点任务产物、提示词、检索机制和评估器边界；对 20 个 SWE-bench Verified Mini 任务做 40 条查询的搜索可发现性审计；比较本地基准测试与非测试产物，有执行轨迹时做轨迹扫描。命中只作线索，确认需作者核对来源、基准身份、威胁通道和修订（Appendix C）。

匹配对照与两个探针

• 对照：每个 SWE-bench Verified 任务一对一、不放回地匹配同仓库、已合并、关联 issue、且不在 SWE-bench 中的缺陷修复 PR。匹配任务时间、issue 规模和 PR 复杂度，并有固定共同支持约束。队列构建、匹配和泄漏过滤在接触模型回答或探针结果之前完成。
• Probe 1：输入仓库名和净化后的 issue，模型最多预测三个被接受修复所改的生产源文件，对照完整接受 PR 中的生产源路径计分。预先指定主终点为 Top-3 准确率。
• Probe 2：再给出一个被修改生产源文件的路径，模型重构关键代码改动。目标是从接受补丁恢复关键行。更严的精确行评分器是事后、受验证门控制的分析（Appendix A）。
• 对称排除：Probe 1 在任一臂露出完整金标路径或 basename 时排除该对。Probe 2 在空白归一化后，任一臂含有接受补丁新增的非注释生产代码行，且该行至少五个词法 token、20 个非空白字符时排除该对。只出现在 doctest 或 REPL 中的匹配单独记录，不触发排除。任一侧直接泄露则两臂都移除。事后去掉两臂针对同一底层 issue 的对；唯一一次碰撞从两个探针排除且不替换。

估计量、验证门与假设

对于固定指标，预先指定的配对加权估计量为 Δ_pair=1/(|I|)∑_{i∈ I}[Y(b_i)−Y(c_i)]，即保留对上基准减对照的平均差。事后的仓库均衡估计量为 Δ_repo=1/R∑_rΔ_r，即各仓库平均配对差再对仓库等权平均。

• 不确定性：预先指定分析对匹配对做 10000 次百分位 bootstrap，不显式建模仓库依赖。事后增加仓库均衡估计量及其 t 区间（自由度 R−1，且 R≥3），以及先仓库后对的分层 bootstrap 和留一仓库分析。作者称两种分析的估计量和区间构造都不同，二者之差不能只归因于其中一项。区间逐点、未校正；次要区间排除零只作名义结果。
• 验证门：Probe 2 只有在错误金标审计支持构造负例上的低假阳性、正确金标命中被共识人工标签确认、且设计加权复核支持足够灵敏度时，才裁定 H2 和 H3。结果盲修订没有规定足够灵敏度的数值阈值。无定论的验证不算通过；未通过时对比只作描述。
• 假设：H1 为基准任务文件路径准确率更高；H2 为补丁特异的行恢复更高；H3 为复现比定位更少见，且在灵敏度足够时基准–对照差距至少与定位一样大。
• 解释边界：估计量描述共同支持匹配样本内与基准关联的差异。作者称它们不确立训练数据成员关系、基准暴露的因果效应，或基准造成的分数膨胀。文中 prespecified 只指原分析计划；Appendix D 区分原计划、结果盲修订和事后选择。

实验设置

• 模型与解码：被测模型为 GPT-4.1 与 DeepSeek-V4-Flash。temperature 0，top-p = 1，每任务一次完成，无工具、浏览或检索。DeepSeek-V4-Flash 为 non-thinking；GPT-4.1 无推理参数。Probe 1 输出预算 128 token，Probe 2 重试上限 2048 token（Appendix D）。
• 队列与匹配：从钉扎的 500 任务 SWE-bench Verified 测试划分保留全部 50 个 HAL Mini，并以 seed 13 再抽 150 个。对照来自排除 SWE-bench Full、Lite、Verified 后的 5172 个已合并、关联 issue 的 PR。同仓库、合并日相差至多 365 天、改动文件数差至多 1、issue 词数差至多 200，且相对 GPT-4.1 文档截止日 2024-06-01 的时间类别相同。一个任务无可行对照，得 199 对（50 个 HAL 关联、149 个扩展）。公开对照不是任一模型已确认的未暴露负例；论文写明没有 DeepSeek-V4-Flash 的文档截止日。
• 分析样本：对称路径线索筛查加上一对同一 issue 排除后，Probe 1 为 100 对、十个仓库（Figure 1、Section 4.1）。Probe 2 为 42 个严格可评分对、九个仓库；任务类型一致子集 32 对。匹配后十个协变量满足 |SMD| < 0.20；Probe 1 子集最大绝对 SMD 为 0.116。
• 指标与评审：主终点为 Top-3；次要为 Top-1、MRR@3、Path F1。配对加权 95% 区间为 10000 次、seed 7 的配对百分位 bootstrap；仓库均衡区间为事后 t 区间，逐点且未做族系校正。H1 预测基准臂文件路径准确率更高，H2 预测行恢复更高，H3 预测复现更少见且在灵敏度足够时间隙不小于定位。两名作者按 ≥2 形成共识阳性；验证门没有数值阈值。

主结果

Stage I 的 27 项通道评估无一为 closed（Table 1，见下节）。Stage II 主终点是 100 对子集上的基准减对照差距。对照是公开任务，不是已确认的未暴露负例。下表据 Table 2，省略该表的 MRR@3 与 Path F1。

| 模型 | 指标 | 配对加权差距 [95% CI] | 仓库均衡差距 [95% CI] | | DeepSeek-V4-Flash | Top-3（主终点） | +0.070 [−0.070, +0.210] | +0.081 [−0.079, +0.240] | | DeepSeek-V4-Flash | Top-1 | +0.100 [−0.030, +0.230] | +0.086 [−0.081, +0.252] | | GPT-4.1 | Top-3（主终点） | +0.100 [−0.030, +0.230] | +0.109 [−0.116, +0.334] | | GPT-4.1 | Top-1 | +0.160 [+0.020, +0.300] | +0.138 [−0.051, +0.328] |

• 主终点无定论：作者称八个模型–指标组合的点估计都为正，但 Top-3 的配对加权、仓库均衡和分层 bootstrap 区间都不排除零，故 H1 无定论。分层 Top-3 的 95% 区间为 DeepSeek-V4-Flash [−0.132, +0.283]、GPT-4.1 [−0.128, +0.334]（Section 4.3）。摘要把 GPT-4.1 的主终点差距写作 +10.0 个百分点。
• 次要指标：表中只有 GPT-4.1 的 Top-1 在配对加权分析里名义上排除零。GPT-4.1 的 MRR@3 为配对加权 +0.130 [+0.005, +0.258]、仓库均衡 +0.120 [−0.078, +0.319]；Path F1 为 +0.119 [+0.017, +0.222] 与 +0.131 [−0.053, +0.314]。DeepSeek-V4-Flash 的 MRR@3、Path F1 点估计为配对加权 +0.088、+0.084，仓库均衡 +0.081、+0.078，四种区间都含零（Table 2）。作者称次要排除零不做族系确认性主张。
• 准确率：分析子集内 Top-3 为 DeepSeek-V4-Flash 0.640 对 0.570、GPT-4.1 0.710 对 0.610。作者称方向与 Liang 等一致，但队列和指标不同，不能比较幅度。

HAL 易感性与已确认事件

• 通道标签：九个配置的训练时暴露都是 P，因为时间资格全部未知；八个对其余三项前提有肯定支持，Online Mind2Web 为 [Y/N/N/?]，缺少公开金标和任务–金标可关联性。评测时检索为七个 O、两个 P（ScienceAgentBench、TAU-bench Airline）。管道泄漏为四个 O、两个 P、三个 ?。缺失轨迹或比较产物保持 unknown，而不是隔离证据（Table 1、Section 4.2）。
• 事件更窄：四个配置有已确认管道事件：AssistantBench、SciCode、TAU-bench Airline 为 current，USACO 为 historical。没有确立配置范围内的检索事件。ScienceAgentBench 为范围内的有界否定（None）；Online Mind2Web、GAIA、CORE-Bench Hard、SWE-bench Verified Mini 为未能确立。HAL 修复记录有 29 次 Generalist 的 GAIA 镜像访问，但所审计行是 Open Deep Research，作者因此不跨脚手架转移事件。
• 可发现性：20 个 SWE-bench Verified Mini 任务、40 条冻结查询、一种网页搜索、2026-08-25：35/40 在前十返回任务关联结果；金标直接可达 7、部分可达 23、不可达 10。作者称这不是流行率，也不说明被评智能体取回了产物或产物进入训练数据。选择 SWE-bench Verified 做匹配对照，是因为它支持任务级来源和同仓库对照，不是因为易感性最重。

提示泄漏与被保留子样本

• 两侧比率接近：199 个基准 issue 中 63 个（31.7%）、199 个对照 issue 中 57 个（28.6%）至少逐字含有一个金标源路径或 basename。任一臂泄漏即剔除该对，去掉 98 对（49.2%），剩 101 对，再去掉一对同一 issue 后 Probe 1 为 100 对。作者称 31.7% 接近 Liang 等报告的 27.0%，并把该审计当作测量控制，而不是基准特异妥协的新证据。逐字检测使这些比率为下界。对级排除率从 Sphinx 的 26.7% 到 scikit-learn 的 76.0%。
• 筛查改变总体：一对完整性排除之前，101 个保留基准 issue 平均 172 词，98 个被排除 issue 平均 328 词；保留集更常关联 HAL（32/101 对 18/98），任务类型一致比例为 64.4% 对 80.6%，平均改动文件为 3.48 对 2.92。Sphinx 占保留对 21.8%、被排除对 8.2%；scikit-learn 为 5.9% 与 19.4%（Appendix F）。作者称估计描述的是两侧都没有显式路径线索的较短 issue 子总体。

复现探针的评分器验证

• 命中很少且门未通过：199 对中 42 对严格可评分；评分器在 168 次模型–臂输出上命中 3 次。按 ≥2 二分后，Cohen κ 为 DeepSeek-V4-Flash 0.788、GPT-4.1 1.000。富集样本中检出 0/2 与 1/3 条共识阳性回答，设计加权灵敏度为 0.00 与 0.19；未加权精确 95% 区间为 [0.00, 0.84] 与 [0.01, 0.91]。灵敏度估计的共识阳性分母为 2/41 与 3/38（Table A2）。两条 DeepSeek-V4-Flash 的正确金标命中都是人工阴性，唯一一条 GPT-4.1 命中为人工阳性。
• 假设处置：错误金标审计没有匹配，作者称这不建立一般特异度。作者在 Table E1 将 H1 标为无定论，将 H2、H3 标为未解决。作者称这是测量失败，不是解答复现罕见的证据；富集样本用于评估评分器，不是估计复现流行率。

其他消融与分析

• 留一仓库再估计使四个已报告的仓库均衡差距移动至多 0.068（Section 4.6）。
• 64 对任务类型一致的 Probe 1：Top-3 配对加权差距为 DeepSeek-V4-Flash +0.063 [−0.109, +0.234]、GPT-4.1 +0.109 [−0.063, +0.281]；三种 95% 区间都含零（Table A4）。
• Table A1 描述性仓库均衡 key-line recovery：42 对上 DeepSeek-V4-Flash 为 0.000 [−0.077, 0.077]，GPT-4.1 为 −0.022 [−0.073, 0.029]；作者称不裁定 H2/H3。
• 预裁决一致率：字段 90/117（76.9%），派生 T 9/9、R 6/9、L 6/9，全部 T/R/L 21/27（77.8%），事件 4/9（44.4%）（Table B1）。
• Probe 2 最终 42 对的 issue 长度 SMD 为总体 +0.152、扩展队列 +0.241、HAL 关联队列 −0.293（Table A1 注）。
• 裁决把 AssistantBench 的 gold_agent_visible 从 yes 改为 partial（Appendix B）。

作者指出的局限与后续方向

• 评分器样本：富集人工复核可做诊断，但稀疏的共识阳性标签不能确立足够灵敏度或总体层面的可靠性（Section 5.2）。
• 探针构念：Probe 2 披露金标文件路径，且只相对被接受补丁计分；作者称这会在给定编辑位置时记解答特异回忆的分，并惩罚其他有效实现（Section 5.2）。
• 复核设盲：人工复核对实验臂设盲，但未对模型身份和评分器分层设盲，评分者知道哪些回答被标记；作者认为这种可见性可能使判断偏向与评分器一致（Section 5.2）。
• 样本选择：Probe 2 还由与结果相邻的标准选出，且未通过队列特异的 issue 长度平衡检查。严格金标签名以被接受补丁的一种性质为条件；只有对照候选经过词法缺陷修复筛选（Section 5.2）。
• 效力与推广：Probe 1 限于筛查和一对完整性排除后的 100 对，该子集 issue 更短、HAL 关联比例更高；Probe 2 为 42 对。样本分别聚在十个和九个仓库内，作者称区间较宽，含零不应读成没有效应。研究覆盖十个成熟 Python 仓库和两个 API 服务的非推理模型，作者称这限制向其他语言、项目和模型族推广。对照是早于 GPT-4.1 文档截止日的公开任务，不是已确认的未暴露负例，因此设计不确立没有预训练暴露。生成未用固定 API 种子，已提交完成不能精确再生（Section 5.2）。
• Stage I 与后续：HAL 审计特定于所查基准、脚手架、修订和证据日期。缺失运行轨迹和配置归属缺口限制若干判断；检索、泄漏和事件的预裁决一致率低于训练时判断。裁决解决编码分歧，但不消除这些证据限制。作者提出后续应在更大的独立标注样本上评估语义感知的复现评分器，并把匹配对照扩展到更多仓库和模型族（Section 5.2）。

实验覆盖范围

• Stage I 编码 Table 1 的九个 HAL 配置；主证据检索冻结于 2026-08-25，修订钉扎核对至 2026-09-09；两名作者在裁决前独立编码 117 个字段判断（Section 3.2、Appendix B）。
• 搜索可发现性演示覆盖 SWE-bench Verified Mini 的 20 个任务、40 条冻结查询和一种网页搜索服务；其他配置的评测时检索标签来自文档和代码，而不是搜索探测（Section 4.2、Appendix C）。
• Stage II 被测模型为 GPT-4.1 与 DeepSeek-V4-Flash，temperature 0、每任务一次完成、无工具；Probe 1 为 100 对、十个仓库，Probe 2 为 42 个严格可评分对、九个仓库（Section 4.1）。
• 论文写明 GPT-4.1 文档截止日为 2024-06-01，且全部保留的基准与对照 PR 都在该边界之前；论文写明没有 DeepSeek-V4-Flash 的文档截止日（Section 4.1）。
• 结果盲修订写明验证门不设足够灵敏度的数值阈值；区间为逐点且未做族系校正。论文写明 API 生成未使用固定种子（Section 3.4、Section 5.2、Appendix D）。

作者给出一套测量优先审计框架，用来判断智能体排行榜上的污染主张各自需要何种证据。

• 问题：任务陈述和含解产物仍可公开访问时，修复分数可能混入回忆。训练时暴露、评测时检索和管道/脚手架泄漏不能靠同一种证据支持。
• 做法：Stage I 把九个 HAL 配置的三条通道标为 open、partial、closed 或 unknown；缺失证据不算否定证据，已实现事件另行记录。Stage II 把 SWE-bench Verified 与同仓库公开缺陷修复 PR 一对一匹配，匹配和泄漏筛查不看模型输出，再对 GPT-4.1 与 DeepSeek-V4-Flash 做文件定位和条件复现。两模型均无工具、浏览或检索。
• 通道：27 项评估无一 closed。训练时暴露九项都是 partial，因为时间资格未知。四个配置有已确认管道事件，没有确立配置范围内的检索事件。20 任务、40 查询的可发现性演示中，35/40 在前十出现任务关联结果；作者称这不是流行率。
• 定位：筛查后 100 对上，GPT-4.1 的 Top-3 为 0.710 对 0.610，配对加权差距 +0.100，95% 区间 [−0.030, +0.230]；DeepSeek-V4-Flash 为 0.640 对 0.570，差距 +0.070，区间 [−0.070, +0.210]。仓库均衡与分层区间同样含零。作者称 H1 无定论。摘要中的 +10.0 个百分点即 GPT-4.1 的这一差距。
• 复现：严格评分器在 168 次输出上命中 3 次。设计加权灵敏度为 DeepSeek-V4-Flash 0.00（0/2）和 GPT-4.1 0.19（1/3）。作者称验证门未通过，H2 与 H3 未解决；这是测量失败，不是复现罕见的证据。
• 作者的结论：没有来源证据、适当对照、对称泄漏筛查和经过验证的评分器，更强的污染主张得不到支持。作者称这些结果不确立训练数据成员关系、污染流行程度或基准造成的分数膨胀，并认为宜按各审计组件的证据强度做分层解读，而不是贴上干净或污染的二元标签。