Skip to content

Some text is shown in its original language while the English translation is being prepared.

Original
Hugging Face Daily Papers· arXiv:2610.12569·Indexed by this site · Originally published

SWE-Duel: Toward a Self-Expanding Arena for Coding Agents

SWE-Duel: Towards a Self-Scaling Arena for Coding Agents

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

SWE-Duel uses mutual evaluation to create problems during evaluation: GPT-5.5+Codex fixes 98.3% of its review defects.

Questions
静态编码基准发布后会进入训练数据，固定题集也会被更强智能体饱和。作者要让任务和判定器在评测时生成，难度由参赛智能体而不是发布时的人类题库决定。
Methods
SWE-Duel里Red用三次隔离会话实现新功能、埋bug并写密封测试，还须在新会话中盲修复才准入。Blue不知道有没有bug，修订要同时通过既有、功能和密封测试。双方换角色后按Bradley–Terry排名。
Experiments and results
1500回合、15仓库。作者称GPT-5.5+Codex修复审阅缺陷的98.3%，Opus 4.8+mini-swe-agent的Red胜率27.3%。GLM-5.3任务使DeepSeek-V4-Pro失败42.9%，旧版合计4.0%。
Limitations and future work
作者计划改掉受出题者盲审能力封顶的可解性检查，并称公开题库须退役。阶梯只有一个家族的三级，难度不是逐版本单调。伦理声明称隔离措施去不掉双用途风险。
Experimental setupGPT-5.5、Claude Opus 4.8 et al. · SWE-Duel、Flask et al. · Bradley–Terry log-strength、Red win rate et al.
Evaluated models
GPT-5.5Claude Opus 4.8Kimi K2.7 CodeDeepSeek V4 ProGLM 5.2Qwen 3.7 MaxNvidia Nemotron 3 UltraMinimax M3Gemini 3.1 ProGLM-5.1GLM-5.3
Benchmarks
SWE-DuelFlaskJinjaSQLAlchemychigolang-jwt/jwtgorilla/csrfHelmetExpressnode-jsonwebtokenOWASP Java HTML Sanitizerjava-jwtJJWTcJSONlibexpatsimdjson
Metrics
Bradley–Terry log-strengthRed win rateBlue win ratecontested Blue successsolver failure rate
AI reading guideThe paper proposes SWE-Duel, an arena where two coding agents challenge each other through mirrored red-blue rounds of setting and solving tasks, with tasks and judging generated at evaluation time to avoid early leakage and saturation by stronger models. The red team implements new features in real repositories and plants hidden defects with sealed trigger tests; submissions must pass functional tests and the repository's existing tests, fail exactly on the defect tests, and a new session of the same agent must be able to blindly fix the defect for acceptance. The blue team, unaware of the defect, reviews the submission and wins only if the revision passes all three test suites, after which the roles are swapped. The authors ran 1,500 adversarial rounds across 15 repositories in 5 languages with 11 model-framework combinations; GPT-5.5 with Codex CLI became the strongest solver by fixing 98.3% of defects, and Claude Opus 4.8 with mini-swe-agent became the strongest setter with a 27.3% red-team win rate.

The paper proposes SWE-Duel, an arena where two coding agents challenge each other through mirrored red-blue rounds of setting and solving tasks, with tasks and judging generated at evaluation time to avoid early leakage and saturation by stronger models. The red team implements new features in real repositories and plants hidden defects with sealed trigger tests; submissions must pass functional tests and the repository's existing tests, fail exactly on the defect tests, and a new session of the same agent must be able to blindly fix the defect for acceptance. The blue team, unaware of the defect, reviews the submission and wins only if the revision passes all three test suites, after which the roles are swapped. The authors ran 1,500 adversarial rounds across 15 repositories in 5 languages with 11 model-framework combinations; GPT-5.5 with Codex CLI became the strongest solver by fixing 98.3% of defects, and Claude Opus 4.8 with mini-swe-agent became the strongest setter with a 27.3% red-team win rate.

Deep reading

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    静态基准会泄露并饱和；SWE-Duel在评测时由参赛智能体互造任务与判定器。

    静态编码基准发布后会进入训练数据并被更强智能体饱和；作者要做评测时才生成任务与判定器、难度由参赛者设定的 self-scaling 基准。

    • 为何重要：作者称基准必须长期不在被测模型的训练数据中，且对智能体仍然够难。公开、发布后固定的内容会被吸收，固定题集也会被更强智能体饱和；基准一发布就开始泄露并落后于它要测量的智能体。
    • 现有做法的缺口：作者称 SWE-bench-Live 与 SWE-rebench 用训练截止后的任务缓解泄露，但难度仍受人类日常 issue 限制。BugPilot 事先生成固定题集；SwingArena 仍从固定的人类 GitHub issue 出题，只在评测时生成判定器。作者称二者的难度都不随被评智能体增长。
    • 作者的主张：self-scaling 指任务与 oracle 在评测时创建，事先没有可泄露的内容；难度由参赛智能体设定，原则上可随出题者变强而上升，上界是自修复门。
    • 本文的竞技场：SWE-Duel 让两名编码智能体在真实仓库上做镜像的 Red–Blue 回合。Red 实现新功能并埋入 bug 与密封测试，Blue 在未被告知存在 bug 时审阅 pull request，然后交换角色。作者称一场对局覆盖需求、实现、测试、审阅、故障定位和修复。

  2. What related research exists?

    作者将本文区别于固定仓库基准、模式化造bug和依赖人类金补丁的竞技场。

    作者把相关工作分成仓库级基准、自动造 bug 和竞技场评测；只在点名的工作上写了差别。

    仓库级编码基准

    • 固定的公开题：SWE-bench（Jimenez et al., 2024; OpenAI, 2024）把评测转到真实 issue。后续加入自动环境、多语言、长程演化、完整 issue 周期和功能添加（Vergopoulos et al., 2025; Rashid et al., 2025; Le et al., 2026; Chen et al., 2026; Guan et al., 2026b; Liu et al., 2026）。作者称这些任务和参考补丁在评测前公开且固定，公开任务会进入训练数据（Matton et al., 2024）。
    • 刷新与加难：作者写道 OpenAI 在前沿模型能复现金补丁后停止报告 SWE-bench Verified。SWE-bench-Live（Zhang et al., 2025）与 SWE-rebench（Badertdinov et al., 2025）持续收集新 GitHub 任务。Guan et al.（2026a）与 DyCodeEval（Chen et al., 2025）扰动任务以避免精确记忆，但仍保留原任务与解。作者称难度在发布时固定；SWE-Bench Pro（Deng et al., 2025）更难，换代后仍固定。刷新得到的是同一分布上更新的题，不是更难的题。

    自动造 bug

    • 模式方法：Roy et al.（2018）、Patra 与 Pradel（2021）、Richter 与 Wehrheim（2022）、Zhang 与 Patterson（2022）用合成、播种、变异或重新引入已修复的安全 bug。作者称种类受模式集限制。
    • LLM 方法：SWE-smith（Yang et al., 2025）改写函数；BugPilot（Sonwane et al., 2025）收集加功能时的无意回归；Self-play SWE-RL（Wei et al., 2025）训练同一模型注入并修复。作者称后两者面向训练数据。与 BugPilot 的差别是：它只保留打破既有测试的 bug，跑测试即可见；SWE-Duel 要求可见测试仍通过。作者还称故意埋 bug，使产量不依赖智能体犯错。
    • CDBench：Romazanov et al.（2026）由攻击 LLM 为防守 LLM 写 mutant。作者称编辑是局部的，且防守方看得到 mutant diff。

    竞技场评测

    • 对话竞技场：Chatbot Arena（Chiang et al., 2024）用人类两两投票；Arena-Lite（Son et al., 2025）与 Auto-Arena（Zhao et al., 2025）改用 LLM 裁判。作者称新提示词能保持更新，但裁判偏好有噪声，且不等于正确性。
    • SwingArena：Xu et al.（2026）用仓库 CI 判分，提交者修 issue、审阅者写测试。作者称任务来自固定的人类 issue，测试对照人类金补丁。SWE-Duel 保留执行计分，但任务由参赛者写，有效性靠执行门控和盲自修复。

    对照与定位

    • 实验里的对照：主实验不把上述基准当方法基线，而是比较 11 个（模型, harness）；仓库为附录 C 的 15 个钉死版本。
    • 作者定位：任务和 oracle 都在评测时由被评智能体写成，事先无可泄露任务，难度由参与者而不是人类题库设定。

  3. How does the paper address this problem?

    Red三会话造功能、埋bug并盲修复准入；Blue盲审，三套测试全过才胜。

    SWE-Duel 用 Red–Blue 对局评测编码智能体：Red 在真实仓库上造一个藏有 bug 的新功能 pull request，Blue 盲审并提交修订；下一回合交换角色。

    问题设定与环境

    • 参与者：一个参与者是模型与 harness 的配对。同一模型配两种 harness 算两名参与者，各有任务库与记录。
    • 环境：每场在钉死 commit 的仓库 Docker 镜像中进行。既有测试集 Te 在新功能、埋入 bug 后的 diff 和 Blue 补丁上重跑，用来检查回归。
    • 任务：C = (R, s, d, Tf, Tb)，s 为功能规格，d 为含功能与 bug 的 diff，Tf 为功能测试，Tb 为只因 bug 而在 d 上失败的测试。Blue 只看到 pub(C) = (R, s, d, Tf)。Tb 与 bug 元数据密封。提示词不说明存在 bug。
    • 不能靠回退取胜：bug 藏在新功能里，回退 pull request 会使 Tf 失败。Figure 2 用功能测试确认功能仍在，用密封 bug 测试确认 bug 被去掉。

    Red：三会话造题

    • 槽位：每个会话从新上下文开始，只知道传入内容。每个参与者、每个仓库请求 N 个任务，一槽一个。每槽最多 5 次尝试，第一次通过三道门控即入库。五次都失败则槽位空置且不另补，作者称造出合法任务本身就是被测能力。实验中每仓库 1 槽。为避免同仓库任务重复，Red 会看到已准入任务的规格和目标文件，并须换模块。
    • 会话 A：自选模块，实现功能，写 s 与 Tf，得到仅含功能的 diff df。门控要求 Te 与 Tf 在 df 上通过，且 diff 与测试达到最小规模阈值；论文未给出阈值数值。钉死 commit 上已经失败的测试被记录并忽略。
    • 会话 B：新会话拿到 s 与 df，埋入 bug 得到 d，并写 Tb。门控要求 d 能应用到钉死 commit 并通过 lint 或编译；构建、Te、Tf 与规模检查仍通过；Tb 在 df 上通过、在 d 上失败。这样 Blue 看不到失败测试，且 Tb 测的是 bug 而不是功能。
    • 会话 C：同一参与者的新实例只看 pub(C)，提交修订 d′。Te、Tf、Tb 都通过才准入，条件与 Blue 获胜相同。作者称这排除不可解任务，但也使任务不会难过作者自己的找 bug 能力，并称之为可解性与难度之间的有意权衡。准入任务在锦标赛中复用，使每个对手面对同一 Red 的同一批题。

    Blue 解题与计分

    • 过程：Blue 从同一镜像的新上下文审阅 pull request，可以改代码、重写功能或保持原样，然后提交 d′。
    • 合取计分：作者把 Blue 是否获胜写成 SBlue=Se Sf Sb，三项为 0/1，表示 Te、Tf、Tb 是否通过；Red 得 1 减去该项。没有部分分。失败可以是 bug 仍在、功能被破坏或移除，或既有行为回归。原样提交时，会话 B 的门控保证 Tb 失败，Red 胜。

    锦标赛

    • 对局：每仓库、每槽两个回合，双方互相当 Blue。缺题记 Blue 自动胜且不运行 Blue；作者称这是为避免丢掉弱出题者造成的幸存者偏差，并把造题算进能力。其余回合称为 contested。每回合 1 分。比赛分 Q 为两个角色的得分之和，高者胜，相等为平。一场有 2N|R| 个回合。
    • 排名与后加入：循环赛，每对一场。Bradley–Terry 给每人一个零均值的对数强度，平局计半胜；用 1000 次比赛 bootstrap 给名次概率和 95% 区间。已有 M 人时，新参与者自建任务库，再按 Chatbot Arena 的 active sampling 只打 ⌈log₂ M⌉+1 名在位者；旧库与旧赛果不重算。
    • 运行参数：附录 D.1 写初始 50 step，分别用于功能生成、埋 bug、盲自审和每次 Blue 解题；每会话 30 分钟；缺产物时最多 3 次恢复，每次 6 step。温度 0.2。模型 API 经 OpenRouter，主实验窗口为 2026-06-18 至 2026-08-30；附录 D.2 中阶梯实验的部分调用延至 2026-09-19。

  4. What experiments did the paper conduct?

    1500回合中作者称GPT-5.5+Codex最强解题，Opus 4.8+mini-swe-agent最强出题。

    实验设置

    • 参与者：11 对。模型为 GPT-5.5、Claude Opus 4.8、Kimi K2.7 Code、DeepSeek V4 Pro、GLM 5.2、Qwen 3.7 Max、Nvidia Nemotron 3 Ultra、Minimax M3、Gemini 3.1 Pro，均配 mini-swe-agent；另有 GPT-5.5+Codex CLI、Claude Opus 4.8+Claude Code。阶梯实验另用 GLM-5.1、GLM-5.3，均配 mini-swe-agent。
    • 仓库：15 个，语言为 Python、Java、Go、JavaScript、C/C++，钉死 commit，见附录 C Table 4。每场每仓库 1 槽，交换角色后 30 回合。
    • 赛制：先 10 人循环赛 45 场；Gemini 3.1 Pro 后加入，按 ⌈log₂ 10⌉+1 打 5 场。共 50 场、1500 回合。缺 Red 题记 Blue 自动胜。另报告只保留 contested 回合的排名。
    • 指标与判定：场次 Bradley–Terry 对数强度，平局半胜，1000 次 bootstrap 的 95% 区间。胜负由 Te、Tf、Tb 的执行结果决定，无 LLM 裁判。
    • 预算：温度 0.2；各会话初始 50 step、30 分钟，最多 3 次 6-step 恢复（附录 D.1）。
    • 回合构成：1500 回合中 contested 为 1219，缺题自动胜为 281。人工核查抽了 158 个仅 bug 测试失败回合中的 50 个；准入稳定性为 44 个任务各再跑 3 次。

    主结果

    Table 1 为 full-schedule 排名，保留缺题自动胜。下表列 8 名，含末位；胜/平/负对应 Won/Drawn/Lost。

    Swipe horizontally to read the table

    参与者场次与胜/平/负Red胜率Blue胜率BT
    GPT-5.5 [codex]10场 8/1/111.3%98.7%+2.82
    Claude Opus 4.8 [mini-swe-agent]10场 8/0/227.3%88.7%+2.46
    GPT-5.5 [mini-swe-agent]9场 5/3/110.4%97.0%+2.13
    Kimi-K2.7-Code [mini-swe-agent]9场 5/2/215.6%90.4%+1.82
    DeepSeek-V4-Pro [mini-swe-agent]9场 5/1/318.5%91.9%+1.50
    Claude Opus 4.8 [claude-code]10场 2/2/67.3%87.3%-1.41
    MiniMax-M3 [mini-swe-agent]10场 1/0/92.0%74.7%-3.86
    Gemini-3.1-Pro [mini-swe-agent]5场 0/1/42.7%72.0%-4.55
    • 两种领先方式：作者称领先者取胜方式不同：GPT-5.5 在两种 harness 下都是最强 solver，Claude Opus 4.8 配 mini-swe-agent 是最强出题者，并称其 Red 胜率为两名 GPT-5.5 的两倍以上。摘要与结论写的修复比例 98.3% 与 Table 8 的 contested solving success 相同；4.2 节写的 98.7% 与 97.0% 与 Table 1 相同。Figure 8 注称排除缺题自动胜，Table 8 则分别为 98.3% 与 96.4%。
    • 分组与区间：作者称 BT 最高的六人（含表中省略的 GLM-5.2）构成领先组，其后是 Claude Code 版 Opus、Nemotron、MiniMax 和只打五场的 Gemini。附录 H 称排序中任意相邻两人在 95% 上不可区分。Table 6 中 GPT-5.5 [codex] 的 BT 区间为 [+1.30, +9.48]、名次区间 1–5，Gemini 的名次区间为 9–11。
    • 名次与角色记录不完全同向：作者称 DeepSeek 的 Red:Blue 记录看似好于 Kimi，但 Kimi 少负一场，BT 更高，95% CI 重叠。作者称末位两人常造不出准入任务，从而把自动胜送给 Blue。表中未列 GLM-5.2、Qwen3.7-Max、Nemotron-3-Ultra，数值见 Table 1。

    难度是否随出题版本上升

    • 测了什么：作者固定解题者，只换出题者。GLM-5.1、GLM-5.2、GLM-5.3 均配 mini-swe-agent，在同一批仓库上造题；家族外的 DeepSeek-V4-Pro 配 mini-swe-agent 解全部准入题。GLM-5.2 的 13 次为锦标赛中的原记录，另外 26 次新跑，作者称基础设施错误为零。
    • 结果：Table 2 的失败率为 GLM-5.1 的 1/12 = 8.3%、GLM-5.2 的 0/13 = 0.0%、GLM-5.3 的 6/14 = 42.9%。作者报告 exact conditional Cochran–Armitage trend test，39 次、z=2.32、单侧 p=.015；最新版相对合并后的旧版为 6/14 对 1/25，Fisher p=.005。摘要写 42.9% 对 4.0%。Figure 4 与正文：GLM-5.3 的任务在争议回合中击败 GLM-5.1 为 7/14，击败 GLM-5.2 为 4/14；两个旧版各只击败 GLM-5.3 一次（1/12、1/13）。
    • 作者的解读：作者认为两个旧版对 DeepSeek-V4-Pro 都过易，最新版更难，并称这是难度随出题能力上升的初步证据。5.1 到 5.2 不是逐级升高。作者还称缺陷类别构成和准入产量都不能单独解释这次升高：安全类任务中旧版为 0/6、GLM-5.3 为 5/7（Fisher p=.016）；三次产量为 30.8%、40.6%、37.8%，升高出现在产量略降之处。

    固定参照解题者与判定质量

    • 同一把尺子：GLM-5.2 配 mini-swe-agent 盲解主赛全部 134 个准入任务，失败 15/134 = 11.2%（Table 3）。作者报告它与锦标赛 Red 胜率的 Spearman ρ=0.66、Kendall τb=0.58。Claude Opus 4.8 配 mini-swe-agent 在两边都最高（锦标赛 27.3%，参照 4/15 = 26.7%）。Kimi 从争议回合的 17.9% 降到参照上的 0/13；作者认为其锦标赛胜场来自较弱的防守方。
    • 准入是否碰运气：对 44 个分层任务再跑 3 次同一会话 C 检查：35 个 3/3 修复，8 个 2/3，1 个 0/3。合并修复率为 121/132 = 91.7%（Wilson 95% CI 85.7–95.3%）。作者称准入大多对应可重复修复，碰运气准入少。
    • 密封测试是否过严：两名作者抽查 50/158 个仅 bug 测试失败的回合，得到 45 个真漏修、3 个假阴性和 2 个含糊例，假阴性率 3/50 = 6.0%（Wilson 95% CI 2.1–16.2%）。作者称三例都来自两个 Go JWT 任务，测试要求特定错误类型或选项。附录 B 给出五种语言的完整示例。

    后加入、开销与 harness

    • 后加入：Gemini 3.1 Pro 配 mini-swe-agent 在 45 场结束后加入，自建任务库并打 5 场，赛果 0/1/4，BT 末位。Table 8 的 contested 解题成功率为 61.8%，为全场最低。只在 45 场在位者比赛上重拟合 BT，在位者顺序与 50 场完全相同（Kendall τ=1.0）。作者称五场足够给出连贯名次，且不改动既有榜。
    • 开销：正文写锦标赛 API 花费 2,109 美元，其中造题 670、盲自审 158、Blue 评测 1,281，约 26 美元一场。Table 15 的合计为 2109.21 美元（669.69、158.34、1281.18）。后加入边际成本 Table 15 为 243.40 美元。作者估计若打满 10 名在位者约为 379 美元。
    • harness 消融：同一模型（DeepSeek-V4-Pro、GLM-5.2 或 Kimi-K2.7-Code）在 mini-swe-agent、Codex CLI、Claude Code 之间对打，仍用 15 个仓库，且没有主赛里的原生配对。聚合 BT 为 mini-swe-agent +0.73、Codex CLI −0.25、Claude Code −0.49；三者 95% 区间重叠。Table 11 的成对分差区间都跨过 0。作者称此样本量下直接比较排不出顺序。

    其他消融与分析

    • 全部 1500 回合 Blue 成功率为 87.9%（95% CI [84.6%, 90.9%]）；1219 个争议回合为 85.1%（[81.0%, 88.6%]），其中 1037 次修复、158 次 bug 漏出、24 次功能或回归崩溃。
    • 争议回合按语言的 Blue 成功率：Java 89.2%、Go 85.7%、C/C++ 83.9%、Python 83.5%、Node 82.9%（Figure 10）。
    • 按 Red 自报 bug 类别：logic 81.9%、security 84.9%、off-by-one 88.9%、type confusion 90.6%、input validation 95.5%；resource-leak 只有 1 个任务、9 个回合，作者不解释该柱。
    • 去掉自动胜后重拟合：GPT-5.5 mini-swe-agent 从第 3 到第 1，Codex 从第 1 到第 2，Opus mini-swe-agent 从第 2 到第 5，Nemotron 从第 9 到第 3，MiniMax 从第 10 到第 7（附录 L）。Table 8 覆盖率为 MiniMax 5/15、Nemotron 7/15、Gemini 10/15。
    • 回合级 full-schedule BT 中，Codex 降到第 4（+0.18），Opus mini-swe-agent 为第 1（+0.30）；与场次级 full-schedule 的 Kendall τ=0.782（附录 N）。
    • Nemotron 的 10 次争议 Red 胜里有 9 次来自同一个 Go 任务；其 7 个准入任务中 5 个没有击败任何人（附录 O）。

  5. What are some points that can be further explored?

    作者把自修复封顶、题库退役和双用途残留写成后续问题。

    作者指出的局限与后续方向

    • 排序分辨率：附录 J 写每名参与者只有 5–15 个任务，置信区间很宽；作者计划对更细的排序做后续研究。
    • 阶梯实验：附录 K 写阶梯只有一个模型家族的三级，每级 12–14 题、每题在温度 0.2 下一次采样。作者称相邻版本的分辨率有限，两个旧层级的区间几乎完全重叠，难度不是严格逐版本单调。同一参照解题者是唯一量尺；同家族对手共享训练谱系，只能印证，不能独立复测。
    • 可解性检查：附录 L 提出未来可改可解性检查，使其不依赖任务作者的盲审自修复，从而不被出题者的解题能力封顶。
    • 饱和：附录 L 写前沿模型的解题差距收窄，可能使出题差距一并收窄，竞技场可能饱和。作者给出的短期做法是换更大仓库，长期做法是上一则的检查方式。
    • 题库退役：附录 A 写已披露的任务库应标为 retired，不能支持对未来发布模型的评测，并鼓励每次复现实验生成新库。可复现性声明则称工具包与实验数据已开源。
    • 双用途：伦理声明写隔离容器等防护不能消除双用途风险；若以后发现的是仓库里原本就有的漏洞，要求先向维护者协调披露。

    实验覆盖范围

    • 主锦标赛为 11 个（模型, harness）、附录 C 的 15 个仓库和五种语言，50 场、1500 回合（第 4 节、Table 1）。附录 L 把这 15 个仓库写成各自语言或领域里相对小的项目，以便测试套件轻、控制 API 开销。
    • 胜负由既有测试、功能测试和密封 bug 测试的执行结果决定；第 3.3 节没有使用 LLM 裁判。
    • 温度为 0.2；各会话初始 50 step、30 分钟，最多 3 次 6-step 恢复（附录 D.1）。主赛每回合保留一次轨迹。论文未报告主赛回合的重复次数。
    • 难度阶梯为 GLM-5.1、GLM-5.2、GLM-5.3，固定解题者为 DeepSeek-V4-Pro 配 mini-swe-agent（Table 2）。另一把固定尺子是 GLM-5.2 配 mini-swe-agent，覆盖 134 个主赛准入任务（Table 3）。
    • 密封测试人工核查为 158 个仅 bug 失败回合中的 50 个，由两名作者共同检查（附录 G）。准入稳定性为分层抽取的 44 个任务各再跑 3 次（附录 I）。论文未报告两名审核者的一致性数值。

  6. Summarize the main content of the paper

    互评竞技场在评测时造题；作者称解题与出题的领先者不同，难度可随出题者上升。

    SWE-Duel 是一个在评测时才生成任务和判定器的编码智能体竞技场，用来避开静态基准的泄露和饱和。

    • 问题：作者认为公开、发布后固定的编码题会进入训练数据，固定题集也会被更强智能体饱和；从 GitHub 持续收题只能更新，不能让难度随被评智能体上升。
    • 协议：Red 在钉死 commit 的真实仓库上分三次隔离会话实现新功能、埋入可见测试仍通过的 bug，并写密封测试。同一参与者在新会话里盲修复成功才准入，空槽不另补，缺题算 Blue 胜。Blue 不知道有没有 bug，修订必须同时通过既有测试、功能测试和密封测试。双方交换角色，用 Bradley–Terry 给（模型, harness）排名。
    • 主赛：11 名参与者、15 个仓库、50 场、1500 回合。Table 1 中 GPT-5.5 配 Codex CLI 的 full-schedule BT 为 +2.82，Blue 胜率 98.7%；摘要与 Table 8 的争议回合解题成功率为 98.3%。Claude Opus 4.8 配 mini-swe-agent 的 Red 胜率为 27.3%、BT 为 +2.46。同一 Opus 配 Claude Code 的 BT 为 −1.41。Gemini 3.1 Pro 后加入，五场后名次末位，在位者顺序不变（Kendall τ=1.0）。
    • 难度与判定：作者称 GLM 家族最新版任务使固定的 DeepSeek-V4-Pro 失败 42.9%（6/14），两个旧版合计为 4.0%（1/25），但 5.1 到 5.2 不是逐级升高。另一参照解题者 GLM-5.2 在 134 题上失败 11.2%，与锦标赛 Red 胜率的 Spearman ρ 为 0.66。44 题复跑的合并自修复率为 91.7%；50 个抽查回合的密封测试假阴性率为 6.0%。
    • 作者的结论：作者称领先者取胜方式不同，新参与者不必重打全循环赛，并称同家族结果给出难度随出题能力上升的早期证据。附录同时写明自修复把门、公开题库需退役，以及双用途风险仍在。
Read originalhuggingface.co