SWE-Duel：迈向编码 Agent 的自扩展竞技场

静态编码基准发布后会进入训练数据并被更强智能体饱和；作者要做评测时才生成任务与判定器、难度由参赛者设定的 self-scaling 基准。

• 为何重要：作者称基准必须长期不在被测模型的训练数据中，且对智能体仍然够难。公开、发布后固定的内容会被吸收，固定题集也会被更强智能体饱和；基准一发布就开始泄露并落后于它要测量的智能体。
• 现有做法的缺口：作者称 SWE-bench-Live 与 SWE-rebench 用训练截止后的任务缓解泄露，但难度仍受人类日常 issue 限制。BugPilot 事先生成固定题集；SwingArena 仍从固定的人类 GitHub issue 出题，只在评测时生成判定器。作者称二者的难度都不随被评智能体增长。
• 作者的主张：self-scaling 指任务与 oracle 在评测时创建，事先没有可泄露的内容；难度由参赛智能体设定，原则上可随出题者变强而上升，上界是自修复门。
• 本文的竞技场：SWE-Duel 让两名编码智能体在真实仓库上做镜像的 Red–Blue 回合。Red 实现新功能并埋入 bug 与密封测试，Blue 在未被告知存在 bug 时审阅 pull request，然后交换角色。作者称一场对局覆盖需求、实现、测试、审阅、故障定位和修复。

作者把相关工作分成仓库级基准、自动造 bug 和竞技场评测；只在点名的工作上写了差别。

仓库级编码基准

• 固定的公开题：SWE-bench（Jimenez et al., 2024; OpenAI, 2024）把评测转到真实 issue。后续加入自动环境、多语言、长程演化、完整 issue 周期和功能添加（Vergopoulos et al., 2025; Rashid et al., 2025; Le et al., 2026; Chen et al., 2026; Guan et al., 2026b; Liu et al., 2026）。作者称这些任务和参考补丁在评测前公开且固定，公开任务会进入训练数据（Matton et al., 2024）。
• 刷新与加难：作者写道 OpenAI 在前沿模型能复现金补丁后停止报告 SWE-bench Verified。SWE-bench-Live（Zhang et al., 2025）与 SWE-rebench（Badertdinov et al., 2025）持续收集新 GitHub 任务。Guan et al.（2026a）与 DyCodeEval（Chen et al., 2025）扰动任务以避免精确记忆，但仍保留原任务与解。作者称难度在发布时固定；SWE-Bench Pro（Deng et al., 2025）更难，换代后仍固定。刷新得到的是同一分布上更新的题，不是更难的题。

自动造 bug

• 模式方法：Roy et al.（2018）、Patra 与 Pradel（2021）、Richter 与 Wehrheim（2022）、Zhang 与 Patterson（2022）用合成、播种、变异或重新引入已修复的安全 bug。作者称种类受模式集限制。
• LLM 方法：SWE-smith（Yang et al., 2025）改写函数；BugPilot（Sonwane et al., 2025）收集加功能时的无意回归；Self-play SWE-RL（Wei et al., 2025）训练同一模型注入并修复。作者称后两者面向训练数据。与 BugPilot 的差别是：它只保留打破既有测试的 bug，跑测试即可见；SWE-Duel 要求可见测试仍通过。作者还称故意埋 bug，使产量不依赖智能体犯错。
• CDBench：Romazanov et al.（2026）由攻击 LLM 为防守 LLM 写 mutant。作者称编辑是局部的，且防守方看得到 mutant diff。

竞技场评测

• 对话竞技场：Chatbot Arena（Chiang et al., 2024）用人类两两投票；Arena-Lite（Son et al., 2025）与 Auto-Arena（Zhao et al., 2025）改用 LLM 裁判。作者称新提示词能保持更新，但裁判偏好有噪声，且不等于正确性。
• SwingArena：Xu et al.（2026）用仓库 CI 判分，提交者修 issue、审阅者写测试。作者称任务来自固定的人类 issue，测试对照人类金补丁。SWE-Duel 保留执行计分，但任务由参赛者写，有效性靠执行门控和盲自修复。

对照与定位

• 实验里的对照：主实验不把上述基准当方法基线，而是比较 11 个（模型, harness）；仓库为附录 C 的 15 个钉死版本。
• 作者定位：任务和 oracle 都在评测时由被评智能体写成，事先无可泄露任务，难度由参与者而不是人类题库设定。

SWE-Duel 用 Red–Blue 对局评测编码智能体：Red 在真实仓库上造一个藏有 bug 的新功能 pull request，Blue 盲审并提交修订；下一回合交换角色。

问题设定与环境

• 参与者：一个参与者是模型与 harness 的配对。同一模型配两种 harness 算两名参与者，各有任务库与记录。
• 环境：每场在钉死 commit 的仓库 Docker 镜像中进行。既有测试集 Te 在新功能、埋入 bug 后的 diff 和 Blue 补丁上重跑，用来检查回归。
• 任务：C = (R, s, d, Tf, Tb)，s 为功能规格，d 为含功能与 bug 的 diff，Tf 为功能测试，Tb 为只因 bug 而在 d 上失败的测试。Blue 只看到 pub(C) = (R, s, d, Tf)。Tb 与 bug 元数据密封。提示词不说明存在 bug。
• 不能靠回退取胜：bug 藏在新功能里，回退 pull request 会使 Tf 失败。Figure 2 用功能测试确认功能仍在，用密封 bug 测试确认 bug 被去掉。

Red：三会话造题

• 槽位：每个会话从新上下文开始，只知道传入内容。每个参与者、每个仓库请求 N 个任务，一槽一个。每槽最多 5 次尝试，第一次通过三道门控即入库。五次都失败则槽位空置且不另补，作者称造出合法任务本身就是被测能力。实验中每仓库 1 槽。为避免同仓库任务重复，Red 会看到已准入任务的规格和目标文件，并须换模块。
• 会话 A：自选模块，实现功能，写 s 与 Tf，得到仅含功能的 diff df。门控要求 Te 与 Tf 在 df 上通过，且 diff 与测试达到最小规模阈值；论文未给出阈值数值。钉死 commit 上已经失败的测试被记录并忽略。
• 会话 B：新会话拿到 s 与 df，埋入 bug 得到 d，并写 Tb。门控要求 d 能应用到钉死 commit 并通过 lint 或编译；构建、Te、Tf 与规模检查仍通过；Tb 在 df 上通过、在 d 上失败。这样 Blue 看不到失败测试，且 Tb 测的是 bug 而不是功能。
• 会话 C：同一参与者的新实例只看 pub(C)，提交修订 d′。Te、Tf、Tb 都通过才准入，条件与 Blue 获胜相同。作者称这排除不可解任务，但也使任务不会难过作者自己的找 bug 能力，并称之为可解性与难度之间的有意权衡。准入任务在锦标赛中复用，使每个对手面对同一 Red 的同一批题。

Blue 解题与计分

• 过程：Blue 从同一镜像的新上下文审阅 pull request，可以改代码、重写功能或保持原样，然后提交 d′。
• 合取计分：作者把 Blue 是否获胜写成 S_Blue=S_e S_f S_b，三项为 0/1，表示 Te、Tf、Tb 是否通过；Red 得 1 减去该项。没有部分分。失败可以是 bug 仍在、功能被破坏或移除，或既有行为回归。原样提交时，会话 B 的门控保证 Tb 失败，Red 胜。

锦标赛

• 对局：每仓库、每槽两个回合，双方互相当 Blue。缺题记 Blue 自动胜且不运行 Blue；作者称这是为避免丢掉弱出题者造成的幸存者偏差，并把造题算进能力。其余回合称为 contested。每回合 1 分。比赛分 Q 为两个角色的得分之和，高者胜，相等为平。一场有 2N|R| 个回合。
• 排名与后加入：循环赛，每对一场。Bradley–Terry 给每人一个零均值的对数强度，平局计半胜；用 1000 次比赛 bootstrap 给名次概率和 95% 区间。已有 M 人时，新参与者自建任务库，再按 Chatbot Arena 的 active sampling 只打 ⌈log₂ M⌉+1 名在位者；旧库与旧赛果不重算。
• 运行参数：附录 D.1 写初始 50 step，分别用于功能生成、埋 bug、盲自审和每次 Blue 解题；每会话 30 分钟；缺产物时最多 3 次恢复，每次 6 step。温度 0.2。模型 API 经 OpenRouter，主实验窗口为 2026-06-18 至 2026-08-30；附录 D.2 中阶梯实验的部分调用延至 2026-09-19。

实验设置

• 参与者：11 对。模型为 GPT-5.5、Claude Opus 4.8、Kimi K2.7 Code、DeepSeek V4 Pro、GLM 5.2、Qwen 3.7 Max、Nvidia Nemotron 3 Ultra、Minimax M3、Gemini 3.1 Pro，均配 mini-swe-agent；另有 GPT-5.5+Codex CLI、Claude Opus 4.8+Claude Code。阶梯实验另用 GLM-5.1、GLM-5.3，均配 mini-swe-agent。
• 仓库：15 个，语言为 Python、Java、Go、JavaScript、C/C++，钉死 commit，见附录 C Table 4。每场每仓库 1 槽，交换角色后 30 回合。
• 赛制：先 10 人循环赛 45 场；Gemini 3.1 Pro 后加入，按 ⌈log₂ 10⌉+1 打 5 场。共 50 场、1500 回合。缺 Red 题记 Blue 自动胜。另报告只保留 contested 回合的排名。
• 指标与判定：场次 Bradley–Terry 对数强度，平局半胜，1000 次 bootstrap 的 95% 区间。胜负由 Te、Tf、Tb 的执行结果决定，无 LLM 裁判。
• 预算：温度 0.2；各会话初始 50 step、30 分钟，最多 3 次 6-step 恢复（附录 D.1）。
• 回合构成：1500 回合中 contested 为 1219，缺题自动胜为 281。人工核查抽了 158 个仅 bug 测试失败回合中的 50 个；准入稳定性为 44 个任务各再跑 3 次。

主结果

Table 1 为 full-schedule 排名，保留缺题自动胜。下表列 8 名，含末位；胜/平/负对应 Won/Drawn/Lost。

表格较宽，可左右滑动

参与者	场次与胜/平/负	Red胜率	Blue胜率	BT
GPT-5.5 [codex]	10场 8/1/1	11.3%	98.7%	+2.82
Claude Opus 4.8 [mini-swe-agent]	10场 8/0/2	27.3%	88.7%	+2.46
GPT-5.5 [mini-swe-agent]	9场 5/3/1	10.4%	97.0%	+2.13
Kimi-K2.7-Code [mini-swe-agent]	9场 5/2/2	15.6%	90.4%	+1.82
DeepSeek-V4-Pro [mini-swe-agent]	9场 5/1/3	18.5%	91.9%	+1.50
Claude Opus 4.8 [claude-code]	10场 2/2/6	7.3%	87.3%	-1.41
MiniMax-M3 [mini-swe-agent]	10场 1/0/9	2.0%	74.7%	-3.86
Gemini-3.1-Pro [mini-swe-agent]	5场 0/1/4	2.7%	72.0%	-4.55

• 两种领先方式：作者称领先者取胜方式不同：GPT-5.5 在两种 harness 下都是最强 solver，Claude Opus 4.8 配 mini-swe-agent 是最强出题者，并称其 Red 胜率为两名 GPT-5.5 的两倍以上。摘要与结论写的修复比例 98.3% 与 Table 8 的 contested solving success 相同；4.2 节写的 98.7% 与 97.0% 与 Table 1 相同。Figure 8 注称排除缺题自动胜，Table 8 则分别为 98.3% 与 96.4%。
• 分组与区间：作者称 BT 最高的六人（含表中省略的 GLM-5.2）构成领先组，其后是 Claude Code 版 Opus、Nemotron、MiniMax 和只打五场的 Gemini。附录 H 称排序中任意相邻两人在 95% 上不可区分。Table 6 中 GPT-5.5 [codex] 的 BT 区间为 [+1.30, +9.48]、名次区间 1–5，Gemini 的名次区间为 9–11。
• 名次与角色记录不完全同向：作者称 DeepSeek 的 Red:Blue 记录看似好于 Kimi，但 Kimi 少负一场，BT 更高，95% CI 重叠。作者称末位两人常造不出准入任务，从而把自动胜送给 Blue。表中未列 GLM-5.2、Qwen3.7-Max、Nemotron-3-Ultra，数值见 Table 1。

难度是否随出题版本上升

• 测了什么：作者固定解题者，只换出题者。GLM-5.1、GLM-5.2、GLM-5.3 均配 mini-swe-agent，在同一批仓库上造题；家族外的 DeepSeek-V4-Pro 配 mini-swe-agent 解全部准入题。GLM-5.2 的 13 次为锦标赛中的原记录，另外 26 次新跑，作者称基础设施错误为零。
• 结果：Table 2 的失败率为 GLM-5.1 的 1/12 = 8.3%、GLM-5.2 的 0/13 = 0.0%、GLM-5.3 的 6/14 = 42.9%。作者报告 exact conditional Cochran–Armitage trend test，39 次、z=2.32、单侧 p=.015；最新版相对合并后的旧版为 6/14 对 1/25，Fisher p=.005。摘要写 42.9% 对 4.0%。Figure 4 与正文：GLM-5.3 的任务在争议回合中击败 GLM-5.1 为 7/14，击败 GLM-5.2 为 4/14；两个旧版各只击败 GLM-5.3 一次（1/12、1/13）。
• 作者的解读：作者认为两个旧版对 DeepSeek-V4-Pro 都过易，最新版更难，并称这是难度随出题能力上升的初步证据。5.1 到 5.2 不是逐级升高。作者还称缺陷类别构成和准入产量都不能单独解释这次升高：安全类任务中旧版为 0/6、GLM-5.3 为 5/7（Fisher p=.016）；三次产量为 30.8%、40.6%、37.8%，升高出现在产量略降之处。

固定参照解题者与判定质量

• 同一把尺子：GLM-5.2 配 mini-swe-agent 盲解主赛全部 134 个准入任务，失败 15/134 = 11.2%（Table 3）。作者报告它与锦标赛 Red 胜率的 Spearman ρ=0.66、Kendall τb=0.58。Claude Opus 4.8 配 mini-swe-agent 在两边都最高（锦标赛 27.3%，参照 4/15 = 26.7%）。Kimi 从争议回合的 17.9% 降到参照上的 0/13；作者认为其锦标赛胜场来自较弱的防守方。
• 准入是否碰运气：对 44 个分层任务再跑 3 次同一会话 C 检查：35 个 3/3 修复，8 个 2/3，1 个 0/3。合并修复率为 121/132 = 91.7%（Wilson 95% CI 85.7–95.3%）。作者称准入大多对应可重复修复，碰运气准入少。
• 密封测试是否过严：两名作者抽查 50/158 个仅 bug 测试失败的回合，得到 45 个真漏修、3 个假阴性和 2 个含糊例，假阴性率 3/50 = 6.0%（Wilson 95% CI 2.1–16.2%）。作者称三例都来自两个 Go JWT 任务，测试要求特定错误类型或选项。附录 B 给出五种语言的完整示例。

后加入、开销与 harness

• 后加入：Gemini 3.1 Pro 配 mini-swe-agent 在 45 场结束后加入，自建任务库并打 5 场，赛果 0/1/4，BT 末位。Table 8 的 contested 解题成功率为 61.8%，为全场最低。只在 45 场在位者比赛上重拟合 BT，在位者顺序与 50 场完全相同（Kendall τ=1.0）。作者称五场足够给出连贯名次，且不改动既有榜。
• 开销：正文写锦标赛 API 花费 2,109 美元，其中造题 670、盲自审 158、Blue 评测 1,281，约 26 美元一场。Table 15 的合计为 2109.21 美元（669.69、158.34、1281.18）。后加入边际成本 Table 15 为 243.40 美元。作者估计若打满 10 名在位者约为 379 美元。
• harness 消融：同一模型（DeepSeek-V4-Pro、GLM-5.2 或 Kimi-K2.7-Code）在 mini-swe-agent、Codex CLI、Claude Code 之间对打，仍用 15 个仓库，且没有主赛里的原生配对。聚合 BT 为 mini-swe-agent +0.73、Codex CLI −0.25、Claude Code −0.49；三者 95% 区间重叠。Table 11 的成对分差区间都跨过 0。作者称此样本量下直接比较排不出顺序。

其他消融与分析

• 全部 1500 回合 Blue 成功率为 87.9%（95% CI [84.6%, 90.9%]）；1219 个争议回合为 85.1%（[81.0%, 88.6%]），其中 1037 次修复、158 次 bug 漏出、24 次功能或回归崩溃。
• 争议回合按语言的 Blue 成功率：Java 89.2%、Go 85.7%、C/C++ 83.9%、Python 83.5%、Node 82.9%（Figure 10）。
• 按 Red 自报 bug 类别：logic 81.9%、security 84.9%、off-by-one 88.9%、type confusion 90.6%、input validation 95.5%；resource-leak 只有 1 个任务、9 个回合，作者不解释该柱。
• 去掉自动胜后重拟合：GPT-5.5 mini-swe-agent 从第 3 到第 1，Codex 从第 1 到第 2，Opus mini-swe-agent 从第 2 到第 5，Nemotron 从第 9 到第 3，MiniMax 从第 10 到第 7（附录 L）。Table 8 覆盖率为 MiniMax 5/15、Nemotron 7/15、Gemini 10/15。
• 回合级 full-schedule BT 中，Codex 降到第 4（+0.18），Opus mini-swe-agent 为第 1（+0.30）；与场次级 full-schedule 的 Kendall τ=0.782（附录 N）。
• Nemotron 的 10 次争议 Red 胜里有 9 次来自同一个 Go 任务；其 7 个准入任务中 5 个没有击败任何人（附录 O）。

作者指出的局限与后续方向

• 排序分辨率：附录 J 写每名参与者只有 5–15 个任务，置信区间很宽；作者计划对更细的排序做后续研究。
• 阶梯实验：附录 K 写阶梯只有一个模型家族的三级，每级 12–14 题、每题在温度 0.2 下一次采样。作者称相邻版本的分辨率有限，两个旧层级的区间几乎完全重叠，难度不是严格逐版本单调。同一参照解题者是唯一量尺；同家族对手共享训练谱系，只能印证，不能独立复测。
• 可解性检查：附录 L 提出未来可改可解性检查，使其不依赖任务作者的盲审自修复，从而不被出题者的解题能力封顶。
• 饱和：附录 L 写前沿模型的解题差距收窄，可能使出题差距一并收窄，竞技场可能饱和。作者给出的短期做法是换更大仓库，长期做法是上一则的检查方式。
• 题库退役：附录 A 写已披露的任务库应标为 retired，不能支持对未来发布模型的评测，并鼓励每次复现实验生成新库。可复现性声明则称工具包与实验数据已开源。
• 双用途：伦理声明写隔离容器等防护不能消除双用途风险；若以后发现的是仓库里原本就有的漏洞，要求先向维护者协调披露。

实验覆盖范围

• 主锦标赛为 11 个（模型, harness）、附录 C 的 15 个仓库和五种语言，50 场、1500 回合（第 4 节、Table 1）。附录 L 把这 15 个仓库写成各自语言或领域里相对小的项目，以便测试套件轻、控制 API 开销。
• 胜负由既有测试、功能测试和密封 bug 测试的执行结果决定；第 3.3 节没有使用 LLM 裁判。
• 温度为 0.2；各会话初始 50 step、30 分钟，最多 3 次 6-step 恢复（附录 D.1）。主赛每回合保留一次轨迹。论文未报告主赛回合的重复次数。
• 难度阶梯为 GLM-5.1、GLM-5.2、GLM-5.3，固定解题者为 DeepSeek-V4-Pro 配 mini-swe-agent（Table 2）。另一把固定尺子是 GLM-5.2 配 mini-swe-agent，覆盖 134 个主赛准入任务（Table 3）。
• 密封测试人工核查为 158 个仅 bug 失败回合中的 50 个，由两名作者共同检查（附录 G）。准入稳定性为分层抽取的 44 个任务各再跑 3 次（附录 I）。论文未报告两名审核者的一致性数值。

SWE-Duel 是一个在评测时才生成任务和判定器的编码智能体竞技场，用来避开静态基准的泄露和饱和。

• 问题：作者认为公开、发布后固定的编码题会进入训练数据，固定题集也会被更强智能体饱和；从 GitHub 持续收题只能更新，不能让难度随被评智能体上升。
• 协议：Red 在钉死 commit 的真实仓库上分三次隔离会话实现新功能、埋入可见测试仍通过的 bug，并写密封测试。同一参与者在新会话里盲修复成功才准入，空槽不另补，缺题算 Blue 胜。Blue 不知道有没有 bug，修订必须同时通过既有测试、功能测试和密封测试。双方交换角色，用 Bradley–Terry 给（模型, harness）排名。
• 主赛：11 名参与者、15 个仓库、50 场、1500 回合。Table 1 中 GPT-5.5 配 Codex CLI 的 full-schedule BT 为 +2.82，Blue 胜率 98.7%；摘要与 Table 8 的争议回合解题成功率为 98.3%。Claude Opus 4.8 配 mini-swe-agent 的 Red 胜率为 27.3%、BT 为 +2.46。同一 Opus 配 Claude Code 的 BT 为 −1.41。Gemini 3.1 Pro 后加入，五场后名次末位，在位者顺序不变（Kendall τ=1.0）。
• 难度与判定：作者称 GLM 家族最新版任务使固定的 DeepSeek-V4-Pro 失败 42.9%（6/14），两个旧版合计为 4.0%（1/25），但 5.1 到 5.2 不是逐级升高。另一参照解题者 GLM-5.2 在 134 题上失败 11.2%，与锦标赛 Red 胜率的 Spearman ρ 为 0.66。44 题复跑的合并自修复率为 91.7%；50 个抽查回合的密封测试假阴性率为 6.0%。
• 作者的结论：作者称领先者取胜方式不同，新参与者不必重打全循环赛，并称同家族结果给出难度随出题能力上升的早期证据。附录同时写明自修复把门、公开题库需退役，以及双用途风险仍在。