分辨率假说:智能体进化的关键在于识别改进
The Resolution Hypothesis: Agent Evolution's Key Is Identifying Improvements
作者称智能体进化的瓶颈是识别改进而非提出改进:单次评测噪声下方法排名接近随机,候选选择接近抛硬币。
- 智能体进化方法在不同论文和基准上结论互相矛盾、排名互换,且常在某些任务上无法起步。作者认为问题在于评测噪声使真正的改进无法被识别,而非方法提不出更好的工件。
- 作者提出 Resolution Hypothesis,将观测分数方差分解为评测噪声 σ² 与运行间方差 τ²,在 7 种方法、6 个模型、4 个基准上重复进化与评测,并用固定候选池分别检验提案质量(P1)、选择可靠性(P2)和误差跨轮累积(P3),另对 12 个基准上的大额历史增益做逐条审计。
- 方法间差距中位数 3.4 pp 小于单次运行波动,Terminal-Bench 上单次运行仅 33% 概率选出最优方法;候选池中存在真实改进(Quality@K 从 49.2% 升至 61.8%),但执行分数与 LLM 评审的选择准确率均接近 50%;大额历史增益多由评测捷径造成,修复后中位增益从 17.6 pp 降到 0.8 pp。
- 作者列出的局限:仅研究权重冻结的进化;候选级证据只覆盖 Terminal-Bench v2.1;无法排除未来更强模型噪声更低;7 方法、6 模型、4 基准的网格并不穷尽;程序进化是否受同样约束未做实验。候选池每池 n=100,轨迹重估只覆盖 2 种方法、2 个模型。
- 被测模型
- GPT-5.4 nanoGPT-5.6 LunaGPT-5.6 TerraDeepSeek-V4-FlashKimi-K3GLM-5.2
- 基准
- ALFWorldSpreadsheetBenchOfficeQATerminal-Bench v2.1HotpotQAPUPAHoVerIFBenchAIME 2025LiveBench-MathLiveMathematicianBenchSearchQADocVQA
- 指标
- evaluation noise σrun-to-run variance τQuality@Kpairwise accuracyfalse acceptance rategain over baseline (pp)
上海科技大学、字节跳动等机构的研究者提出分辨率假说,认为智能体进化的瓶颈不是提不出更好的候选改进,而是评估噪声无法可靠识别它们。研究覆盖七种进化方法、六个模型和四个智能体基准,共 1,030 次独立进化运行、超过 210 万条测试轨迹。方法层面,九篇论文报告的领先幅度中位数仅 3.4 个百分点,小于同一方法两次独立运行的差异;候选层面,执行分数选择选中更优候选的概率仅 49.7%,与随机无异,LLM 裁判同样无法可靠识别。对十二个基准最大报告增益的审计显示,这些增益通常来自评估捷径,一句规则即可复现中位数 90% 的增益,修复评估后中位数增益从 17.6 个百分点降至 0.8 个百分点。作者建议将重心从设计更多候选改进系统转向让真实改进可被检测和积累,例如更低噪声的中间行为检查和分别评估提议者与选择器。
推荐理由研究用七种方法、六个模型的大规模实验显示,智能体自进化的瓶颈是评估无法识别真实改进,单次运行的排名基本靠运气。
深度解读
这篇论文试图解决什么问题?
作者称智能体进化的瓶颈是识别改进:评测噪声使方法排名和候选选择都接近随机。
核心问题:智能体进化(agent evolution)为何在不同论文和基准上结论互相矛盾、且常无法起步——作者认为根源是评测无法可靠识别改进,而非方法提不出改进。
- 问题场景:智能体进化遵循"提案器写候选工件(提示词、技能、记忆、harness)→ 评测 → 选择接受高分者"的循环。同一批方法在不同基准上时灵时不灵,排名在不同论文间互换;在 Terminal-Bench 等编码智能体基准上多次被报告停滞,而在另一些基准上每个新方法都自称超过前人。
- 现有实践的问题:作者调查九篇智能体进化论文的 171 个主表结果,无一报告方差估计,仅 6 个对多次进化运行取平均(Table 8);常见做法是单次进化、单次评测,把评测噪声和运行间方差混在一起。
- 核心假设(Resolution Hypothesis):瓶颈是识别哪些工件带来改进,而非提出它们。权重冻结时工件只能靠改变推理行为起效,而智能体轨迹本身每次运行都在变,真实行为变化与评测噪声难以分离;作者把评测流水线能可靠分辨的最小真实改进称为"分辨率"。
- 论文做了什么:在 7 种方法、6 个模型、4 个智能体基准上做 1,030 次独立进化运行、超 210 万条测试轨迹(总计超 1000 万次 LLM 调用),从方法级(排名可靠性)和候选级(提案、选择、误差累积)两个层面检验该假设,并审计 12 个基准上的大额历史增益;作者称其为迄今最大规模的智能体进化可复现性研究。
- 这不是攻击/防御论文:不涉及威胁模型;它是对智能体进化范式的统计分析与可复现性研究,受害对象是"基于噪声评测的方法排名与候选选择"这一实践本身。
有哪些相关研究?
相关工作分三类:进化方法本身、记录进化脆弱性的分析、以及噪声选择的统计学文献。
智能体进化方法(被评测对象)
- 文本工件方法:GEPA(Agrawal et al., 2025)进化提示词;SkillOpt-Lite(Shen et al., 2026,SkillOpt 的轻量变体)与 Trace2Skill(Ni et al., 2026)进化技能文档;ReasoningBank(Ouyang et al., 2026)进化记忆 playbook。这四种是本文方法级实验的对象。
- Harness 方法:HarnessLens(Xu et al., 2026)编辑指令、技能与工具描述;Meta-Harness(Lee et al., 2026)与 AHE(Lin et al., 2026)编辑智能体脚手架代码。三者构成本文评测的第二个方法族。
- 其他被引方法:ACE(Zhang et al., 2025)进化上下文;Darwin Gödel Machine(Zhang et al., 2025)做开放式自我改进进化;本文候选池实验借用了 ACE Reflector 的无真值评审模板作为 LLM judge 条件之一。
记录进化脆弱性的分析工作
- Ye et al. (2026) 指出自我改进智能体对运行方差和任务顺序敏感;Wang et al. (2026) 强调匹配预算基线与留出评测;Liu et al. (2026) 发现增益稀疏且依赖反馈。
- SkillsBench(Li et al., 2026)测量人工整理技能的效果;后续工作分析技能诱发的失败(Dong et al., 2026)与不受控技能累积造成的污染(Shang et al., 2026)。
- SEAGym(Zheng et al., 2026)与 Terminal-Bench 2.0 上的持续学习评测(Wang et al., 2026)区分中间增益与迁移、回退和持续改进。
噪声选择的统计学文献
- 与 best-arm identification(Kaufmann et al., 2016)、模型选择标准的过拟合(Cawley & Talbot, 2010)、深度强化学习的不确定性感知评测(Agarwal et al., 2021)相关。
- PACE(Shawn, 2026)直接研究重复噪声比较下的错误接受,并提出 anytime-valid 接受检验;论文称本文的区别在于把评测噪声与运行间方差分离,并用受控候选池独立检验提案质量与选择可靠性。
基线与基准:方法级实验的对照是未进化基线(unevolved baseline,与每种方法同等次数评测);候选级实验的对照是随机选择与选择 oracle。基准为 ALFWorld、SpreadsheetBench、OfficeQA、Terminal-Bench v2.1,增益审计另覆盖原方法论文中的 9 个基准(HotpotQA、PUPA、HoVer、IFBench、AIME 2025、LiveBench-Math、LiveMathematicianBench、SearchQA、DocVQA)。
作者定位:此前工作记录了进化"会失败"的现象,本文则分离出机制——把评测噪声从运行间方差中拆出,并分别检验提案与选择两个环节。
论文如何解决这个问题?
用方差分解把评测噪声与运行间方差分开,再从方法级、增益审计、候选级三组实验检验假设。
整体思路:把单次观测分数的方差严格分解为评测噪声与运行间方差两个分量,据此定义评测的"分辨率",然后在方法级、候选级分别检验 Resolution Hypothesis 的可证伪预测,并对大额历史增益做逐条指令审计。
形式化:两方差分解
- 工件 A 的真实质量定义为其期望分数 Y(A) = 𝔼[Ŷ ∣ A],单次观测为 Ŷ(A) = Y(A) + ϵ,其中 ε 为零均值评测噪声。
- 由全方差定律,观测分数方差分解为 σ²(同一工件重复评测的噪声方差)加 τ²(不同进化运行产出工件真实质量的方差);识别两个方法的差距受 τ²+σ² 限制,识别单个固定工件的增益只受 σ² 限制。
- 估计量(附录 B.2):σ̂² 取各工件内重复评测方差的均值;τ̂² 用随机效应方差分析的矩估计,从工件均值的方差中减去残留的 σ̂²/M;两者均无偏,τ̂² 为负时报告 τ̂=0(117 个方法配置中出现 9 次)。
方法级:分辨率与排名模拟
- 每个配置(方法 × 模型 × 基准)独立进化 R=8 次(GPT-5.4 nano 上的文本工件方法 R=16),每个工件在留出测试集上评测 M=16 次(Terminal-Bench 与 harness 方法 M=8),共 150 个配置。
- 识别真实差距 ∆ 所需运行数按功效公式计算:在 80% 功效、α=0.05 下,N ≥ 2((z1−α/2+z1−β)/Δ)2 (τ2+σ2),即所需运行数随单运行方差增大、随差距缩小而平方增长。
- 排名模拟:对每个模型和基准,为每种方法随机抽一次运行和一次评测来排名,与全运行均值排名比较,重复 20,000 次取平均(附录 D.2)。
增益审计:一句话复现与修复评测
- 对象:12 个基准上报告增益最大的工件(GEPA、SkillOpt-Lite 发布的及作者自己进化的),用 GPT-5.4 nano、DeepSeek-V4-Flash、GPT-5.6 Luna 三个模型。
- 一句话测试:LLM 智能体逐条标记可能解释增益的指令,作者逐条人工核对,把最可疑的一条作为单句规则附加到未进化基线上,比较它复现了多少增益;规则在看结果前写定。
- 修复评测:恢复官方评测流程,或把表面形式匹配改为按语义评分(两个 LLM 评审 DeepSeek-V4-Flash 与 GPT-5.6 Luna 都接受才算对),再对同一批工件重新评分;部分基准还在修复后的评测下重新进化。
候选级:两个固定候选池与三个预测
- Proposal Pool(测 P1):用基于 SkillOpt-Lite 的提案器(DeepSeek-V4-Flash)从 10 个 Terminal-Bench v2.1 训练任务的 78 条轨迹离线生成 n=100 个技能,在 10 个不相交测试任务上各评测 16 次(共 16,000 次 rollout);指标 Quality@K 为从池中随机抽 K 个技能取最优者的期望成功率,用经验贝叶斯 Beta 后验估计,并配"等质量零假设"曲线(1,000 次模拟)扣除纯采样运气。
- Selection Pool(测 P2):n=100 个技能来自 6 个 Terminal-Bench 任务和 3 个 DeepSWE 任务的轨迹,在 11 个按难度分层的 Terminal-Bench 任务上评测(每对 8 次 rollout,每任务得分最高的 10 个工件扩到 15 次);每个选择器只能看每个工件的第一次 rollout(SkillOpt-Lite、GEPA 原生选择看两次),真实质量用其余留出 rollout 独立估计。
- 被测选择机制:随机、单次执行分数贪心接受、SkillOpt-Lite 与 GEPA 的原生父代选择、三种 LLM 轨迹评审(pointwise、pairwise、仿 ACE Reflector 模板),评审模型为 DeepSeek-V4-Flash;指标为成对准确率、误接受率、Spearman 秩相关。
- P3 轨迹重估:把 8 次 SkillOpt-Lite 和 8 次 GEPA 进化运行(DeepSeek-V4-Flash、GPT-5.6 Luna)产出的全部 119 个中间工件,在同一验证集上按每工件–任务对 8 次 rollout 独立重估(进化时只用 1 次),比较循环内增益与重估增益,并估计逐轮的噪声校正运行间方差。
论文做了哪些实验?
四组实验:方差测量、增益审计、候选池、轨迹重估;方法排名与候选选择均接近随机。
实验设置
- 被测方法:7 种进化方法——文本工件族 SkillOpt-Lite、GEPA、Trace2Skill、ReasoningBank;harness 族 HarnessLens、Meta-Harness、AHE,均用官方实现。
- 被测模型:GPT-5.4 nano、GPT-5.6 Luna、GPT-5.6 Terra、DeepSeek-V4-Flash、Kimi-K3、GLM-5.2 共 6 个;覆盖随成本变化,文本工件方法在 ALFWorld/SpreadsheetBench/OfficeQA 上用全部 6 个,Terminal-Bench 只用 DeepSeek-V4-Flash、Luna、Terra(Table 5)。
- 基准:方差测量用 ALFWorld、SpreadsheetBench(Verified-400 子集,281 个测试任务)、OfficeQA(148 个测试题)、Terminal-Bench v2.1(18 训练/18 验证/53 测试);增益审计另加 9 个基准。
- 指标:任务级二值分数(成功率/精确匹配),报告均值、σ̂、τ̂(单位 pp);候选级用 Quality@K、成对准确率、误接受率。
- 样本量:方法级 150 个配置、1,030 次独立进化运行、超 210 万条测试轨迹;Proposal Pool 16,000 次 rollout;Selection Pool 每对 8–15 次 rollout;轨迹重估 119 个工件 × 8 次。
- 评审方式:增益审计的语义评分用 DeepSeek-V4-Flash 与 GPT-5.6 Luna 双评审一致接受;候选级 LLM 轨迹评审用 DeepSeek-V4-Flash。
主结果
单次运行排名四个文本工件方法时,选对最优方法的概率(附录 D.2,20,000 次抽样平均;随机猜测为 25%):
表格较宽,可左右滑动
基准 选对最优方法 全排名正确 单运行标准差中位数 SpreadsheetBench 67% 33% 约 1.7–4.1 pp 区间下限端 OfficeQA 51% 29% 同上区间内 ALFWorld 73% 24% 同上区间内 Terminal-Bench 33% 8% 同上区间上限端(σ 达 4.5 pp) 据附录 D.2 与 Table 6;单运行标准差按配置不同在 1.7–4.1 pp(各基准配置中位数),完整逐配置值见 Table 6。
- 作者指出,九篇论文 171 个结果中方法领先最强对手的中位幅度为 3.4 pp(四分位距 1.2–6.6 pp),而超过 60% 的同模型同基准配置对,其全运行均值之差小于单次比较的一个标准差(Figure 2a,341 对中 217 对落在对角线以下)。
- 按功效公式,识别 3.4 pp 的中位幅度约需 5 次(SpreadsheetBench)、10 次(OfficeQA)、19 次(ALFWorld)、23 次(Terminal-Bench)运行;在下四分位 1.2 pp 时 Terminal-Bench 需 181 次(Table 7)。
- 作者据此认为,已发表的方法排名很大程度上由噪声决定。
增益审计:大额历史增益来自评测捷径
- 一句话复现增益:在 27 个报告增益超 3 pp 的模型–基准对中,给未进化基线附加单条规则即可复现增益的中位 90%(Figure 3a);规则内容多为适配评分器(如只写数值不写公式、只输出最短答案片段),具体规则文本见 Table 10。
- 修复后增益消失:修复评测捷径(LibreOffice 重算公式、语义评分、剔除泄漏选项等,Table 9)后,同一批工件的增益中位数从 17.6 pp 降到 0.8 pp(Figure 3b);在修复后的评测下重新进化文本工件方法,增益最多 1.9 pp,唯一例外是 SkillOpt-Lite 配 DeepSeek-V4-Flash 在 SpreadsheetBench 上 +5.8 pp(Table 12)。
- 例外:HotpotQA 上 GEPA 在语义评分下仍保留 5.5–7.6 pp 增益,作者归因于检索改进(支撑文章召回率升约 10 pp);HoVer 的 8–13 pp 增益来自多跳检索策略,单句规则只能复现 41%–43%(DeepSeek-V4-Flash 为 91%)。
候选级:提案有效、选择失灵、误差累积
- P1 提案不是瓶颈:Proposal Pool 上 Quality@K 在 2 小时预算下从 K=1 的 49.2% 升至 K=100 的 61.8%,原始超时下从 39.7% 升至 51.6%;两种超时下 K=100 时观察曲线均高出等质量零假设曲线 +3.3 至 +3.4 pp(Figure 4a)。最强共享技能 artifact-063 达 57.5%,比池均值高 +8.3 pp。
- P2 选择接近随机:单次执行分数选择的成对准确率为 49.7%(随机 50.0%),误接受率 62.1%(回归工件占池的 30.5%);SkillOpt-Lite 与 GEPA 原生选择(看两次 rollout)为 48.6%;三种 LLM 评审为 45.4%–49.0%(Table 1)。单次执行分数与工件质量的秩相关为 0.054。Figure 4b 中所有实用选择器的增益曲线贴近随机基线,而 oracle 在 K<5 内就超过它们 K=100 的水平。
- P3 误差跨轮累积:循环内验证增益涨到 6.9–9.0 pp,而独立重估增益只有 +0.4 到 −3.2 pp(Figure 5);末轮噪声校正运行间方差 τ̂t² 达 4.2–24.5 pp²(Figure 6)。作者称接受规则每轮都在接受噪声分布上尾的幸运样本,分数涨了但工件没变好。
其他消融与分析
- 提高验证分辨率:SkillOpt-Lite 每步平均 16 次验证 rollout(16 次运行),最终测试均值从 61.4% 升至 64.4%,最佳工件从 64.8% 升至 72.7%(附录 F.3)。
- 低噪声过程指标:未掩蔽诊断的检查命令比率,其评测噪声比终端 pass/fail 低 13×–57×(Table 13,DeepSeek-V4-Flash)。
- 过程指标可见的行为变化:Trace2Skill 使编辑后验证率 +8.73 pp(z=2.17),AHE 在 GPT-5.6 Luna 上使其 −17.98 pp(z=−4.19),终端成功率均看不出(附录 H)。
- Quality@K 对先验浓度上限的敏感性:κmax=100 时超出零假设 +3.41 pp,κmax=300 与无界时分别 +4.75、+6.42 pp,结论方向不变(Figure 11)。
- 超时敏感性:K=100 超出零假设的净额在原始超时到 2 小时五种截断下为 +3.22 至 +3.41 pp(Figure 9)。
有什么可以进一步探索的点?
作者列出五项局限,包括仅限冻结权重、候选级证据只覆盖 Terminal-Bench;并建议做分辨率感知的评测。
作者指出的局限与后续方向
- 仅限冻结权重(Limitations):只研究权重冻结、只进化外部状态的智能体进化;用强化学习更新权重的方法有不同的梯度动力学,可能面对不同的分辨率约束。
- 候选池范围(Limitations):候选级证据只在 Terminal-Bench v2.1 上评测;结论是否适用于更大的池、不同的生成策略或其他基准领域,作者称仍是开放问题。
- 模型强度与分辨率(Limitations):网格中最强到 Kimi-K3;作者称无法排除未来更强的模型评测噪声更低、分辨率更好。
- 网格覆盖(Limitations):7 种方法、6 个模型、4 个基准是广泛但不穷尽的调查;不同工件表示或任务结构可能有不同的方差特征。
- 程序进化未覆盖(Limitations):进化确定性评分解题程序(如 GPU kernel、ARC-AGI-2、Atari 策略)是否同样受分辨率约束,作者称框架可以回答但实验未做。
- 后续方向(Section 6、Conclusion):作者建议让评测"分辨率感知"——更低噪声的中间过程指标、提案器与选择器的分量式诊断(Quality@K 曲线与选择质量曲线)、以及随点估计一同报告 σ̂ 与 τ̂,让读者判断声称的幅度是否超过评测分辨率。
实验覆盖范围
- 被测模型共 6 个:GPT-5.4 nano、GPT-5.6 Luna、GPT-5.6 Terra、DeepSeek-V4-Flash、Kimi-K3、GLM-5.2;Terminal-Bench 与 harness 方法等较贵设置只用其中 3 个(Table 5)。
- 方法级方差测量覆盖 7 种方法 × 4 个基准,共 150 个配置、1,030 次独立运行;候选级两个池各 n=100 个技能,提案器与轨迹评审均用 DeepSeek-V4-Flash。
- 轨迹重估(P3)只覆盖 SkillOpt-Lite 与 GEPA 两种方法、DeepSeek-V4-Flash 与 GPT-5.6 Luna 两个模型,各 8 次运行。
- 增益审计覆盖 12 个基准、3 个模型;ALFWorld、PUPA、HoVer、IFBench 未发现捷径故无修复后结果,IFBench 与 LiveBench-Math 无一句话测试结果(附录 E.2)。
- 论文未报告候选级实验在选择器上的查询成本对比;16 次验证 rollout 的改进选择实验只跑了 SkillOpt-Lite 一种方法(附录 F.3)。
总结一下论文的主要内容
作者称智能体进化受困于评测分辨率:改进存在但识别不出,大增益多来自评测捷径。
一篇关于智能体进化可复现性的统计分析论文,提出 Resolution Hypothesis:进化的瓶颈是识别哪些工件带来改进,而不是提出改进。
- 问题:同一批进化方法在不同基准和论文间结论互换、排名不稳;作者调查九篇论文的 171 个主表结果,中位领先幅度 3.4 pp,无一报告方差,仅 6 个对多次运行取平均。
- 方法:把观测分数方差分解为评测噪声 σ² 与运行间方差 τ²,在 7 种方法、6 个模型、4 个基准上做 1,030 次独立进化运行、超 210 万条测试轨迹,从方法级与候选级检验假设,并审计 12 个基准上的大额历史增益。
- 方法级结果:多数方法间差距小于单次运行的一个标准差;单次运行从四个文本工件方法中选对最优者的概率在 Terminal-Bench 上仅 33%(随机 25%);识别中位幅度需 5–23 次运行。
- 增益审计:27 个增益超 3 pp 的模型–基准对中,单句规则复现增益的中位 90%;修复评测捷径后增益中位数从 17.6 pp 降到 0.8 pp,重新进化也找不回。例外是 HotpotQA(GEPA 保留 5.5–7.6 pp,来自检索改进)与 HoVer(8–13 pp,来自检索策略)。
- 候选级结果:候选池中真实改进存在(Quality@K 从 49.2% 升至 61.8%,高出等质量零假设 +3.3 至 +3.4 pp),但执行分数选择的成对准确率 49.7%、LLM 评审 45.4%–49.0%,均接近随机;循环内增益 6.9–9.0 pp 在独立重估下只剩 +0.4 到 −3.2 pp,选择误差逐轮累积成运行间方差。
- 作者的结论:提案器决定有哪些改进可用,评测分辨率决定哪些改进能被保留和累积;大而易检的变化即使靠捷径也会主导进化。作者建议转向分辨率感知的评测:低噪声过程指标(初步分析中噪声低 13×–57×)、提案器与选择器的分量式诊断、以及报告 σ̂ 与 τ̂;局限包括仅覆盖冻结权重、候选级证据限于 Terminal-Bench、程序进化未检验。