SelfSearch：无需奖励信号的自改进 Agent 搜索方法

编码智能体的自我改进搜索目前靠反复下游评测，成本随任务数上升，且信号绑在被评任务上；SelfSearch改为只用自我修改回合的记录来改实现。

• 场景： LLM智能体已能检查并修改自身指令、工具和执行过程。作者借元认知讨论问：智能体能否利用“如何发现弱点、试方案、应对失败”的经验，变得更会改进自己。
• 现有不足： 作者称，已有方法用下游评测引导搜索，信号绑在任务分布上；每个候选都要在开发集上执行，成本随评测任务数增长。
• 观察与假设： 一次修改除候选实现外，还留下如何识别局限、构造修订、检查效果的记录。作者假设，查不熟的代码、诊断失败、实施改动、检查效果这些能力对下游任务也有用，故记录可在见到下游任务前提供证据。
• 本文做法： 提出SelfSearch：搜索期不使用下游任务或奖励；同一智能体既求解又自我修改，整个仓库可改，权重固定。下游评测与候选选择在搜索之外进行。

按第5节的分组，论文讨论三类工作，并在附录F用表对比搜索设计。

评测引导的智能体搜索

• 改实现再评测（Hu et al., 2025; Zhang et al., 2025; 2026a）： 在智能体实现和工作流上提议改动、评测候选，再用反馈继续搜；档案保留可作后续起点的早期设计。
• HGM（Wang et al., 2026）： 选择时不只看当前任务表现，也考虑产出有用后继的潜力。
• 跨谱系经验（Weng et al., 2026; Liu et al., 2026）： 多个智能体、任务或谱系的记录可指导新修改并组合互补改进。论文指出SelfSearch也跨代传递经验，但经验来自自我改进过程，搜索期不做下游基准评测。

自我修改的智能体

• 求解与修改由同一智能体完成（Robeyns et al., 2025）： 工具和指令的修订也会改变它之后如何做改进。
• 改进程序本身可被改（Zelikman et al., 2024; Zhang et al., 2026b）： 把改进程序用到自身实现，或让元智能体修改自己。
• 生效时机（Xia et al., 2025）： 有的跨代演化，有的在单个任务中改scaffold。论文将SelfSearch写成：单一智能体兼做求解与自我改进，整个仓库可编辑，修订后的实现和回合记录一起留下。作者还称，谱系中的按行查看、精确替换和有界搜索输出，类似于SWE-agent的接口设计（Yang et al., 2024）。

把改进过程当作经验

• 用改动史与评测结果指导后续修订（Zhang et al., 2026b; Lee et al., 2026; Qu and Lu, 2026）： 跨代保留教训，或修订搜索程序本身。
• 论文的区分： SelfSearch的回合记录含修改时的推理、工具调用和中间结果；失败编辑、不完整观察、难以检查早先记录，都可促使改自身工具和流程，且搜索期没有下游任务评测。

基线与基准

• B0 改自DGM的发布实现，并改了策略路由和执行循环（附录A）。评测引导基线是linear search（修订最新候选）和archive search（从已有候选选父代）。基准为SWE-bench Verified、SWE-bench Multilingual、Terminal-Bench 2.1。
• 附录F Table 13按四项对比DGM、HGM、Hyperagents、SICA与SelfSearch：任务智能体是否跨代演化、元智能体是否演化、二者是否同一智能体、搜索是否不用下游评测奖励来指导修订或选择。表中只有SelfSearch四项都有。

作者把本文放在这些工作旁边的位置是：经验来自自我修改过程而非下游评测，且改进者与任务求解者是同一套会演化的实现。

SelfSearch让同一套仓库既求解任务又修改自己：每一代用既往自我改进回合的记录决定改什么，搜索期不提供下游任务或分数。

回合与可改范围

• 对象： 初始智能体B0是含指令、工具和执行逻辑的仓库。同一实现做下游任务和自我修改；仓库任意部分可改，模型权重固定。
• 一步修改： 第k回合，Bk收到自己仓库的可编辑副本和只读记录Ek，检查记录、决定改动、编辑并核验。正在运行的智能体在回合内不变；编辑定义后继Bk+1，并留下记录ek。
• 记录内容： ek含轨迹（推理、工具动作及结果）和代码改动。Figure 1的图注还写明记录包含检查结果。
• 方向不打分： 搜索方向d只说明要调查哪类改动。论文把这一步写成(B_k+1, e_k)=SelfImprove(B_k; E_k, d)。

谱系、方向与记录共享

• capability： 从低效行为、失败动作或难以完成的操作中找能力局限，并做出可复用的工具或流程。
• adaptive： 改进动作失败、证据与假设矛盾、或出现更好策略时如何改做法。两方向用来促使调查不同种类的局限。
• 冷启动： 先让B0在每个方向各跑一次，得到E0。保留记录，丢掉当时改出的实现，使两条谱系都从同一个B0开始。
• 之后每一代： 每条谱系各做一个自我改进回合。两谱系都收到上一代的两份记录，实现仍各自保留，从而可以吸收另一方向的发现。全部生成的智能体进入档案C。

搜索循环

Algorithm 1维护W条谱系、K代。本文W=2、K=10，每代并行执行。评测用的是每条谱系的最终智能体Bc与Ba，而不是按下游表现从档案里挑检查点。Figure 1里叠放的方框表示并行谱系。

搜索期反馈与运行时边界

• 无下游奖励： 搜索中可用的是既往自我改进回合，以及当前工具结果和本地检查。不接收下游基准任务或评测结果。检查点冻结之后才做下游评测。
• 固定循环： 模型与工具的交互循环在可编辑仓库之外，智能体经respond(message)调用它。运行时固定模型、推理强度、生成设置和执行预算；调用次数与工具步数限制覆盖整次运行，包括多次respond。轨迹写在仓库外，既往记录只读挂载（附录A）。
• 本文搜索预算： 每回合最多513次模型调用、512个工具步、4小时，容器无网络，可并行调用工具。搜索与下游的温度都是1。搜索为medium reasoning；gpt-5.6-sol的每调用输出上限为8192 token，deepseek-v4-pro-0813为16384 token（附录C.1）。
• 提示词： 共用模板，加上模型特定目标和上述两个方向之一。GPT的目标文本写提升改进智能体（含自身）的能力；DeepSeek的目标文本写提升预期任务求解能力（含改进智能体），并另有设计指引。这些文本经试点搜索、查看改进者轨迹和代码改动后固定，试点智能体没有在下游基准上评测。附录B给出完整提示词。

实验设置

• 模型： GPT配置用gpt-5.6-sol做自我改进、gpt-5.6-luna做下游；DeepSeek配置用deepseek-v4-pro-0813做自我改进、deepseek-v4-flash-0731做下游。同一配置内，初始与演化智能体共用下游模型和执行限制，差别只在实现。下游为medium reasoning、温度1、每调用输出上限16384 token（附录C.1）。
• 搜索： 每配置两条谱系、十代。报告最终Bc、Ba，以及二者成功率的平均（种群成功）。不按下游表现选检查点。
• 下游集： SWE-bench Verified 120题（DGM小、中子集60题，再从其大子集抽60题）；SWE-bench Multilingual 60题（种子42，C、C++、Go、Java、JavaScript、PHP、Ruby、Rust分别为6、2、8、9、9、9、8、9题）；Terminal-Bench 2.1全部89题（附录C.2）。
• 指标： 成功率由基准grader判定，含执行在产出有效补丁后终止的情形（附录C.3）。每任务平均执行成本为模型执行总成本除以尝试任务数，含失败，不含搜索成本。共同成功任务上的成本变化定义见附录C.4。
• 基线： B0；linear search总修订最新候选；archive search在共享的第一次修订之后，偶数次均匀抽样父代，奇数次取开发集最高分，平分取最早候选。二者各十次修订，开发集为DGM十题小子集。最终取得分最高者，平分取最新：GPT为第8与第10次修订，DeepSeek为第6与第9次。
• 未写明的评审细节： 论文未写LLM评审或人工一致性，也未报告下游评测的重复次数。

主结果

据Table 1，十代后的成功率（%）。行是下游执行模型。

Swipe horizontally to read the table

下游模型 / 基准	B0	Bc	Ba
gpt-5.6-luna / Verified 120	75.0	77.5	75.0
gpt-5.6-luna / Multilingual 60	53.3	60.0	58.3
gpt-5.6-luna / TB 2.1 89	43.8	55.1	44.9
V4 Flash / Verified 120	81.7	86.7	86.7
V4 Flash / Multilingual 60	68.3	66.7	73.3
V4 Flash / TB 2.1 89	65.2	73.0	71.9

• 作者报告： 六组的种群平均成功率都高于B0，较强谱系随基准和模型配置变化。正文写个别智能体在Terminal-Bench 2.1上最多提高11.2个百分点；该数字与Table 1中GPT能力谱系相对B0的差不完全一致，以表中成功率为准。
• 低于或持平初始值的格子： DeepSeek能力谱系在Multilingual上低于B0；GPT自适应谱系在Verified上与B0相同。
• 成本： Table 1中DeepSeek三基准的两条谱系每任务成本都低于B0。GPT的Multilingual上Bc、Ba为0.0135与0.0133美元，B0为0.0131；TB 2.1上Bc为0.0219，B0为0.0212。作者称Figure 2里两条DeepSeek谱系平均成本降12.1%与16.9%，GPT能力谱系升3.1%、自适应谱系降6.2%；这些百分数与Table 1四位小数直接相除并不完全相同。图例为Initial B0、Adaptive Ba、Capability Bc，轴为Success (%)与Cost per task（US cents）。转写未保留点的位置。

与评测引导搜索的对比

• 协议： 两基线用十题开发集引导十次修订，再按开发集分数选一个候选。SelfSearch直接报告第十代两谱系。Verified比较排除这十题，剩110题，并另评Multilingual。附录C.3写明该对比不是预算对齐的。
• 成功率（Table 2）： GPT上Bc为78.2% / 60.0%，不低于两基线；Ba为75.5% / 58.3%，Verified低于B0的76.4%和两基线。DeepSeek上两谱系Verified均为87.3%，高于linear的81.8%与archive的86.4%；Multilingual上Ba为73.3%，与linear相同，Bc为66.7%，低于B0的68.3%及两基线。
• 搜索成本： 两谱系合计，GPT为6.52美元，DeepSeek为4.03美元。基线含编辑加开发集评测：GPT为12.35与7.53，DeepSeek为8.59与7.90。作者称SelfSearch比这些基线低13.4–47.2%（GPT）和49.0–53.2%（DeepSeek）。

跨模型迁移与其他harness

• 换执行模型、不再搜索（Table 3，SWE-bench Verified）： 用GPT-5.6 Sol搜出的Bc、Ba改由DeepSeek V4 Flash执行，为83.3%与85.0%，B0为81.7%。用DeepSeek V4 Pro搜出的改由GPT-5.6 Luna执行，为79.2%与76.7%，B0为75.0%。作者称两个迁移方向上两条谱系都高于初始智能体。
• 九harness比较（Section 3.5，附录D.3）： 用DeepSeek V4 Pro搜出的Bc，在与Apache Maka (2026)公开比较对齐的设置下执行（DeepSeek V4 Flash、xhigh reasoning、任务预定时限、100000工具步、100001次模型调用，不是Table 1的设置），89题解开73题（82.0%），与该比较中作者称为最高的Codex并列。二者各有7题只被一方解开，共同解开66题。搜索成本4.03美元。

回合记录与演化改进者

• 测了什么： 两种消融，都用与完整方法相同的搜索配置，在SWE-bench Verified上评第十代（Table 4）。一种去掉既往回合记录，实现仍跨代累积；一种让B0读记录并编辑最新实现，但B0自身不变。
• 结果： 完整方法的种群均值最高：GPT 76.2%，DeepSeek 86.7%。去掉记录：GPT 74.2%（c/a为75.0/73.3），DeepSeek 83.8%（82.5/85.0）。固定改进者：GPT 74.6%（73.3/75.8），DeepSeek 83.8%（82.5/85.0）。GPT自适应谱系上，固定改进者75.8%高于完整方法的75.0%；去掉记录的73.3%低于初始75.0%。
• 作者解读： 作者称去掉记录使均值降2.1（GPT）和2.9（DeepSeek）个百分点，固定改进者降1.7和2.9个百分点。Table 4四舍五入后的GPT均值差是2.0与1.6个百分点，DeepSeek为2.9。作者还称，GPT的固定改进者在adaptive谱系上略好于完整方法。

其他消融与分析

• 共同成功任务成本（Table 10）： DeepSeek自适应在Multilingual上整体成功率高5.0个百分点，39个共同成功任务成本降38.5%；其能力谱系在37个共同成功任务上降52.9%，但Table 1的整体成功率低于B0。Verified上DeepSeek两谱系降36.1%与19.7%（各95题），GPT降8.7%与13.6%。GPT能力谱系在TB 2.1的33个共同成功任务上为-2.4%（成本上升）。
• 下游工具调用（Table 12，269题，每任务至少一次即计入）： 两谱系平均，GPT与DeepSeek的文本搜索占比为8.6%与23.6%，按行查看为40.3%与33.8%。GPT轨迹阅读器为0.0%。
• 代际改动（Table 5、Table 11）： GPT在第6–7代互相吸收带输出限制的文本搜索和轨迹阅读器，第8代加总输出限制。DeepSeek自适应在第5代保留行首行尾来缩短搜索输出；能力谱系在第6代改为以匹配为中心的摘录，自适应在第7代纳入该修复。
• 搜索资源（Table 8，不含下游评测）： GPT-5.6 Sol为281次调用、输入5.48M token、输出101.4k、6.52美元；DeepSeek V4 Pro为832次、输入36.89M、输出578.7k、4.03美元。
• 每任务调用（Table 9，含失败）： DeepSeek在Verified上从44.1次降到33.2（Bc）与35.8（Ba），Multilingual从56.3降到41.3与42.1。GPT的Multilingual从17.1升到18.3与18.6。
• Figure 3： 作者用一个Sphinx任务说明，被截断的回合记录促使增加文本搜索，该工具后来被用来定位相关测试和调用处。图中有截断观察和工具字段名；调用文本不转写。

作者指出的局限与后续方向

论文没有单独的Limitations节。Discussion（第6节）写出两点后续工作，不是把某次实验数字偏低写成局限。

• 独立搜索是否稳定： 作者写，进一步工作应检查这些收益在独立搜索之间出现得是否稳定。
• 与评测引导选择结合： 作者写，未来可以在相同总搜索预算下，试验把SelfSearch和评测引导的选择合在一起，看能否得到更好的智能体。同节设想：在评测引导搜索里，把单步修改延成若干代由回合记录指导的修订，再评测该候选是否保留。

实验覆盖范围

• 论文报告的搜索是两种模型配置各一条双谱系、十代流程；下游模型为gpt-5.6-luna与deepseek-v4-flash-0731，搜索模型为gpt-5.6-sol与deepseek-v4-pro-0813（Section 3.1，附录C.1）。
• 下游集为SWE-bench Verified 120题、SWE-bench Multilingual 60题、Terminal-Bench 2.1的89题；与评测引导基线对比时Verified排除开发集十题，剩110题（Section 3.1–3.3，附录C.2–C.3）。
• 评测引导基线为linear search与archive search，各十次修订；附录C.3写明该对比不是预算对齐的。两种消融和跨模型迁移的报告集中在SWE-bench Verified（Section 4.1，Table 3、Table 4）。
• 与其他harness的比较使用DeepSeek V4 Pro搜出的能力谱系，执行设置为xhigh及扩展的步数限制，对齐Apache Maka (2026)的九harness、DeepSeek V4 Flash、Terminal-Bench 2.1设置（Section 3.5，附录D.3）。
• 论文未报告独立重复搜索的次数、下游评测的重复次数，也未报告统计显著性检验。

SelfSearch是搜索期不看下游奖励的智能体改写流程：后继实现由上一轮自我修改的过程记录来指导，模型权重不动。

• 问题： 作者认为，用下游评测反复筛选候选，会把改进信号绑在任务分布上，并使搜索成本随评测规模上升；修改过程留下的轨迹尚未被当作搜索信号。
• 做法： 从同一初始仓库拉出capability与adaptive两条谱系，各改十代。每代只读上一轮两份回合记录，改可编辑副本；模型、推理强度和步数预算在仓库外。评的是每条谱系的最终实现，不按下游分选检查点。
• 成功率： 作者报告，两个下游模型乘三个基准的六组里，两谱系平均都高于初始实现（Table 1）。GPT能力谱系在Terminal-Bench 2.1上从43.8%到55.1%；DeepSeek两条谱系在SWE-bench Verified上从81.7%到86.7%。DeepSeek能力谱系在Multilingual上为66.7%，低于初始的68.3%。
• 成本、迁移与外部比较： DeepSeek自适应谱系在Multilingual上成功率高5.0个百分点，共同解开的任务上执行成本降38.5%（Table 10）。换模型家族执行且不再搜索时，Table 3的交叉格子都高于对应初始值。在与公开九harness比较对齐的xhigh设置下，DeepSeek搜出的能力谱系用V4 Flash解开73/89（82.0%），与Codex并列；这次搜索花费4.03美元。
• 作者结论： 作者认为，改写智能体的过程本身就能为后续改进提供经验；Table 4中，去掉回合记录或把改进者固定在初始实现，种群平均成功率都低于完整流程。Discussion把下游评测写成可与这种经验互补、但应分开计成本的环节。