选择不等于学习:为自演化语言模型挑选未来
Selection Is Not Learning: Choosing Model Futures
EVOHEIR用新探针决定是否继承,十轮后四骨干数学均分最高,Qwen3-8B相对Agent0 +7.0%。
- 自演化模型自己出题并在自身输出上训练,每轮必须决定继承哪个更新。R-Zero、Agent0、Skill-SP按任务可学性准入并继承全部更新,但可学任务未必产生有用更新,退步会进入后续课程。
- EVOHEIR每轮探索原生分支,筛选参数接收者,用当前与归档经验修复失败并保留成功,再以新探针确认是否继承。HEIRCOMMIT只在冻结后继优于当前根时提交;合格经验无论是否提交都归档。
- 四骨干十轮后EVOHEIR数学与一般推理均分都最高,Qwen3-8B-Base相对Agent0的Math Avg.为+7.0%(Table 1)。HEIRCOMMIT把三宿主有害提交占比降到13.33%–16.00%。
- 论文未单列局限或后续工作。附录B.3写:通过验证的缺陷参考会带偏修复,吸收可能丢掉成功,零阈值下采样噪声可能放进有害提案。主实验为四骨干、十轮、三种子;消融与等预算在Qwen3-4B-Base上。
- 被测模型
- Qwen3-4B-BaseQwen3-8B-BaseOLMo-3-7B (allenai/Olmo-3-1025-7B)Gemma-4-E4B-it
- 基准
- MATH-500MinervaOlympiadBenchOmni-MATH-2MATH-BeyondAIME 2025AIME 2026SuperGPQAMMLU-ProBBEHLiveBench ReasoningKOR-Bench
- 指标
- Math Avg.General Avg.exact-answer accuracypass@1harmful commitscorrect-target NLL gainabsorption gainselected-target optimism
论文指出现有自演化语言模型训练循环存在选择到更新的落差,并提出 HeirCommit 与 EvoHeir 两种继承判定方法。R-Zero、Agent0、Skill Self-Play 等循环通过任务本身决定继承哪一版更新,接受看起来可学的任务并继承其全部更新,但多数在验证任务上的更新并未提高答对概率。HeirCommit 冻结更新后的模型,用新的评测问题决定继承还是保留当前模型;EvoHeir 把参数继承与经验继承分开,先用当前与归档经验修复失败、保留成功再作最终确认。分析刻画了选择引发的乐观,并把遗憾分解为选择、吸收与确认三类误差。作者报告,在相同接受率下 HeirCommit 把有害更新占比相对随机继承降低 68-83%;在四个骨干模型上 EvoHeir 的数学与通用推理平均成绩最好,数学平均比最强基线 Agent0 高 5.3%。
深度解读
这篇论文试图解决什么问题?
自演化按任务可学性继承更新,但可学任务未必带来有用的模型未来。
自演化每轮都要决定继承哪个更新后的模型,但按任务可学性筛选认不出有用更新。
- 场景:模型自己出题,并在自己的输出上训练。作者称,被继承的更新会同时改变学习者和之后的课程,进步或退步都会累积;自训练还可以先抬高目标指标,再在同一次训练里把它压垮(Lin, 2026)。
- 现有不足:R-Zero、Agent0、Skill Self-Play(Skill-SP)按任务做决定:准入看起来可学的任务,并继承由此产生的每一次更新。作者称,通过率、分歧和前沿接近度描述的是训练前行为,不是优化器更新产生的迁移。
- 核心观察:作者将此称为 selection-to-update gap。独立回答下,Agent0 与 R-Zero 的原生准入任务分别有 52.2% 和 42.0% 离开前沿(第 6.1 节;引言概括为 42–52%)。即便任务精确有效,96 次 Skill-SP 更新里有 60 次正确目标负对数似然(NLL)增益非正。
- 本文提出:HEIRCOMMIT 冻结后继,用新题决定继承它还是留下当前模型(根)。EVOHEIR 把参数继承和经验继承分开:筛选决定下一学习者的参数起点,再用当前与归档参考修复失败、保留成功;确认发生在吸收之后。合格经验无论该轮是否提交都进入归档。
有哪些相关研究?
相关工作覆盖自演化接受、特权蒸馏和经验回放;本文分开选接收者与留经验。
论文把相关工作分成自演化与更新接受、特权上下文蒸馏、经验持久化三组,并据此把接收者选择、经验 donor 和吸收后确认分开。
自演化与更新接受
- 自生成监督:STaR、Self-Instruct、SPIN(Zelikman et al., 2022; Wang et al., 2023; Chen et al., 2024)从自生成监督中学习;Alami et al. (2024) 用 KL 项和跨迭代虚构博弈正则化 SPIN。
- 任务与课程:Absolute Zero、SPELL(Zhao et al., 2025; Yang et al., 2026)用自博弈生成任务,DataEnvGym(Khan et al., 2025)用学生反馈。R-Zero、Agent0、Skill-SP 自适应课程。更早的自动课程按测得的学习进度选题(Graves et al., 2017; Matiisen et al., 2020);论文转述 Willems et al. (2020) 认为该信号有缺陷,并提出掌握率。
- 是否接受更新:SOAR 与 Actor-Curator 使用已实现的改进(Sundaram et al., 2026; Gu et al., 2026)。更新接受出现在 AlphaGo Zero,而不在 AlphaZero(Silver et al., 2017b;a)。APE 在接受前评估候选微调(Marín, 2025);PACE 做非参数智能体演化(Shawn, 2026)。Shang et al. (2026) 与 Sengupta (2026) 在基座保持冻结时,于提交前验证蒸馏技能,或为适配器与 harness 更新提供证书。Lin et al. (2026) 讨论 harness 更新也未必带来收益。
特权上下文蒸馏
- 学生前缀:GKD 在学生生成的前缀上训练(Agarwal et al., 2024)。
- 条件自教师:SDFT、SDPO、OPSD 让自教师条件于演示、反馈或特权上下文(Shenfeld et al., 2026; Hübotter et al., 2026; Zhao et al., 2026);OPCD 内化上下文知识(Ye et al., 2026b)。
经验持久化
- 回放与合并:experience replay 保留过去经验(Rolnick et al., 2019);遗传蒸馏合并策略(Gangwani & Peng, 2018)。
- 内化累积经验:在线经验学习与 SPEE 把累积经验内化进模型(Ye et al., 2026a; Ren et al., 2026)。
基线与基准
- 基线方法:十轮比较为 R-Zero、Agent0,以及去掉吸收、保留探索、筛选和确认的 No Recovery。HEIRCOMMIT 审计对照为全部提交(commit-all)和同一接受率下随机提交的 matched random。
- 基准:七个数学基准 MATH-500、Minerva、OlympiadBench、Omni-MATH-2、MATH-Beyond、AIME 2025、AIME 2026;五个一般推理基准 SuperGPQA、MMLU-Pro、BBEH、LiveBench Reasoning、KOR-Bench。
作者把 EVOHEIR 定位为:分开选择参数接收者和经验 donor,再确认吸收之后的后继。作者称 Recovery 把面向接收者的修复与保留、跨分支参考、固定的接收者轨迹和吸收后确认合在一起;经验按当前接收者重新评估,并独立于参数是否被接受而保留,被拒绝的状态仍可当 donor。
论文如何解决这个问题?
先筛选参数接收者,再吸收当前与归档经验,最后用新探针决定是否继承。
EVOHEIR 每轮给探索两条进入下一学习者的路径:被选中的参数,和被吸收的经验。四步对应 Figure 3 与 Algorithm 1:从根探索原生分支,筛选参数接收者,把当前与归档经验收进该接收者,再用新探针向根确认。
环境与价值
- 一轮的状态:根状态为 St=(θt, ωt),θt 是参数,ωt 是可恢复训练状态(优化器矩、学习率调度器、随机数生成器)。Curriculum Scout 出题,Evolution Controller 按 Evolving Learner 的前沿准入,原生训练以 R-Zero 式循环更新两个智能体(Figure 2)。每轮从根训练两条隔离的原生分支。
- 不相交的数据角色:训练与 Recovery、筛选、确认、最终评测使用不相交题池。在线分数使用冻结的共识标签。附录 A:每轮 1,024 次出题;原生准入每题十条回答;每条分支一个 64 题 cohort。共识支持度为最大答案簇占有效答案的比例,探针要求至少 0.7;无有效答案的题排除。
- 价值:对声明分布 Pt 和效用 q,状态相对根的价值是 Vt(S)=E[q(S;z)−q(St;z)],其中 z 抽自 Pt,根的价值为 0。能力用精确正确或采样 pass@1;更新审计用正确目标 NLL 的下降,作者写明这不是准确率差。二值正确性下,价值等于新获得的成功概率减去丢失的成功概率。
- 三步决策:筛选从原生终点并上根中选接收者;Recovery 把它变成提案;确认保留根或采用提案。转移遗憾是已构造状态中的最大价值减去实际继承状态的价值。吸收增益是提案相对接收者的价值变化。
筛选接收者并恢复经验
- 谁提供参数:原生终点和预先声明的训练前缀检查点构成候选。控制器在共享筛选池上打分前先冻结候选。配对的根相对分数选出接收者;平局先选根,再按固定分支顺序。筛选可以选中根本身,因此下一学习者的参数起点不必来自分支终点。筛选池为 16 题,每题每状态四条回答,温度 0.7、top-p 0.95(附录 A)。
- 谁提供经验:Experience Donor 只贡献合格回答,不必提供被继承的参数,也不必继续当教师。当前探索记录和有界归档提供问题与参考,并附生成检查点、轮次和验证轨迹。资格检查完整性、答案有效性和题目级去重。归档最多 256 条,按规范化题目去重(附录 B.4)。
- 按接收者分组:接收者在无参考条件下作答,用精确检查点缓存或一批 rollout。失败且有合格参考的进入修复组,成功的进入保留组。两组互斥且针对该接收者:归档中的成功,若当前接收者复现不了,会变成修复材料。每轮最多提名 32 条探索记录和 32 条学习者成功记录;接收者尝试在 64 次生成预算内。
- 冻结接收者当教师:教师和学生都从选中参数初始化,并在接收者已生成的固定前缀上预测下一 token。修复教师额外看到一条 donor 参考;保留教师和学生只看题目。学生在失败尝试上匹配修复教师,在成功尝试上匹配保留教师。损失为 Lrec(θ)=⟨d(Trepair,Pθ)⟩repair+λkeep⟨d(Tkeep,Pθ)⟩keep。d 是全词表上的前向 KL,两组按题平均。报告运行取 lambda_keep=1,LoRA rank 8、缩放 16,目标投影为 q_proj 与 v_proj,学习率 5×10^−5,最多 16 次更新(附录 B.4)。经验池为空则接收者不变。部署的只有结果学习者。
HEIRCOMMIT
- 确认真正会留下的状态:包括吸收造成的变化。给留出确认池打分前先冻结最终提案。确认池上与根配对的价值估计大于阈值才采用提案,否则保留根。报告运行的阈值为 0,即增益必须严格为正。正置信边际对应 Theorem 1 的认证模式。
- 拒绝不再试:拒绝时恢复完整根状态,包括调度器和随机数生成器,不回退到接收者,也不再测另一个提案。与根相同的提案是零价值空操作。确认池为 32 道新题,每题每状态四条回答(附录 A)。
- 与构造方式无关:外部宿主可以把 HEIRCOMMIT 用到单次原生更新上;EVOHEIR 负责构造和搜索。被接受的吸收权重并入下一原生根,并重新初始化原生优化器和调度器。合格经验无论是否提交都归档。附录 H 给出 Scout、解题输入和修复教师的消息格式;筛选与确认没有自然语言裁判提示。
可识别性与遗憾
- 任务侧不可识别:Proposition 1 称,对损失下降效用和任意正的价值间隔,任何只基于训练前行为观察的持久化规则,都会面对两个可微学习世界:观察、目标有效性和原生步长相同,价值却一正一负。相对“该更新与根中较好者”,最坏期望遗憾至少为该间隔的一半。观察接口不含更新梯度。
- 筛选乐观与分开的池:Proposition 2 称,即使每个候选分数无偏,筛选胜者的分数期望仍不低于其真实价值。Theorem 1:复用筛选来接受分支,要在分支数上付 union bound;吸收完成后再用新探针确认已经固定的提案,指数界不含分支数。作者写明,报告用的零阈值用接受灵敏度换掉这一正边际保证;附录 C 写该模式下指数界为 1。
- 遗憾分解:Corollary 1 称,在已实现候选集内,遗憾至多是两倍筛选误差、吸收损失、确认误差与边际之和。No Recovery 的吸收损失为零。跨轮时,各轮错误预算之和不超过总预算,可得到同时成立的界(附录 C.3)。
论文做了哪些实验?
十轮后EVOHEIR在四骨干上两项均分都最高;HEIRCOMMIT降低三宿主的有害提交占比。
实验设置
- 骨干与协议:Qwen3-4B-Base、Qwen3-8B-Base、OLMo-3-7B(附录 A 的检查点为 allenai/Olmo-3-1025-7B)、Gemma-4-E4B-it(google/gemma-4-E4B-it)。前三个是预训练基座,Gemma 是指令微调起点。每个方法十轮、三个训练种子,每轮后评测实际继承的检查点,含保留根的轮次。
- 宿主审计:HEIRCOMMIT 用在 R-Zero、Agent0、Skill-SP 的原生更新上,由集成适配器决定继承。每宿主 64 次更新,打分池与决策探针不相交;另有 96 次 Skill-SP 的精确有效任务审计。论文未说明这组审计的骨干。
- 基线:十轮比较为 R-Zero、Agent0、No Recovery(去掉吸收,保留探索、筛选和确认)和 EVOHEIR (Full)。继承审计对照为 commit-all 与同覆盖率的 matched random。Skill-SP 不在 Table 1 的十轮比较中。
- 基准规模:去重后 MATH-500 500、Minerva 272、OlympiadBench 674、Omni-MATH-2 4,159、MATH-Beyond 146、AIME 2025/2026 各 30。SuperGPQA 26,529、MMLU-Pro 12,032、BBEH 4,520、LiveBench Reasoning 200、KOR-Bench 1,250(附录 E)。
- 指标与判定:Math Avg. 与 General Avg. 对各自基准等权。前五个数学基准和一般推理基准用一条贪心回答、精确答案准确率。AIME 每年每题 32 条回答(温度 0.6、top-p 0.95、top-k 20),用平均回答正确率估计 pass@1。LiveBench 对其三个 Reasoning 任务取平均,KOR-Bench 对其五个类别取平均。更新审计用正确目标 NLL 下降。筛选和确认是数值配对增益;论文写明运行中没有自然语言评审提示,也没有模型生成的接受或拒绝(附录 H.4)。
- 重复:Table 1 的分数是三种子均值;± 只标在 Math Avg. 上,是三种子样本标准差。Figure 7d 的区间是三个种子组、2,000 次分层配对 bootstrap 的逐点 95% 区间。这些十轮结果是固定轮数比较(第 6.3 节)。
主结果
十轮后的 Math Avg.(%,据 Table 1)。± 为三种子样本标准差;Base 未给标准差。
表格较宽,可左右滑动
骨干 Base R-Zero Agent0 No Rec. EVOHEIR Qwen3-4B-Base 25.81 28.79±0.65 30.01±0.57 30.29±0.40 31.82±0.55 Qwen3-8B-Base 28.06 32.65±0.65 34.11±0.63 34.35±0.38 36.51±0.67 OLMo-3-7B 19.92 21.73±0.61 23.35±0.44 23.50±0.56 24.94±0.48 Gemma-4-E4B-it 43.77 45.11±0.50 46.66±0.59 46.53±0.42 47.21±0.44 - 作者的概括与不同表述:作者称 EVOHEIR (Full) 在每个骨干上 Math Avg. 与 General Avg. 都最高。Table 1 的 vs. Agent0 列为 +6.0%、+7.0%、+6.8%、+1.2%。作者称三个基座上超过 Agent0 1.59–2.40 个百分点,Gemma 余量最小、仍领先 0.55 个百分点;相对基座的 Math Avg. 提高 7.9–30.1%,为所比较方法中最多。摘要写相对 Agent0 提高数学均分 5.3%;结论写最高 7.0%。Figure 1 另标四骨干均值的十轮数学增益:EVOHEIR +5.7、Agent0 +4.1,R-Zero 在第 8 轮达到峰值 +2.7 后回落。这三处不是同一个数。
- General Avg.:Table 1 中 EVOHEIR 为 30.52、36.48、21.40、40.93,对应 Agent0 为 29.51、35.24、20.05、40.37,No Recovery 为 29.82、35.75、20.34、40.73,顺序均为四个骨干。R-Zero 的 General Avg. 在四行都低于 Agent0。表中仅 Gemma 的 No Recovery Math Avg. 低于 Agent0,其余三个基座上 No Recovery 略高于 Agent0。
- 逐基准与轨迹:作者称 48 个基准–骨干格子中 45 个 EVOHEIR 高于 Agent0,三个例外都是 30 题的 AIME 集合(Figure 5)。图中可见负值为 −0.28、−0.73、−0.77;正文未逐格写明年份,这里不按可能错位的列指定年份。Figure 6 中 Full 在四骨干上都在第 10 轮处最高,带为三种子 ±1 标准差,各面板纵轴刻度不同。
任务选择与 HEIRCOMMIT
- 选择不等于学习:选中目标的乐观程度,即选择它的那些回答上的支持减去新回答上的支持,Agent0 为 8.60 个百分点、R-Zero 为 4.10 个百分点;固定目标对照为 0.20 与 −0.10 个百分点(第 6.1 节)。新回答下,Agent0 与 R-Zero 已准入任务离开原生前沿的比例为 52.2% 与 42.0%。96 次精确有效的 Skill-SP 更新中,60 次(论文亦写 62.5%)没有降低正确目标 NLL(Figure 4b)。
- 有害提交:Table 4 中 HEIRCOMMIT 的覆盖率为 R-Zero 23.44%、Skill-SP 39.06%、Agent0 51.56%(正文概括为提交 23–52%)。有害提交占比从全提交的 76.56%、57.81%、46.88% 降到 13.33%、16.00%、15.15%(Figure 4c 四舍五入为 77/58/47 与 13/16/15)。matched random 保持全提交的有害占比。作者称相对它的降幅为 68–83%。有用更新保留率为 86.67%、77.78%、82.35%,正文概括为 78–87%。
- 池增益:Table 4 的池平均 NLL 增益(10^−3,越高越好)从全提交的 −23.17、−3.47、+2.80 变为 HEIRCOMMIT 的 +10.19、+2.49、+14.35,顺序为 R-Zero、Skill-SP、Agent0。作者报告两个宿主上由负转正,并称 Agent0 的增益提高五倍。这组审计的骨干论文未说明。
经验是否随模型留下
- 弱 donor 仍可有用:16 次干预,四个固定接收者来自第 3、5、7、10 轮,各有两个当前 donor 和两个归档 donor;每次重启接收者,确认前在同一 1,024 题上评测,增益相对该接收者。十个弱于当前根的 donor 中有八个仍改善接收者;其 donor 增益均值为 −1.09 个百分点,吸收增益均值为 +0.71 个百分点(Figure 7a)。
- 修复并保留:同一 64 条参考上,Cache SFT 新成功 +2.08 个百分点、丢失 2.61 个百分点,净 −0.54;Recovery 新成功 +2.54、丢失 1.15,净 +1.39(Figure 7b)。作者称 Recovery 在四个检查点都高于 Cache SFT,平均高 1.93 个百分点;Recovery 自己在第 7 轮的净增益为 −0.20 个百分点。
- 被拒绝的轮次:固定 64 条参考时,仅当前材料 +0.39 个百分点,加上已提交轮次的历史 +0.73,再放入全部合格历史(含模型被拒绝的轮次)为 +1.39(Figure 7c)。贡献列表写,被拒绝轮次的经验在已提交历史之外再加 0.66 个百分点。匹配替换中,非继承来源相对同龄已继承记录在年龄 1 至 4 仍多 0.34–0.73 个百分点,逐点 95% 区间在零以上(Figure 7d)。Figure 8:Qwen3-4B-Base 第 5 轮,一条未被继承的第 4 轮归档参考所对应的答案,Recovery 在去掉参考后复现;同一预算下 Cache SFT 改错接收者原本做对的一道余数题,Recovery 保持原答案。该轮新探针增益 −0.31 个百分点,HEIRCOMMIT 保留根。
其他消融与分析
- 组件消融只在 Qwen3-4B-Base、三种子(Table 2):Full 的 Math / General 为 31.82±0.55 / 30.52±0.35;Same-Lineage 30.77±0.57 / 29.99±0.35;Random Experience 30.54±0.44 / 29.87±0.43;Current-Round Only 30.85±0.69 / 30.04±0.35;NoConfirm 29.80±1.13 / 29.33±0.65。作者称去掉任一机制都会降低两项平均;前三项 Math 低 0.97–1.28 个百分点、General 低 0.48–0.65 个百分点;NoConfirm 降幅最大,为 2.02 与 1.19 个百分点。
- 等记账预算(Qwen3-4B-Base,十轮,三种子):单流原生基线 100.0 单位,No Recovery 默认 111.9,Full 默认 123.7,作者称构造开销 23.7%(附录 G)。Full 在 0.8 倍默认预算时均值最低,从 1.0 倍起最高(Figure 9a)。单位不是测得的 GPU 小时或 FLOPs。
- 候选数与确认池:预算 1.0 时,四个候选的均值最大,接近默认的两个;确认池 32 与 64 题也接近(Figure 9b、9c)。正文未给出各设置的 Math Avg. 读数。默认筛选 16 题、确认 32 题。
- 保留权重:默认 lambda_keep=1 的净吸收增益最大(Figure 9d)。固定接收者、2,400 题(起初解出 1,224,即 51%)上,三吸收顺序种子的净增益为 Recovery 3.57±0.30、Repair only 2.26±0.45、Cache SFT 1.11±0.86 个百分点(附录 F)。
- 墙钟时间:两张约 96 GB GPU 上,Full 每轮约 8–9 小时,十轮约 80–90 小时;基准评测合计约 4–5 小时(附录 G)。
有什么可以进一步探索的点?
论文未单列局限;附录写出验证漏检、吸收丢成功,以及零阈值可能放入有害提案。
作者指出的局限与后续方向
论文没有 Limitations、Discussion 或 Future Work 专节,也未写出后续工作计划。附录里明确写出的失败模式如下。
- 缺陷参考:附录 B.3 写,不完整或冲突的参考会在训练前排除,但通过验证器的缺陷参考仍会引导修复教师,因此修复依赖验证质量。
- 吸收丢成功:附录 B.3 写,吸收也可能丢掉已有成功,并指向 Figure 7 中第 7 轮净增益 −0.20 个百分点。
- 零阈值:附录 B.3 写,经验零阈值下采样噪声可能放进有害提案;Theorem 1 的正边际模式为该风险提供界。附录 C 写,该经验模式的指数界为 1。第 5 节写,报告用的零阈值用接受灵敏度换掉正边际保证。
实验覆盖范围
- 主实验:四个骨干各跑十轮、三个训练种子;评测七个数学基准和五个一般推理基准,规模见附录 E;Table 1 是第 10 轮、实际继承的检查点。
- 继承审计:HEIRCOMMIT 用在 R-Zero、Agent0、Skill-SP 的原生更新上,每宿主 64 次,另有 96 次 Skill-SP 精确有效任务审计(第 6.1–6.2 节、Table 4)。论文未说明这组审计的骨干。
- 消融与干预:Table 2 的组件消融和 Figure 9 的等预算比较都在 Qwen3-4B-Base 上、三个训练种子。经验干预为第 3、5、7、10 轮的四个固定接收者、16 个 donor,确认前同一 1,024 题(第 6.4 节)。
- 判定:筛选 16 题、确认 32 题,每题每状态四条回答;共识探针支持度阈值 0.7(附录 A)。论文写明没有自然语言裁判(附录 H.4),未报告与人工判定的一致性。主结果给出三种子样本标准差;假设检验只在 Figure 7d 的 bootstrap 区间中出现。
- 成本记账:原生基线 100.0 单位,No Recovery 111.9,Full 123.7;论文写明这些单位不是测得的 GPU 小时或 FLOPs。Full 在两张约 96 GB GPU 上每轮约 8–9 墙钟小时(附录 G)。
总结一下论文的主要内容
判断更新本身而不只是任务,并让经验留在产生它的模型被拒绝之后。
这篇工作处理自演化训练里的继承决策:下一轮该带走哪一次更新,而不是只看这次任务是否看起来可学。
- 问题:R-Zero、Agent0、Skill-SP 按训练前行为准入任务,并继承由此产生的每一次更新。作者将由此留下的空隙称为 selection-to-update gap。独立回答下,两类原生准入分别有 52.2% 和 42.0% 离开前沿;96 次精确有效的 Skill-SP 更新里,60 次没有降低正确目标 NLL。
- 做法:HEIRCOMMIT 冻结后继,只在新探针上严格优于当前根时才继承,拒绝则恢复完整根状态。EVOHEIR 再把两件事分开:筛选决定参数起点,Recovery 用当前与归档参考修复该接收者的失败并保留其成功,确认发生在吸收之后。合格经验无论是否提交都进入归档,被拒绝的状态以后仍可当 donor。筛选与确认用不相交题池;作者用 union bound 说明,复用筛选证据来接受分支,和用新探针确认固定提案,不是同一个保证。报告运行的阈值为 0。
- 继承审计:在三宿主各 64 次原生更新上,HEIRCOMMIT 把有害提交占比从 76.56%、57.81%、46.88% 降到 13.33%、16.00%、15.15%(Table 4)。作者称相对同接受率随机继承,降幅为 68–83%。R-Zero 与 Skill-SP 的池增益由负转正。论文未说明这组审计的骨干。
- 十轮结果:四个骨干上,EVOHEIR 的 Math Avg. 与 General Avg. 都高于 R-Zero、Agent0 和 No Recovery(Table 1)。相对 Agent0 的 Math Avg. 增益为 +6.0%、+7.0%、+6.8%、+1.2%。摘要另写 5.3%,结论写最高 7.0%;Figure 1 的四骨干均值数学增益为 +5.7 个百分点。48 个基准–骨干格子中 45 个高于 Agent0,作者称三个例外都是 30 题 AIME 集合。
- 经验:十个弱于当前根的 donor 里有八个的经验仍改善接收者。同一 64 条参考上,Recovery 净增益 +1.39 个百分点,Cache SFT 为 −0.54;第 7 轮 Recovery 自身为 −0.20。作者称,产生经验的模型未被继承,并不妨碍这份经验以后被用上。
- 作者的结论:自演化系统应判断自己产生的更新,而不只是所选题,并在模型未被继承时仍保留有用经验。