MASS：通过多智能体自监督实现递归自我改进

开放且难以外部验证的研究任务上，被改进的模型同时是最好的可用监督者，同质自我反馈可能强化错误。

• 场景：作者称前沿系统已参与原始科学结果，要维持规模与节奏，自然方向是递归自我改进（RSI），由评估与改进驱动。评估困难在于工作超出可用人类专家的评估能力（Burns et al., 2023），或反馈太慢；作者举例，核聚变中一次托卡马克等离子体研究可能需要超过120 million CPU小时。改进则依赖高质量执行数据，而手工修订任务分解、工具使用和验证，作者称跨任务、跨领域代价过高。
• 现有不足：让模型担任评估者能缓解评估端，但中心困难是被改进的模型也是最好的可用监督者。作者称生成、评估和修订共享同一学习先验，自我反馈可能强化而非纠正错误（Huang et al., 2024）；单一实例也难以批判并改进自己的复杂推理。
• 假设：作者借用Minsky的Society of Mind，用同一模型的多个副本分工，再把集体经验蒸馏进共享权重。两点假设是：优化智能体沟通什么、向谁、何时沟通，而不只是增加人数，可提供不同于加强推理链的自我监督；联合学习编排与有界子智能体执行，可能比从一条交织两层抽象的长轨迹学习更高效。后者作者写为猜想，灵感来自分层模仿学习。
• 方法：作者提出Multi-Agent Self-Supervision（MASS）。同一基座先在固定权重下进化式优化多智能体工作流，再对编排者与子智能体轨迹做监督微调；更新后的模型重新担任执行、优化和评估。

第6节分成自我改进/工作流优化，以及模型与工作流协同演化；附录J用机制对照补充定位。

自我改进与自监督训练

• Schmidhuber：1993年自指权重修改、1997年基于奖励的策略改变，以及2007年Gödel machine中有证明把关的自我改写。作者称MASS使用经验式工作流搜索和SFT，没有形式保证。
• Self-Rewarding LMs（Yuan et al., 2024）、SiriuS（Zhao et al., 2026）、Multi-Agent Evolve（Chen et al., 2025a）：分别在自评分响应上训练、在筛选后的多智能体轨迹上训练，以及让共享模型提问、求解和评判。附录J称Self-Rewarding没有工作流搜索；Multi-Agent Evolve的提议者生成的是问题，而不是执行工作流。
• Expert Iteration、STaR、ReSTEM：附录J把搜索后再蒸馏的先例写为策略学习、从到达已知答案的推理中学习，以及生成、奖励过滤和微调交替。作者把MASS写成把该路线用于优化后的多智能体研究工作流，编排者与worker共享权重。

工作流与通信结构

• ADAS、AFlow、GPTSwarm（Hu et al., 2025; Zhang et al., 2025; Zhuge et al., 2024）：搜索智能体程序、工作流图，或提示词与通信边。附录J称这些工作确立了智能体计算的自动设计；MASS再从执行轨迹学习共享权重。
• RHI（Lee et al., 2026）：用成对比较修订工作流提示。作者称RHI提供本文的工作流搜索方法和信息流动机，MASS加上基于轨迹的后训练。
• TTHE（Nie et al., 2026）与Park et al., 2026：TTHE用一个冻结骨干做执行、harness提议和评判；Park等在推理时让通信智能体共享发现。附录J称TTHE体现同质环内角色，但权重保持固定。

模型与工作流协同演化

• SIA（Hebbar et al., 2026）：单独的反馈模型修改scaffold并发起权重更新，依赖任务验证器。
• HASE（Luo et al., 2026）：单一策略用强化学习同时学习任务解和harness编辑，训练信号来自任务奖励。
• HELIX（Fan and Huang, 2026）：演化harness并导出经过验证的训练记录。附录J称其报告的实验停在数据生成，没有权重更新。

基线与基准

• 基线：S、S+、S++在成功的单智能体轨迹上从L(0)微调，排除有子智能体调用的回合；M、X、M+使用多智能体或混合教师。公开评测的对照是同一qwen-code脚手架下的L(0)。
• 基准：私有合成研究编程任务，以及MLR-Bench、ScienceAgentBench、DSBench、AstaBench、Terminal-Bench 2.0、SWE-bench Verified。

附录J将本文定位为：搜索多智能体工作流，把筛选后的编排者与worker对话微调进共享权重，再让学生担任三个角色。同质条件指环内执行、评估和优化；角色消融会改变这一分配。

MASS让当前模型L(g)先改写自身副本如何协作，再从协作轨迹更新权重；下一周期三个角色都换成L(g+1)。实验做到两个周期，即L(0)到L(1)到L(2)。

问题设定

• 任务与角色：T为有限任务集，训练子集与测试集不相交。编码智能体A的工具和记忆全文固定，脚手架为qwen-code 0.20.0。一次执行得到轨迹τ_t和可交付工作区y_t。同质设定中L_agent、L_eval、L_opt都等于当前L(g)。
• 目标：提高外部强模型L_ext判断下，本代输出优于此前各代输出的概率。L_ext的判断不进入Algorithm 1，也不是SFT目标。
• 工作流：工作流是追加到任务提示后的文本规格。对任务t，w_t={h_t,(r_t,j,u_t,j,c_t,j)_j=1^m_t。h_t是调用顺序，r是角色，u是指令，c是返回给编排者的输出契约，m_t是子智能体数。编排者与全部子智能体共用L_agent。

内循环：工作流优化

• 精英保留：每个训练任务独立维护工作流序列和迄今最佳w_t*。L_opt根据当前最佳、反馈历史和优化提示提出下一工作流并执行。L_eval把当前输出与最佳输出成对比较，当前更好才替换精英。作者称这类似精英规模为1的进化。未被选中的提案仍会执行，后续执行质量不必单调上升。
• 搜索偏置：优化提示明确强调通信结构，即调用顺序和输出契约，高于角色与指令。保留工作流是环内序贯成对自评下的最佳，作者写明不是经过认证的全局最优。未超过参考工作流的任务不进入教师采集。
• 提示从训练输入中移除：作者称把多智能体工作流写入提示，是让模型按组织指令行动的一种做法。教师采集另附执行指令，要求通过agent工具实际调用worker；附录B.3给出全文。构建数据时，该指令与w_t*从编排者的初始输入中移除，worker收到的分配保留。

外循环：监督微调

• 筛选：每个训练任务用保留工作流独立执行M=18次。L_eval在任务内比较工作区，Bradley–Terry模型把成对判断转为分数。前K−1条做训练，第K条做验证；实验取K=16。一条轨迹因脚手架提前终止被排除后，8个任务得到119条训练轨迹，即(9−1)×15−1。
• 窗口与采样：窗口至多L_max=49,152 token，最多8,192 token的前文可保留但掩码、不计入损失。损失只落在助手推理、文本和工具调用上。正文使用固定的2:1子智能体对编排者采样；附录B.2写为编排者窗口概率1/3，worker与辅助窗口合计2/3，有放回。
• 优化器：在BF16父模型上新初始化LoRA，rank 64、scaling factor 128、dropout 0.05。AdamW的beta1=0.9、beta2=0.95，峰值学习率3×10^-5，5步warmup，余弦衰减到峰值的10%。第一周期1,624步、每步3个窗口。按最低验证损失选检查点，第一周期为步数1200；外部工作区判断不参与。第二周期在合并后的L(1)上重新初始化LoRA，检查点仍按验证损失选择；论文未给出该周期步数。

外部成功判定

• 胜率：报告用的L_ext是GPT-5.5与Claude Opus 4.8，均为最大推理力度，种子42、43、44，每对工作区6个判断。胜率为ŝ(a,b)=W_a,b/(W_a,b+L_a,b)，平局排除。作者称这是对同一对输出的重复评估，不从判断次数推断统计显著性。
• 与环内信号分开：工作流搜索和教师排序用当前模型，检查点用验证损失。自评一致率是在自评看不到外部判断之后计算的。附录D的教师构成对照改用外部判断选检查点。

实验设置

• 被测模型：L(0)为Qwen3.6-27B-FP8；训练用BF16父模型加LoRA，推理前合并适配器并量化为block-FP8。L(1)、L(2)是一、两个MASS周期后的同一基座。脚手架均为qwen-code 0.20.0。
• 数据：GPT-5.5生成12个私有长程研究编程任务，金融、机器人、药学各4个。9个指定训练；任务221因搜索未超过参考而排除，8个进入SFT。另3个合成任务按领域各留1个作测试。
• 公开基准规模：Table 7为ScienceAgentBench 102×3、MLR-Bench 12×5、AstaBench E2E-Bench-Hard 40×3、DSBench 74×3、Terminal-Bench 2.0 89×3、SWE-bench Verified 500×3。后两项各试验只保留三个模型都有验证结果的任务，分母分别为86/88/87和499/499/496。MLR-Bench分数来自12任务子集，不是第4.1节列举的107任务全量。
• 基线：裸提示下的L(0)；工作流迁移把不同代的工作流交给固定执行器。S、S+、S++、M、X、M+都从L(0)独立微调。
• 指标与评审：合成任务用外部胜率。公开指标分别为成功率、MLR Overall（0–10，缺论文记0）、清单满足比例、归一化分数（负值截为0）、通过率。合成任务与MLR由GPT-5.5和Claude Opus 4.8各3种子评审；AstaBench官方rubric评判为Claude Sonnet 4.6，temperature 0。其余公开基准用官方执行或测试，不是LLM胜率。
• 重复：除MLR为5次试验外，公开基准为3次。表中±是试验均值的样本标准差。合成主比较为每任务10条裸提示rollout。公开基准采样为temperature 0.6、top-p 0.95、top-k 20。

主结果

下表据Table 7，与Figure 3b一致。这些是分数，不是单位token得分。

表格较宽，可左右滑动

基准与指标	L(0)	L(1)	L(2)
ScienceAgentBench成功率（%）	28.8±1.5	30.4±2.0	31.7±2.0
MLR-Bench Overall（0–10）	1.58±0.38	1.80±0.30	2.40±0.28
AstaBench rubric	0.053±0.002	0.055±0.004	0.067±0.017
DSBench归一化分数	0.473±0.029	0.465±0.011	0.482±0.025
Terminal-Bench 2.0通过率（%）	37.5±2.2	35.3±2.1	35.2±1.7
SWE-bench Verified通过率（%）	62.6±1.4	61.8±1.9	61.1±0.6

• 单位token：Figure 2标注L(2)相对L(0)的单位输出token得分比：MLR-Bench 1.60×、DSBench 1.35×、ScienceAgentBench 1.20×、AstaBench 1.28×；Terminal-Bench 2.0 0.96×，SWE-bench Verified 0.94×。作者称四个研究基准为1.2–1.6×。
• 合成胜率：Figure 3b中，三个测试任务上L(1)、L(2)对L(0)为53.9%、69.9%，L(2)对L(1)为60.8%；八个训练任务上为65.6%、82.5%、68.1%。
• 作者解读：作者称后训练只用求解轨迹，但称优化与评估也发生变化。DSBench的L(1)为0.465，低于L(0)的0.473；两个代码基准的通过率到L(2)未升。第4.2节另写ScienceAgentBench从28.7%到31.8%，与Table 7不一致，此处以表为准。

角色迁移与完成率

• 评审与工作流：自评与外部判断的一致率为0.73、0.91、0.93（Figure 3c）。Table 1在i∈[11]、12个任务上取各轮胜率的平均：L(0)执行L(1)工作流，对L(0)执行L(0)工作流为0.64；L(1)执行本代工作流对L(0)执行本代工作流为0.80；L(0)执行L(1)工作流对裸L(0)为0.63，对L(1)执行同一批工作流为0.29。
• 作者解读：作者称0.64这一固定执行器比较，更支持优化器在后训练后变好。Figure 3a的文字称后训练模型更早发现成功工作流；正文未给出该图终点任务数。
• 完成率：MLR交卷31/60、36/60、50/60，已交卷Overall均值3.07、3.00、2.88。AstaBench交卷60/120、69/120、91/120，已交卷均值0.105、0.095、0.088。作者称这些条件均值不是同一完成集上的质量变化，汇总分上升伴随更高完成率。

信息流与训练token

• 信息流：全基座搜索的保留工作流上，i∈{3,6,9,11}，用text-embedding-3-large和all-mpnet-base-v2估计。Figure 4图注称到i=11，role与instruction的任务信息下降，contract与hop上升，四种配置皆然。Figure 5图注称无条件总相关四种都下降；任务中心化版本三种下降，permutation-adjusted MPNet上升。绝对估计在附录Table 12–13。作者的Claim 1是：任务特定信息更多进入沟通内容与路由，成分间冗余下降。
• token：Figure 6在四个共享训练任务加测试任务60上，对L(0)的胜率相对处理过的监督token：S为1.82M、44.0%，S+为9.11M、59.0%，S++为42M、64.0%，M+为28.82M、68.3%。作者称M+比S++高4.3个百分点、少用31.4%的token，并称M、M+高出单智能体分段线性参照8.3和6.3个百分点。
• 作者解读：Claim 2是，从编排者轨迹学协调、从子智能体轨迹学有界执行，可能比从单智能体长轨迹同时学两者提供更有效的RSI监督。附录D写明M+的采样、数据覆盖和检查点选择与对照不完全匹配。

搜索瓶颈与行为

• 瓶颈：Figure 7固定执行器为L(0)，改变评估器、优化器和历史，迭代到i∈[20]。作者的主要主张是，优化器容量而不是评估器容量会成为RSI速度的瓶颈。只换评估器为GPT-5.5的改进，小于同时换评估器和优化器；全L(0)最终在12个任务的11个上得到6/6一致胜。作者称证据关乎速度，不是弱模型发现不了有用工作流。
• 回落：Figure 7b中，可达性提高并不保证稳定，强迭代后会回落。作者称文本编辑幅度与判决变化的Spearman相关弱，|ρ_edit|≤0.12；接近全票的结果在小编辑和大编辑下都会反转。附录E记录任务53上两次字节相同的工作流与提示，一次6–0–0，一次因循环检测0–6–0。
• 裸提示：Table 2a中，委派从1/110到48/110、87/110，代码交接从1/110到42/110、83/110。统计时不提供优化后的工作流。114条审计教师轨迹中，98条有代码交接、57条有子智能体修订，79和37条被采样（Table 2b）。作者认为后训练内化了协调行为；附录G写明基座在通用指令下已能做这些行为，裸提示下的变化是更常使用。

其他消融与分析

• 通用指令下M+对基座352胜、306负、2平，份额53.5%（附录C.4）。
• 第一周期M+对排名教师的份额为17.3%（112–536–0，108对）；任务205对裸基座为20.0%（Table 5）。
• 教师输出偏好：多智能体对单智能体为85.1%（206对）；长度相近的10对为80.0%（32–8，附录D.3）。
• MLR-Bench：L(2)对L(0)的Welch p=0.0053，交卷Fisher p=0.0004；12个任务均值的配对符号检验p=0.2266。作者称证据取决于聚合单位。
• 180次MLR-Bench执行都没有调用委派工具；作者称不能据此把公开基准迁移的机制确立为委派。
• ScienceAgentBench参考程序本地检查成功率为80.4%（附录C.5）。

作者指出的局限与后续方向

• 加快增益：第7节写明，加快每一周期中这些性能增益的速度，仍是后续工作的重要方向。
• 没有逐步保证：附录J写明，该递归循环是经验式的；与Gödel machine基于证明的自我改写不同，它不保证每一个未来周期都会改进。
• 环境比较：附录C.5写明，ScienceAgentBench参考程序有的失败来自包差异或900秒评估时限，这限制了与其他环境中分数的比较。
• 教师对照的归因：附录D写明，采样、数据和检查点选择的差异，限制了能单独归因于教师构成的结论。

实验覆盖范围

• 被测生成是Qwen3.6-27B-FP8上的L(0)、L(1)、L(2)，脚手架为qwen-code 0.20.0；同质环内三个角色共用当前模型（第4.1节）。
• SFT教师来自8个合成任务、119条轨迹、17,221,055个监督token；测试含3个合成任务和六项公开基准。MLR-Bench报告分数是12任务子集×5次试验（附录C.5、Table 7）。
• 外部报告评审为GPT-5.5与Claude Opus 4.8，各3个种子；AstaBench rubric评判为Claude Sonnet 4.6。Figure 7把评估器和/或优化器换为GPT-5.5，执行器仍为L(0)。
• 论文报告了MLR-Bench的Welch、Fisher和配对符号检验，并写明符号检验不支持跨任务的一致增益；180次MLR执行均未调用委派工具（附录C.5）。
• 第一周期检查点是验证损失最低的步数1200；教师构成对照改用外部判断选检查点。论文未报告第二周期的优化步数。

MASS是一种同质递归自我改进方法：同一个语言模型轮流做研究任务求解、工作流优化和评估，再用多智能体轨迹更新共享权重。

• 问题：开放研究任务上，输出可能超出人类评估，模型自己成为最好的可用优化器和评审。共享先验使自我反馈可能强化错误。作者用副本之间的信息流重组，以及编排与有界执行的联合学习，来取得自我监督。
• 做法：内循环把角色、指令、输出契约和调用顺序写成文本工作流，精英规模为1地进化，优化提示偏重通信结构。外循环用Bradley–Terry筛选M=18次执行，去掉工作流提示后对编排者与子智能体窗口做LoRA SFT，再让更新后的模型进入下一周期。外部强模型只用于事后报告。
• 结果：Qwen3.6-27B两个周期后，Figure 2上四个研究基准的单位输出token得分是基座的1.20×到1.60×；三个合成测试任务上L(2)对L(0)胜率69.9%，自评一致率从0.73到0.93。Terminal-Bench 2.0与SWE-bench Verified的通过率到L(2)为35.2±1.7%和61.1±0.6%，低于L(0)的37.5±2.2%和62.6±1.4%（Table 7）。M+用28.82M处理监督token达到68.3%胜率，S++用42M token为64.0%。裸提示下委派从1/110增至87/110。
• 作者结论：作者认为联合学习编排和有界子智能体执行，可以为RSI提供有效信号；只在求解轨迹上后训练，优化和评估也会变化。作者把加快每周期增益列为后续方向，并写明该循环没有形式化的逐步改进保证。