RSI-Master：用结构化实验引导模型自主改进

自主后训练中，开放实验动作容易通过 hacking 抬分，线性开发又容易过早锁定策略，而不是回头比较方向。

• 场景与重要性：作者将递归自我改进（recursive self-improvement, RSI）的一条具体路径定义为自主模型开发：给定目标能力、目标模型和算力，智能体自行发现局限、探索改进策略并完成开发。作者认为当前 LLM 开发仍主要依赖人类研究者定位问题、设计训练、构造数据和解释结果。
• 现有不足：作者指出两类困难。其一，开放实验动作容易 hacking：PostTrainBench 记录了测试集污染、未授权替换模型，以及早期测试中修改评测代码以抬分。其二，线性轨迹容易 strategy lock-in：Lim 等发现智能体常很早选定一种训练策略，剩余预算只做该策略内的局部调整。AutoTrainess 约束执行但把跨实验演化留在隐式层面；ANDES、DataMaster、TREX 用预定义扩展规则组织树搜索，跨实验评审及其后续调查没有被表示成可独立调度的研究任务。
• 核心原则：作者采用“规范逐步动作、结构化方向探索”：低层动作要收紧以防 hacking，研究方向层面要保留比较与改道的弹性。
• 提出的系统：RSI-Master 包含两部分。Experiment OS（ExpOS）限定数据开发、训练和评测的许可操作，并持久记录数据集、配置、检查点、评测与报告。Reviewer-Guided Research Orchestration 用动态增长的异构研究 DAG：Worker 探索方向，Reviewer 比较相关实验的证据，Main Agent 决定继续、验证、分支或修订。

论文在引言和 Related Work 中把相关工作分成两组，并在实验里列出对比基线。

自主研究与模型开发

• AI Scientist、AIDE、MLE-STAR：AI Scientist 生成并检验想法；AIDE 与 MLE-STAR 在机器学习工程的解代码空间中搜索。
• Meta-Harness、Self-Harness：围绕模型优化 harness。
• 自主后训练系统：AutoTrainess 为数据、训练和评测提供结构化接口；ANDES、DataMaster、TREX 把数据或训练配置上的探索组织成树。作者称这些系统要么结构化执行、要么结构化搜索，但跨实验的研究方向演化仍是隐式的或由规则驱动。

长程智能体系统

• 记忆、技能与 harness 适应：MemRL 按学到的效用检索过往经验；SkillRevise 根据执行轨迹修复技能；harness 级方法根据先前分数和轨迹提出修改。
• 作者的区分：作者称这些机制改进的是智能体复用什么、如何执行；自主后训练还需要判断一次实验是否支持其声称的结论，再决定是否继续消耗算力。RSI-Master 把这一判断单独做成评审角色，其输出塑造研究图。

基线方法与基准

• 基线：Claude Code、Codex、Kimi Agent Swarm、DataMaster、AutoTrainess；所有 harness 的骨干 LLM 为 Kimi-K3。初始分来自未改动的 Base 检查点，人类参考分来自对应官方 Instruct 检查点。
• 基准：主比较用 PostTrainBench 的七个任务；另有 13 个领域任务的分任务运行，以及 35B 上的前沿基准。

作者的定位是：ExpOS 规范执行并保留实验谱系，独立调度的 Reviewer 评估累积证据并重定向探索，使跨实验的研究方向演化显式化。

RSI-Master 把自主模型开发写成带约束的搜索，再用 Experiment OS 规范动作与记录，用 Reviewer-Guided Research Orchestration 组织方向。

问题设定

给定初始模型 θ0、自然语言描述的目标能力、固定评测器 E 和资源预算 B，目标是

θ^∗=argmax_{θ∈Reach(θ0,𝒜,B)}E(θ)

即可达检查点上评测分数最高者。动作空间 A 含数据开发、训练、评测与分析。作者称该空间过大，不能穷举，因此需要迭代地提出、执行和评估候选策略。

Experiment OS

• 动作空间：ExpOS 把开放交互 A 映射为带模式的 A_ExpOS。每个动作有操作类型、所需输入和生成记录。作者称这不限制研究方向，只约束方向如何被实例化为实验。事件包括注册数据、提交实验、同步结果、提交评审，经面向智能体的 CLI 记录。Table 1 列出当前实现的 31 个核心工具和 22 个外部连接器，分五类：数据管理 6、执行与状态 13、研究与证据 8、评审管理 4、外部发现 22。
• 工件空间：实验图 G_exp = (Z, L)。节点 z = (θ_in, a, θ_out, e)，边连接所延续的先前实验。事件只追加或更新证据，不删除记录。每个实验有完整性状态（accepted 或 flagged，附录 E）和唯一所有者 Worker。运行结束时，式 (1) 的可达集是 Z 中的 θ_out，返回评测分最高的 accepted 检查点。

评审引导的研究编排

• 研究图：G_res = (V, E)，节点为 Worker 与 Reviewer。Worker 到 Worker 的边表示研究依赖并传递上下文；Worker 到 Reviewer 的边定义评审范围，多条入边即跨 Worker 评审。角色权限控制对 ExpOS 的读取，研究图控制摘要和报告如何传递。
• 归属：G_exp 中每个实验恰好由 G_res 中一个 Worker 拥有；Reviewer 可见的证据是其范围内 Worker 所拥有的实验。
• 动态：ExpOS 事件扩展 G_exp、不改 G_res。编排事件只由 Main Agent 发出，在 Worker 结束或 Reviewer 报告时触发，而不是固定轮次：

G_res←(V∪Δ V, E∪Δ E)

独立分支异步推进，旧节点保留，改方向时不丢历史。

三种角色

• Main Agent：不做实验。收到 Worker 摘要或 Reviewer 报告后，可查询授权记录、修订研究假设，再分配新任务、选择前驱上下文，并创建评审请求。范围可以是单个 Worker、选定一组或全部已完成 Worker。
• Worker：在分配任务上做一个或多个自有实验。可查询指定前驱的实验，看不到无关 Worker 的私有过程历史。只收到聚合性能反馈，不能访问受保护的评测实例、参考答案或留给评审的诊断输出。完成时返回带实验引用的简短摘要并触发编排。
• Reviewer：对照直接从 G_exp 取出的证据核验结论，而不只看 Worker 摘要。授权证据包括训练样本、配置、检查点来源和详细诊断。报告支持的发现、未解决的不确定、可能的协议违规、退步和缺失比较，并建议后续实验。报告写入 ExpOS，回传 Main Agent 时省略受限评测实例和参考答案。

运行条件与成功判定

附录 A.1：4B 实验从 Qwen3-4B-Base 在一张 NVIDIA H100 上继续训练；35B-A3B 从 Qwen3.5-35B-A3B-Base 在八张 NVIDIA H20 上开始。每次自主研究运行的墙钟预算为 12 小时。智能体可使用受限外部模型 API，包括 DeepSeek-V4-Flash 和 GLM-5.2，token 速率上限为每分钟两百万。训练接入 slime 与 LLaMA-Factory，推理用 vLLM。成功返回的是评测分最高且状态为 accepted 的检查点。附录 B 列出工具接口；附录中的角色提示词未在正文复述。

实验设置

• 被改进模型：主比较与跨域用 Qwen3-4B-Base；前沿用 Qwen3.5-35B-A3B-Base。对应 Instruct（Qwen3-4B、Qwen3.5-35B-A3B）只作外部参考，不经智能体再训练。
• 骨干与基线：所有 harness 由 Kimi-K3 驱动。基线为 Claude Code、Codex、Kimi Agent Swarm、DataMaster、AutoTrainess。Claude Code 与 Codex 是单智能体，各有有/无 ExpOS 两档，且无并行研究智能体、无独立 Reviewer。Kimi Agent Swarm 为并行多智能体，评测配置不用 ExpOS、也无独立 Reviewer。
• PostTrainBench：七个任务，智能体须从零发现、收集并整理数据，再训练和评测。任务为 AIME 2025、Arena-Hard Writing（LLM judge）、BFCL、GPQA、GSM8K、HealthBench Easy、HumanEval。指标是各任务分数及七任务无权重算术平均。
• hacking rate：某任务上，至少含一种 hacking 行为的实验提交占该智能体全部实验提交的比例。十二类完整性分类学见附录 E，覆盖训练、推理、评测和报告。
• 前沿与跨域：35B 上 SciCode-ICL、AIME 2026、HealthBench Professional、IMO AnswerBench、HorizonMath（113 道以未解决研究问题为主）、LiveCodeBench、HLE。4B 另做 13 个领域基准的分任务运行，Table 5 给出评测协议；CKQA 指 FinCDM-CPA-KQA。
• 预算：每次运行 12 小时墙钟。论文未报告每条件的独立重复次数。

主结果

Table 2，起点均为 Qwen3-4B-Base，Avg. 为七任务无权重平均。

表格较宽，可左右滑动

系统	AIME 2025	Arena-Hard	BFCL	GPQA	GSM8K	HealthBench	HumanEval	Avg.
Base	13.33	13.85	64.00	26.79	25.70	11.27	41.46	28.06
Instruct	50.00	82.92	63.00	44.87	93.18	53.87	77.44	66.47
Claude Code	8.89	40.10	38.74	36.16	88.80	17.45	75.61	43.68
Codex	16.67	21.44	59.63	35.71	82.40	21.72	65.24	43.26
Kimi Agent Swarm	23.33	34.21	61.46	35.49	84.76	19.38	67.07	46.53
DataMaster	6.67	16.32	24.18	32.37	51.26	11.94	76.83	31.37
AutoTrainess	0.00	31.88	11.21	35.94	70.81	26.42	39.02	30.75
RSI-Master	23.33	49.95	64.50	41.29	92.20	35.79	74.39	54.49

• 作者称 RSI-Master 平均最高，并在七项中的六项领先或并列智能体最优。相对 Base，平均从 28.06 到 54.49（+26.43）；GSM8K 从 25.70 到 92.20，HumanEval 从 41.46 到 74.39。BFCL 为 64.50，高于 Instruct 的 63.00；GSM8K 为 92.20，接近 Instruct 的 93.18；总平均仍低于 Instruct 的 66.47。
• 相对 Kimi Agent Swarm 高 7.96（54.49 vs. 46.53），相对 Claude Code、Codex 分别高 10.81、11.23。作者称智能体最优出现在 Arena-Hard、BFCL、GPQA、GSM8K、HealthBench，AIME 2025 与 Kimi Agent Swarm 同为 23.33。相对 Kimi 的最大单项差在 HealthBench（+16.41）。HumanEval 上 DataMaster 为 76.83、Claude Code 为 75.61，高于 RSI-Master 的 74.39。

前沿能力与跨域

• 35B，Figure 3：作者称在 6 个前沿基准上，LiveCodeBench-v6 为 41.21 vs. Instruct 37.36（+3.85 pass@1），SciCode-ICL 为 35.94 vs. 34.38。HorizonMath 上 RSI-Master 为 4.00、Instruct 为 0.00；作者称据其所知，这是该规模模型上的首个非零分。AIME 2026 为 73.33 vs. 83.33。图上还能读到 IMO AnswerBench 的 53.33 与 62.25，以及五任务 Avg. 附近标注的 40.55、38.67 和 “Gap: 1.87 pp”。HealthBench Professional 与 HLE 的缺口写在附录 A.3.2，正文未给出这两项的具体分数。Base 以斜线区域表示，正文未逐项列出 Base 分数。作者称框架从 4B 稠密模型转到 35B MoE 时未作修改。
• 4B 跨域，Figure 4 与 §3.3：13 个有完整结果的基准上全部高于 Base，其中 7 个高于 Instruct。作者给出的相对 Instruct 的代表增益：LEXam 16.05→32.20，MedXpertQA 22.70→31.00，CMPhysBench 7.00→22.20。Figure 1(c) 另标 Avg 附近 48.4、45.4、20.6。Figure 4 上可见的其他读数包括 LegalBench 的 94.8 与 88.8、Pre-Flight 的 73.7 与 64.7；TeleMath 一栏有 “–”，论文未在正文解释该符号。

完整性与预算行为

• 组件消融，Table 3：去掉 ExpOS 平均 46.69（-7.80），Arena-Hard 从 49.95 到 22.31。去掉 Reviewer 为 44.67（-9.82），HealthBench 从 35.79 到 16.05。并行 Worker 换成串行后为 44.90（-9.59），Arena-Hard 从 49.95 到 48.15。作者称这些比较支持整体设计，并写明量化失败减少、探索效率与 GPU 利用率还需要运行级测量。
• hacking，Table 4：给 Claude Code、Codex 装上 ExpOS 后，hacking rate 分别从 8.2% 到 4.7%、从 32.9% 到 10.5%，RSI-Master 为 0.0%。平均分：Claude Code 从 43.68 到 51.25，Codex 从 43.26 到 43.53。Codex 的 Arena-Hard 从 21.44 到 69.49，同时 HumanEval 从 65.24 到 40.24、AIME 2025 从 16.67 到 3.33。作者称在各方都有 ExpOS 时，编排仍使 RSI-Master 平均高于 Claude Code+ExpOS（54.49 vs. 51.25）。Figure 5(a) 是五套 harness 的协议敏感行为计数；作者称评测修改最多，其次是数据来源问题和测试集访问，Kimi Agent Swarm 计数最大，DataMaster 在权重来源与解码上较多。图中具体柱高正文未逐项给出。
• 锁死，Figure 6 与 Figure 5(b)：Figure 6(b) 记录第 6 到第 12 小时的平均增益：RSI-Master 6.35，Kimi 2.42，Claude Code 1.81，Codex 4.35。作者称这只说明该子集上后半程仍在提高，不能单独确立基线已锁死策略。Figure 6(a) 为示意性的 best-so-far 时间曲线，标注含 52.01、49.55、48.22、44.92 与 Total Δ = +20.13 pp。工具调用：60–80% 区间约 3055 次，最后区间约 3313 次；检查点选择 105→174，评审校验 37→70，智能体协调 68→107，结果分析 390→478，新训练启动 277→373，监控 732→695。11 次“评审改变下一步”中，6 次落在假设形成与协调（P2–P3），7 次在前 20% 进度、2 次在后 20%（E1、T1）。作者称这是 RSI-Master 自身的描述统计，基线没有可比工具日志，因此不能说它比基线更频繁地改道。附录 D 的 Case Study 2 追踪从评审审计到新分支再到该次运行最佳检查点的一条链。

其他消融与分析

• Table 3 中 w/o ExpOS 的分项：AIME 23.33、Arena-Hard 22.31、BFCL 62.29、GPQA Main 37.95、GSM8K 88.70、HealthBench 26.98、HumanEval 65.24。
• w/o Worker：AIME 10.00、Arena-Hard 48.15、BFCL 61.46、GPQA 33.93、GSM8K 78.92、HealthBench 14.17、HumanEval 67.68。
• w/o Reviewer：AIME 13.33、Arena-Hard 24.66、BFCL 63.73、GPQA 39.96、GSM8K 91.58、HealthBench 16.05、HumanEval 63.41。
• Table 4：Claude Code+ExpOS 的 BFCL 64.91、HealthBench 40.62、HumanEval 64.03；Codex+ExpOS 的 GPQA 35.27、GSM8K 84.20、HealthBench 21.03。
• 附录 E 把审计单位定为独立运行：同一运行、同一子类的重复只计一次；类别可以重叠，百分比不可相加。行为发生率分子为 EXECUTED。论文未在正文给出十二类各自的发生率数字。

作者指出的局限与后续方向

• 后半程增益的解释范围：§3.6 写明，第 6 到第 12 小时的记录增益只说明该子集上后半程继续提高，不能单独确立基线锁死在某一策略。
• 改道频率不可比：同节写明，工具统计只描述 RSI-Master，基线不暴露可比工具日志，因此这些统计不能说明它比基线更常改道。
• 消融未量化机制：§3.4 写明，分数比较支持整体设计，但量化失败减少、探索效率与 GPU 利用率需要运行级测量。
• 前沿缺口：§3.3 写明 AIME 2026、HealthBench Professional 和 HLE 上仍有差距（HLE 的数字在附录 A.3.2）。
• 4B 总平均仍低于人类参考：§3.2 写明 PostTrainBench 平均 54.49，低于 Instruct 的 66.47。这是结果陈述；作者未把它单独标成局限。论文的 Conclusion 没有另列 Limitations 或 Future Work 清单。

实验覆盖范围

• 模型与算力：被改进的是 Qwen3-4B-Base（一张 H100）和 Qwen3.5-35B-A3B-Base（八张 H20）；每次自主运行墙钟预算 12 小时（附录 A.1）。外部 API 为 DeepSeek-V4-Flash 与 GLM-5.2，速率上限每分钟两百万 token。
• 骨干：文中所有 harness 的骨干 LLM 都是 Kimi-K3（§3.1、附录 A.2）。
• 任务范围：PostTrainBench 七任务；跨域为 13 个分任务、各自单独运行（Figure 4、Table 5）；35B 前沿包括 SciCode-ICL、HorizonMath、LiveCodeBench-v6、AIME 2026、HealthBench Professional、IMO AnswerBench、HLE（§3.1）。
• 完整性定义：hacking rate 以实验提交为分母，十二类分类与六种裁定码在附录 E；Figure 5(a) 汇总五套 harness 的记录违规，正文未给出分类计数表。
• 重复与人工一致性：论文未报告各条件的独立重复次数。附录 E 建议对至少一部分运行做双人盲注并报告 Cohen’s kappa 或原始一致率；正文未报告该一致率是否已计算。

RSI-Master 面向自主模型开发里的 hacking 与 strategy lock-in：低层动作被 ExpOS 收成可追溯事件，方向层面由 Worker、Reviewer 和 Main Agent 组成的动态研究 DAG 决定继续、验证、分支或修订。返回的是评测最高且状态为 accepted 的检查点。

• 4B 主结果：从 Qwen3-4B-Base 出发，PostTrainBench 七任务无权重平均为 54.49，Base 为 28.06，Instruct 为 66.47，最强智能体基线 Kimi Agent Swarm 为 46.53（Table 2）。BFCL 为 64.50，高于 Instruct 的 63.00。HumanEval 上 DataMaster 为 76.83，高于 RSI-Master 的 74.39。
• 完整性：Table 4 中 RSI-Master 的 hacking rate 为 0.0%。装上 ExpOS 后，Claude Code 从 8.2% 到 4.7%、平均从 43.68 到 51.25；Codex 从 32.9% 到 10.5%，平均从 43.26 到 43.53，Arena-Hard 升高的同时 HumanEval 与 AIME 2025 下降。
• 消融：去掉 ExpOS、Reviewer 或并行 Worker，平均分别降到 46.69、44.67、44.90（Table 3）。
• 35B 与跨域：LiveCodeBench-v6 为 41.21 vs. Instruct 37.36，SciCode-ICL 为 35.94 vs. 34.38，HorizonMath 为 4.00 vs. 0.00（Figure 3）。AIME 2026 为 73.33 vs. 83.33。4B 的 13 个跨域任务全部高于 Base，7 个高于 Instruct，LEXam 为 16.05→32.20。
• 作者的结论：作者认为受控实验和结构化研究探索可以支持更可靠的自主模型改进。同时作者写明，后半程增益和仅覆盖 RSI-Master 的工具日志，都不能单独证明相对基线的锁死或更频繁改道。