MLExpert：面向自主机器学习工程的通用智能体模型

如何训练模型在长程机器学习工程中自主组织实验，并用延迟的执行反馈学习多步决策。

• 场景：作者将MLE视为通向AI for AI（AI4AI）与递归自我改进（RSI）的具体设置。它要求在时间预算内反复执行、分析反馈并修订，而不是一次生成。
• 现有不足：作者称AIDE、MLE-STAR、R&D-Agent等依赖手工设计的控制逻辑安排长程实验。ML-Agent与Frontis-MA1主要训练外部流程中的单步决策或局部算子。
• 作者列出的困难：需要把动作选择留给模型、同时保住实验状态的环境；长轨迹混有有用探索、失败恢复和退化决策。一次实验的反馈对应此前多步，异步采集时还有策略不匹配。
• 本文提出：面向自主长程MLE的后训练，并训练35B MoE智能体模型MLExpert。配套为Kaggle-MLE Factory、Interaction Harness、分层agentic SFT和Windowed Interaction RL（WIRL）。

作者把已有工作分成外部编排的研究系统，以及主要训练单步或局部操作的后训练；自己的对象是模型主导的长程交互策略。

外部编排的自动化ML研究

• AIDE、MLE-STAR（2025）与R&D-Agent（2025）：用迭代搜索、精炼或多角色协作改进候选解。引言称这些系统依赖手工设计的控制逻辑组织长程实验。
• MLEvolve、MARS（2026）：用树或图搜索、记忆和规划组织长程实验。InternAgent（2026）与FM-Agent（2025）把自主研究扩到机器学习、算法优化和工程任务。
• Arbor、Argus（2026）：维持持久研究状态，允许模型设计、继续并修订实验。作者称这提高了对规划实验和维持长程优化的要求。

用交互经验训练MLE

• ML-Agent（2025）：多轮示范加单步RL。作者在引言中把它和Frontis-MA1并列，称其主要训练外部流程里的单步或局部操作。
• RL for MLE Agents、MLE-RL、AceGRPO（2026）：研究带执行反馈、异步采样或中间轨迹状态的在线MLE训练。Learning to Ideate（2026）训练模型生成算法改进建议。
• Frontis-MA1（2026）：对程序进化算子做SFT和RL，再接入外部进化框架。作者将上述路线概括为主要训练外部流程中的单步或局部组件。SandMLE（2026）则在微观合成环境中做轨迹级on-policy RL。

长程智能体后训练

• SWE-Gym（2024）、Search-R1（2025）、WebRL（2025）：用可执行环境轨迹或环境反馈学习多轮工具使用。
• AgentFlow（2026）：直接优化多轮规划策略，并用轨迹级结果训练中间决策。
• Agents-A1、Ornith-1.5（2026）：前者用长程知识-动作轨迹、多阶段训练和多教师on-policy distillation；后者用RL联合优化任务生成、scaffold构造与rollout。

基线与基准

• 对照模型：同规模为Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Nex-N2.5-mini；更大模型为DeepSeek-V4-Pro Preview、MiniMax M3、GLM-5.3、Kimi-K3、GPT-5.5、GPT-5.6 Sol。RL对照为轨迹级GRPO与PPO-style。基准为MLE-Bench Lite与NatureBench Lite。

作者称自己在真实MLE任务上训练模型主导的长程策略；WIRL用执行窗口，从延迟反馈学习多轮决策，并支持异步更新。

整体是模型主导的长程交互，而不是外部工作流。Kaggle-MLE Factory提供可执行任务，Interaction Harness管理实验状态；MLExpert由Qwen3.6-35B-A3B初始化，经分层agentic SFT和WIRL后训练。

问题设定

• 任务：任务写为e=(d_e, D_e, m_e)，即描述、数据和指标。候选解y是含数据处理、特征、训练和预测的完整流水线；S_e(y)按指标方向归一，越大越好。时间预算为B_e。
• 可见范围：沿MLE-bench，智能体可见任务描述和公开数据，通过执行代码和自建验证改进解。最终提交用隐藏测试标签独立评分。
• 交互：轨迹是观察与动作交替。每步动作可含推理和一次或多次工具调用；实验状态放在外部工作区，经工具观察暴露。模型不按预定工作流决定何时分析、修订、执行或改方向。
• 目标：最大化最终所选解的期望分数，J(π_θ;e)=𝔼_{τ∼ pπθ(·|e,Be)}[S_e(ŷ_τ)]。轨迹分布由策略和交互环境共同诱导。

任务工厂与交互环境

• Factory：用多智能体流水线把历史Kaggle竞赛转成可执行任务，含公开工作区、隐藏测试划分和统一评测接口。discovery按状态、规模和提交格式筛选；analyzer抽结构和模态；generator准备数据、隐藏标签划分和评分器；validator检查后迭代修复。
• 规模：附录A从含11,649条的Meta-Kaggle快照起步。默认筛完成竞赛、至少50支队伍、数据不超过200 GB。人工复核160个已注册任务，排除6个未解决的标签或评分问题，保留154个用于采轨迹。
• Harness：按ReAct式循环运行，分支和优化路径由模型决定，而不是外部搜索策略。解节点含代码、执行日志和元数据，父子修订构成可回溯的实验树。
• 工具与上下文：模型用execute_code启动实验，用update_answer维护提交候选；可依实验证据调用invalidate_node排除不可信候选。上下文将满时摘要早期消息。analyze把分析交给独立上下文的子智能体，只把摘要返回主模型。附录B列出全部工具。

分层agentic SFT

• 两阶段：第一阶段用StepFun的编程与工具使用轨迹，学基本工具调用和代码修订。第二阶段用MLE教师轨迹和文献衍生的科学实验轨迹，学算法设计、实验分析和迭代优化。
• 示范类型：若首个完整解执行成功且过质量阈，则抽取从任务开始到该次执行反馈的前缀。另使用完整交互中的长程优化轨迹，以及analysis子智能体轨迹。
• 结果引导截断：对有排行榜参照的轨迹，按私有榜相对名次b_j过滤，越大越好，阈η=0.4。峰后平均相对退化超过δ=0.05时，以轨迹中第一次出现最高分的提交为锚，否则用最后一次提交；前缀在靠近锚的完整工具交互边界结束，并可再延伸至多十次完整工具交互。
• 损失：监督样本保留已有上下文，再接一段连续的模型动作与环境反馈。损失只加在新生成的推理、文本和工具调用token上；工具反馈和继承历史只作条件并被mask。教师与语料见下节。

WIRL

• 窗口：把上一次实验结果之后、到下一次execute_code所启动实验为止的主模型决策，组成执行窗口u_m。第一窗从初始任务状态开始。已完成实验的反馈可在整条轨迹结束前用于更新。
• 奖励：模型动作导致的执行错误为-1.0；无此类错误但无可评分提交为-0.6；有效提交低于该任务奖牌阈为-0.4+T_m；铜牌或银牌为1.0+T_m；金牌为2.0+T_m。T_m对首次有效提交为0，其后按相对上一有效提交变差、不变或变好取-0.2、0或0.2，并考虑指标方向。
• 共享权重：与GRPO不同，WIRL不做组内相对归一，直接把可验证执行奖励作为窗口内参与训练的主模型输出token的共享权重。基础设施错误或没有评分信号的窗口不进入训练，也不记成模型错误奖励。
• 异步校正：窗口异步组批。采集时记录的rollout log-probability与更新前策略之比q，落在[0.2, 4.0]内才加权，区间外不进入策略梯度。损失按窗口内有效输出token数归一，含相对固定SFT参考模型的KL项和熵项。附录C.2给出完整策略损失。

数据与训练配置

• 教师：MLE轨迹由GLM-5.2生成。科学实验轨迹由GLM-5.2与Qwen3.8-Max生成。科学任务按NatureBench的构造方式，来自164篇Nature子刊论文，评测集不与NatureBench重叠。
• 语料：Table 7中，MLE域SFT保留636条源轨迹：412条MLE、覆盖236个任务，224条科学实验、覆盖77个任务。分段和重复采样后有5,539条输入记录。与MLE-Bench或NatureBench重叠的训练任务被排除。
• SFT超参：Table 8中，通用阶段1个epoch、序列131,072、全局batch 32、学习率2×10−5至10−6。MLE阶段8个epoch、序列262,144、batch 8、学习率10−5至10−6。两阶段都用cosine衰减，warmup比例0.05。
• WIRL超参：每批32个窗口，序列131,072，学习率10−6至10−7，无warmup。采样温度为0.6、top-p 0.95、top-k 20。裁剪参数为(0.3, 3.0)，KL系数10−3，熵系数10−4。

主评测是MLE-Bench Lite上的奖牌率；作者另外报告科学任务、scaffold优化和算法组件优化，并比较训练阶段与RL变体。

实验设置

• 基准：MLE-Bench Lite是MLE-Bench的22个历史Kaggle任务。NatureBench沿用Frontis-MA1列出的10任务Lite子集。迁移实验为AIME scaffold优化，以及MLS-Bench-Lite中12个领域各1个任务。
• 模型：MLExpert从Qwen3.6-35B-A3B初始化。同规模对照为该基座、Ornith-1.5-35B-A3B、Nex-N2.5-mini；Table 1将这组标为35B total、约3B active。更大对照为DeepSeek-V4-Pro Preview、MiniMax M3、GLM-5.3、Kimi-K3、GPT-5.5 xhigh、GPT-5.6 Sol。
• 指标：MLE-Bench报告Gold、Silver、Bronze、Any Medal和超过人类中位分的Med+，都按22个任务计百分比，主指标为Any Medal。没有有效分数的提交计为无奖牌。
• 判定：分数来自隐藏测试上的任务评分或官方verifier，论文未使用LLM裁判。NatureBench中Match-SOTA为g≥0，Surpass-SOTA为g>0.1；无有效提交的实例差距记为-1，任务分g为实例均值。
• 预算：每个MLE任务最多3,000步、12小时，20个vCPU、220 GB内存、单张NVIDIA H200。NatureBench每任务4小时，不含打分时间，本文评测用H200。
• 重复：MLExpert与同规模基线在MLE-Bench上评3次并报告SEM；更大前沿模型在MLExpert Harness上各1次。通用harness按表分列Claude Code或Codex。与评测集重叠的训练任务被排除。

主结果

据Table 1，单位为%。下表只列8行；省略Ornith-1.5-35B-A3B（Any Medal 39.4，Claude Code 47.0）和DeepSeek-V4-Pro Preview（Any Medal 63.6，通用harness未报告）。

表格较宽，可左右滑动

模型	Med+	Gold	Any Medal	通用harness
Qwen3.6-35B-A3B	62.1	22.7	37.9	42.4（Claude Code）
Nex-N2.5-mini	66.7	24.2	47.0	36.4（Claude Code）
MiniMax M3	81.8	54.5	68.2	54.5（Codex）
GLM-5.3	90.9	59.1	72.7	77.3（Claude Code）
Kimi-K3	95.5	63.6	72.7	72.7（Claude Code）
GPT-5.5 xhigh	81.8	45.5	72.7	68.2（Codex）
GPT-5.6 Sol	90.9	59.1	77.3	72.7（Codex）
MLExpert	84.8	50.0	72.7	69.7（Claude Code）

• 作者的比较：作者称MLExpert在所评同规模模型中Any Medal最高，并与GLM-5.3、Kimi-K3处于同一水平。同表中GPT-5.6 Sol的Any Medal更高。通用harness列里GLM-5.3也高于MLExpert。
• 换harness：作者称Claude Code下相对基座的优势仍在，并超出所评最强同规模基线22.7个百分点，因此认为增益不限于MLExpert Harness。Kimi-K3的Claude Code与GPT-5.6 Sol的Codex数字来自Frontis-MA1，其余为本文评测。
• 重复：附录Table 9对MLExpert与同规模基线给出三次评测的SEM，更大前沿模型为单次结果。附录D.1另给出Claude Code上三次评测的SEM。

NatureBench Lite

• 相对基座：Table 2在Claude Code下，MLExpert的Surpass-SOTA为50.0%（5/10），基座为0.0%（0/10）；Match-SOTA为70.0%（7/10），基座为40.0%（4/10）。作者称后训练提高了科学任务优化。
• 并不处处更高：作者称Surpass-SOTA高于Nex-N2.5-mini的20.0%，并与GLM-5.3的50.0%相同。附录D.2写明Nex的Match-SOTA为80.0%，高于MLExpert的70.0%。Kimi-K3的Surpass-SOTA为70.0%（7/10）。
• 条件：MLExpert为单次评测。DeepSeek-V4-Pro Preview与MiniMax M3的数字取自Frontis-MA1的Table 2，外部结果保留原评测条件。Table 2中GPT-5.5使用Codex，Match-SOTA为100.0%（10/10），Surpass-SOTA为40.0%（4/10）；论文未写这是否与Table 1的GPT-5.5 xhigh为同一次设置。

跨任务迁移

• AIME scaffold：固定求解器为gpt-4.1-nano-2025-04-14。Table 5中，MLExpert优化的scaffold留出平均准确率43.7%、每次8.40次调用；基座为23.3%与5.74次；MLExpert-SFT为38.1%与3.51次。Initial为20.0%与1.00次，Majority@5为24.8%与5.00次。
• 作者解读：作者称后训练提高了设计工作流的能力，增益延伸到未参与优化的年份。附录称MLExpert-SFT以大约少59%的调用接近Kimi-K3的40.0%；WIRL再把留出准确率从38.1%提到43.7%，调用增至8.40。GLM-5.3为48.1%、9.39次。
• 算法组件：MLS-Bench-Lite选取12个领域各1个任务，同一5小时预算。正文写平均verifier reward从0.322到0.425；Table 12的算术平均为0.321543与0.425198。作者称10个任务更高、1个持平、1个更低，并认为能力可迁到组件优化。

训练阶段与RL对照

• 阶段：Table 3在MLExpert Harness上，Any Medal由Base 37.9、General Agent SFT 47.0、MLE SFT 62.1到WIRL 72.7。作者称每一阶段都有额外增益，WIRL用在线执行反馈超过仅教师监督。
• 对照低于SFT：同一MLE-SFT初始化下，GRPO为56.1，PPO-style为60.6，都低于MLE-SFT的62.1。去掉趋势奖励为66.7，去掉策略校正为65.2，完整WIRL为72.7（Table 4）。作者称这支持按执行窗口学习，且两项设计都贡献了最终增益。
• 等待比例：Figure 5对应的正文写，记录到的更新上GRPO平均等待比例87.6%，WIRL为39.3%，相差48.3个百分点。作者称异步窗口采集降低了相对轨迹级GRPO的learner等待。

其他消融与分析

• Figure 3 / MLSP 2013 Birds：正文写MLExpert的ROC-AUC从0.58到0.964，MLExpert-SFT从0.60到0.88；图中还标有0.48、0.74、0.6。作者称该例是持续实验和执行反馈下的继续改进。
• Table 12例外：3D Scene Densification两者均为0.000000；Exogenous-Variable Target Forecasting上Base为0.445408，MLExpert为0.427787。
• Table 11留出年准确率：MLExpert在2023/2024/2026为43.3、43.3、44.4；MLExpert-SFT为35.6、42.2、36.7。每年为30题评3次。
• 附录D.1，Claude Code的Any Medal：Qwen 42.42±4.01，Ornith 46.97±3.03，Nex 36.36±6.94，MLExpert 69.70±1.52，均为三次。
• 附录D.1阶段SEM：Base 37.88±5.46，General Agent SFT 46.97±1.52，MLE SFT 62.12±1.52，WIRL 72.73±2.62。
• Table 10：GRPO 56.06±5.46，PPO-style 60.61±4.01，无趋势奖励66.67±3.03，无策略校正65.15±5.46，WIRL 72.73±2.62。

作者没有单列局限或后续工作。下面先记录这一点，再按论文实际做过的实验列出覆盖范围。

作者指出的局限与后续方向

论文未专门讨论局限。正文、结论和附录都没有单独写出局限、不足或未来工作。

实验覆盖范围

• MLE-Bench Lite：22个历史Kaggle任务；指标为Med+、Gold、Silver、Bronze、Any Medal，按22个任务计百分比。每个任务最多3,000步、12小时，20个vCPU、220 GB内存、单张H200（第5.1节）。
• 重复与来源：MLExpert和同规模基线在MLExpert Harness与Claude Code上各评3次；Table 1里更大前沿模型在统一harness上各1次。Kimi-K3的Claude Code与GPT-5.6 Sol的Codex结果来自Frontis-MA1，其余为本文评测（附录D.1）。
• NatureBench Lite：10个任务；MLExpert为单次评测，每任务4小时且不含打分，使用H200。DeepSeek-V4-Pro Preview与MiniMax M3的数字取自Frontis-MA1的Table 2。论文未报告该基准上其余模型的重复次数（附录D.2）。
• AIME：求解器固定为gpt-4.1-nano-2025-04-14。开发用AIME 2025全部30题、每候选评3次；留出为AIME 2023、2024、2026，各30题、每年3次。搜索上限4小时、1,000步，每题最多10次内部调用（附录D.3）。
• MLS-Bench-Lite与训练侧：12个领域各1个任务，5小时、最多2,000步，用官方Harbor verifier。训练排除与MLE-Bench、NatureBench重叠的任务；MLE教师轨迹由GLM-5.2生成，科学轨迹由GLM-5.2和Qwen3.8-Max生成（第5.1节、附录C.1）。

MLExpert是从Qwen3.6-35B-A3B初始化的35B MoE智能体模型，用后训练学习自主组织长程机器学习实验。

• 问题：一次实验的反馈对应此前多步，完整运行又包含多次高成本实验。作者要让模型自己安排实验，并在轨迹结束前用上中间执行结果。
• 方法：Kaggle-MLE Factory把历史竞赛做成可执行任务；Interaction Harness按ReAct式循环把分支选择留给模型。分层SFT用执行结果挑选教师轨迹；WIRL把相邻实验结果之间的决策打成窗口，共享奖牌档和局部分数趋势奖励，并做异步采集与token级校正。
• MLE-Bench Lite：MLExpert Harness上Any Medal为72.7%，基座为37.9%（Table 1）。作者称与Kimi-K3、GLM-5.3相当；同表GPT-5.6 Sol为77.3%。Claude Code上MLExpert为69.7%，基座为42.4%。
• 其他评测：NatureBench Lite、Claude Code上Surpass-SOTA为50.0%（5/10），基座为0.0%（Table 2）；Nex的Match-SOTA为80.0%，高于MLExpert的70.0%。固定GPT-4.1-nano时，MLExpert优化的scaffold留出准确率为43.7%（Table 5）。MLS-Bench-Lite上正文写平均奖励从0.322到0.425，12个任务中1个更低。
• 阶段：同一harness上，Any Medal由基座37.9、通用SFT 47.0、MLE SFT 62.1到WIRL 72.7（Table 3）。轨迹级GRPO与PPO-style为56.1和60.6，低于MLE SFT的62.1（Table 4）。
• 作者结论：作者称这些结果支持把长程优化决策当作可训练的模型能力，并认为该能力可迁到科学实验、智能体scaffold和算法组件优化。