Athanor：面向自主后训练研究的智能体原生系统

核心问题是探索前沿智能体能否在无外部教师模型和人类研究建议的情况下，自主将原始基座模型后训练为跨领域的通用模型。

• 后训练研究的复杂性与现状：后训练决定了语言模型的指令遵循、推理、代码和对齐能力；然而当前后训练研究高度依赖昂贵的试错搜索，公开报告往往只记录最终配方而缺乏产生该配方的完整实验轨迹。
• 现有自动化后训练的局限：现有研究（如 PostTrainBench、Locus 等）多局限于训练针对单一基准的专用专家模型，或依赖外部教师模型指导，缺乏在严格隔离的未见保留集上评测单一通用模型的研究设定。
• 自动化研究的核心工程瓶颈：作者认为随着智能体推理能力提升，自主研究的瓶颈从提出假设转向执行与验证的摩擦成本；缺乏托管执行导致智能体消耗大量时间在调试基础设施与重复搭建实验环境上。
• 系统层面的解决方案：作者提出了开源的智能体原生后训练系统 Athanor，通过将研究决策与底层实验执行解耦，并在外部持久化完整研究记录，支持智能体团队在真实 GPU 集群上开展长程端到端实验。

按论文引言与相关工作小节，相关研究主要分为三组：

自动化后训练（Automated post-training）

• PostTrainBench（Rank 等人，2026）与 Locus（2026）——PostTrainBench 让智能体在单 GPU 和 10 小时预算下针对单一基准后训练小型基座模型；Locus 将其扩展到并行多天搜索，但两者均只针对单个基准构建专用模型。Lim 等人（2026）对 PostTrainBench 轨迹分析发现，智能体在连续训练尝试中很少改变策略。
• RSI-Master 与 RSIGym（Du 等人，2026；Meng 等人，2026）——同样针对单一任务训练，分别通过访问外部模型 API 以及在远程服务后进行训练和评估。
• RSI Arena（Bake AI，2026）与 A-Evolve-Training（Shi 等人，2026）——RSI Arena 让十个智能体作为竞争者在共享集群上后训练 30B 模型并由人类偏好排序；A-Evolve-Training 进行了 30B 模型（以及 120B 和 550B）的四轮自主演化训练。

智能体改进 AI 系统（Agents that improve AI systems）

• 代码与推理框架优化（Liu 等人，2026；Xia 等人，2026；Zhang 等人，2026；Z.ai，2026）——智能体被用于改进自身代码、测试框架、推理工程乃至线上生产推理服务。作者指出这些工作优化的是模型外围的系统与代码层，而本文智能体直接修改模型权重。

自主科研与多智能体协作（Autonomous research and teams of agents）

• 自主科研系统与基准（Lu 等人，2026；Novikov 等人，2025；Chan 等人，2025；Wijk 等人，2025）——系统在数小时至数天内开展端到端机器学习实验，基准评估智能体的机器学习工程与科研能力。
• 多智能体团队动态与局限（Park 等人，2026；Anthropic Frontier Red Team，2026；Cai 等人，2026）——Park 等人发现同构智能体在有验证器筛选时共享工作区表现优于独立智能体；Anthropic 报告共享模型、框架和上下文的智能体行为高度相似；Cai 等人指出单个智能体会陷入“想法盆地（idea basin）”。

对比基线与评测基准

• 基线模型包括 Qwen3-4B-Base、默认起始代码无研究运行的 Default starter，以及官方发布的 Qwen3-4B-Instruct-2507、Qwen3-4B（混合推理版）和 Qwen3-4B-Thinking-2507。评测基准包含由 6 项任务组成的开发集与未见孪生保留集，覆盖数学（2025 年初竞赛 / 2025 年末至 2026 年竞赛）、逻辑（ZebraLogic 两半划分）、代码（LiveCodeBench 2024 / 2025）、知识（MMLU-Pro / SuperGPQA）、指令遵循（IFEval / IFBench）和多步动作（ALFWorld 4 种类型 / 2 种未见类型）。

作者指出，与以往系统训练单基准专家模型或依赖外部教师模型不同，本文设定为四名智能体团队在多天内共同构建单一通用模型，不调用外部教师，并在完全隔离的孪生保留集上验证泛化。

整体思路是构建面向真实 GPU 的开放智能体原生系统 Athanor，将研究决策与底层实验执行解耦，赋予智能体完整的编程与决策自主权，并由环境提供异步执行与客观评测。

问题形式化与双循环架构

• AutoPostTrain 形式化：在可执行配方空间 r ∈ ℛ(P_t−1) 上搜索，执行产出检查点 M_t = Exec(r_t)，由评测套件给出评分向量 p̂_t = Eval_ℬ(M_t; ξ_t)，目标是找到潜在能力最高的检查点。智能体充当策略 π(r_t ∣ ℋ_t−1)，基于历史记录不断提议新配方。
• 并发双循环机制：系统分为智能体研究循环与环境服务循环。智能体在工作区内读取历史、自主编写代码并通过统一命令发起任务；环境服务在后台异步调度 GPU 资源、执行训练与评测，并将结果写回共享记录。

角色分工与沙盒环境隔离

• 三权分立设计：研究员智能体拥有完全的研究决策权，但无法修改评测器或查阅保留集；环境服务负责任务队列管理、去污染与客观评估；操作员负责启动配置、恢复故障节点及赛后在保留集打分，不提供任何研究指导。
• 环境安全与数据去污染：智能体在 GPU 节点沙盒中运行，提供只读网络访问（禁止外部通信和下载教师模型）。评测器与去污染服务在独立网络命名空间运行；去污染规则将文本转为小写去标点，提取 13-word 序列，若与基准题重叠达 50% 即行剔除。

外部化研究记录与异步调度

• 四类外部化持久记录：时序日志（Journal）记录每次请求与状态变化；谱系图（Lineage）追踪检查点演进父子关系；转录本（Transcript）保存智能体完整交互；工作区历史保存 Git 版本与笔记。这使得节点中断时可在新节点无缝恢复，并支持团队成员互相读取。
• 非阻塞异步执行：智能体提交训练或评测命令后立即返回，无需在会话中同步等待；环境服务在后台完成作业后将日志摘要与得分推送到智能体会话，保持智能体持续规划与分析。

智能体自主演进的四阶段配方

• SFT 阶段：智能体在首小时内从公开数据池构建包含 30 万至 60 万行的高质量混合语料，覆盖全部 6 项能力，对基座模型进行单轮微调。
• GRPO 强化学习阶段：基于规则奖励进行强化学习。针对贪婪解码陷入重复循环的问题，智能体自主修改训练代码，将四分之一的 rollout 设为贪婪解码，使循环输出获得负优势，有效抑制重复。
• 跨智能体权重融合与外推：智能体将多名成员训练的检查点进行加权平均，并通过任务向量缩放技术向远离基座方向外推（系数 1.2 至 1.3），提升逻辑能力。
• 拒绝采样自蒸馏（RFT）：从融合模型中针对每道训练题采样 4 个解答，保留经规则判定正确且长度最短的答案，进行自蒸馏微调。

实验设置

• 被测模型：Qwen3-4B-Base、默认起始代码产物（Default starter）、官方参考模型（Qwen3-4B-Instruct-2507、Qwen3-4B 混合推理版、Qwen3-4B-Thinking-2507），以及智能体团队提交的检查点（Team submission，即 Agent 3 的提交）与四位智能体的各自提交（Agent 1、Agent 2、Agent 3、Agent 4）。
• 数据集与评测基准：开发集（可见）包含 2025 年初数学竞赛（183 题）、ZebraLogic 一半（500 题）、LiveCodeBench 2024（511 题）、MMLU-Pro（2,000 题）、IFEval（541 题）及 ALFWorld 4 类任务（91 个游戏）；孪生保留集（密封）包含 2025 年末至 2026 年初数学竞赛（93 题）、ZebraLogic 另一半（500 题）、LiveCodeBench 2025（175 题）、SuperGPQA（1,000 题）、IFBench（300 题）及 ALFWorld 2 类未见任务（85 个游戏）。
• 训练资源与数据池：4 个由 Claude Opus 5.5（xhigh 推理强度）驱动的智能体，各分配 1 个配备 8 张 80GB HBM3 GPU 的节点（共 32 张 GPU），研究窗口运行 104 小时。公开数据池包含 447 个经去污染处理的数据集（约 3.84 亿行）。
• 评测协议与评审方式：全部任务采用确定性规则或测试用例程序打分，无 LLM 裁判。活动协议下数学任务采样 4 次（temperature 0.6, top-p 0.95），其余任务贪婪解码，最大输出 token 为数学/逻辑/代码 16,384、知识/指令 8,192、ALFWorld 每步 256；最终测量将输出上限放宽至 32,768（ALFWorld 每步 8,192），统一采用思考模式推荐采样参数（temperature 0.6, top-p 0.95, top-k 20）。
• 样本量与重复次数：活动协议下各参考模型评测 2 个 seed，团队提交评测 3 个 seed；最终测量各模型评测 4 个 seed。

主结果

下表呈现各模型在开发集与保留集上的均分表现（据 Table 1）：

表格较宽，可左右滑动

• 作者指出，在最终测量下，团队提交的模型在开发集均分达到 67.3（高于 Instruct-2507 的 66.5），在未见的保留集上均分达到 48.2（高于 Instruct-2507 的 47.9），配对 95% 置信区间包含 0，表明两模型在统计上不可区分。
• 作者分析发现，团队模型在任务分布上与厂商版本存在差异：在多步动作（开发集 98.9 vs 82.4，保留集 78.8 vs 65.9）和代码（47.1 vs 43.9，34.9 vs 31.4）上优于 Instruct-2507，但在逻辑（63.4 vs 80.4）和数学（37.2 vs 42.9）上落后；去掉动作任务后，团队在开发集和保留集分别落后 Instruct-2507 3.7 分和 4.2 分。
• 作者报告团队模型追平了厂商的指令微调版本（Instruct-2507），但尚未达到具备专门长思维链的推理版本（Thinking-2507 开发集 80.5、保留集 63.0）的水平。

智能体研究行为与协作动态分析

• 测了什么：统计 104 小时活动中 500 次作业、255 次全套评测、160 次笔记版本及检查点交换记录。
• 结果：在第 15.8 小时操作员告知最终成绩取决于团队提交前，智能体仅读取队友文件 37 次且未拉取模型；通知后智能体立即开始协作，累计拉取队友检查点 57 次（Figure 7a）。第 21 小时后，所有创下新高分的检查点均为多智能体模型融合或在此类融合上的再训练（Figure 6）。第 84 小时后评估的 32 个检查点中，有 28 个整合了全部 4 名智能体的训练成果（Figure 7b）。
• 作者的解读：作者认为在存在客观评测器作为验证基准的前提下，智能体间的即时成果共享与合作能有效推动性能提升。

逻辑与数学能力差距的截断与规模机理分析

• 测了什么：分析团队模型与 Instruct-2507 在开发集逻辑和数学任务上的输出截断率及题目规模表现。
• 结果：在活动协议下，团队模型展开长推理导致 17.5% 的逻辑答案和 24.2% 的数学答案达到 16,384 token 上限被截断并计 0 分，而 Instruct-2507 截断率仅为 0.8% 和 9.8%（Appendix D.1）。在能够完成回答的样本中，团队模型逻辑准确率为 76.4%（Instruct-2507 为 81.0%），数学准确率为 50.1%（Instruct-2507 为 47.2%）。将输出上限放宽至 32,768 token 后，团队逻辑得分仅由 63.4 变为 63.0（仍落后 Instruct-2507 的 79.5）。Figure 11 显示截断与失分高度集中在大规模网格谜题（单元格数大于等于 21）。
• 作者的解读：作者称截断并非逻辑落后的全部原因，模型对于大规模复杂谜题本身缺乏充足正确的训练样本。

系统运行效率与成本分解

• 测了什么：统计智能体工作时间分配、GPU 利用率与财务开销。
• 结果：在 416 个智能体总工时中，智能体处于推理或工具调用状态的时间仅占约 9%，其中自主推理分析耗时 15 小时（3.6%），87% 的会话时间处于等待后台作业完成的状态（Figure 3b）。GPU 总机时 3,315 小时中作业占用率达 93%（3,086 小时），空闲等待智能体耗时不足 1%。总财务成本约为 11,800 美元，其中 GPU 租赁费用约为 10,800 美元，智能体推理成本为 1,074 美元（约占 9%）（Figure 4a）。
• 作者的解读：作者称基础设施托管大幅降低了执行摩擦，使高昂的算力利用率保持在极高水平，智能体智能带来的开销仅占整体成本的小部分。

其他消融与分析

• 贪婪混合采样（Agent 3）：将 GRPO 中 25% 的 rollout 改为贪婪解码后，检查点开发集均分从 49.7 提升至 57.3（Trace 1）。
• 权重外推缩放（Agent 3）：将融合模型相对基座的任务向量缩放系数从 1.0 增至 1.2 时，逻辑得分从 56.4 升至 63.0，但缩放到 1.3 时知识得分从 66.8 降至 63.8（Figure 8b, Appendix D.6）。
• 拒绝采样自蒸馏（Agent 3）：在融合检查点上提取自身样本的最短正确解微调，首轮使开发集均分提升 1.0 点（从 63.97 升至 64.99），后续轮次变动不超过 0.2 点（Trace 4, Table 11）。
• 单次评测噪声偏差：对 23 个多 seed 评估的候选检查点，有 19 个的第 1 个 seed 高于后续 seed 均值，平均偏高 0.4 点，最大偏高 1.1 点（Figure 8a）。
• 逻辑求解器轨迹负面消融：Agent 2 尝试在 6,900 条模拟求解轨迹上微调，导致逻辑诊断评分从约 49 降至 27（Trace 7）。
• 备选训练数据分支负面消融：Agent 3 尝试脱离主干语料在其他数据上训练分支 B，开发集得分仅停留在约 55，融合后反导致逻辑得分稀释并被废弃（Trace 6）。
• 长度惩罚负面消融：在强化学习中加入长度惩罚导致开发集得分从 step 10 的 65.1 降至 step 20 的 64.6（Appendix D.2）。

作者指出的局限与后续方向

• 单次活动与同构智能体复现性局限：结果仅来自单次活动，由四名相同智能体协作完成，各智能体的提交并非独立重复试验；需要通过重复实验探究不同活动间的变异性，以及在无协作设置下探究团队机制的具体增益（Section 8）。
• 基座模型规模与模型族迁移性未经验证：研究仅选用 4B 规模基座模型以保障在单次活动内高频训练与评估；智能体探索出的配方能否迁移至更大参数规模或其他模型家族仍未经验证（Section 8）。
• 智能体模型异构性对搜索多样性的影响：四名基于相同模型的智能体在搜索初期即收敛至单一数据配方；基于其他模型或混合不同模型的智能体团队是否能产生更广泛的搜索策略有待探索（Section 8）。
• 尚未达到厂商前沿推理模型高度：团队模型虽匹敌厂商 Instruct 版本，但在最终测量中仍明显落后于具备显式长思考过程的推理发布版本（Thinking-2507）（Section 8）。
• 公开语料中隐式蒸馏知识的依赖：尽管智能体未直接调用外部教师模型，但微调所依赖的公开数据集多由发布者从更强模型蒸馏而来，因而成果反映的是利用公开资源的上限而非纯粹从基座模型自我进化（Section 8）。
• 构建更完整的自主科研闭环：未来可将人类预先设定的环节移交给智能体，包括由智能体构建评测基准、通过元循环搭建后训练环境，以及构建合成数据自我生成与验证的数据飞轮（Section 6）。

实验覆盖范围

• 被测基座模型仅包括 Qwen3-4B-Base 一款 4B 参数模型。
• 研究员智能体仅采用 Claude Opus 5.5（在 Claude Code 中运行）单一架构，数量固定为 4 个。
• 硬件计算环境为 4 个各配备 8 张 80GB HBM3 GPU 的服务器节点，总活动时长为 104 小时。
• 评测基准覆盖数学、逻辑、代码、知识、指令遵循与多步动作 6 项任务，开发集与保留集共各包含 6 个对应数据集。
• 强化学习与自蒸馏的所有奖励信号均为确定性规则验证（答对为 1，答错为 0），论文未测试基于模型或人类偏好的奖励模型。

• 研究定位：针对前沿大语言模型自主改进自身的研究潜力，论文提出了面向自动化后训练研究的开放系统 Athanor，作者称这是已知首次展示前沿智能体团队在无人类研究建议和外部教师模型的情况下，自主将原始基座模型训练至厂商官方指令微调版本的水平。
• 核心挑战与设计：针对后训练搜索状态高维、反馈延迟且充满工程故障摩擦的难题，Athanor 实现了研究决策与底层执行的严格解耦，构建了包含日志、代码版本与检查点谱系的外部化持久记录系统，并提供异步非阻塞的任务调度与受保护的自动化去污染和评测环境。
• 智能体探索方法：四名由 Claude Opus 5.5 驱动的智能体在 104 小时内，自主完成了全能力覆盖 SFT、引入贪婪采样以抑制循环输出的 GRPO 强化学习、跨智能体权重外推融合，以及基于自身最短正确解的拒绝采样自蒸馏（RFT）。
• 核心实验结果：在由 6 项任务组成的评测体系中，团队最终提交的模型在开发集最终测量均分由基座的 15.9 提升至 67.3（官方 Qwen3-4B-Instruct-2507 为 66.5），在未见的孪生保留集上由 9.2 提升至 48.2（官方为 47.9）；全流程总耗资约 11,800 美元（GPU 租赁占 10,800 美元，智能体推理仅占 1,074 美元）。
• 研究洞察与启示：作者分析表明，智能体具备很强的工程实现、已知方法重组和团队协作能力，并在得知团队评测机制后迅速共享检查点；但同构智能体在先验和数据选择上呈现早期收敛与多样性不足。作者认为，随着执行摩擦被消除，当前的瓶颈在于想法的多样性，Athanor 为未来可扩展的自主 AI 研发奠定了基础。