MiMo-V2.6:通过扩展强化学习迈向自我改进
扩展全模态基座的强化学习以支撑智能体自我改进
- arXiv
- 2610.11959
- 发表
- 被测模型
- MiMo-V2.6-Pro、MiMo-V2.6-Flash、MiMo-V2.6-Distill-Qwen-9B
摘要系列用三维扩 RL 与分组评分提升智能体分数,作者称最终表现与前沿模型相当。
MiMo-V2.6 是全模态 MoE 技术报告,用扩大 RL 计算、环境和评分来追求智能体自我改进。
扩展全模态基座的强化学习以支撑智能体自我改进
MiMo-V2.6 是全模态 MoE 技术报告,用扩大 RL 计算、环境和评分来追求智能体自我改进。
给出线性 robust bandits 特例的多项式时间学习者并证明小推广 NP-hard
这是一篇关于不可实现 bandit 学习之计算边界的理论工作:线性 robust bandits 的一个欧氏球仿射特例有多项式时间、Õ(√T)遗憾的学习者,再做小推广就会落到复杂性坍塌。
提出选择性长时程精炼,筛选轨迹以提升终端智能体训练可靠性
这项工作研究终端智能体模仿学习里,教师轨迹应保留多少 token。
提出任务感知的跨域蒸馏与剪枝方法以压缩音频深度伪造检测器
提出 TESS 与点值匹配损失,训练可迁移的数据选择网络
TESS 是一个用于 LLM 训练数据选择的元学习框架:用验证集引导下的损失差做样本伪标签,训练一个能给未见样本打分的选择网络。
提出 ExecCert,发布前核验机器遗忘候选是否落入预定可接受集
ExecCert 是放在遗忘生成器与发布门之间的认证层,用来检查具体有限精度产物是否满足预先声明的契约。
这是一篇视频生成 后训练与对齐 综述:预训练模型已有强先验,但作者认为仍不能可靠遵循意图、维持时间连贯或满足物理与安全约束。
提出 SCAPO,用半事实稳定性改进 GRPO 的 token 级信用分配
SCAPO 把固定回答在半事实提示下的稳定性,变成 GRPO 训练早期的 token 级负向信用修正。。
提出 UNMERGE,用任务向量低秩分解做概念级遗忘
UNMERGE 把近似机器遗忘写成模型合并的逆运算:从已微调的合并任务向量里减去一个学出来的低秩遗忘分量。作者要处理的是概念级请求(一个类或一个语义组),而不是任意单条记录。梯度上升、重标注、蒸馏和显著性方法都靠把遗忘损失写进权重,作者认为它们超参脆弱、无法表达遗忘与保留的共享方向,也缺少逐层诊断。
提出 QPT,用奖励与成本 Q 惩罚训练满足约束的离线强化学习策略
QPT 针对安全离线 RL:只从离线数据学习,同时处理约束满足、回报最大化和行为正则,并希望部署时更换成本阈值而无需重训。
占位。
提出 token 级修正工具 onPanda,高效标注 on-policy 对齐数据
onPanda 是用 token 级修正标注 LLM 对齐数据与智能体轨迹的交互工具。
构造反向推理训练流程,让模型按题切换正反向推理
作者训练大模型在数学题上建立反向推理,并按题目在正向与反向之间选择,而不是只加长思维链。
提出 STRETCH 自教框架,让同一模型交替出题与求解以渐进提升
提出 RepOps,使分布式预训练可跨硬件按位复现并被审计
Open-1B 是 Gensyn 发布的 1.61B 参数 decoder-only 模型,目标是把预训练从“公开配方”推进到每一步可在异构硬件上按位核对。浮点加法非结合、融合乘加、次正规数和平台相关随机数,使同一配方在不同机器上得不到同一权重。概率性的 proof-of-learning / proof-of-training-data 被作者认为不足以排除少量数据注入的后门。
递归自我改进会不会变成自持加速,取决于能力提高后下一代能力提高多少,也取决于外生投入不增长时增速会不会随存量上升。作者用有向图把算法效率、能力、研发投入和经济产出连起来,边的强度是弹性。
审阅书籍记忆覆盖率计量,指出其不能支撑版权替代主张
提出 ERPO,用探针共识奖励在无标签代码题上做测试时强化学习
提出 OpenMLE,后训练元进化智能体并做机器学习工程长程搜索
作者提出全栈 OpenMLE,在机器学习工程里研究从进化到元进化的一步,并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练,以及部署该模型的长程进化搜索。
用 GIRAI 评估各国负责任 AI 治理的框架、实施与能力缺口