SCAPO:用反事实稳定性改进 GRPO 的 token 级信用分配
提出 SCAPO,用半事实稳定性改进 GRPO 的 token 级信用分配
- arXiv
- 2609.40360
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-4B-Base、Qwen3-1.7B-Base
摘要SCAPO 在训练早期下调相对不稳定 token 的 GRPO 优势,两个规模上多数基准更高。
SCAPO 把固定回答在半事实提示下的稳定性,变成 GRPO 训练早期的 token 级负向信用修正。。
提出 SCAPO,用半事实稳定性改进 GRPO 的 token 级信用分配
SCAPO 把固定回答在半事实提示下的稳定性,变成 GRPO 训练早期的 token 级负向信用修正。。
提出 OpenMLE 全栈,用执行反馈后训练机器学习元进化智能体
作者提出全栈 OpenMLE,在机器学习工程里研究从进化到元进化的一步,并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练,以及部署该模型的长程进化搜索。
综述视频生成的后训练与对齐,并汇总基准与开放挑战
这是一篇视频生成 后训练与对齐 综述:预训练模型已有强先验,但作者认为仍不能可靠遵循意图、维持时间连贯或满足物理与安全约束。
提出 TESS 与点值匹配损失,训练可迁移的数据选择网络
TESS 是一个用于 LLM 训练数据选择的元学习框架:用验证集引导下的损失差做样本伪标签,训练一个能给未见样本打分的选择网络。
阐述旗舰基础模型的预训练与后训练方法并公开权重与安全模型
发布开放语言模型 OLMo、Dolma 数据与训练评测代码
Allen Institute 发布 OLMo:一套从数据、训练到评测都公开的语言模型框架,用来支持对语言模型能力、弱点、偏见与风险的研究。
提出 ERPO,用探针共识奖励对无标签代码生成做测试时强化学习
提出 RepOps,使分布式预训练可跨硬件按位复现并被审计
Open-1B 是 Gensyn 发布的 1.61B 参数 decoder-only 模型,目标是把预训练从“公开配方”推进到每一步可在异构硬件上按位核对。浮点加法非结合、融合乘加、次正规数和平台相关随机数,使同一配方在不同机器上得不到同一权重。概率性的 proof-of-learning / proof-of-training-data 被作者认为不足以排除少量数据注入的后门。
提出 STRETCH 自教框架,让同一模型交替出题与求解以渐进提升
提出 SGA-Flow-GRPO,用奖励梯度调制文生图模型的 token 级优势
提出 UNMERGE,用任务向量低秩分解做概念级遗忘
UNMERGE 把近似机器遗忘写成模型合并的逆运算:从已微调的合并任务向量里减去一个学出来的低秩遗忘分量。作者要处理的是概念级请求(一个类或一个语义组),而不是任意单条记录。梯度上升、重标注、蒸馏和显著性方法都靠把遗忘损失写进权重,作者认为它们超参脆弱、无法表达遗忘与保留的共享方向,也缺少逐层诊断。