SCAPO:用反事实稳定性改进 GRPO 的 token 级信用分配
提出 SCAPO,用半事实稳定性改进 GRPO 的 token 级信用分配
- arXiv
- 2609.40360
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-4B-Base、Qwen3-1.7B-Base
摘要SCAPO 在训练早期下调相对不稳定 token 的 GRPO 优势,两个规模上多数基准更高。
SCAPO 把固定回答在半事实提示下的稳定性,变成 GRPO 训练早期的 token 级负向信用修正。。
提出 SCAPO,用半事实稳定性改进 GRPO 的 token 级信用分配
SCAPO 把固定回答在半事实提示下的稳定性,变成 GRPO 训练早期的 token 级负向信用修正。。
提出 OpenMLE 全栈,用执行反馈后训练机器学习元进化智能体
作者提出全栈 OpenMLE,在机器学习工程里研究从进化到元进化的一步,并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练,以及部署该模型的长程进化搜索。
综述视频生成的后训练与对齐,并汇总基准与开放挑战
这是一篇视频生成 后训练与对齐 综述:预训练模型已有强先验,但作者认为仍不能可靠遵循意图、维持时间连贯或满足物理与安全约束。
提出 TESS 与点值匹配损失,训练可迁移的数据选择网络
TESS 是一个用于 LLM 训练数据选择的元学习框架:用验证集引导下的损失差做样本伪标签,训练一个能给未见样本打分的选择网络。
发布开放语言模型 OLMo、Dolma 数据与训练评测代码
Allen Institute 发布 OLMo:一套从数据、训练到评测都公开的语言模型框架,用来支持对语言模型能力、弱点、偏见与风险的研究。
研究提出"内核管理共享内存",由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。
kernel-managed shared memory 把多智能体的检索、隐私和注入收进 agent-system kernel,并在 AIOS 上与三种替代方案比较。
综述智能体执行链路中的越狱攻击、防御与实践权衡
Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信,并问既有结论在更强原生对齐下是否还成立。
提出 ERPO,用探针共识奖励对无标签代码生成做测试时强化学习
提出 RepOps,使分布式预训练可跨硬件按位复现并被审计
Open-1B 是 Gensyn 发布的 1.61B 参数 decoder-only 模型,目标是把预训练从“公开配方”推进到每一步可在异构硬件上按位核对。浮点加法非结合、融合乘加、次正规数和平台相关随机数,使同一配方在不同机器上得不到同一权重。概率性的 proof-of-learning / proof-of-training-data 被作者认为不足以排除少量数据注入的后门。
提出 STRETCH 自教框架,让同一模型交替出题与求解以渐进提升
提出多草稿水印投机采样 MPFR,同时保持无偏水印与采样效率
MPFR 是一种基于泊松过程的多草稿投机采样,用来同时提高解码效率并嵌入无偏水印。
提出 Mid-Harness,在执行前验证并选择终端智能体的候选动作
Mid-Harness 在不改生成器和执行 harness 的前提下,于二者之间做动作级测试时计算,用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。
提出 TFTV,把激活转向向量映成可加减组合的秩一权重编辑
摘要TFTV 用前向统计把转向方向写成可加减的秩一权重编辑,并在行为控制上比较效用。
提出列表式智能体补丁检索系统,在仓库中定位 CVE 修复提交
PatchHolmes 是面向补丁检索的两阶段系统:在本地 Git 仓库上用冻结开源权重模型,为一个已知 CVE 找出修复提交,不做按仓库微调,也不使用付费外部搜索 API。
提出固定权重下学习 meta-skill 以为未见任务搭建智能体 harness 的方法
作者研究 test-time AI4AI:Builder 与 Target 权重都固定时,Builder 学习如何为 Target 构造更好的执行环境。
提出 UNMERGE,用任务向量低秩分解做概念级遗忘
UNMERGE 把近似机器遗忘写成模型合并的逆运算:从已微调的合并任务向量里减去一个学出来的低秩遗忘分量。作者要处理的是概念级请求(一个类或一个语义组),而不是任意单条记录。梯度上升、重标注、蒸馏和显著性方法都靠把遗忘损失写进权重,作者认为它们超参脆弱、无法表达遗忘与保留的共享方向,也缺少逐层诊断。
系统比较解释获取路径下的抽取、成员推断与反演
用可验证经验流水线训练智能体并分析人机研发分工
Atria Dawn Preview 是面向研究与工程流程的智能体语言模型,论文同时报告它的基准表现,以及开发它的过程中人与智能体如何分工。
提出自演化本体层 EvoOntology,供数据智能体经 MCP 查询异构数据语义
EvoOntology 为数据智能体增加一层可在运行时查询、并随执行轨迹更新的本体,用来缩小 agent–data gap。
提出 DriveMCP 框架,将感知、交规检索与 RSS 仲裁接成可审计驾驶辅助
DriveMCP 是面向高级驾驶辅助的模块化智能体框架,把感知、合规、车辆状态和安全仲裁拆开并留下审计轨迹。