跳到正文
原文
公众号 为机器立心·本站收录· 原文发表· AI 动态 →· 扫描记录里的位置 →精选关注度42

纽约大学研究:多 Harness 强化学习的提升可能只是适配训练框架

纽约大学:刷分假象被戳穿,多 Harness 强化学习,可能只是适配框架,没有学到真本事

AI 导读

纽约大学的一篇对照实验论文发现,多 Harness 强化学习带来的提升很大一部分只是对训练所用执行框架的配置适配,并未转化为可迁移的编码能力。实验以 Qwen3-8B 的 SFT 版本为统一起点,轨迹数据、更新步数、奖励和损失函数保持一致,只改动 GRPO 的分组规则,对比每个任务在每个 Harness 内自成一组,以及把 Aider、OpenHands、SWE-agent、Qwen Code 的轨迹放进同一组做跨框架奖励对比。在训练中未出现的最小化 weak-ReAct Harness 上,跨框架池化相对组内对比仅高 0.25 个百分点,95% 置信区间为 [-0.48, +1.02],更换随机种子后两组胜负会翻转。研究还显示,同一模型换一套 Harness,SWE-bench 解决率可从 2.14% 变到 9.27%,相差 4.3 倍,大于 RL 训练配方带来的 1.16 倍波动。

推荐理由

论文用控制实验拆开多 Harness 训练的暴露与奖励分组,并给出换框架可让 SWE-bench 解决率相差 4.3 倍的对照数据。

阅读原文mp.weixin.qq.com