港大 NeurIPS 2026 论文揭示 GRPO 隐式优势对称性,A-GRAE 兼顾准确率与探索
你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁
AI 导读
香港大学屈靓琼团队(第一作者余志齐)在 NeurIPS 2026 论文中提出“隐式优势对称性”视角,统一解释 GRPO 的两大缺陷:组内正负优势零和,使未采样但正确的路径得不到直接更新、抑制探索,大采样预算(如 Pass@256)下表现反而低于基础模型;样本更新幅度在中等难度(p=0.5)时最大,简单题与困难题权重相同,忽略难度差异。基于此团队提出非对称组相对优势估计 A-GRAE,对正确轨迹的优势做衰减抑制,并随训练推进动态实现由易到难的课程调度,可即插即用且不增加额外计算。论文见 arXiv(2602.05548),代码已在 https://github.com/HKU-HealthAI/A-GRAE 开源。