STAR-GRPO：用可靠性优先优势估计抑制奖励作弊

论文提出 STAR-GRPO（Self-Tuned Anchored Reliability Group-Relative Policy Optimization），一种可靠性优先的优势估计方法，用于缓解组相对策略优化中的奖励作弊。该方法基于对同一 rollout 的成对评估，把质量信号与其学习影响分离：评分分歧决定 rollout 可靠性，相对可靠性先进入自调的稳健位置-尺度拟合再做组归一化，绝对组可靠性则衰减最终的有界优势。分析给出了坐标与二阶矩边界、通过加权位置方程刻画精确中心化，以及针对离群奖励的可靠性相关衰减保证。