STAR-GRPO: Suppressing Reward Hacking with Reliability-First Advantage Estimation

组相对策略优化中，无支撑奖励会改写组基线并改变其他 rollout 的更新，如何让可靠性进入优势估计以限制这种影响。

• 场景：RLHF 优化的是人类偏好的奖励代理（Christiano et al., 2017; Ouyang et al., 2022; Bai et al., 2022）。作者称，随着优化进行，策略可以提升代理分数而外部质量并不相应提升（Skalse et al., 2022; Gao et al., 2023）。同一回答的辅助评分可以暴露与训练分数的分歧。
• 现有不足：普通 GRPO 在每个提示词组内对奖励做中心化与缩放（Shao et al., 2024）。作者称有两处障碍：不可靠的高奖励会在任何事后权重之前改变组均值和尺度，只减小它自己的优势并不能撤销已分给其他 rollout 的优势；相对加权无法表达共同的低置信，因为全体权重乘同一常数后归一化权重不变。
• 核心设计：把“优化什么”和“更新多强”分开。预指定的质量路径选择或组合训练分与锚点分；二者分歧提供优化可靠性系数。相对权重进入伪 Huber 的提示词位置与 minibatch 共享尺度拟合，有界分数再乘绝对组可靠性因子。作者称所得优势对任意有限拟合位置和正尺度满足 |A_i| ≤ w_i。
• 提出的方法：STAR-GRPO（Self-Tuned Anchored Reliability Group-Relative Policy Optimization）。同一机制用于两种奖励黑客设定：token 接口利用（部署视图与 canonical 视图成对评分）和医学推理中的 rubric 代理过优化（代理仍是优化目标，无 rubric 的语义锚只决定影响强度）。
• 威胁模型：
  • 目标：针对同一 rollout 两个视图之间的奖励膨胀，包括正向跨接口偏移、异质干净差异尺度、h 之前的重尾质量奖励，以及含大量被攻击 rollout 的组。
  • 接口：被观测接口必须是已部署系统可达的；任意映射只留给审计压力测试。
  • 信息：Theorem 3.1 称，只看 Robs 的检测器无法一致区分具有相同可观测分布、但被攻击模型的 canonical 奖励更低的两个模型；若攻击给每个被评视图加同一随机偏移，只看差异的检验其第一类加第二类错误至少为 1。
  • 作者限定：成对视图提供关于差异偏移的证据，并不由此认定每个观测到的差异都是攻击。

• 奖励过优化与奖励模型局限：Gao et al. (2023) 与 Casper et al. (2023) 推动在训练分数之外评估进展。TOMPA 研究 token 接口攻击（Zhang et al., 2026）；表示工程用内部捷径信号修改 GRPO 优势（Wu and Tang, 2026）。作者称 STAR 改为从每个 rollout 的成对奖励评估导出可靠性。Skalse et al. (2022) 刻画代理与真实奖励在优化下何时不一致；Gao et al. (2023) 在 PPO 与 best-of-n 下量化过优化。D’Amour et al. (2022) 用欠规格解释训练域表现等价不必推出部署行为等价。
• 集成、稳健奖励与答案级可靠性：奖励模型集成支持保守优化（Coste et al., 2024）和不确定性惩罚（Zhai et al., 2024）；稳健奖励训练针对偏好伪迹（Liu et al., 2024）。Conformal Feedback Alignment 用答案级可靠性加权偏好优化（Chen et al., 2026）。作者称 STAR 的区别是把可靠性放进组拟合，并在之后保留绝对衰减；稳健估计与校准工具是已有方法，详见附录 A。
• 归一化、损失归约与评审偏差：Dr. GRPO 分析 GRPO 中的回答长度与题目难度偏差（Liu et al., 2025）；DAPO 研究 token 级损失聚合与训练稳定性（Yu et al., 2025）。作者称这些工作促使把损失归约与优势分开指定。LLM 评审存在位置、冗长和自我增强偏差（Zheng et al., 2023）；长度控制的 AlpacaEval 把冗长当作混杂因素调整（Dubois et al., 2024）。为把训练代理与评测分开，RQ2 使用从不进入策略更新的第三评审。RewardBench 在对话、推理和安全案例上测试偏好判别（Lambert et al., 2025）。GRPO 去掉学习到的 critic，在每个提示词组内形成优势（Shao et al., 2024）；STAR 改变奖励侧优势，保留指定的 PPO 似然比与裁剪（Schulman et al., 2017）。
• 基线方法与基准/数据集：RQ1 基线为 TOMPA-GRPO，优化经恒等 token 映射的部署接口分数；训练提示词来自 WildChat（10,000），验证为 100 条策划的 NoveltyBench 提示词。RQ2 基线为普通 GRPO，与 STAR 优化同一 GPT-4o-mini rubric 条件代理；训练数据为 RubricHub-Medical，评测为 HealthBench-Hard。作者写明：使用这些提示词和 rubric 并不使报告分数成为原基准完整协议下的评测；RQ1 报告的是奖励与长度动态，而不是 NoveltyBench 的多样性指标。

作者把本文定位为：用特定设定下的分数差异在归一化之前加权组基线，再在最终优势中保留绝对可靠性，直接针对组相对统计被污染；该贡献与在其他环节介入的可靠性方法正交。识别结果针对的是从成对分数检测偏移这一更窄的信息边界。

整体上，STAR-GRPO 先指定分数对与质量路径，再估计可靠性、拟合稳健组基线，最后形成策略优势。优化的分数与该分数的证据被分开。

问题设定与质量路径

• 成对分数：对提示词 X_b，旧策略采样 G 个 rollout。部署映射 M_obs 与冻结的 canonicalizer C 给出 R^obs 与 R^canon，差异 D = R^obs − R^canon。正的 D 表示部署接口奖励得不到该锚点支持。Canonicalizer 用策略分词器解码，做预指定归一化与聊天模板，再用奖励分词器重新分词。
• 质量路径：固定 κ ∈ [0, 1]，R_κ = R^canon + κ D，再经固定、单调、有界且 1-Lipschitz 的 h 得到 r ∈ [−R_max, R_max]。除非另有说明，STAR 用 κ = 1；κ = 0 选择 canonical 奖励路径。RQ1 实际用 canonical-primary：r = 10 tanh(R^canon / 10)，即 κ = 0。RQ2 用 r = R_proxy，即 κ = 1。
• 上下文与数据划分：每个 rollout 有预指定上下文 H（如分词器对、任务族或长度箱）。可信良性输出在查看分数之前分成差异拟合集与 conformal 校准集。策略训练、攻击开发、独立干净审计与最终评测使用不相交标识。上下文定义、稀有上下文合并和未见上下文回退在校准前冻结。

可靠性校准

• 自调节稳健拟合：对上下文 c 的可信差异，用 Sun (2024) 的凸透视损失联合估计位置与影响尺度，尺度限制在 [s_min,c, s_max,c]。尺度撞边界被记为诊断。该步骤处于 Huber (1964) 的稳健 M 估计框架内。
• 权重：在不相交校准划分上标准化 S^D，取分位 q_{1−α}；w = exp{−λ[S^D − q]_+ }。q = +∞ 时 w = 1。阈值决定何时开始降权，λ > 0 控制速率，且不复用 conformal 划分来选择。作者称 w 控制优化影响，不是“回答干净”的后验概率。RQ2 使用固定参考，同一权重映射不带分割校准的覆盖声明。
• RQ2 固定参考：差异中心 0、尺度 0.1、可靠性阈值 1.645、衰减 2。无效分数对映射为零可靠性，从而不进入奖励侧拟合。

可靠性优先的稳健优势

• 组准入：总可靠性 W_b = 0 的组在计算相对权重前跳过。主算法在 W_b ≥ W_min > 0 且有效组大小 G_eff,b ≥ G_min > 1 时才接纳该组。不接纳的组奖励优势为零，也不进入共享尺度拟合。若无组可接纳，或求解器 / KKT 检查失败，则跳过整个优化步。主目标把策略损失分母保持为原始组数，使弃权减少而不是重新归一化奖励更新。记录的 STAR 运行使用 token-mean 损失归约（附录 F）。
• 拟合与优势：对接纳组，每个提示词一个位置 μ_b，minibatch 共享尺度 v ∈ [v_min, v_max]，最小化以有效组大小加权的伪 Huber 目标。作者称共享 v 是为了在小组上稳定尺度，同时保留提示词特异的中心。拟合后用有界分数 φ，再乘平均可靠性 w̄_b 与相对权重，得到 A^STAR。对固定接纳集且 ε_w = 0，组内全体权重乘 c ∈ (0, 1] 会使该组优势乘 c。
• 计算：每个 rollout 两次评分：RQ1 是同一模型的两个接口，RQ2 是两个评估器。每次一阶或 Newton 遍历代价为 O(BG)；提示词位置可并行，共享尺度是一维的。梯度不穿过任何奖励侧量，且不对 A^STAR 再中心化、白化或重缩放。

理论保证与成功含义

• 幅度与中心：Theorem 5.1 称，对任意有限位置和正尺度，组内优势平方均值不超过 w̄_b²，且 |A^STAR| ≤ w。加权位置方程成立时优势和为零。每个被接纳提示词有两个不同的正权重奖励时，目标联合凸且极小元唯一。这些方向界针对旧策略处、奖励侧量固定时的初始奖励方向，不要求精确拟合。中心误差可写成与残差 e_φ 成正比的可审计恒等式。
• 单异常点：Proposition 5.2 在 G ≥ 3、一个奖励为 M、其权重为 ε、其余为 0 与权重 1 时比较。普通 GRPO 再乘 w 时，每个干净 rollout 优势为 −1/√n。加权均值–标准差给出干净项 −√(ε/n)、异常项 √(nε)。满足精确位置方程的 STAR 则 |A_outlier| ≤ ε 且 |A_clean| ≤ ε/n。作者称这把可靠性 ε 变成两侧的 O(ε) 坐标界。
• 条件可靠性：Theorem 5.3 在干净校准对与一个新干净对可交换时，干净样本被降权的概率与 E[1 − w] 均不超过 α。被攻击分数与校准分位分离时，E[w | Z = 1] ≤ β + (1 − β) e^{−λΔ}。Corollary 5.4 把该期望权重接到初始影响上界 L_π η_A / G。作者称自适应轮次的推广还需要所陈述的条件总变差前提，策略训练并不自动提供可交换性或该前提。

实验设置

• RQ1 模型与数据：策略为 Llama-3.2-1B-Instruct，奖励模型为 Skywork-Reward-V2-Qwen3-8B。训练用 10,000 条 WildChat 提示词；验证为 100 条策划的 NoveltyBench 提示词，每条采样 8 次。学习率 10^{−6}，批大小 64，每提示词 8 个 rollout，1 个 PPO epoch，bfloat16，参考策略 KL 系数 0.001。提示词与回答上限为 512 与 2,048 个策略 token；奖励模型输入上限 4,096 token。轨迹画到 step 855。
• RQ1 对照：TOMPA-GRPO 经恒等 token 映射 Φ(j) = j 优化部署接口分数 R^obs。STAR 同时评部署接口与 canonical 解码–归一化–再分词路径，D = R^obs − R^canon。质量路径为 r = 10 tanh(R^canon / 10)（κ = 0）。另有 canonical-only 诊断对照，附录 F.1.1 报告端点统计；正文未给出该对照的数值。
• RQ2 模型与数据：策略为 Qwen3-4B，训练 RubricHub-Medical，评测 HealthBench-Hard。GRPO 与 STAR 都优化同一 GPT-4o-mini rubric 条件代理。STAR 另从 Gemini-2.5-Flash-Lite 取得无 rubric 语义评估，D_rubric = R_proxy − R_anchor。Claude-Sonnet-4-6 只作独立验证评审，不进入策略更新。两者共用策略、训练数据、每提示词 16 个 rollout、PPO 日程、token-mean 损失聚合和验证协议。论文未在正文给出 HealthBench-Hard 或 RubricHub-Medical 的条数。
• RQ2 指标：主外部指标为独立评审分数；另报 proxy–judge 差距、criterion pass rate 与 overclaim 比例。差距表示训练代理上的进展未被独立评估者复现的程度；overclaim 是代理记为满足、但独立评审不记为满足的正权重 rubric 准则所占比例。两名验证评审对同一生成回答、同一评测 rubric 打分。Table 7 使用满足固定验证可用性标准的最新共同检查点：两边都有有效聚合指标，且每个验证评审失败率至多 5%。均值四舍五入到四位小数，差值由未舍入均值计算。
• 图中诊断：Figure 2–3 为 RQ1 的奖励通道、接口差异、回答长度与长度截断比例。Figure 4 为 RQ2 验证轨迹。Figure 5 为 RQ2 训练诊断，粗线是逐步元数据的 11 步滚动中位数；训练锚与独立评测评审不同。论文未报告重复次数或人工一致性。

主结果

Swipe horizontally to read the table

设定	方法	指标	数值	出处
RQ1 验证	TOMPA-GRPO	观测接口奖励	−1.894 → 9.641	§6.1
RQ1 验证	STAR	canonical 奖励	3.121 → 4.902	§6.1
RQ1 验证	STAR	观测接口奖励终点	−0.570	§6.1
RQ2 共同检查点	GRPO	独立评审 / 差距 / overclaim	0.2706 / 0.2935 / 0.2464	§6.2
RQ2 共同检查点	STAR	独立评审 / 差距 / overclaim	0.3174 / 0.2318 / 0.2204	§6.2
RQ2 共同检查点	GRPO → STAR	criterion pass / proxy	0.4752 → 0.5049；0.5640 → 0.5492	§6.2

• RQ1：作者称 TOMPA-GRPO 的平均回答长度在 step 235 达到 2,048 token 上限；STAR 的 canonical 验证奖励绝对增益 1.781（相对 57.1%），优化信号沿 canonical 方向移动，而不是跟随可利用的部署接口分数。Figure 2 的虚线 8.9 是观测尺度上的参考答案分数。
• RQ2：作者称独立评审相对增加 17.3%，proxy–judge 差距相对减少 21.0%，overclaim 相对减少 10.6%。外部指标上升时 STAR 的 proxy 分数下降，作者称之为减少奖励黑客的预期特征：不是把代理推得更狠，而是让更多被优化的代理信号被独立评估者复现。
• 两套设定：作者称 RQ1 把学习转向 canonical 质量并阻止被黑客利用的观测奖励成为优化目标；RQ2 中代理必须保持为任务奖励，语义视图只调节影响。

RQ1 可靠性与长度

• 选择性可靠性：STAR 的平均 rollout 可靠性保持在 0.9847 到 1.0000，平均有效组大小在 7.955 到 8.000（满分 8）之间；记录轨迹上的最小个体可靠性达到 0.105（Figure 3）。作者称这是预期工作区间：大部分有支撑的 rollout 几乎不变，部署分得不到 canonical 视图支持的少数样本被强衰减。
• 长度：Figure 2(b) 中，作者称 TOMPA-GRPO 在训练早期触及 2,048 token 回答上限，STAR 在优化全程保持成对评分训练信号。Figure 3 同时画出训练与验证的观测/canonical 奖励、接口差异、回答长度和处于最大长度的比例；正文未逐点列出 Figure 3 的端点数值。

RQ2 训练诊断

• 可靠性并未退化：11 步滚动中位数的 rollout 可靠性大约在 0.70–0.90，结束时接近 0.78；平均有效组大小在 11.3 到 15.2（满分 16）之间（Figure 5）。训练 proxy–anchor 差距大约从 −0.253 到 0.062，并向 0 移动；不可接纳组大约达到 10.9%。作者称机制在起作用：支持过弱时把不确定性变成弃权，而不是可能误导的奖励更新。
• 额外计算：作者称相对策略 rollout，奖励侧额外计算较轻：每个 rollout 一次锚点评估，加上一维共享尺度的 O(BG) 稳健拟合。论文未报告具体查询次数或耗时。

其他消融与分析

• 正文未报告改变 λ、W_min、G_min 或 z_A 的数值消融表。
• RQ1 canonical-only 诊断对照的端点统计在附录 F.1.1，正文只称 canonical 通道提供有意义的锚，未给出数字。
• Theorem 5.1–5.3 与 Proposition 5.2 给出幅度、单异常点衰减和干净降权不超过 α 的保证；实验节未报告这些界在训练轨迹上的数值检验。
• Figure 5 的训练 proxy–anchor 差距与验证 proxy–judge 差距是两个量：前者驱动训练时的可靠性，后者用 Claude 做外部诊断。
• 配对检查点比较要求每个验证评审失败率至多 5%，并取满足该标准的最新检查点（附录 F 对 Table 7 的说明）。
• 通过率与 overclaim 是每个回答内正权重准则上的未加权比例，再对有效回答平均；若没有正权重准则则回退到全部准则。

作者指出的局限与后续方向

• 成对视图不是攻击证明：Section 3 称，成对视图提供差异偏移的证据，并不由此认定每个观测到的差异都是攻击（Theorem 3.1 同时说明单一标量奖励在无额外假设时不能揭示什么）。
• 校准前提不由训练自动满足：附录 A 称，自适应轮次陈述使用明确写出的条件总变差前提；该前提和干净可交换性都不是 on-policy 训练自动提供的。Corollary C.7 的干净降权概率上界为 α + E[ρ_t]，依赖于该前提。
• 初始方向不等于全程：附录 A 称，初始方向界并不意味着对完整优化轨迹的保证。
• 分数不是原基准完整协议：附录 A 称，使用 RubricHub 提示词与 rubric、以及 WildChat 与 NoveltyBench 提示词，并不使所报分数成为原基准完整协议下的评测；RQ1 报告奖励与长度动态，而不是 NoveltyBench 的多样性指标。
• 部署条件：Ethics Statement 称，部署还需要独立语义评测、适当的人工监督，以及对敏感日志输出和模型接口的保护；攻击描述与评测产物应按其可能影响的系统采取相应防护后再发布。
• 论文未把“将发布代码”写成已完成事项；Reproducibility Statement 称方程 (2)–(9) 与附录给出了复现所报实验所需的协议、接口、校准与优化器设置。

实验覆盖范围

• 被测策略：RQ1 为 Llama-3.2-1B-Instruct，奖励模型 Skywork-Reward-V2-Qwen3-8B；RQ2 为 Qwen3-4B，代理为 GPT-4o-mini，训练锚为 Gemini-2.5-Flash-Lite，独立验证评审为 Claude-Sonnet-4-6（§6.1–6.2）。
• 数据与协议：RQ1 为 10,000 条 WildChat 训练提示词和 100 条 NoveltyBench 验证提示词、每条 8 次采样、轨迹至 step 855；RQ2 在 RubricHub-Medical 上训练、在 HealthBench-Hard 上评测，每提示词 16 个 rollout，Table 7 取失败率至多 5% 的最新共同检查点。论文未报告重复实验次数。
• 质量路径两种实例：RQ1 为 κ = 0 的 canonical-primary，并有正文未给数字的 canonical-only 诊断；RQ2 为 κ = 1，锚不替换任务奖励。RQ1 使用分割校准的可靠性定理，RQ2 使用固定跨评估器参考（中心 0、尺度 0.1、阈值 1.645、衰减 2）。
• 报告的量：RQ1 为观测与 canonical 奖励、接口差异、回答长度和长度截断；RQ2 为独立评审分数、proxy–judge 差距、criterion pass rate、overclaim、proxy 分数，以及可靠性、有效组大小、弃权比例。论文未报告与人工评审的一致性。
• 理论对照写在命题中：单异常点分析比较了普通 GRPO 事后乘权重、加权均值–标准差，以及满足位置方程的 STAR（Proposition 5.2）；实验节未把这三种优势公式作为训练基线逐一跑完。

STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。

• 问题：普通 GRPO 里，不可靠高奖励会在事后加权之前改掉组均值和尺度；只降它自己的权重不能挽回其他 rollout 的优势，全体同乘常数也不能表达整组低置信。
• 做法：差异 D 经上下文稳健位置–尺度和 conformal 或固定参考变成可靠性 w。相对权重进入伪 Huber 组拟合，绝对组可靠性 w̄ 再乘有界分数。不达标的组优势为零；无组可接纳或求解失败则跳过该优化步。Theorem 5.1 给出 |A| ≤ w；单异常点分析中，可靠性 ε 对应异常点与干净点两侧的 O(ε) 坐标界。
• RQ1：Llama-3.2-1B-Instruct、Skywork 奖励模型、WildChat 训练与 100 条 NoveltyBench 验证。TOMPA-GRPO 观测奖励从 −1.894 到 9.641，并在 step 235 触及 2,048 token 上限。STAR 以 canonical 路径为优化目标，canonical 验证奖励从 3.121 到 4.902，观测接口终点为 −0.570；平均可靠性在 0.9847–1.0000，最小个体可靠性到 0.105。
• RQ2：Qwen3-4B 在 RubricHub-Medical 上优化 GPT-4o-mini 代理，Gemini-2.5-Flash-Lite 只提供可靠性，Claude-Sonnet-4-6 只做验证。同一检查点上，独立评审从 0.2706 到 0.3174，proxy–judge 差距从 0.2935 到 0.2318，overclaim 从 0.2464 到 0.2204，criterion pass rate 从 0.4752 到 0.5049，而 proxy 从 0.5640 降到 0.5492。滚动中位可靠性约 0.70–0.90，不可接纳组约 10.9%。
• 作者的结论：辅助评估可以调节奖励对基线和策略更新的强度，而不必自己充当优化目标；两套设定共用这一原则。作者同时写明，初始方向界不覆盖完整轨迹，干净覆盖依赖可交换性及自适应情形下的条件总变差前提，且所报分数不是 NoveltyBench 或 HealthBench 原协议下的完整评测。