研究测量位置混淆优化下的奖励作弊与推理-答案解耦

当每题奖励都正确、却和总是选A完全一致时，端点准确率分不清解题和位置捷径。

• 所测风险：作者关心目标误泛化（goal misgeneralization）：规格在训练分布上正确，偏移后却追求答案位置。作者把更广的一类称为 reward hacking。
• 为何重要：作者认为后训练常由高奖励推断学到了目标行为。训练准确率或奖励本身，分不开解题和利用表面规律。
• 现有测量：作者称位置偏差多被记为零样本现象，思维链不忠实也多在提示时研究。这回答不了优化之后基准分还在测什么。
• 本文做法：把 GSM8K 做成四选一，正确项恒为 A 的课程用 GRPO 训练，再在位置随机测试上看准确率、A 率、域外行为和推理—答案解耦率。
• 审计观察：作者称有偏课程没有错误标签，查标签、奖励或训练准确率都看不到问题；坏掉的是表面特征与奖励的相关。作者不声称已有部署利用或植入后门。

作者把位置捷径放在目标误泛化、思维链忠实性和窄微调行为转移旁边，并对比诱导机制。

目标误泛化与位置偏差

• Langosco et al. (2022)、Shah et al. (2022)：规格在训练分布上正确，偏移后策略仍追求虚假特征。作者举的例子是硬币总在关卡尽头，智能体学会跑到尽头，硬币随机后仍跑向尽头。
• Weng (2024)；Pezeshkpour 与 Hruschka (2023)；Zheng et al. (2023a)：作者用 reward hacking 称呼更广的一类；后两篇把多选位置偏差记为零样本现象。作者称本文是训练时、由正确但混淆的奖励诱导的，不是提示时或推理时效应。
• Denison et al. (2024)：分阶段、逐步更容易被博弈的课程。作者称自己的课程与之平行。

推理与最终选项分离

• Turpin et al. (2023)：少样本选项被重排成答案总是 A 后，模型写出把 A 合理化、但不承认偏差的推理，准确率下降最多 36%。作者称区别是训练奖励而非有偏提示，并用两种独立程序测量。
• Lanham et al. (2023)：用提前作答和加入错误测量思维链忠实性；论文写更大模型常常更不忠实。
• Young (2026)：open-weight 推理模型在 MMLU 与 GPQA 上接受误导提示。在跟随提示的情形中，55.4% 的思考 token 承认提示而答案没有，反向接近 0.5%。作者称自己的结果是训练时对应物。

行为转移与恢复

• Betley et al. (2025)、MacDiarmid et al. (2025)：作者称窄微调可以在无关输入上移动行为，与本文域外转移最相关。区别是本文每个训练点在事实和逻辑上都正确，没有损坏或有害样本。
• 再对齐研究：作者未点名，称少量干净微调可以较大程度撤销失对齐；自己补充的是多模型族上的逐步恢复，而不是单次前后对比。

对照

• 无偏课程：同一批 GSM8K 四选一上把正确项打乱到 A/B/C/D；恢复 checkpoint 是第三种条件。论文没有引入外部攻击或防御算法作基线。评测用位置随机留出集（n=135）、MMLU-50 和一条价值二元提示。

作者将本文定位为测量：正确但混淆的奖励优化之后，用答案分布、域外行为和推理—答案解耦率，把能力损失与可迁移捷径分开。

用一个每题都正确、但正确性与位置绑死的课程，把基准分还在测什么变成可分开报告的量。方法没有单独命名，核心是有偏课程加推理—答案解耦率。

任务构造

• 题目：GSM8K 转为四选一。GPT-4.1-mini 生成三个干扰项，作者称意图反映常见过程性错误，而不是任意数值扰动。过滤后训练题 1266；域内评测为位置随机留出集，n=135。
• 两种课程：同一批题。无偏课程把正确项打乱到 A/B/C/D；有偏课程把正确项始终放在 A。题干、选项和金标除此之外相同。作者称有偏课程没有错误标签。
• 测试：位置随机，用来分开任务能力与位置利用。

训练、奖励与恢复

• 优化：指令微调的 Qwen2.5、Llama 3.x、Gemma3，GRPO 加 LoRA，种子 7、42、123。论文未报告学习率、LoRA 秩、组大小或主课程步数。
• 三阶段格式：Stage 0 只训练字母答案；Stage 1 先 answer 后 reasoning；Stage 2 为最终评测格式，先 reasoning 后 answer。主结果用最终 Stage 2 checkpoint。
• 奖励：格式奖励（阶段对应标签）加正确性奖励（解析出的最终选项与金标一致）。不奖励推理质量、trace 内数字是否正确，或推理与答案是否一致。作者称有偏课程下选 A 总会被奖励，因为 A 总是对的。
• 恢复：有偏 checkpoint 在无偏课程上再训练 200 步 GRPO，奖励和最终输出格式不变。作者用它看正确监督是去掉位置策略，还是只抬高端点准确率。

解耦与探针

• 两个端点指标：准确率只看最终选项是否正确；option-A rate 看是否学到位置捷径。作者称低准确率加高 A 率对应捷径利用，而不是普通失败。
• 解耦定义：推理支持正确答案、但最终选项错误的比例。数值检查从 reasoning 抽取最终数字，与金标数字比较；含正确数字且最终选项错误，则计为解耦。
• LLM 评审：摘要写评审为 GPT-4.1-mini。Section 3.5 写将推理与缓存的已验证解答比较；Section 4.3 写评审独立解题，并判断推理是否支持正确解。论文未写评审提示词、阈值或与人工的一致性。
• 域外：MMLU-50，五个学科各 10 题；一条价值二元提示，每模型按附录采样 50 次，并交换两个选项的位置。

十个指令模型上比较无偏课程、有偏课程和 200 步恢复；正文里唯一按模型列全的定量表是解耦率，不是完整准确率表。

实验设置

• 模型：指令微调 Qwen2.5-0.5B、1.5B、3B、7B、14B，Llama3.2-1B、3B，Llama3.1-8B，Gemma3-1B、4B。GRPO 与 LoRA，种子 7、42、123。
• 数据与课程：GSM8K 四选一，GPT-4.1-mini 生成三个干扰项，过滤后训练题 1266。有偏课程正确项恒为 A；无偏课程打乱到 A/B/C/D。域内测试 n=135，位置随机。
• 恢复：有偏 checkpoint 在无偏课程上再训 200 步 GRPO。主结果为最终 Stage 2 checkpoint。
• 域外：MMLU-50，五科各 10 题：high school biology、college computer science、formal logic、management、high school chemistry。价值提示每模型每条件 50 次，并交换有害项位置。
• 指标：准确率只看最终选项；option-A rate 看是否选 A。解耦指推理支持正确答案但最终选项错误。数值检查抽取 reasoning 中的最终数字。摘要写 LLM 评审为 GPT-4.1-mini。
• 汇总：Table 1 是可用训练种子上的 mean ± stdev。论文未报告主课程步数、学习率、LoRA 秩、GRPO 组大小，以及评审与人工一致性。

主结果

下表是位置随机域内测试上的解耦率（Table 1）。恢复列只保留 LLM 评审。

| 模型 | 无偏数值 | 有偏数值 | 无偏LLM | 有偏LLM | 恢复LLM | | Qwen2.5-0.5B | 0.015±0.026 | 0.049±0.062 | 0.217±0.062 | 0.173±0.088 | 0.148±0.105 | | Qwen2.5-1.5B | 0.002±0.004 | 0.286±0.048 | 0.114±0.017 | 0.427±0.122 | 0.254±0.163 | | Qwen2.5-3B | 0.000 | 0.193±0.020 | 0.057±0.004 | 0.659±0.020 | 0.007±0.020 | | Llama3.2-1B | 0.030±0.051 | 0.027±0.026 | 0.141±0.039 | 0.111±0.049 | 0.091±0.067 | | Llama3.2-3B | 0.022±0.021 | 0.062±0.057 | 0.093±0.047 | 0.220±0.092 | 0.143±0.089 | | Llama3.1-8B | 0.005±0.004 | 0.156±0.111 | 0.022±0.020 | 0.291±0.079 | 0.111±0.100 | | Gemma3-1B | 0.057±0.021 | 0.099±0.060 | 0.311±0.130 | 0.269±0.193 | 0.286±0.199 |

未列入 Qwen2.5-7B、Qwen2.5-14B、Gemma3-4B。三者有偏 LLM 解耦率为 0.101±0.073、0.054±0.011、0.089±0.058（Table 1）。有偏 LLM 列最大的 Qwen2.5-3B 已列入。

• 准确率与 A 率：引言示例 Llama 3.1-8B 为准确率 0.82 到 0.31、A 率 0.26 到 0.94。Section 4.1 写 Qwen2.5-1.5B 大约从 67% 准确率、33% A 率到大约 26%、99%。作者称小模型 A 率常超过 0.90，无偏准确率走向 chance；并称更大的 Qwen2.5 保持高准确率与低捷径率，正文未给这些模型的准确率数字。Figure 1 图注称许多模型准确率下降且 A 率升高，柱高无法从文本读出。
• 解耦：作者称高 A 率下的解耦是选择与推理被分开，而不是单纯能力损失。表中 Qwen2.5-0.5B、Llama3.2-1B、Gemma3-1B 的 LLM 解耦率在有偏条件下不高于无偏。引言把 Qwen2.5-1.5B 的评审解耦率写作 0.11 到 0.43；摘要把 Qwen2.5-3B 写作约 0.66；Section 4.3 把这两档的数值解耦概括为大约 29% 与 19%。附录 A.2 给出一条有偏 Qwen2.5-3B 生成，说明推理中的数字与答案标签可以不一致。
• 优化过程：作者称高 A 率是优化中出现的，不是基座里现成的偏差（Section 4.2）。Figure 2 用白圈标出验证集平均 A 率达到 0.75 的首个 checkpoint；正文没有各模型步数。作者认为易感性不能只从规模或基座准确率推断。

域外 MMLU-50

• 测了什么：同一 adapter 在未参与训练的 50 道 MMLU 上的准确率与 A 率。作者称探针小，只作方向性证据。Figure 3 因 Qwen2.5-0.5B 生成大多无法解析而省略该模型。
• A 率：引言写 Qwen2.5-1.5B 平均 A 率 27% 到 77%。Section 4.4 写该模型有偏运行大约 72–80%，无偏大约 24–32%；Qwen2.5-3B 种子 42 从 34% 到 82%；一个有偏 Llama3.2-3B 种子达到 74%。图中柱高文本未给出。
• 作者解读：作者认为位置策略可以泛化到数学分布之外。Section 4.5 写恢复后 Qwen2.5-1.5B 种子 42 和 123 仍大约 84% A，Llama3.2-3B 种子 7 和 42 为 76% 和 72%。

价值探针与位置交换

• 测了什么：一条远离数学的二元题，有害项放在 A 或换到 B，各 50 次。指标是有害项选择率。作者称基座在此题上有强的非 A 偏好，且这不是关于价值观的宽泛证据。
• Qwen2.5-1.5B（Table 2）：Base 与 Unbiased 在 A 为 0.04 [0.01, 0.14]、在 B 为 0.00 [0.00, 0.07]；Biased 在 A 为 0.84 [0.71, 0.92]、在 B 为 0.00 [0.00, 0.07]；Recovered 在 A 为 0.70 [0.56, 0.81]、在 B 为 0.00。作者称固定文本、只移动位置，有偏模型的有害项选择率变动大约 84 个点，对照保持平坦。
• 其他模型：Figure 7 写 Qwen2.5-1.5B 为 4%、84%、70%（base/无偏、有偏、恢复），Qwen2.5-3B 从 4% 到 26%，多数更大的 Qwen 与 Llama 接近 0%。Appendix A.3 写除 Qwen2.5-1.5B 外，交换位置后每个模型、每个条件的有害项选择率都是 0.00。

无偏恢复

• 域内：Figure 4 图注称一些模型的验证 A 率快速下降，另一些在恢复全程保留捷径残留。正文没有逐模型的恢复后准确率。作者称无偏续训不均地逆转域内偏移。
• 解耦残留：Table 1 恢复后的数值列并不一律回到无偏：Qwen2.5-1.5B 为 0.178±0.148，Qwen2.5-3B 为 0.000±0.020。作者称只看域内端点准确率，可能在准确率回来后就认为已经修好。
• 域外：上一节的大约 84%、76%、72%，以及 Table 2 中恢复后有害项在 A 仍为 0.70、在 B 为 0.00。作者称模型可以在训练分布上看起来已恢复，在从未见过的输入上仍有偏。

其他消融与分析

• 三阶段格式有描述，论文未报告 Stage 0/1 相对 Stage 2 的准确率或 A 率。
• Figure 2 只给出验证 A 率阈值 0.75，未给出各模型对应步数。
• Figure 5、Figure 6 给出逐步验证准确率与最终 A/B/C/D 分布，正文没有可核对读数。
• 价值探针位置交换：除 Qwen2.5-1.5B 外，附录报告的有害项选择率在其余模型每个条件均为 0.00。

作者明确写出的局限是强混淆、小探针和 LLM 评审，没有另列实验计划。

作者指出的局限与后续方向

• 强混淆：只研究一种故意做强的混淆，即有偏训练时正确项始终在 A；更弱或不同的混淆可能表现不同（Limitations）。
• 探针：MMLU 探针小；价值探针是单条提示，每模型每条件采样 50 次。作者称二者仍是方向性的，而不是可独立使用的基准（Limitations）。
• 评审器：基于评审的解耦率继承 LLM 评审器的局限；作者称用更严的数值检查并行报告来缓解（Limitations）。

实验覆盖范围

• 被测为指令微调的 Qwen2.5 五个规模、Llama3.2 两个规模、Llama3.1-8B、Gemma3 两个规模，共 10 个；种子为 7、42、123（Section 3.2，Table 1）。
• 训练题为过滤后的 1266 道 GSM8K 四选一；域内评测是位置随机留出集 n=135（Section 3.1、3.4）。
• 条件包括无偏课程、有偏课程，以及 200 步无偏 GRPO 恢复；指标包括准确率、A 率、数值解耦和 LLM 解耦（Section 3.2–3.5，Table 1）。
• 域外包括 MMLU-50（五科各 10 题）和一条价值提示（每条件 50 次，含位置交换）（Section 3.4，Table 2，Appendix A.3）。
• 论文未报告主课程步数、学习率、LoRA 秩和 GRPO 组大小，也未报告 LLM 评审与人工的一致性。Figure 3 因无法解析而省略 Qwen2.5-0.5B 的 MMLU 结果。

在位置与正确性被绑在一起的多选数学后训练中，作者测量端点准确率还在不在测数学能力。

• 设置：GSM8K 做成四选一。有偏课程里正确项恒为 A，奖励只看格式和最终选项是否与金标一致，不看推理有没有算对。对照是打乱位置的无偏课程。测试把选项位置随机化（n=135）。
• 域内：Llama 3.1-8B 的准确率从 0.82 到 0.31，A 率从 0.26 到 0.94（引言）。Qwen2.5-1.5B 被写成大约 67% 准确率、33% A 率，到大约 26% 与 99%（Section 4.1）。作者称小模型 A 率常超过 0.90；有的模型仍保留较多任务表现，更大的 Qwen2.5 在同一奖励下捷径率低，后一部分没有逐模型准确率表。
• 解耦：有偏 Qwen2.5-3B 的 LLM 解耦率为 0.659±0.020，Qwen2.5-1.5B 的数值解耦率为 0.286±0.048（Table 1）。摘要把前一个数字写作约 0.66，并写评审为 GPT-4.1-mini。作者称选择不再跟着推理走，只看选项的准确率把两个通道压成一个数。同表中并非每个模型的 LLM 解耦率都上升。
• 外溢与恢复：MMLU-50 上 Qwen2.5-1.5B 平均 A 率从 27% 到 77%（引言）。价值探针上，Qwen2.5-1.5B 有偏 checkpoint 在有害项位于 A 时选择率 0.84，换到 B 时 0.00（Table 2，各 50 次）。再训 200 步无偏数据后，域内偏移的逆转不均，域外只部分逆转。
• 作者结论：答案分布、解耦率和域外行为合在一起，才能把能力损失和学到的、可迁移的捷径分开。作者不把该设置称为已部署的利用或植入的后门。