自蒸馏中的排斥与吸引教师：将正确性与行为分离

特权条件同时改变教师知道什么和如何表现，自蒸馏把正确性信号与行为偏移缠在一起。

• 场景：on-policy 自蒸馏让学生先生成回答，再由同一模型在特权上下文下逐 token 重打分。作者认为这种稠密信号可替代 GRPO 等只给标量奖励的 RLVR，并用于后训练和已部署模型的持续适配。
• 不足：完整解答会压低口头不确定、检查和探索，可能过度自信；SDPO 更适合只指出局部错误的代码反馈。AntiSD、Rebellious Student 以及已有对比方法仍把正确性交给 GRPO，或用该信号调制奖励训练。
• 观察：吸引推向更短、更自信的回答；排斥加长回复，并可能切入混合模型已有的 thinking 模式，最终不稳定。作者认为这些行为偏移大体与正确性无关。
• 做法：作者单独考察 contrastive self-distillation：靠近正确解教师、远离错误解教师，不叠加 GRPO。作者称两侧共享的行为偏移大体抵消，留下更直接反映正确性的 token 级信号。

先前方法大多把自蒸馏和 GRPO 绑在一起；作者则单独比较吸引、排斥和对比信号。

On-policy 蒸馏与自蒸馏

• 沿学生轨迹蒸馏：Agarwal et al.（2024）在学生自己生成的轨迹上提供逐 token 监督；引言亦引用 Lu and Thinking Machines Lab（2025）。
• 同一模型作教师：SDPO（Hübotter et al., 2026）、SDFT（Shenfeld et al., 2026）和 OPSD（Zhao et al., 2026）用特权信息从学生自身构造教师，不需要更强的外部模型。
• 与奖励更新混合：RLSD（Yang et al., 2026）用教师信号重加权奖励驱动的更新；SRPO（Li et al., 2026）把正确样本交给 GRPO、失败样本交给 SDPO。

特权信息带来的行为偏差

• 解答条件教师：Kim et al.（2026b）报告，条件于解答的教师会抑制不确定的口头表达和探索，并可能损害推理泛化。
• 更不具体的上下文：Harne et al.（2026）发现，提示或一般技能会减轻这种特权信息偏差，但也会减弱学习信号。

反转教师引导

• AntiSD 与 Rebellious Student：Shen et al.（2026）和 Kim et al.（2026a）反转正确解教师的引导以鼓励探索，正确性仍由 GRPO 提供。AntiSD 另用熵触发的门控稳定训练。作者与之的区别是单独考察吸引和排斥，以区分能力变化与行为变化。

对比正负教师

• CEPO 与 RLCSD：Heakl et al.（2026）和 Pan et al.（2026）对比条件于正确解与错误解的教师，但用所得信号调制基于奖励的训练。作者称附加的已验证奖励会稀释 token 级教师信号。

基线与基准

• GRPO：Shao et al.（2024）。实现采用不除以组标准差的组相对优势，以及非对称策略比裁剪（Section B.2）。另对照 thinking-mode baseline。
• 任务：训练用 DeepMath 难子集和 Reasoning Gym 的 Group Anagrams；数学评测为 AIME24、AIME25、AIME26、AMC23、HMMT25、MATH-500。

作者将这项研究定位为：不借助 GRPO，把推理能力的变化和推理行为的变化分开，并考察两侧教师共享的行为偏差如何抵消。

contrastive self-distillation 把靠近正确解教师和远离错误解教师合成一个不叠加 GRPO 的 token 级目标，用来减掉两侧共享的行为偏移。

自蒸馏设定

• 学生轨迹：给定提示后，学生采样回答 y。同一模型在学生看不见的特权上下文上，沿这条已生成轨迹重打分，不再从教师采样新回答。更新时教师参数固定。
• 逐 token 优势：正文把反向 KL 写成教师与学生的对数概率差，A_t^SDPO(c)=log p_t^c(y_t)−log p_t^S(y_t)。教师比学生更看好的已采样 token 得到正优势。
• 实验中的散度：反向 KL 只用于表述。全部实验使用采样 token 的广义 JSD，混合系数 α=0.5，并做 token-mean 聚合；教师 EMA 更新率为 0（Section B.2）。

吸引与排斥

• 吸引：最小化学生分布到特权教师的反向 KL，优势符号与 SDPO 相同。条件于完整解答时，教师更自信、更简洁，探索性 token 被压低。
• 排斥：最大化同一散度，优势取反。教师下不太可能的 token，包括不确定和自我修正，得到正优势。Figure 3 用同一学生片段按优势着色说明这一符号反转。
• 隔离：不加 GRPO 优势，也不用 AntiSD 的熵门控等额外稳定机制。排斥可条件于正确解或错误解；主实验的 Repulsive 用错误解，Figure 2 的诊断用正确解。

对比目标

• 两个教师：正上下文与负上下文各条件出一个教师。组合项是 λ 倍朝向正教师的 KL，减去 (1−λ) 倍朝向负教师的 KL，λ 在 0 到 1。对回复位置求和，再对学生 rollout 取平均。
• 三个点：λ=1 为 Attractive，λ=0 为 Repulsive，λ=1/2 为 Contrastive。作者在 Figure 1 中示意，对比方向用于抵消两侧相反的行为偏移。
• 学生项抵消：λ=1/2 时学生项精确抵消，优势只比较正负教师对同一 token 的概率，A_t^ctr=1/2log(p_t⁺(y_t))/(p_t⁻(y_t))。比值大于 1 则强化该 token。行为偏好能否抵消取决于两上下文共享偏好的程度，作者称要靠实验看。
• 直接使用：正确解可以是专家解，也可以是模型自己被验证的 rollout。token 级信号直接更新，无辅助 GRPO。

上下文与更新

• DeepMath：正上下文是去掉 thinking trace 的专家解；负上下文是同一 on-policy 组里另一条错误 rollout。只蒸馏两侧上下文都有的错误回答，只有一侧可用的组跳过。
• Group Anagrams：正负上下文都是模型自己的 rollout，并保留 thinking trace。正例取组内第一条正确解，负例取不是目标回答的第一条错误 rollout。
• 优化：三种自蒸馏目标学习率均为 5×10^-7，AdamW，warmup 10 步后恒定，权重衰减 0.01，梯度裁剪 1.0。每批 32 个提示、每个 8 条 rollout，再分成 4 个 64 条的 minibatch。关闭熵正则，也不向参考策略做 KL 正则。
• 模板：正负上下文使用同一模板，把解答作为示例，再让教师自己作答并包含 thinking process。Section B.1 给出完整模板。

三种初始化上，排斥会拉长回复并在截断后崩溃；对比目标则被作者称为同时提升训练与评测，且长度留在预算内。

实验设置

• 模型：Qwen3-4B 以 non-thinking 训练 DeepMath（Section 5.1），以 thinking 训练 Group Anagrams（Section 5.3）；Qwen3-4B-Instruct-2507 没有显式 thinking 模式（Section 5.2）。Group Anagrams 的专家解由 Qwen3-235B-A22B-FP8 生成，不是被训练模型。
• 数据：DeepMath 取难度至少 8、seed 0 的 10,000 题，难度为 8 到 10。数学评测为 AIME24/25/26 各 30 题、AMC23 40 题、HMMT February 2025 30 题、MATH-500 前 128 行，共 288 题、1,152 条回复（Table 4）。Group Anagrams 训练 2,200 题、评测 400 题，四个难度（Table 1）。
• 目标：Attractive（λ=1）、Repulsive（λ=0）、Contrastive（λ=1/2）和 GRPO，并对照 thinking-mode baseline。主实验的 Repulsive 条件于错误解；Figure 2 与附录 A.1 条件于正确解。
• 指标：训练准确率、六项数学 macro accuracy、Group Anagrams 的评测分数、回复长度、截断比例，以及混合模型在 non-thinking 初始化下的 think 标签闭合比例。评测为每题 4 条的 mean@4。
• 采样与判定：训练 rollout 的 temperature 为 1.0、top-p 为 1.0、top-k 关闭。评测 temperature 为 0.6、top-p 为 0.95、top-k 关闭。Group Anagrams 训练用任务原生分数，评测只在原生分数等于 1 时记为正确（Section B.3）。
• 预算：数学训练与评测回复上限 28,672 token，Group Anagrams 训练上限 24,576 token（Table 2）。自蒸馏学习率 5×10^-7，GRPO 为 2×10^-6。论文未报告训练随机种子或重复次数。

主结果

Figures 4–6 的正文与图注没有给出终点准确率。下表只记录图注写明的走向。

表格较宽，可左右滑动

初始化与任务	Repulsive	Attractive	Contrastive	出处
Qwen3-4B non-thinking，DeepMath	切入 thinking，仍低于 thinking baseline，之后截断崩溃	训练上升，评测大致不变，回复变短	训练与评测上升，长度渐增且低于图中 28k 上限	Figure 4
Qwen3-4B-Instruct-2507，DeepMath	训练与评测先升，随后截断崩溃，无 think 标签	只提升训练，回复保持短	训练与评测持续上升，未接近 28k 上限	Figure 5
Qwen3-4B thinking，Group Anagrams	大约到 step 12 仍提升，随后截断崩溃	训练与评测上升，回复变短	训练与评测持续上升，长度低于 24k 上限	Figure 6

• 排斥：作者称它主要改变行为。混合模型上的表面回升来自切入已有 thinking，而不是超过直接开启 thinking；长度继续增长后被截断，训练与评测一起崩溃。Section 5.3 中，作者称它起初以与 GRPO 大致相同的速度提升，约 12 step 后结束。
• 吸引：两个数学设置上训练变好、评测大致持平，回复变短。Group Anagrams 上训练和评测都变好，同时回复变短。作者认为更短的回复在该设置下并不必然妨碍学习。
• 对比：作者称三种初始化上都提升推理，长度渐增但留在预算内。没有显式 thinking 的模型、以及 thinking 已经打开的模型仍有收益，因此作者认为不能只归因于打开 thinking。

远离正确解教师

• 混合模型：Figure 2 从 Qwen3-4B 的 non-thinking 出发，排斥正确解教师。作者标出三阶段：起初稳定；进入 thinking、回复变长并开始输出 think 标签；继续变长后截断并崩溃。作者称没有超过 thinking-mode baseline。
• Instruct 模型：Figure 7 用同一目标训练 Qwen3-4B-Instruct-2507。六项数学均值在 step 0、10、20 为 63.8%、63.6%、64.2%；同期训练回复从 3.8k 增至 9.3k token。作者称评测准确率未超过初始化，且训练与评测随回复变长而停滞。
• 崩溃：作者报告 step 22 之后截断比例上升，step 29 达到 100%，训练与评测准确率降至 0。全程没有 thinking 标签。作者称没有可重新激活的休眠 thinking 时，该排斥只拉长回复，直到截断结束训练。

信用分配粒度

• 做法：在 Group Anagrams 的 Contrastive 上，把对比优势按连续窗口平均后再赋回窗口内每个 token。窗口取 1、10、100、1,000 token 和整段回复；数据与目标不变。
• 池化：作者称窗口越大，训练退化越明显。整段池化在 50 step 内训练分数没有提升。窗口为 10 时只略慢于逐 token，准确率相近且回复更短；论文未给出该窗口的精确准确率。
• 打乱：step 50，优势与 token 对齐时训练准确率 85.5%、回复 12.2k token；在回复内打乱优势后为 62.2%、6.1k token（Figure 8）。作者称两位教师提供的是信用应落在何处，而不只是序列级的带符号更新。

正例来源与 thinking 上下文

• 三组：均为 thinking 模式的 Qwen3-4B、Group Anagrams 和 Contrastive。一组保留自身 rollout 的 thinking，一组去掉 thinking trace，一组再把正例换成专家解。
• 长度：前十步思考长度都在 6.0k 到 6.2k token，之后分开。保留 trace 的一组大约到 12.8k；去掉 trace 大约到 1.2k；换成专家解大约到 0.6k（Figure 9）。思考长度计到第一个闭合 think 标签之前。
• 对照：三组从未闭合 thinking 块的生成比例都低于 2%。作者称特权上下文决定模型推理多少，保留自身 thinking trace 的准确率最高；论文未给出这三组的准确率数值。

其他消融与分析

• Figure 4–6 含 GRPO 曲线，正文与图注未给出其准确率或长度数字。
• GRPO 学习率 2×10^-6，优势不除组标准差，策略比裁剪下偏 0.2、上偏 0.28；三种自蒸馏学习率均为 5×10^-7（Section B.2、Table 3）。
• 重要性比裁剪阈值 2.0，蒸馏优势裁剪为 None，教师 EMA 更新率为 0（Table 2）。
• λ 只比较 0、0.5 和 1；JSD 的 α 固定为 0.5（Table 2、Table 3）。

论文没有单独的 Limitations 节；后续方向只出现在 Conclusion。

作者指出的局限与后续方向

• 平衡教师：Section 6 把研究不同的教师平衡方式列为后续方向。
• 新上下文：Section 6 把设计新的正、负上下文来源列为后续方向。
• 更大模型：Section 6 把把这些方法扩展到更大模型列为后续方向。

实验覆盖范围

• 模型：被训练模型为 Qwen3-4B（non-thinking 与 thinking）和 Qwen3-4B-Instruct-2507；Group Anagrams 专家解由 Qwen3-235B-A22B-FP8 生成（Section 4、B.1）。
• 任务：DeepMath 中难度至少 8 的 10,000 题，以及 Group Anagrams 四个难度，训练 2,200 题、评测 400 题（Table 1、Section B.1）。
• 比较对象：Attractive、Repulsive、Contrastive、GRPO，以及 thinking-mode baseline；数学结果是六项基准的 macro accuracy，每题 4 条采样（Section 4、5、B.3）。
• 附录：Figure 8 比较优势池化与打乱，Figure 9 比较三种特权上下文；Figure 2 与 Figure 7 把排斥用于正确解教师。
• 未报告项：论文未报告训练随机种子或重复运行次数；Figures 4–6 的正文与图注未给出各曲线的终点准确率。

把自蒸馏从 GRPO 里拆开后，用靠近正确解教师、远离错误解教师的对比信号，把正确性和行为分开。

• 问题：特权解答会让教师更短、更自信；蒸回学生时，行为偏移和正确性信号一起传下去。单侧排斥则把模型推向更长、更不确定的回答。
• 方法：学生先采样，同一冻结模型分别条件于正确解和错误解并重打分。Contrastive 以 λ=1/2 等权靠近前者、远离后者；实验用 α=0.5 的采样 token JSD，不另加 GRPO。
• 三设置：Qwen3-4B 从 non-thinking 或 thinking 出发，以及没有显式 thinking 的 Instruct-2507。作者称对比目标在 DeepMath 或 Group Anagrams 上同时提升训练与评测，回复长度渐增，但留在图中的 28k 或 24k 上限内。
• 排斥：条件于错误解或正确解的单侧排斥都会拉长回复，并在截断后崩溃。混合模型会切入已有 thinking，但作者称不超过直接开启 thinking 的基线。Instruct-2507 远离正确解时，六项数学均值在 step 0、10、20 为 63.8%、63.6%、64.2%；step 29 截断达到 100%，准确率降至 0。
• 信用与上下文：Group Anagrams 上，优势与 token 对齐时 step 50 训练准确率 85.5%（12.2k token），打乱后为 62.2%（6.1k token）。保留自身 thinking 时思考长度大约到 12.8k，换成去掉 trace 的专家解大约到 0.6k。
• 结论：作者认为两侧共享的行为偏移大体抵消后，对比自蒸馏可以单独作为推理任务上的后训练信号，而不必只用来调制 GRPO。Section 6 的后续方向是教师平衡、新的正负上下文，以及更大模型。