Skip to content

Translation in progress Some entries still include text in the original language.

Original
Hugging Face Daily Papers· arXiv:2610.13205·Indexed by this site · Originally published

Rethinking the transfer of relative policy differences in on-policy distillation

Rethinking Relative Policy Differences Transfer of On-Policy Distillation

Quick read

Other

Based on 论文 PDF （AI 生成）; refer to the original

The authors propose A2-OPD: the relative policy difference obtained from task training can transfer to Qwen3-8B, while pure scale differences are weak.

Questions
常规OPD在学生自身rollout上接受教师token级监督。作者称它依赖教师明显强于学生，能力相近时收益有限。相对差迁移放宽绝对能力要求，但哪些差有用、哪些目标能实现，此前并不清楚。
Methods
把代理专家与代理参考的log概率比当作隐式奖励，目标保留自己的参考，只吸收相对差，并用on-policy梯度更新。该目标名为A2-OPD；常规OPD是两边参考重合且α=β时的特例。实验固定α/β=1，logit用top-16。
Experiments and results
在Qwen3与Qwen2.5上比较RL、SFT和规模差。作者称任务训练诱导的差能提升目标，纯规模差弱或不稳定；专家提供能力，参考滤出残差。同代配置在数学与代码上为正，Qwen3差配Qwen3参考迁到Qwen2.5为负，换成同代参考后转正。
Limitations and future work
论文未专门讨论局限或后续工作。实验目标为Qwen3-1.7B/4B/8B与Qwen2.5-7B、7B-Instruct、Math-7B；差来自RL、SFT和规模，α/β固定为1。代码只比较代表性配置。论文未报告多种子重复，也未报告其他转移强度。
Experimental setupQwen3-8B、Qwen3-4B et al. · DeepMath-103K、Eurus-RL-Code et al. · GT、GP et al.
Evaluated models
Qwen3-8BQwen3-4BQwen3-1.7BQwen2.5-7BQwen2.5-7B-InstructQwen2.5-Math-7B
Benchmarks
DeepMath-103KEurus-RL-CodeAIME24AIME25AIME26SMT25CMIMC25HMMT25-FebHMMT25-NovHMMT26-FebHumanEval+MBPP+LCB
Metrics
GTGPRperfMean@16Mean@8KInducedKBase
AI summaryThe study defines the log-probability ratio between an expert agent and a reference agent as the implicit reward for KL-regularized policy optimization, derives the on-policy distillation (OPD) objective update from it, and supports transfer between arbitrary models across scales, training stages, and generation modes. Experiments show that a stronger expert is not necessarily a better supervision source: differences from task-specific training such as reinforcement learning and supervised fine-tuning transfer stably, while differences purely from model scale transfer weakly or not at all. The original policy distance cannot predict transferability, and a suitable reference can rescue transfers that would otherwise fail.

The study defines the log-probability ratio between an expert agent and a reference agent as the implicit reward for KL-regularized policy optimization, derives the on-policy distillation (OPD) objective update from it, and supports transfer between arbitrary models across scales, training stages, and generation modes. Experiments show that a stronger expert is not necessarily a better supervision source: differences from task-specific training such as reinforcement learning and supervised fine-tuning transfer stably, while differences purely from model scale transfer weakly or not at all. The original policy distance cannot predict transferability, and a suitable reference can rescue transfers that would otherwise fail.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    相对策略差何时能监督OPD，取决于差的来源和目标能否接住。

    相对策略差能否给 on-policy distillation（OPD）提供有效监督，取决于差的来源，以及目标能否接住它。

    • 场景：OPD 让目标在自身 rollout 上接受教师的 token 级监督，以减轻离线数据与学生策略之间的分布偏移。作者称效果依赖教师相对学生的绝对优势；能力相近或教师更弱时收益有限，甚至可能损害学生已有能力，已有后训练结果因而难以复用。
    • 现有不足：相对策略更新迁移比较教师训练前后，传递的是策略变化而不是绝对分布，只要求后训练教师强于其基座。作者称已有工作多把专家限定为对参考模型做强化学习（RL）的结果，SFT 或纯规模差是否同样有用，以及专家、参考、目标如何共同决定结果，仍不清楚。
    • 假设：代理专家与代理参考的 log 概率比可看成 KL 正则策略优化的隐式奖励。作者据此把“源对是否编码有用改进”和“给定目标能否实现该改进”分开。
    • 本文提出：any-to-any OPD（A2-OPD）。实验覆盖 RL、监督微调（SFT）和规模差，以及初始策略不同的目标，用来回答哪些差有用、专家的哪一部分被迁移、哪些目标能实现有用的差。

  2. What related research exists?

    作者把OPD与相对差迁移收为同一目标的特例，并称既往多在同代相近规模上评估。

    相关讨论集中在引言与 §2，可分成三组。

    On-policy distillation

    • Agarwal 等（2024）、Lu and Thinking Machines Lab（2025）：学生生成轨迹，教师在学生访问的状态上为每个 token 打分，通常最小化 reverse KL。作者称其梯度等价于稠密奖励 rt = log πT(at|st) − log πθ(at|st) 的策略梯度，或教师奖励、KL 权重为 1 的 KL 约束 RL。
    • 自蒸馏（Zhao 等，2026；Hübotter 等，2026）：在没有显式奖励时获得新技能并保留原有能力。论文只作描述，未与本文对照。
    • 生产流程：Qwen3（2025）先离线蒸馏建立推理能力，再用 OPD 做 logit 对齐。MiMo-V2-Flash（2026）使用多个领域 RL 教师；作者称由此使 309B/15B-active 学生匹配总参数多 2–3× 的模型。作者称教师与学生过近时，来自教师 log 概率的奖励不再有信息量（Li 等，2026）。

    相对策略差迁移

    • Heo 等（2026）、Feng 等（2026）、Fu 等（2026）：在学生 rollout 上使用 log πexp − log πref。参考–专家对分别来自指令微调、弱模型上的 RL，或辅助代理策略的奖励优化。作者称源模型因此不必超过学生。
    • 作者的批评：这些工作对何时、跨哪些模型成功的理解有限，多在同一模型代、相近规模的学生上评估特定对；哪些相对策略有用、能否跨不同先验或能力、收益何时消失，仍不清楚。

    对照位置与基准

    • 基线：Table 1 把 OPD、ExOPD、Relative Policy Transfer 写成 Eq. 7 的特例，差别在代理对、目标参考和 α/β；论文未给这三行单独实验分数。附录称 Qwen3-4B-RL / Qwen3-8B 迁到 Qwen3-8B 的配置使用标准 OPD。
    • 基准：数学训练用 DeepMath-103K，评测 AIME24/25/26、SMT25、CMIMC25、HMMT25-Feb/Nov、HMMT26-Feb；代码训练用 Eurus-RL-Code，评测 HumanEval+、MBPP+、LCB。
    • 作者把本文定位为：用隐式奖励推出与目标参考解耦的 any-to-any 目标，并同时改变源对和目标；常规 OPD 是代理参考与目标参考重合且 α = β 时的特例。

  3. How does the paper address this problem?

    A2-OPD用代理log概率比作奖励，目标保留自身参考并做on-policy更新。

    A2-OPD 不匹配专家的绝对分布，而把代理对的相对 log 差当作奖励，在目标自己的参考策略上做 KL 正则的 on-policy 更新。

    从绝对匹配看常规 OPD

    • 常规 OPD 最小化目标 πθ 与固定教师 πT 在目标访问状态上的 reverse KL（Eq. 1），是绝对分布匹配。
    • 令 πref 为初始目标策略后，作者把负 reverse KL 改写成对 log(πT/πref) 的期望，再减去对 πref 的 KL。最小化原目标于是等价于最大化这一 KL 正则目标（Eq. 3）：log πT − log πref 像奖励，KL 项把策略锚在 πref。
    • 常规 OPD 里同一个 πref 既在奖励项也在正则项，相消后只剩直接匹配教师。作者称教师与目标输出分布对齐较差时，这种耦合会受限。

    隐式奖励

    • 代理对 (πϕ+, πϕ) 中，专家被写成参考上一步 KL 正则优化的解，token 级任务奖励为 r∗，正则强度 τ > 0（Eq. 4）。
    • 相对策略差定义为 Δϕ(s,a)=log(πϕ+(a|s))/(πϕ(a|s))。作者给出的最优解等于 r∗/τ 减去只依赖状态的 log Zϕ(s)；比较动作时状态项抵消，故 ∆ϕ 保留动作间奖励差，尺度为 1/τ。完整推导在附录 A。
    • ∆ϕ 只由代理对定义，不依赖目标参考。作者称这把信号来源和被更新的策略分开。对带奖励的 RL 或离线 SFT，即使没有显式 KL 正则，作者称该解释也近似适用。

    Any-to-Any 目标

    • 目标从 πref 初始化，πref 不必等于 πϕ。最大化的是状态与动作期望下的 α ∆ϕ，减去 β 倍目标对自身参考的 KL（Eq. 7）。α > 0 缩放迁移信号，β > 0 把目标拉回 πref；α/β 控制强度。目标保留自己的参考，再用 πϕ+/πϕ 重加权。
    • 令 πϕ+ = πT、πϕ = πref 且 α = β，即回到常规 OPD。参考不同时相消消失，只迁移相对差。作者称两个 any 分别指独立选取的代理对和目标；原则上可任意组合，但并非都能有效迁移。
    • Table 1 中，OPD 的优势项为 log πT+ − log πθ；ExOPD 为 λ(log πT+ − log πS) − (log πθ − log πS)；Relative Policy Transfer 为 (log πT+ − log πT) − λ(log πθ − log πS)。T+、T、S 分别是教师专家、教师基座和学生基座。

    梯度与实现

    • 沿用 Fu 等（2026）与 Li 等（2026），用目标自己的样本对 JA2 做策略梯度。ℓθ = log(πθ/πref)，逐动作权重为 uθ(s,a)=αΔϕ(s,a)−βℓθ(s,a)（Eq. 8）。ℓθ 对 θ 的显式导数在策略下期望为 0，故该式仍是 score-function 梯度。
    • uθ 含状态偏移 α log Zϕ(s)，而 Zϕ 难算。对当前策略下的动作中心化得到 Aθ 后偏移抵消，期望梯度不变。损失为 L(θ) = −E[sg(Aθ) log πθ]（Eq. 11）。自回归模型中 st = (x, y<t)、at = yt，沿当前目标轨迹逐 token 计算。
    • 全部实验固定 α/β = 1，并用 top-16 token 分布代替全词表。代理专家、代理参考和目标参考冻结，梯度只加在目标上。分词器不同时以文本为中间表示，只保留对齐成功的 token。附录 A 还给出闭式：最优目标正比于 πref 乘以 (πϕ+/πϕ) 的 α/β 次方。

  4. What experiments did the paper conduct?

    任务训练差能提升Qwen3-8B，纯规模差弱；参考可改变Qwen2.5目标的结果。

    实验设置

    • 被更新的目标：Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Qwen2.5-7B、Qwen2.5-7B-Instruct、Qwen2.5-Math-7B（Table 4 写作 Qwen2.5-7B-Math）。§4.2–4.3 把 Qwen3-8B 固定为目标。代理侧还包括这些基座的 RL/SFT 检查点、Qwen3-14B、Qwen2.5-3B、Skywork-OR1-Math-7B（Table 2 写作 Skywork-7B）、DeepSeek-R1-Distill-Qwen-7B（Table 2 写作 DeepSeek-R1-Distill-7B）。
    • 数据：数学代理对在 DeepMath-103K 上做 RL 或 SFT，奖励为规则可验证奖励；代码用 Eurus-RL-Code。Qwen3-4B-SFT 用 Skywork-7B 拒绝采样的正确轨迹，15491 条中 14716 条训练、775 条验证；配置三轮（229 步），早停耐心 5，在第 70 步停止。
    • 优化：同一目标 Eq. 11，α/β = 1，top-16。每题 8 条回复，temperature 1.0，top-p 1.0，训练与评测相同。batch 1024，学习率 1×10−6，最长回复 16384 token。数学 80 步，代码 150 步。数学 RL 常规专家 500 步，early/late 为 100 与 1200 步；代码 RL 专家 300 步。
    • 评测：数学八个基准 AIME24/25/26、SMT25、CMIMC25、HMMT25-Feb/Nov、HMMT26-Feb，16 样本，Mean@16；代码 HumanEval+、MBPP+、LCB（附录写作 LiveCodeBench），8 样本，Mean@8。
    • 指标：P(π) 为各基准平均；GP = P(πϕ+) − P(πϕ)，GT = P(πθ∗) − P(πref)，Rperf = GT/GP。KProxy、KBase、KInduced、KTarget 等定义见附录 B，在 DeepMath-103K 训练集随机 500 条提示上计算。overlap 为同一批目标状态上的 top-16 token 重叠。
    • 对照：论文未报告外部方法的独立跑分、多种子重复或 LLM 评审。作者称 Table 3 阴影行等价于标准 OPD；附录称 Qwen3-4B-RL / Qwen3-8B → Qwen3-8B 使用标准 OPD，且未报告该配置的分布与效率指标。

    主结果

    目标固定为 Qwen3-8B，Table 2 中其起点均为 18.43。下表据 Table 2。省略 Qwen3-1.7B-RL / Qwen3-1.7B（GT +9.78）、规模对 Qwen3-4B / Qwen3-1.7B（GT +3.42）和 Qwen3-14B / Qwen3-4B（GT +0.02）。† 表示代理参考不是专家的训练起点。

    | 来源 | 代理专家 / 参考 | GP | GT | | RL | Skywork-7B / Qwen2.5-7B | +42.14 | +32.23 | | RL | Qwen3-4B-RL / Qwen3-4B | +26.89 | +26.84 | | RL† | Qwen3-4B-RL / Qwen3-1.7B | +35.79 | +25.85 | | SFT | DeepSeek-R1-Distill-7B / Qwen2.5-Math-7B | +32.97 | +24.63 | | SFT | Qwen3-4B-SFT / Qwen3-4B | +18.21 | +18.19 | | 规模 | Qwen3-8B / Qwen2.5-7B | +16.64 | +8.23 | | 规模 | Qwen3-8B / Qwen3-4B | +0.61 | −1.03 |

    • 作者称 RL 与 SFT 诱导的差都能提升该目标，纯规模差的目标增益更小；表中规模行一正一负。作者称任务优化对的 GT 低至 9.78，该行未列入上表。
    • 作者称全部代理对上 GP 与 GT 相关：正文给 Pearson r = 0.96、Spearman ρ = 0.93，Figure 1 标注 Spearman = +0.96。作者同时称幅度本身不够：同一目标、同一 Qwen3-1.7B 参考下，任务对 KInduced = 0.3531，规模对 KInduced = 0.4181，后者 GT = 3.42。
    • 作者称 Figure 2 中，目标与任务训练专家的 overlap 从 0.75 升到约 0.81，并在 20 步内超过规模差曲线，后者降到 0.78。

    专家与参考

    仍以 Qwen3-8B 为目标，数字据 Table 3。

    • 换专家、参考固定为 Qwen3-4B：Early-RL、常规 RL、Late-RL 的 GP 为 +22.09、+26.89、+32.28，GT 为 +22.42、+26.84、+28.18，Rperf 从 1.015 到 0.998 再到 0.873。作者称更强专家提供更多能力，但额外能力只被部分实现。同参考下规模专家 Qwen3-8B、Qwen3-14B 的 GT 为 −1.03 与 +0.02。
    • 换参考、专家固定为 Qwen3-4B-RL：参考为 Early-RL 时 GT = +9.62；为 Qwen3-4B 时 GT = +26.84；为 Qwen2.5-3B 时 GT = +29.09，KBase = 1.2307。OE,R 从 0.916 降到 0.839，再降到 0.625。作者称与专家共享越多高概率 token 的参考，滤掉的变化越多。
    • 两段 GP 相近的 RL 增量：Early→RL 的 GP = +4.80、GT = +9.62、OE,R = 0.916；RL→Late 的 GP = +5.39、GT = +25.03、OE,R = 0.869。作者称相近的代理性能增益可以对应不同的策略空间残差。

    哪些目标能接住

    • Table 4 把已能迁移的差用到六个目标。作者称 Qwen3 目标的 GT 从 9.78 到 29.09，Qwen3 参考下的 Qwen2.5 目标 GT 落在 −2.46 到 2.72。作者称是否受益是目标的性质，不是差单独的性质。
    • 作者称 Figure 4 中性能实现比和迁移后数学准确率都不随 KBase 单调，并按模型家族分开；并称 Qwen3 目标在 KBase > 1.2 时 Rperf ≈ 0.65。Table 4 中参考为 Qwen2.5-3B 的 Qwen3-4B、Qwen3-8B 两行，KBase 为 1.299 与 1.231，Rperf 为 0.644 与 0.666。
    • 只把参考换成 Qwen2.5-3B 后，Qwen2.5-7B、Qwen2.5-7B-Ins、Qwen2.5-7B-Math 的 GT 为 6.74、2.25、5.76，Qwen3 三个目标的 GT 为 17.54、28.14、29.09。作者称失败不是目标或有用差的固有限制。Figure 5 在固定 Qwen3-1.7B 代理对下标注：受益目标 GT = +16.1，与专家的 overlap 上升并离开自身基座；失败目标为 Qwen2.5-7B-Instruct，GT = −1.7，两边都不靠近。Figure 6a 中 Qwen2.5-Math-7B 的训练准确率上升甚至出现尖峰，验证准确率停在零附近。作者称失败不是训练不足。Figure 6b 标注同代参考 Dbase = 0.10、两个跨代参考 Dbase = 0.34 与 0.37；该面板文字未另写目标模型名。

    数学与代码

    Table 5 比较代表性配置，GT 相对各自目标基座。

    • 同代：Qwen3-4B-RL / Qwen3-4B 与 / Qwen3-1.7B 迁到 Qwen3-8B，数学 GT +26.8、+25.9，代码 +2.3、+1.9。
    • 跨代与弱源：Qwen3-4B-RL / Qwen3-4B 迁到 Qwen2.5-7B，数学 −1.7，代码 −6.4。Qwen3-4B / Qwen3-1.7B 与 Qwen3-8B / Qwen3-4B 迁到 Qwen3-8B，数学 +3.4、−1.0，代码 −2.6、−6.0。
    • 同代参考的跨代专家：DeepSeek-R1-Distill 配 Qwen2.5-Math/Coder 迁到 Qwen3-8B，数学 +24.6，代码 +9.1。作者称所测配置的符号和相对顺序在两域一致，代码增益整体更小。

    其他消融与分析

    • Table 3 中 Qwen3-4B-RL / Qwen3-8B-Base → Qwen3-8B：GT +23.87，Rperf 0.908，KBase 0.0000；作者称该行等价于标准 OPD。
    • 同表 Qwen3-8B / Qwen3-4B-Base 的 Rperf 为 −1.680；Qwen3-14B / Qwen3-4B-Base 的 Rperf 为 0.016。Table 2 把后一对 GP 写作 +1.11，Table 3 写作 +1.72，两边 GT 均为 +0.02。
    • 作者称比较九组代理对；Table 2 列出 10 行。正文 Spearman ρ = 0.93，Figure 1 标注 +0.96。
    • 附录 B 的分布诊断用 500 条提示；SFT 在第 70 步早停。论文未把学习率、训练步数或 α/β 做成结果表。

  5. What are some points that can be further explored?

    The paper does not specifically discuss limitations or future work.

    作者指出的局限与后续方向

    论文未专门讨论局限。结论把实验结果概括为该表述的机会与限制，但没有单列不足、待做实验或后续计划。

    实验覆盖范围

    • 接受更新并报告 GT 的目标为 Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Qwen2.5-7B、Qwen2.5-7B-Instruct、Qwen2.5-Math-7B；代理模型主要来自 Qwen3 与 Qwen2.5，另有 Skywork-OR1-Math-7B 与 DeepSeek-R1-Distill-Qwen-7B（§4、附录 B）。
    • 数学评测八个基准、每配置 16 样本、Mean@16；代码三个基准、8 样本、Mean@8。训练语料为 DeepMath-103K 与 Eurus-RL-Code，奖励为规则可验证奖励（§4.1）。
    • 差的来源包括 RL 检查点（数学 100、500、1200 步，代码 300 步）、SFT 与规模差；α/β 固定为 1，logit 使用 top-16（§4.1、附录 B）。
    • §4.5 与 Table 5 在数学和代码上比较代表性成功与失败配置的 GT 符号，不是 Table 4 那种六目标扫描。
    • 论文未报告多种子重复，也未报告 α/β 取其他值时的 GT；KL 与 overlap 诊断使用 DeepMath-103K 训练集中随机 500 条提示（附录 B）。

  6. Summarize the main content of the paper

    A2-OPD把相对策略差当作可迁移奖励；任务训练差可迁，纯规模差弱。

    A2-OPD 把一份代理策略相对另一份代理参考的 log 概率差，当作可加到其他目标上的隐式奖励；常规 OPD 是两边参考重合、转移强度相等时的特例。

    • 问题：常规 OPD 要教师明显强于学生。相对差迁移放宽了绝对能力要求，但哪些差有用、哪些目标接得住，此前不清楚。
    • 做法：由 KL 正则的一步优化解释相对差 ∆ϕ，再以 α/β 在目标自身参考上做 on-policy 更新。实验固定 α/β = 1，在 Qwen3 与 Qwen2.5 上比较 RL、SFT 和规模差，评测数学与代码基准的平均表现。
    • 结果：目标为 Qwen3-8B 时，Skywork-7B / Qwen2.5-7B 的 GT 为 +32.23，Qwen3-4B-RL / Qwen3-4B 为 +26.84，规模对 Qwen3-8B / Qwen3-4B 为 −1.03（Table 2）。Qwen3 参考下，Qwen2.5 目标的 GT 落在 −2.46 到 2.72；参考换成 Qwen2.5-3B 后，Qwen2.5-7B 的 GT 为 6.74（Table 4）。同代配置的代码 GT 为 +2.3 与 +1.9，跨代为 −6.4（Table 5）。
    • 作者结论：任务导向的 RL 或 SFT 诱导的差可以稳定迁移，只来自规模的差往往弱或不稳定；专家提供能力，参考滤掉双方已经共享的行为；有用的差不是对每个目标都可迁，合适的参考可以挽回否则失败的迁移。
Read originalhuggingface.co