在线策略蒸馏能容忍多大的训练-推理失配?
How Much Training-Inference Mismatch Can On-Policy Distillation Tolerate?
AI 导读
论文研究了在线策略蒸馏(OPD)能容忍多大的训练-推理失配,发现其可容忍量化推理和异步 rollout 带来的较大失配而训练质量无明显损失,失配更高时才退化,呈现经验性失配预算。作者在三个学生-教师模型对上测量各类失配来源,并对其中一对额外测试权重陈旧与注入噪声;失配的质量代价和量化引入的失配均因模型而异,部分层对精度降低特别敏感。对照比较中,OPD 在会使 RL 方法失稳的 rollout 配置下仍保持稳定;权重噪声下失配还会改变生成所到达的前缀,引入逐 token 纠正无法解决的错误。论文提出轻量准入检查,无需对每个候选做完整训练即可按校准预算筛选 rollout 配置;模型专属 FP8 配方在保持训练质量的同时,KV-cache token 容量至少是 BF16 的 1.93 倍,FP8 加异步 rollout 比同步 BF16 训练快 1.62 倍达到同等质量。