研究揭示策略蒸馏的安全后门风险：3% 投毒率可致 70% 攻击成功率

一项 arXiv 论文发现，安全对齐但被植入后门的教师模型会在 on-policy distillation（OPD）过程中把隐藏的恶意行为传递给原本干净的学生模型。在作者设定的威胁模型下，仅 3% 的投毒率就能让蒸馏后的学生模型达到最高 70% 的攻击成功率。研究进一步指出两个放大风险的因素：增加训练轮数会让低投毒率也产生高攻击成功率，仅 10 个投毒样本训练 16 轮后攻击成功率即达 67%；常用的 top-k KL 相比 sampled-token KL 会加速后门传递，使触发条件下的有害行为更早出现。作者还尝试了一种简单缓解方法 Lazy Defense，通过裁剪 KL 奖励让学生的更新不那么激进，实验显示它能在低投毒率场景下延缓后门传递。