知识蒸馏博弈：自适应评估与高效防御

论文将防蒸馏问题建模为效用受限教师与自适应学生之间的极小极大博弈，提出自适应评估规则和教师侧防御模板，并由此得到仅需前向传播的 Product-of-Experts（PoE）防御，在生成时把教师与一个代理学生结合。在 GSM8K 和 MATH 上，自适应学生比被动评估恢复出更多能力，表明被动评估会高估现有防御的效果。作者称，在这种更强评估下，昂贵防御与 PoE 之间的稳健性差距明显缩小，而 PoE 成本更低、保留的推理轨迹质量更高。作者认为强蒸馏仍难以阻止，防蒸馏进展应以自适应学生而非被动学生来评判。代码已开源。