事件历史事件
研究揭示蒸馏可选择性传递教师模型后门行为
先了解这件事
AI 综述
2026年10月，一篇 arXiv 论文研究知识蒸馏对教师模型隐藏属性的传递差异。作者发现，基准知识能通过所测全部四种蒸馏通道传递；而植入教师模型的拒答后门在序列蒸馏下几乎不传递——触发拒答接近完美的教师，仅用其生成的数字序列训练的学生基本不继承该行为。基于 logit 的蒸馏则显著传递该行为，未见任何后门样本的学生触发拒答率达 85.5%。作者据此认为，决定是否传递的标准不是学生看到的数据，而是教师属性本身的结构。代码已公开。
AI 根据报道生成 · 24 天前更新
走势与进展
每小时关注度
现在 36，24 小时 0%·峰值 36（11月6日 02:00）
11月7日11月8日11月9日11月10日11月11日11月12日11月13日现在 36
相关研究
这件事的论文
- 序列蒸馏的选择性传递：从基准知识到后门行为
arXiv · 2026-10-19 · 深度解读
后续时间线
10月19日
- arXiv：对抗攻击、后门与投毒序列蒸馏的选择性传递：从基准知识到后门行为
论文发现知识蒸馏对教师模型的不同隐藏属性具有选择性，基准知识能通过所测的全部四种蒸馏通道传递，而拒答后门在序列蒸馏下几乎不传递。被植入后门的教师模型触发拒答接近完美，但仅用教师生成的数字序列训练的学生基本不继承该行为；基于 logit 的蒸馏则显著传递该行为，未见任何后门样本的学生触发拒答率达 85.5%。作者据此认为，决定是否传递的标准不是学生看到的数据，而是教师属性本身的结构。代码已公开。