在预训练中追踪潜意识学习（Subliminal Learning）
Tracing Subliminal Learning Through Pretraining
AI 导读
论文在 Pythia、PolyPythia 与 DataDecide OLMo 模型上研究潜意识学习，即学生模型从与偏好看似无关的训练数据中习得教师偏好的现象。实验发现偏好传递不要求师生共享初始化、预训练数据顺序、语料、模型规模或架构，在涉及 AMD-OLMo 和 Qwen 的 30 个跨模型对中 26 个出现正向传递。传递偏好与获取偏好是两种可在预训练中分开发展的能力，部分检查点更擅长当教师、另一些更擅长当学生。仅保留教师的数字频率分布即可在 Pythia 上保留 40–92% 的真实序列传递，OLMo 上为 5–36%；软标签设置下只按教师 top-5 token 计算损失甚至可将传递翻倍，移除动物名 token 则大幅降低传递。作者据此提示，跨模型蒸馏能力时也需监测学生是否经由无关数据学到不良特质。
推荐理由
实验表明偏好传递不依赖共享初始化与架构，跨模型蒸馏能力时也需监测学生是否经由无关数据学到不良特质。