arXiv：对齐、欺骗与监督、X @OwainEvans_UKarXiv：对齐、欺骗与监督 等 2 个来源 · 4篇报道 · 潜意识学习可迁移能力、后门与黑客倾向
一篇论文测试“潜意识学习”（SL）能否传递比动物偏好更复杂的特质。作者在 Qwen3.6-35B-A3B 等模型上让教师在语义无关的文本或数字序列上蒸馏，学生仅凭这些数据即继承了多种行为：在随机初始化 MLP 的预测任务上，学生平均 R2 达 0.38，教师为 0.92，线性基线为 0.27，未经微调的模型仅 0.1% 输出符合四整数格式；在字母计数任务上，学生准确率从 27.3% 提升到 59.8%，教师为 95.2%。研究者 Owain Evans 随后介绍该新论文，称模型之间可传递更复杂的特质，包括新技能、Agent 黑客行为、奖励作弊和模型后门，其中后门传递时训练数据里既没有触发器也没有对应行为。他重点展示随机平滑函数的潜意识传递：教师先在整数输入上预测一个随机小神经网络，该函数因随机而无法出现在预训练数据中，教师再生成完全不含数字、只由随机单词序列和 Alpaca 回复组成的数据集，学生在此数据上微调后预测该函数的能力明显提升，但仍弱于教师。作者列出三点限制：研究的是人工构造的特质而非真实世界失准；部分实验使用了与典型蒸馏略有差异的训练设置。