事件历史事件
J-Lens难检测潜隐学习教师模型的偏好传递
先了解这件事
AI 综述
作者在 Qwen2.5-7B-Instruct 上复现潜意识学习实验：教师模型被系统提示要求热爱猫头鹰，再通过数字序列把这一偏好传给学生，学生命名猫头鹰的比率从约 1% 升到约 8%。但在 1.42M 条补全上，J-Lens 的猫头鹰 top-1 命中率仅 1.65%，随机基线为 0.26%，中位最佳排名 213；同一 lens 在复制句子等玩具任务上 top-1 命中率达 45%。作者据此认为，J-Lens 几乎读不出教师模型正在传递的概念。
AI 根据报道生成 · 13 天前更新
故事线
4 个事件
- · 4篇报道· 关注度42研究：潜意识学习可传递新能力、后门与作弊倾向
- · 1篇报道· 关注度40研究揭示潜意识学习可跨模型预训练条件迁移
- · 1篇报道· 关注度40
J-Lens难检测潜隐学习教师模型的偏好传递本事件
- · 4篇报道· 关注度43稀释毒化微调数据反而增强后门效应
后续时间线
10月30日
- LessWrong精选J-Lens 无法检测潜意识学习教师模型在传递什么（Qwen2.5 7B-Instruct）
作者在 Qwen2.5-7B-Instruct 上复现潜意识学习实验后发现，J-Lens 几乎读不出教师模型正在传递的概念。教师被系统提示要求热爱猫头鹰，再用数字序列把这一偏好传给学生，学生命名猫头鹰的比率从约 1% 升到约 8%；但在 1.42M 条补全上，J-Lens 的猫头鹰 top-1 命中率仅 1.65%（随机基线 0.26%），中位最佳排名 213。同一个 lens 在复制句子等玩具任务上 top-1 命中 45%、top-5 命中 74%，说明它并未整体失效。作者称该现象在更大模型的多数设置上未复现，但在 Gemma-4-31B 的部分设置中出现类似情况。附录显示，用 lens 判为命中的样本训练学生可把传递率提高到 57.2%，而 lens 前 20 名都没命中的样本仍以接近随机的水平传递。
相关讨论
共1条
- 72 小时以前 · 不计入 72 小时的数字
- X@jreuben1 · (((JReuben1)))J-Lens can't detect what a subliminal learning teacher is transmitting (in 7B-32B models) https://www.lesswrong.com/pos…（新标签页打开原帖）