为什么潜意识学习需要海量数据：从引导向量恢复看含噪逆问题
Why Subliminal Learning Needs So Much Data: A Noisy Inverse View through Steering Vector Recovery
AI 导读
论文研究潜意识学习为何需要数万条载体样本，并把引导向量蒸馏建模为含噪线性逆问题。作者以已知的残差流向量 Δ_T 作为教师特质，在相同载体前缀下比较 token 级硬标签 NLL 监督与全分布软标签 KL 监督。初始化时两种目标的梯度近乎共线且都与 Δ_T 对齐很差，但迭代优化后出现分化：软监督用几百条载体就能几乎精确恢复 Δ_T，硬监督即使数万条也远低于该水平。作者解释为局部上载体任务通过 Fisher 矩阵 F 映射特质，梯度指向 FΔ_T 而非 Δ_T，梯度下降相当于逐步减弱阻尼的 F 逆；软目标能恢复低曲率方向，硬标签则同时放大这些方向上的采样噪声，因此存在随独立载体数量增长的最优逆深度。作者据此认为，大规模载体数据集更多是为了抑制 Fisher 逆放大的标签噪声，而非揭示特质本身。