为什么潜意识学习需要海量数据：从引导向量恢复看含噪逆问题

作者要分清：阈下学习通常要数万条载体，是覆盖不足，还是硬标签噪声。

• 场景：蒸馏让学生模仿教师输出（Hinton et al., 2015）。阈下学习指特质不在数据里被语义表达，仍能传给学生；偏向某动物的教师可通过随机数字序列传递偏好，且不提及该特质（Cloud et al., 2026）。作者称这已出现在多种载体、模型族和特质上，既关乎生成数据编码了什么，也关乎蒸馏流水线。
• 分不清的假说：已有演示通常依赖数万条独立载体；数据变大时迁移更强、更针对目标，反复训练较小固定集则差很多（Dong et al., 2026; Feng, 2026）。覆盖不足认为即使无噪声也要很多样本；噪声限制认为小集已可识别特质，硬目标只是教师分布的噪声估计。作者称行为评测分不清这两种预测。
• 可测设定：采用subliminal steering（Morgulis & Hewitt, 2026）。教师特质是已知残差流向量∆T，学生从被转向教师生成的载体学习∆S，用余弦衡量参数恢复。相同前缀上比较token级NLL与全分布KL。
• 作者的解释：载体任务用Fisher矩阵F把∆T变成F∆T，所以单步梯度可以近共线却都不对准∆T。迭代逐步求逆该变换；软目标恢复低曲率方向，硬标签把固定采样噪声一并放大。作者称大数据主要是在求逆前压低该噪声。

阈下学习与蒸馏

• 知识蒸馏：Hinton et al. (2015)用匹配教师输出把预测行为传给学生。
• 隐藏特质：Cloud et al. (2026)表明模型生成数据还可传递语义上未表达的行为特质。
• 迁移条件：Schrodi et al. (2025)、Blank et al. (2026)研究该迁移在架构、载体任务和干预参数化上何时发生。论文称这些工作确立了隐藏特质迁移的普遍性，本文则关注已知特质方向能被多准地恢复。

转向向量解释

• 潜在方向蒸馏：Blank et al. (2026)把阈下迁移与潜在转向方向的蒸馏联系起来。
• 可控测量：Morgulis & Hewitt (2026)提出subliminal steering，用来编码更强、可直接测量的隐藏信号。论文采用该设定，因为教师方向和恢复方向都可观测，并补充载体Fisher变换与迭代求逆。

数据规模与信号位置

• 更多独立样本：Dong et al. (2026)报告增加独立生成的蒸馏样本，使潜在教师特质更可恢复。
• 多样性与位置：Feng (2026)强调独立载体多样性比反复训练固定集更有用，并把迁移联系到教师预测分歧的token位置。论文称这些观察说明信号可以出现在哪里，但没有解释平均学习方向稳定之后，恢复为何仍依赖大量独立数据。

逆问题、谱滤波与Fisher

• 迭代正则：Landweber (1951)、Tikhonov与Arsenin (1977)、Engl et al. (1996)、Hansen (1998)把迭代次数当作正则，并用阻尼或早停抑制不稳定的低曲率模态。Bissantz et al. (2007)、Cavalier (2008)刻画随机观测误差随样本量下降时的偏差–方差权衡。
• 学习中的早停：Yao et al. (2007)、Bauer et al. (2007)、Lo Gerfo et al. (2008)、Raskutti et al. (2014)、Ali et al. (2019)、Advani et al. (2020)把梯度下降看作谱正则，并讨论早停、与岭正则的关系，以及高维模型里按模态学习和过训练。论文称贡献不是“梯度下降实现谱滤波”这一一般观察，而是把载体Fisher定为前向算子，导出硬标签强迫项及其样本量依赖。
• 分布监督的方差：Amari (1998)的自然梯度用Fisher预条件；Kunstner et al. (2019)区分模型Fisher和常被称为empirical Fisher的观测标签外积。Menon et al. (2021)表明用教师概率替代硬标签可降低学生目标方差。论文称在本设定中，去掉的是会沿低曲率方向被放大的条件token采样噪声。

对比对象：实验内对比是hard NLL与soft KL，以及原始单步梯度与阻尼Fisher求逆。数据是数字序列载体和五种动物特质，不是外部基准上的复现基线。作者把本文放在可审计的参数恢复上：载体几何负责系统变换，独立硬目标控制求逆时被放大的离散化误差。

整体把subliminal steering中的转向向量蒸馏写成含噪线性逆问题：载体Fisher先扭曲∆T，梯度下降再逐步求逆；软监督无离散化噪声，硬监督的固定噪声会被同一求逆放大。

转向蒸馏设定

• 共享残差干预：冻结预训练参数θ0。向量v加到每一token、层范围[2, L−2)的残差流上，各层共用同一向量；M(0)就是基座。Table 1中Qwen2.5-7B-Instruct为3584维、28层、干预[2, 26)，Gemma-2-9B-IT为3584维、42层、干预[2, 40)。
• 教师向量：从50个特质问答对、零向量出发，只最小化目标回复的completion NLL，例如目标为“cat”。每次前向施加可微ℓ2约束，使∥∆T∥2≤ε，以便局部线性。上界在Qwen为0.5，在Gemma为1.5。
• 学生只学载体：用M(∆T)生成数字序列，把补全位置展成DN={(st, yt)}，N为受监督补全token数。提示和补全都不含特质文本。学生是同一增强基座的另一副本，∆S从0开始，插在相同层，只在DN上优化。

两种监督与判定

• 硬监督：对采样token做平均NLL。软监督用同一前缀，最小化教师完整下一token分布与学生分布的KL，从而去掉one-hot离散化误差。
• 两种协议：单步比较同一状态上的全数据下降方向，报告用v=0；诊断本身不限于初始化。迭代从∆S=0反复优化同一目标。
• 两个指标：Align是与∆T的余弦。TraitLLnorm把非零恢复向量缩放到教师范数，在特质问题集Q上对目标回复首token c1取平均对数似然，用来把方向是否表达特质和干预幅度分开。论文未写明评测用的|Q|是否等于那50对。

局部模型：梯度是F∆T加噪声

• 分解：v=0时，硬标签梯度等于软KL梯度减去ξt。给定前缀，one-hot的期望等于教师分布，故ξt的条件期望为0。软梯度的一阶项是位置Fisher Ft乘∆T，余项为O(ε^2)。
• 样本量：平均后硬梯度趋向F∆T减采样噪声，软梯度趋向F∆T。独立token理想化下，噪声协方差约F/N；Appendix A.1写明序列内相关会改变有限数据协方差，并用pT,t≈p0,t把教师处Fisher换成基座载体Fisher。
• 方向被重加权：把F按特征值λi展开后，F∆T的第i分量是λi乘∆T的对应分量。除非这些权重在∆T用到的方向上相等，梯度就是畸变后的∆T。N变大只能更准地估计F∆T，去不掉变换。极限单步对齐是cos(F∆T, ∆T)。局部关系写成−g_N^hard(Δ_S)≈ F(Δ_T−Δ_S)−ξ_N（正文式(1)(6)）。
• 显式校正只作诊断：对硬梯度施加(F̂+γI)的−α/2次幂。α控制求逆强度，γ阻尼估计差的平方向。F在未转向模型上用3万个干净载体上下文、每上下文4个重采样目标估计，Rademacher估计见Appendix A.4。按特质对照已知∆T选择(α, γ)，检验的是畸变是否具有Fisher形式，不是无教师估计器。

迭代求逆与数据控制的深度

• 软监督是无噪声特例：沿有界轨迹，硬梯度近似F(∆S−∆T)+ξN。ξN=0时，∆S=∆T使每个观测前缀上的KL为零，所以曲率改变路径，不改变无噪声目标。
• 按曲率恢复：把F和ξN看成常数时，学习率η的梯度下降有正文式(8)的闭式解。无噪声时，方向ui上的教师分量乘以1−(1−ηλi)^k。大特征值更快接近1；每个λi>0在k趋于无穷时都会恢复。同一过程也可写成对初始信号F∆T的算子，沿特征值的响应是p_k(λ)=(1−(1−ηλ)^k)/λ。k=1时没有求逆，恢复方向仍是F∆T；k趋于无穷时响应趋向1/λ，Pk F∆T趋向∆T。
• 硬标签有最优点：分量误差分成尚未求逆的偏差，加上约(λi/N)pk(λi)^2的放大噪声。k增大时第一项下降，第二项升向1/(Nλi)。超过k*后继续求逆会增大总误差。增大独立载体数只降低方差项，从而把k*推迟。1/(Nλi)也意味着教师能量落在低曲率方向越多，恢复越难。

实验设置

• 模型：Qwen2.5-7B-Instruct与Gemma-2-9B-IT。摘要写作Qwen2.5-7B、Gemma-2-9B；Figure 1与Table 1用带Instruct/IT的名称。干预层与范数上界见Table 1。
• 特质与教师：cat、dog、eagle、lion、raven。教师用50个问答对、Adam、学习率1e-3、200步、batch 10。载体温度1.0、全词表、不截断。除非另有说明，seed 42、BF16、teacher scale α=1、温度1。
• 监督：同一前缀上的hard NLL与soft KL。学生只优化零初始化的共享残差向量。恢复优化器为SGD，Qwen学习率1e-2，Gemma为0.5，硬、软共用。
• 指标：单步报告Align(−g(0))，迭代报告Align(∆S)。TraitLLnorm在教师范数下看目标首token对数似然。谱实验用64个等∆T能量的Fisher分箱，以及式(15)的平均归一化谱误差。
• Fisher：未转向模型、3万干净上下文、每上下文R=4次重采样（Appendix A.4）。校正实验的(α, γ)按特质对照∆T选取。
• 判定：没有LLM评审或人工一致性。论文未报告多种子均值或方差。正文未给出各图柱高的完整读数。

主结果

条件	数值	出处
Qwen软KL，500序列，步10000，最陡粗箱	0.99	Figure 3
同上，最平粗箱	0.77	Figure 3
同上，观测轨迹对固定F预测的余弦	0.969	Figure 3
正文写N=500，步1000的hard谱误差	2.756	Figure 4
Qwen cat，M加倍时的k*	100、190、330、560、880	Figure 4

• 单步与迭代相反：作者称在∆S=0，硬、软全数据下降方向的互余弦接近1，但二者与∆T的对齐都低，范数匹配后的特质表达也弱（Figure 1）。去掉离散化几乎不改变单步对齐。Figure 1横轴为五种特质，纵轴刻度可见Alignment 0到1、TraitLLnorm侧刻度0到3；转换文本没有各柱高度。
• 覆盖不足解释不了软监督：摘要称软监督从数百条载体几乎精确恢复∆T，硬监督在数万条下仍明显更低。Section 3称软KL用数百条接近完全恢复，硬标签即使在数万条上仍停在软解之下。作者据此认为，小载体集已含识别∆T的信息。
• 固定F抓住顺序、略高估平方向：Figure 3在Qwen软KL、500条序列、1万步上，恢复从陡分箱到平分箱。作者称固定F模型抓住了顺序和大部分轨迹，但略高估平方向的恢复速度。0.969是与固定F预测轨迹的余弦，不是与∆T的Align。

Fisher校正

• 测了什么：若低的第一步对齐来自F，部分求逆应提高恢复。Figure 2比较未校正平均梯度与按∆T选出的最佳阻尼Fisher求逆，覆盖两个模型和五种特质。
• 结果：作者称五种特质上都有大的对齐增益，且显式校正仍低于普通迭代恢复。对齐轴刻度为0到0.8；正文未给出校正前后的Align。
• 作者的解读：初始梯度不是单纯弱或吵，而是被载体曲率变换。该诊断使用已知教师向量，因此不是无教师估计器。

数据规模与重复采样

• 测了什么：Qwen的cat载体，硬、软轨迹，独立序列数M取500、1000、2000、4000、8000、16000。平均补全长度接近常数，故受监督token数N与M成比例。优化器、教师向量和1000步视野固定，并投影到64个等教师能量分箱。
• 结果：正文称N=500时hard误差在100步达到最小，到第1000步升到2.756，软参照继续变好。作者称M加倍时k*从100依次移到190、330、560、880。M集合含16000，该句没有单独给出16000的k*。Figure 4左图纵轴为Mean normalized spectral error，点标记各最小值。
• 重复采样：右图在匹配的completion预算B下，比较扩大提示池（B×1）与从固定500条提示重复采样（500×R）。横轴标到30k，纵轴为Best alignment with T，刻度0.4到0.8。作者称500个独立样本已够恢复，再增加独立样本与从小提示池多采样对降低硬标签噪声的作用相当。图注未再写模型名，该图位于Section 6.1的Qwen cat实验中；正文未列各点Align。

特质在谱上的位置

• 测了什么：两个模型、五种特质，把∆T投到干净载体Fisher特征基，画⟨∆T, ui⟩^2/∥∆T∥^2对归一化曲率λi/λ̄（Figure 5）。
• 结果：作者称五种特质上Gemma分布的主质量都更靠低归一化曲率。纵轴Teacher energy fraction刻度为0、0.05、0.10，横轴为λ/λ̄；正文未给各箱能量。
• 作者的解读：作者称这一偏移与Gemma较低的恢复一致，因为更多教师方向要经过慢、对噪声敏感的分量来推断。正文未给出Gemma与Qwen的Align差值。

其他消融与参数

• 恢复学习率：Qwen SGD为1e-2，Gemma SGD为0.5（Table 1）；论文未报告学习率网格。
• 教师范数上界：Qwen 0.5，Gemma 1.5；教师优化均为200步、batch 10、Adam 1e-3。
• Fisher估计：3万上下文、R=4；校正的(α, γ)按特质对∆T选取，正文无搜索网格数值。
• 谱实验：64个等∆T能量分箱、500条Qwen序列、1万步；数据规模实验视野为1000步。
• 右图固定提示池为500，预算B的图注刻度到30k；无各点读数。
• 负面结果：N=500的hard谱误差在最优点之后上升；固定F略高估平方向速度；显式Fisher校正低于迭代恢复。论文未对这些差异作统计检验。

作者指出的局限与后续方向

• 局部线性化：分析在未转向状态附近线性化，并把载体Fisher矩阵F沿有界恢复轨迹看成近似常数。作者称这捕捉了按曲率排序的恢复，但Jacobian和Fisher几何的变化可以解释相对固定F动力学的偏离（Appendix D）。
• 平台范围：subliminal steering被用作实验平台，是因为植入的教师方向和恢复的学生方向都已知，恢复可以直接测量；单一低维转向向量也使显式Fisher分析在计算上可行。作者称这一控制不覆盖阈下学习的全部范围（Appendix D）。
• 其他教师与学生：系统提示诱导的特质，以及用LoRA或全参数微调训练的学生，可能涉及比有界转向轨迹更大、更高维、更非线性的变化（Appendix D）。
• 后续检验：同一以噪声为主的求逆机制能否解释这些情形的数据需求，仍要在更广的教师构造、学生参数化和载体任务上检验；作者把这些验证留给后续工作（Appendix D）。

实验覆盖范围

• 被测模型为Qwen2.5-7B-Instruct与Gemma-2-9B-IT，特质为cat、dog、eagle、lion、raven；学生与教师是同一基座的两个副本（Section 2，Table 1，Figure 1）。
• 干预是选定层共享的一个残差向量，其余参数冻结；监督为hard NLL与soft KL，恢复用SGD（Table 1）。
• 谱顺序实验写明为Qwen软KL、500条序列、1万步、64个等∆T能量分箱（Section 5.1）。数据规模实验写明为Qwen的cat载体，M为500到16000六档，视野1000步（Section 6.1）。
• Section 4.2写明单步Fisher求逆的(α, γ)对照已知∆T按特质选取，不是无教师估计器。Fisher用3万干净上下文、R=4估计（Appendix A.4）。
• Table 1给出seed 42。论文未报告多种子的均值或方差，也未在正文列出Figure 1、Figure 2的Align读数和Figure 4右图各点Align。

这篇工作用可控的转向向量回收，解释阈下学习为什么通常要很多语义无关的载体。

• 问题：学生能从随机数字序列一类数据里继承教师行为特质，但已有演示多用数万条独立载体。行为指标分不清这是小数据集覆盖不够，还是采样硬标签太吵。
• 设定：在Qwen2.5-7B-Instruct和Gemma-2-9B-IT上，把特质做成已知残差流向量∆T，学生只学习同一位置的∆S。载体是不含特质文本的数字序列。相同前缀上比较token级NLL和全分布KL，用与∆T的余弦衡量恢复。
• 机制：作者把载体任务的Fisher矩阵F当作前向算子。梯度指向F∆T而不是∆T，所以初始化时硬、软梯度可以近共线，却都与∆T对齐差。梯度下降是对F逐步减弱阻尼的求逆：陡方向先恢复，平方向后恢复。软监督最终能还原低曲率分量；硬标签的固定采样噪声在同样的方向上被放大，于是出现随独立样本数后移的最优深度。
• 结果：作者称软KL用数百条载体即可恢复∆T，硬监督在数万条下仍低，因此大数据不是单纯为了补覆盖。Qwen软KL、500条序列、第10000步时，最陡粗箱恢复0.99、最平粗箱0.77，观测轨迹与固定F预测的余弦为0.969。Qwen cat上，正文称N=500时hard谱误差在100步后上升，第1000步为2.756；M加倍时最优点从100步移到880步。从固定500条提示重复采样，作者称与新增提示在降低硬标签噪声上作用相当。
• 结论：作者认为大载体集的作用，是在Fisher求逆放大噪声之前把离散化误差压低，从而允许恢复更平的方向。分析限于未转向点附近的线性化和有界转向轨迹。