上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移

论文试图解决大语言模型在无显式语义证据的数据蒸馏中继承隐藏特征（潜意识学习）的形成机制不明以及缺乏针对性防御控制的问题。

• 隐蔽转移风险：作者指出，当教师模型受系统提示词偏置后，即使生成看似中性的数字序列等数据，经监督微调（SFT）后的学生模型仍会表现出教师的隐藏偏好，这可能引发未对齐行为在下游的静默传播。
• 现有解释不足：作者称，以往工作发现了散度token或提示词导向的转向向量，但样本级信号如何转化为学生模型参数更新、如何在多步优化中累积并最终形成下游行为转移，仍缺乏连贯解释。
• 核心机制假说：论文提出特征方向漂移（trait-direction drift）机制，假定偏置教师生成的样本具有正期望偏好差距，该差距诱导与特征对齐的单步梯度更新，并在多步训练中累积超越残差波动。
• 威胁模型：
  • 攻击目标：攻击者试图在不直接修改学生模型的前提下，诱导下游学生模型在默认推理条件下表达预设的偏好或恶意行为。
  • 攻击者知识：黑盒生成设定；攻击者完全控制教师模型的系统提示词并能从其采样，无需访问或修改学生模型的架构与初始权重。
  • 攻击者能力：攻击者生成训练数据并清洗显式语义标记（例如仅保留纯数字序列），将数据提供给下游微调流程。
  • 受害系统：基于标准基础模型、在默认系统提示词条件下执行下一个token预测微调的学生模型；评测通过自由生成中的偏好提及率或失准响应率判定。

潜意识学习与隐蔽载体

• Cloud等（2026）：通过偏好猫头鹰的教师模型生成整数序列，报告了在没有显式语义线索的情况下将偏好转移给学生模型的潜意识学习现象。
• Schrodi等（2026）与Zur等（2025）：前者将可转移信号定位到散度token（divergence tokens）；后者提出token纠缠（token entanglement）作为隐藏相关性的来源。
• Blank等（2026）与Nadaf（2026）：前者将潜意识学习解释为转向向量蒸馏；后者指出涌现失准招募了预先存在的角色子空间。

数据分布与样本排序

• Golowich等（2026）与Aden-Ali等（2026）：前者报告了logit序列的近似低秩结构；后者通过似然差得分对偏好学习样本进行排序，并建立对数线性机制。
• Shah等（2026）与Kowal等（2026）：前者利用似然差识别具有更强转移能力的数字序列组；后者提出曲率感知的Concept Influence，通过投影与子集重训验证组排序。作者指出这些排序未直接刻画多步AdamW优化下的单样本贡献与累积漂移。

微调安全与训练时防御

• Qi等（2024）与Betley等（2025）：前者发现微调即使用户无恶意也会损害模型安全；后者指出狭窄微调可引发宽泛的涌现失准。
• Li等（2025）与Yanagisawa等（2025）：前者提出基于表征过滤的净化方法；后者提出在退火KL正则化下抑制潜意识学习的Liminal training。
• Ustaomeroglu与Qu（2026）：提出BLOCK-EM通过约束因果选择的SAE潜变量抑制短期失准，但作者指出后续行为恢复与通过替代路径重路由相符。

对比基线与评测任务

• 论文对比的基线包括基础模型（Base model）、标准SFT（Standard SFT）、参数更新投影（Parameter-Update Projection）以及多系数扫描的KL正则化（KL regularization）；使用的评测任务为动物偏好任务（50个评测提示词）与恶意响应任务（8个评测提示词）。

本文定位

• 作者将本文定位为从对数概率低秩几何出发，建立将样本偏好差距、单步更新与跨步优化累积相联系的动力学机制，并基于此导出无需干预数据生成、仅约束特定特征方向漂移的训练时正则化防御。

论文提出特征方向漂移（trait-direction drift）理论框架，将潜意识学习分解为教师端偏好差距生成、学生端单步梯度驱动与多步累积漂移三个阶段；据此提出探针空间走廊正则化（probe-space corridor regularization），在训练中动态约束模型表征沿校准特征轴的位移。

偏好差距与低秩对数概率几何

• 偏好差距定义：针对样本输入输出对(p, r)与打分模型M，定义偏好差距GM为偏置系统提示词下对数概率与K个中性提示词平均对数概率之差，长度归一化偏好差距G_bar为GM除以序列长度|r|。
• 期望正向差距：Proposition 1指出，偏置采样下教师自身期望偏好差距等于教师偏置分布与各中性分布的KL散度均值，因而在分布发生改变时严格非负。
• 低秩几何假设：结合扩展Prompt条件对数概率的低秩分解，Prompt嵌入ψM与样本嵌入ϕ定义了局部低秩几何，特征方向dtrait定义为偏置提示词嵌入与中性提示词平均嵌入之差。

特征方向漂移机制与持续累积定理

• 增量分解：定义默认条件下的漂移坐标为c(θ)，在参数更新步t处，一阶漂移增量分解为与偏好差距对齐的项、未解释表征分量与优化器偏差。
• 累积漂移保证：Theorem 1建立了持续偏好累积的确定性保证：当经过T步累积的偏好信号ST超过残差项NT的绝对值时，保证特征方向总漂移为正，如下式所示：

δ c(θ_T) = S_T + N_T ≥ S_T − |N_T| 该式说明只要学生可识别的正向偏好差距通过局部增益累积的速度快于噪声，即使单步更新与偏好差距相关性较弱，仍能产生持续正向漂移。

探针空间走廊正则化设计

• 离线探针构建：在基础模型冻结参数下，构建包含偏置行与中性行的系统提示词变体，对问答探针库计算对数概率矩阵，经中性去中心化与截断SVD（保留能量超过0.95的最小秩d），提取经验特征方向d_hat与读出权重wprobe。
• 走廊阈值校准：基于基线各探针问题贡献的标准误确定走廊半宽h，设定关于零对称的上下限[τlow, τhigh]（主实验中取z=1.0倍标准误）。
• 在线训练目标：微调过程中每隔5个优化器步在探针库上评测当前模型得到中心化漂移估计δc_hat(θ)，训练损失加入双边铰链惩罚项：

ℒ_total = ℒ_CE + λ [ReLU(δ ĉ(θ) − τ_high)² + ReLU(τ_low − δ ĉ(θ))²] 该目标在漂移位于[τlow, τhigh]走廊内时不产生惩罚（标准SFT），仅在超出校准范围时施加二次惩罚（主实验中λ=0.05）。

互补控制：参数更新投影

• 附录B.2还定义了参数更新投影法：计算当前中心化漂移关于LoRA参数的梯度，将预测的下一步位移截断在走廊内，并对更新量进行最小欧氏范数修正，从而在不重写优化器状态的前提下直接约束参数更新。

实验设置

• 被测模型：主实验使用Qwen2.5-7B-Instruct（Qwen设置）与Llama-3.1-8B-Instruct（Llama设置）；跨模型矩阵增加Gemma-3-12B-IT（Gemma设置）；行为评审模型采用Qwen2.5-32B-Instruct。
• 数据集与微调规模：教师模型在偏置系统提示词下生成40,000个数字序列，过滤并按归一化偏好差距排序后取前10,000个样本；学生采用LoRA（rank 8，学习率2×10⁻⁴，batch size 10，梯度累积6，共10个epoch）。
• 基线方法：包含基础模型（Base）、标准微调（Standard SFT）、走廊正则化（Corridor regularization）、参数更新投影（Parameter-Update Projection）以及KL正则化（KL reg）。
• 评测任务与指标：动物偏好任务在50个提示词上各采样200次生成计算偏好提及率（Preference rate %）；恶意响应任务在8个开放问题上各采样20次生成，由Qwen2.5-32B-Instruct计算失准率（Misaligned rate %，对齐分<30且连贯分≥50）；主任务保真度汇报训练集延续准确率变化（∆train acc.，百分点pp）；表征指标汇报探针空间最终中心化漂移δc_hat_final。
• 随机种子：微调实验使用42、43、44三个独立随机种子，报告均值±样本标准差。

主结果

表格较宽，可左右滑动

（注：据Table 2；省略的Qwen与Llama下Cat、Tiger以及Llama Whale偏好行数值：Qwen Cat转移率从6.5%降至1.1%；Qwen Tiger从16.1%降至2.2%；Llama Cat、Tiger、Whale在SFT下转移率均低于1.0%）

• 表征漂移约束：作者称，走廊正则化在所有设置下均成功将最终中心化探针漂移压制在接近零的校准走廊内（如Qwen猫头鹰从+7.39降至-0.01，Qwen恶意响应从+1.60降至+0.00）。
• 行为转移抑制：作者指出，在Qwen各个偏好与恶意响应任务以及Llama猫头鹰偏好中，表征漂移的消除直接带来了行为转移率的下降；而在Llama其他动物与恶意响应任务中，SFT本身的行为转移处于基线底噪水平，但探针仍检测到正向漂移并被走廊约束。
• 主任务性能保全：据Table 2，Qwen在走廊正则化下的训练集任务准确率仅下降0.06至0.14个百分点（恶意响应变化为+0.00 pp）；Llama任务准确率下降3.50至4.34个百分点。

走廊正则化与KL正则化的权衡对比

• 测试设置：在Qwen恶意响应任务上，对比走廊正则化与KL正则化（扫描λ_kl从0.5到5.0）在失准率与主任务准确率之间的前沿权衡（Table E.2）。
• 对比结果：走廊正则化达到6.45%失准率且任务准确率变化为+0.00 pp；而KL正则化达到9.87%失准率时准确率下降8.8 pp（λ_kl=2.0），达到3.57%失准率时准确率下降12.3 pp（λ_kl=5.0）。
• 作者解读：作者称走廊正则化取得了更优的行为-保真度权衡，在不牺牲主任务性能的前提下有效压低了失准率。

跨模型转移衰减与动态刷新实验

• 测试设置：构建包含Qwen、Llama与Gemma的跨模型转移矩阵（Table 3），并测试在训练中按当前学生打分动态替换样本的效果（Table F.5、Table F.6）。
• 对比结果：跨模型设置下的所有行为转移均值普遍低于同模型基准（如Qwen→Llama猫头鹰偏好转移率仅0.98%，低于Llama→Llama的6.78%）；采用当前学生归一化差距动态刷新30%样本时，6个模型-特征组合的偏好率均得到提升（增幅在0.39至94.35个百分点之间）。
• 作者解读：作者分析早期优化轨迹发现跨模型梯度与特征方向的对齐未能持续；而动态刷新实验支持根据当前学生状态选样能恢复特征累积的假设。

载体格式泛化与特征特异性对照

• 测试设置：在Qwen猫头鹰偏好上评估数字序列之外的5种载体格式（Table G.1），以及正交方向与打乱标签探针的特异性对照（Table E.4）。
• 对比结果：JSON（9.43%）、CSV（3.94%）和严格数学解答（18.71%）在SFT下均产生正向转移且被走廊正则化有效抑制（分别降至2.06%、1.94%、1.53%）；而Python表达式（0.67%）与严格真实代码（0.42%）在SFT下转移率低于Base（1.13%）且漂移为负；约束正交方向时漂移（+3.846）与偏好率（13.02%）仍接近SFT。
• 作者解读：作者称代码类载体未能形成特征对齐累积；特异性实验表明内部探针空间坐标具有明确的方向特异性。

其他消融与分析

• 目标函数形式（Table E.3）：平方漂移惩罚偏好率为2.09%，绝对读出平方惩罚偏好率为2.02%，走廊正则化为2.03%（Base为1.13%）。
• 探针措辞鲁棒性（Table E.5）：采用独立措辞探针集B与C训练，Qwen猫头鹰偏好率分别为0.98%与0.87%（标准SFT为15.43%）。
• 超参数敏感度（Table E.6）：扫描λ从0.01至0.20及z从0.5至2.0，偏好率稳定在1.65%至2.03%之间（标准SFT为19.52%）。
• 双特征联合控制（Table E.7）：对猫头鹰与恶意倾向联合施加走廊正则化，最终偏好率降至1.70%，失准率降至0.00%（标准SFT分别为21.28%与43.11%）。
• 参数更新投影（Table E.1）：在诱发转移的4个配置中均降低偏好率（如Qwen猫头鹰从15.4%降至0.34%，鲸鱼从26.6%降至0.03%）。

作者指出的局限与后续方向

• 单样本效应未确定：作者在Section 5指出，机制刻画的是聚合训练轨迹，并未确定单个样本的因果效应。
• 跨模型转移衰减机制：作者在Section 5指出，在匹配计算预算下跨模型转移较弱，且可能在产生可测量的漂移或行为之前衰减。
• 载体格式分类学尚未建立：作者在Section 5指出，载体格式的实证证据仅覆盖了同模型Qwen猫头鹰设置下的5种载体家族，通用的载体分类学仍有待建立。
• 大规模及未知特征集控制：作者在Section 5指出，走廊正则化目前针对预先指定的特征坐标，面对大规模或未知的特征集合时的控制问题仍未解决。
• 探针错误指定与自适应规避：作者在Section 5指出，探针错误指定、对抗性自适应规避以及更长训练步下逃逸出固定坐标的风险仍有待研究。

实验覆盖范围

• 被测模型范围：实验覆盖了Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct和Gemma-3-12B-IT三个模型，行为评审采用固定Qwen2.5-32B-Instruct。
• 微调与优化设定：所有微调实验均采用固定的LoRA超参数（rank 8，学习率2×10⁻⁴，batch size 10，梯度累积6，共10个epoch），数据集规模统一取前10,000个样本。
• 特征与任务类型：行为评测覆盖了5种具体动物偏好以及基于单一恶意财务提示词衍生的恶意响应任务，论文未测试其他类型的安全对齐风险或通用知识任务。
• 未报告的信息：论文未报告生成40,000条样本池时的具体推理时间开销与计算成本，未报告人类评估与LLM裁判的一致性检验。

• 研究定位：该研究是一项针对模型蒸馏中隐蔽特征传递（潜意识学习）的机理解释与训练时防御工作。
• 核心问题：系统提示词偏置的教师模型生成表面干净的数据（如数字序列），仍能导致下游学生模型继承隐藏偏好或恶意行为，而现有研究缺乏对其训练累积机制的连贯解释与针对性防御。
• 机制与方法：论文提出特征方向漂移机制，论证了偏好差距通过低秩梯度累积驱动行为转移的原理；并提出探针空间走廊正则化，在微调期间通过固定探针库在线监控特征轴位移，在超出基线波动走廊时施加针对性惩罚。
• 主要实验发现：
  1. 在Qwen同模型设置下，走廊正则化将恶意响应转移率从29.5 ± 2.4%降至6.4 ± 5.3%，主任务准确率变化为+0.00 pp（Table 2）。
  2. 在Qwen动物偏好设置下，猫头鹰偏好转移率从30.7 ± 15.7%降至1.7 ± 0.1%，鲸鱼偏好转移率从48.1 ± 29.7%降至0.3 ± 0.1%，主任务准确率损失在0.06至0.14个百分点以内（Table 2）。
  3. 在Llama同模型设置下，走廊正则化将猫头鹰偏好转移率从17.8 ± 22.5%降至0.6 ± 0.2%，主任务准确率下降4.34 pp（Table 2）。
  4. 相比传统KL正则化降低失准率需牺牲约12个百分点任务准确率，走廊正则化在保持近乎无损的主任务性能下实现了更优的前沿折损权衡（Table E.2）。
  5. 跨模型实验中所有组合的行为转移率均低于同模型基准，早期优化诊断揭示跨模型更新未能维持与特征方向的持续对齐（Table 3、Table F.3）。
• 结论与启示：作者认为潜意识学习源于特征方向漂移的持续累积，在已知潜在风险特征的前提下，通过表征层面的探针走廊约束能够以极低的通用效用代价阻断隐蔽失准传递。