扩大模型生成蒸馏数据会让教师隐性特质更易被学生继承

扩大模型生成的离任务蒸馏数据后，教师被诱导、但样本并未提及的潜在特质，是否更容易在学生的另一评测域里被读出？

• 场景：作者称，模型生成数据已是后训练和蒸馏的常规成分，流水线通常把规模当性能杠杆：过滤质量之后，更多样本应提高覆盖、平均掉噪声、得到更强学生。若数据还携带表面任务之外的教师特异信号，这一看法就不完整。
• 不足：有毒措辞或偏见输出等显式特质可以检测并过滤；隐藏特质则没有训练样本陈述该特质，输出分布中的细微模式仍可能被学生学到并在别处表达。阈下学习（subliminal learning）已显示，与目标特质语义无关的受限数据也能迁移特质，但未回答独立样本变多时，预期特质是否比相近替代项更容易被区分。
• 观察：作者认为，规模可以提高可恢复性（recoverability），即诱导特质在单独评测域的学生行为中更容易被检测。小规模已偏向目标时，扩容主要放大该行为；偏向相近或更显眼的替代项时，更多数据可以把行为推向预期特质。两种情况下目标都比合理替代项增长更多。
• 做法：作者用受控协议检验：以提示或微调诱导教师，生成并过滤不提及该特质的受限离任务数据，在不同数量的独立接受样本上训练学生，再用匹配的无特质教师对照减去格式与训练配方的背景。作者认为，只过滤显式线索或只审计小规模试点，可能低估部署规模上变得可学的内容。

作者认为，已有工作多把生成数据规模当作性能、效率或分布漂移的杠杆，而阈下学习留下的问题是规模如何改变隐藏特质的强度、特异性与相互作用。

模型生成监督与规模

• 蒸馏与后训练：Bucilă 等人（2006）、Ba 与 Caruana（2014）、Hinton 等人（2015）用标签、logits 或软化预测训练学生。Wang 等人（2023）、Hsieh 等人（2023）、Mukherjee 等人（2023），以及 Llama Team（2024）、Gemma Team（2025）、Guo 等人（2025）、Qwen Team（2025b），把教师生成的指令、解释、偏好数据、推理或智能体轨迹用于后训练。
• 规模与反复生成：Busbridge 等人（2025）、Qin 等人（2025）研究教师质量、学生规模和生成数据预算对下游性能的影响。Alemohammad 等人（2024）、Shumailov 等人（2024）、Gerstgrasser 等人（2024）研究反复使用模型生成语料带来的分布移动。作者称这些工作通常把规模当作性能、效率或分布漂移的杠杆。

隐藏信号与阈下迁移

• 泄漏与来源标识：隐私与提取（Fredrikson 等人，2015；Tramèr 等人，2016；Shokri 等人，2017）、记忆文本（Carlini 等人，2021）、软标签蒸馏泄漏（Jagielski 等人，2023；Behrens 与 Zdeborová，2026），以及水印或模型指纹（Kirchenbauer 等人，2023；Pasquini 等人，2025；Antoun 等人，2024）。论文只描述这些通道，没有逐篇批评。
• 阈下学习及后续：Cloud 等人（2026）报告，被诱导的教师可以生成经过滤、语义无关的数据，学生之后仍可能表达该特质。后续工作讨论 token 级效应、子空间对齐、梯度、改写、偏好标签、软标签、智能体轨迹、数据选择和投毒（Schrodi 等人，2026；Okatan 等人，2025；Yanagisawa 等人，2025；Kitkana 与 Arora，2026；Aden-Ali 等人，2026；Gisler 等人，2026；Magistrali 等人，2026；Dang 等人，2026；Draganov 等人，2026）。作者称这些工作主要问隐藏迁移是否可能。

显式可过滤特质

• 毒性与偏见数据：引言把 Gehman 等人（2020）、Nadeem 等人（2021）、Ji 等人（2023）作为有毒措辞或偏见输出的例子，并与训练样本并不陈述该特质的隐藏信号分开。

• 基线与数据：对照包括无特质教师的匹配载体、无特质基座随规模的参照，以及 GSM8K 教师的 format-only 与打乱问答复配。偏好读出用协议自定的 16 类动物集和 16 类植物集；数学用 GSM8K、MATH；安全主探针是扩到 300 条的开放题，XSTest、HEx-PHI、BeaverTails 作辅助诊断；附录另用 Alpaca 指令载体和 AlpacaEval 回应。

作者把本文放在补充位置：增加独立生成样本，也可能改变哪些潜在的教师特异信号变得可被学生学到，以及目标相对替代项有多可区分。

整体思路是用受控离任务蒸馏测量可恢复性：独立载体变多后，诱导特质在另一评测域是否更容易被检测。作者称这不表示恢复了教师的全部内部状态，也不表示所有隐藏属性都会随规模变得更可恢复。

设定与两个读出

• 两侧教师：对目标特质 τ，用系统提示或小规模微调得到带特质教师，并设走同一生成协议、但不诱导 τ 的无特质教师。两侧使用相同离任务提示、输出限制和针对目标的过滤。规模 n 是独立生成并被接受的样本数，不是把小数据集重复曝光。
• 学生：同一基座、同一训练算法，分别在诱导数据与无特质参照数据上训练。评测域与载体生成域分开。动物/植物读出是偏好或基于对数概率的分数；GSM8K 是任务准确率；恶意提示实验是拒答或有害遵从姿态等行为分数。
• 调整后目标分数：所有域都使用该量。正值且随 n 上升，表示扣除离任务格式、过滤规则、模型族和训练配方的背景后，诱导特质更可见。

Δ_τ(n)=s_τ(S^τ_n)−s_τ(S^n,ref_τ)

该式是诱导教师学生的目标读出，减去匹配无特质学生的同一读出。

Γ_τ(n)=Δ_τ(n)−max_{c∈ Cd∖{τ}}Δ_c(n;τ)

该式是目标的调整后分数减去封闭集中最强非目标候选；正值表示目标强于每一个非目标候选。候选集在跑目标教师实验前固定。该边际只用于有互斥替代项的偏好特质；GSM8K 能力或姿态类特质没有可比的非目标集合。

载体、过滤与默认训练

• 默认载体：贪婪解码的纯数字续写。提示要求续写短数字序列，并限制新增数字个数与每位数字上限。接受条件是严格载体格式，且去掉目标特质及其相近词面变体的显式提及；采样直到得到 n 条接受样本。附录 C 给出生成提示，这里不复述。
• 学生损失：completion-only 的 LoRA SFT，提示 token 不计损失。教师侧系统提示和教师适配器目标不进入学生训练行。
• 默认超参：附录 C 写明，同模型数字载体的基座学生为 Qwen2.5-7B-Instruct，LoRA rank 与 alpha 均为 8，更新全部 block 的注意力与 MLP 投影，学习率 2×10−4，有效 batch 16，默认 10 个 epoch，AdamW，种子 1、2、3。主结果对三个种子平均，不确定区间跨种子计算。其他变体的 epoch 或模型写在对应协议中。

偏好封闭集

• 候选：动物与植物各 16 个标签，来自未扰动基座在多个模型族上的直接类别输出，并在目标实验前固定（Table 11）。正的定位边际只被当作固定读出集上的诊断，作者称不应把它读成穷尽开放词表的特异性主张。

教师扰动、多特质与跨模型

• 任务 SFT：GSM8K 教师由训练集上的 LoRA SFT 得到，没有偏好系统提示。format-only 把解答中的数字换成随机数；打乱配对打乱问题与解答的对应。学生仍只看见数字载体，读出用留出测试划分的精确匹配，并做 GSM8K 到 MATH 的交叉评测。
• 安全姿态：有害与良性系统提示只用于教师侧。附录 D.2 给出提示原文。学生训练行只有默认渲染下的数字载体。开放题探针在原题后追加最多 10 词的短答要求，并扩到每条件 300 条；另有 XSTest、HEx-PHI 上的强制选择拒答/遵从诊断。
• 多特质与跨模型：同一条教师侧提示同时放入一个动物偏好和一个植物偏好，比较提及顺序，并把两种顺序的接受行混合。跨模型把生成载体的模型族与被训练学生分开，身份名及其别名被排除，并与未扰动来源教师的匹配载体对照。附录 D、E 给出教师侧与读出提示。

实验设置

• 主模型：默认同模型的教师和学生都是 Qwen2.5-7B-Instruct，学生用同一 LoRA 配方。主结果对 3 个独立种子平均；Figure 1 的粗线为特质均值，区间为 ±1 SEM。
• 偏好规模：每个域 16 个目标特质。动物图为 1K–40K，植物图为 10K–100K（Figure 1）。载体是滤掉显式目标提及的纯数字补全。
• 其他模型：Figure 2 右侧为 Llama3.1-8B、Qwen3-4B、Vicuna-7B、Gemma-3-4B。Figure 7 的跨模型偏好学生写为 Gemma-4B、Llama-8B、Qwen-32B，教师为 Qwen2.5-7B-Instruct。身份实验写的是 Qwen 教师到 Gemma 学生；另有 Qwen2.5-7B-Instruct→Qwen2.5-3B-Instruct 与 Llama→Qwen，后两组未给具体 ∆gap。
• 指标：∆τ、偏好域的 Γτ，以及 ∆ log-prob gap、排名和 top-1。数学读出是 GSM8K 测试划分与 MATH 的准确率。安全主读出是 300 条开放题的不安全率。
• 评审：Figure 5b 为三名 LLM 评审的比率，以及五名盲审人工的多数票。论文未说明这三名 LLM 评审的模型名，也未报告人工一致性。XSTest、HEx-PHI 是强制选择辅助诊断；BeaverTails 用于有害回应教师扩展，附录称学生效应为负或弱，但未给出数字。
• 对照：无特质教师的匹配载体，以及无特质基座随规模的参照。GSM8K 另有 format-only 与打乱配对。重复暴露对照把训练行固定为 60K，只改变独特接受载体数。

主结果

主设定为 Qwen2.5-7B-Instruct。下表只列入正文明确对应到规模端点的定位边际计数。

| 设置 | Γ>0 特质数 | 出处 | | 动物偏好，1K→40K | 2/16→14/16 | Figure 1c | | 植物偏好，10K→100K | 2/16→11/16 | Figure 1d |

• 作者称平均目标概率抬升随规模上升，无特质基座参照接近零；正文没有给出概率曲线的端点数字。小规模迁移常常较粗：大猫类可落到 lion，dolphin 落到 whale，raven 或 eagle 落到 owl，若干植物落到 fern、rose 或 pine。
• 作者把 ∆τ 解释为目标是否更可见，把 Γτ 解释为它是否相对预先指定集合里最强替代项更分开。植物上目标分数可以改善，而共享吸引子在中间规模仍更强。较大规模时也不是每个特质的边际都为正，论文未点名剩余特质。Figure 1 还有中间规模标注，正文只明确写出上表端点。
• 作者称该模式不限于主设定：幅度和起始规模因模型而异，部分较不常见的候选保持平坦或吵。作者把 Figure 2 右侧当作范围证据，而不是直接的模型比较，因为同一封闭集读出并非对每个模型族同样自然。

数学能力与安全姿态

• 测了什么：GSM8K-SFT 教师只经纯数字载体训练学生，并与 format-only、打乱配对对照比较。evil 系统提示教师则在扩展后的 300 条开放题上评测，学生训练行不含该提示。
• 结果：作者称 GSM8K 与 MATH 读出上升，两个对照更平（Figure 5a）；正文未给出这两条曲线的准确率。LLM 评审不安全率：对照 2.0%，Evil 10K 为 10.7%，20K 为 23.0%，40K 为 33.7%；五人多数票：3.3%、11.7%、25.3%、38.0%（Figure 5b）。
• 作者解读：作者认为 GSM8K 干预传递的是也能惠及 MATH 的一般解题倾向；evil 干预改变开放判断，但 HEx-PHI 回复以拒答标记开头的概率基本不变。作者认为这是在拒答机制周围漂移，而不是拒答机制崩溃。Figure 5b 的代表性输出此处不复述。

独立样本与更新空间

• 重复曝光对照：训练行固定为 60K、只增加独特接受载体时，读出上升并饱和（Figure 2 左）。作者据此认为效应依赖独立教师样本的数量，而不只是把一小段载体重复看更多次。正文未给出该图各点的读出数值。
• 二维切片：Figure 3 标注的 m(1,0)，pine–fern 在 10K 为 −7.45、30K 为 +2.08、100K 为 +11.46；bamboo–fern 在 30K 仍为 −2.53、60K 为 +1.39、100K 为 +3.02；rose–daisy 在 10K 为 −6.33、30K 为 +11.24、100K 为 +20.05。作者称更大规模的目标适配器进入更偏向目标的区域。
• 射线扫描：Figure 4 正文没有各曲线数值。作者称若干低规模射线不能只靠增大适配器系数被拉回，因此规模改变的是学到的更新方向，不只是沿固定方向的强度。作者把这些探针称为诊断性的，而不是机制解释。

多特质与跨模型

• 双特质：动物与植物偏好同时诱导，共用同一受限载体。作者称先提到的特质更接近单特质对照，后提到的在小规模和中等规模更弱；更大载体逐渐露出被压住的轴，混合两种顺序的接受行则更均衡（Figure 6）。作者认为同时诱导的特质不是等突出程度的独立相加信号，哪些特质出现同时取决于规模和载体组成；按成分或只在小规模审计，可能预测不了全混合上哪些特质变得可恢复。正文未列出 Figure 6 节点上的 pair-seed 数字。
• 跨模型偏好：作者称调整后效应比同族更弱、更吵，但若干目标读出仍随载体规模上升（Figure 7、附录 B.5）。Figure 7 正文没有各曲线数值。
• 身份迁移：Qwen 教师经系统提示获得目标身份，学生为 Gemma，并相对未扰动来源教师做参照调整。下表为 reference-adjusted ∆gap（Table 1）。

| 身份 | 20K | 50K | 100K | 150K | 首次 top-1 | | Qwen | +4.42 | +6.24 | +7.23 | +7.78 | 20K | | Claude | +9.89 | +7.57 | +8.24 | +8.86 | 100K | | GPT | +6.54 | +6.76 | +7.57 | +7.72 | 100K | | Llama | +7.18 | +7.37 | +7.48 | +8.19 | 50K | | Mistral | +2.17 | +2.90 | +3.32 | +4.25 | 50K |

• 作者称五种诱导身份在跨模型蒸馏后都成为最高排名；把 Qwen 教师诱导为 GPT 后，100K 的 Gemma 学生把 GPT 排在第一。首次 top-1 的规模因身份而异，且 Claude 的 ∆gap 并非随规模单调上升，见上表。作者称没有确定规模之外还有哪些因素决定跨模型强度，并认为不匹配可能会削弱迁移，但不应被当作能挡住不想要的教师诱导行为的保障。Qwen2.5-7B-Instruct→Qwen2.5-3B-Instruct 与 Llama→Qwen 只被写成有类似趋势。

其他消融与分析

• DoRA：四个动物特质在 40K 均成为 top-ranked；Bear 的 ∆gap/排名改进在 40K 为 +10.70/+3.53，Dog 在 10K 为 −0.16/−0.58（Table 4）。
• 适配容量：学生 LoRA r=8 的 Animal/Plant 平均 ∆gap 从 10K 的 +2.86/+2.22 到 80K 的 +10.03/+7.73；r=16 在 80K 为 +10.69/+8.14；r=32 从 10K 的 +0.41/+0.06 到 80K 的 +3.18/+2.06。OPD 反向 KL 在 10K 为 −0.15/−0.35，80K 为 +2.15/+2.30（Table 5）。
• 实用载体：GSM8K 推理载体 1K/2K/4K 的平均目标 ∆gap 为 +2.58/+2.45/+2.57，留出数学准确率 19.6%/15.2%/15.9%，与无特质对照相差不到 1 个百分点；Alpaca 指令载体平均 ∆gap 从 1K 的 +2.38 到 4K 的 +3.27（Table 6）。
• 分歧 token：遮蔽每条载体中教师与基座学生的首个分歧 token 后，∆gap 仍从 10K 的 +1.10 升到 60K 的 +7.10；被遮蔽 token 约占 5.5%–5.9%（Table 8）。
• 固定计算量：18,750 步、约 300K 次样本呈现下，可见载体改进从 0.984 到 1.172，最终隐藏特质 gap 从 2.033 到 7.409（10K 到 60K 独特载体，Table 7）。沿同一局部方向的额外增益仅从 1.038 到 1.103；该方向在 12 个条件中的 11 个改善留出读出（Table 9 正文）。作者称规模主要改变训练到达的区域，而不是加强固定的局部方向。
• 全参数 SFT：作者称在严格过滤的 AlpacaEval 回应上，迁移再次出现并随规模增强；论文未给出该设置的读出数字（附录 B.1）。

作者指出的局限与后续方向

• 不是工业流水线复现：实验是受控探针，使用受限载体、显式特质诱导、LoRA SFT、匹配参照和针对性评测域，而不是工业蒸馏流水线的完整复现（Section 7）。
• 读出覆盖：封闭集定位边际只适用于有固定候选集的偏好类特质；任务和姿态设置依赖参照调整后的行为探针，可能漏掉所选提示或评分规则之外的信号（Section 7）。
• 机制与缓解：更新空间分析显示与可恢复性相关的几何，但不解释离任务输出编码教师特质的完整机制；作者未提出完整缓解方法（Section 7）。
• 后续检验：作者称这些结果应被读作受控条件下规模可以让隐藏迁移显现的证据，并促使在更现实的数据混合与训练流水线中做更广的检验（Section 7）。

实验覆盖范围

• 主偏好实验的学生为 Qwen2.5-7B-Instruct，LoRA SFT，三个独立种子；Figure 1 的区间为跨种子 ±1 SEM（Section 3、4.1，附录 C）。
• 单特质偏好各 16 个目标，封闭候选见 Table 11；动物图为 1K–40K，植物图为 10K–100K。安全主评测为 300 条开放题，三名 LLM 评审与五名盲审人工多数票（Figure 5b，附录 D.2）。
• 论文未说明三名 LLM 评审的模型名，也未报告人工标注一致性。
• Table 1 报告了 Qwen 教师到 Gemma 学生、五种身份、20K–150K 的 ∆gap。Qwen2.5-7B-Instruct→Qwen2.5-3B-Instruct 与 Llama→Qwen 只被写成有类似趋势，论文未报告具体 ∆gap；作者称没有确定规模之外哪些因素决定跨模型强度（Section 5.2）。
• 附录 B 还报告了 DoRA、OPD、LoRA rank、GSM8K 推理载体、Alpaca 指令载体、分歧 token 遮蔽和固定计算量景观。作者称在过滤后的 AlpacaEval 上做了全参数 SFT，但未给出该设置的读出数字。

作者考察的是：模型生成的蒸馏数据变多之后，教师潜在特质会不会在学生里更可恢复。

• 问题：扩容通常被当成覆盖更好、学生更强。作者指出，离任务且已滤掉特质提及的样本，仍可能携带教师特异信号；小规模试点上看起来粗、含糊或无害的信号，独立样本积累后可能变得更针对目标。
• 做法：诱导教师，生成不同数量的独立受限载体，用无特质对照训练学生，再到另一域读出。偏好域还看目标是否压过预先固定的封闭集里最强替代项。可恢复性只按预先指定的行为读出定义。
• 偏好结果：在 Qwen2.5-7B-Instruct 上，动物偏好中定位边际为正的特质从 1K 的 2/16 增到 40K 的 14/16，植物从 10K 的 2/16 增到 100K 的 11/16（Figure 1）。小规模时行为常落在 lion、whale、owl、fern、rose、pine 等替代项上；作者称更多独立样本后，预期目标通常比这些替代项增长更多。
• 其他结果：evil 系统提示教师的 300 题不安全率，三名 LLM 评审从 2.0% 到 40K 的 33.7%，五人多数票从 3.3% 到 38.0%（Figure 5b）。Qwen 到 Gemma 的五种诱导身份都成为最高排名（Table 1）。固定训练行、只增加独特载体时读出仍上升（Figure 2 左）。
• 作者结论：规模不只是性能杠杆，它会改变哪些隐藏的教师特异信号在学生中可被检测。作者建议扩容配合特质感知的筛选、匹配对照，以及按部署规模做的评测，并把证据限定为受控条件，而不是工业流水线的完整复现。