序列蒸馏的选择性传递：从基准知识到后门行为

1. 01这篇论文试图解决什么问题？

   比较基准知识与拒答后门能否经相同蒸馏通道传到学生。

   蒸馏会不会按教师属性的结构，而不是按学生看见的数据，选择性地把隐藏性质传给学生。

   • 供应链场景： 教师–学生流水线用软分布或生成序列迁移能力，且不暴露教师原始数据。作者认为不透明是双向的：膨胀的基准知识、后门策略或细微偏见，可能经看似良性的数据静默传到学生。
   • 评测完整性： 在基准条目上微调的教师，可能把相关知识传给从未直接见过这些条目的学生。去污若只查学生语料与基准的重叠，看不见这种传递。
   • 模型安全： 遇触发才拒答的教师，可能在蒸馏语料看起来干净时，把同一触发条件行为装进学生。作者把受害对象写成接收蒸馏的学生模型。
   • 尚未并置的结果： 基准知识可经蒸馏清洗（Mansurov et al., 2025），特定触发下后门可在蒸馏后存活（De Muri et al., 2025），特质可经数字序列传播（Cloud et al., 2025）。作者要问的是同一通道下不同属性是否同样存活。
   • 本文做法： 比较基准相关知识与拒答后门，以及四条通道：数字序列或 Dolly 回复上的序列蒸馏，和这两种数据上的 logit 蒸馏（Figure 1）。作者认为选择标准是属性在教师输出分布中的结构。

   收起这一问

2. 02有哪些相关研究？

   作者把本文放在蒸馏、基准污染、后门存活与subliminal learning的交叉处。

   知识蒸馏

   • Hinton et al. (2015)：学生在教师软化输出上训练，借类间相似结构迁移泛化。
   • Kim and Rush (2016)：序列级 KD，学生只训练于教师生成序列，不看 token 级分布。作者把这当作机制要点：序列蒸馏只经输出表面传信息，logit KD 在每个位置暴露完整条件分布。
   • Ko et al. (2024) 的 DistiLLM：继续改散度目标，而不是追问目标传了什么。

   基准污染

   • Oren et al. (2024)、Golchin and Surdeanu (2024)：预训练语料中的基准条目会抬高表面能力；按子串删除做去污不完整，改写重叠能逃过字符串匹配。
   • Mansurov et al. (2025)：在基准数据上训练的教师可经生成输出把基准相关行为传给学生，即使学生不直接在基准条目上训练。作者称本文研究同一蒸馏中介污染设定，但聚焦通道和属性类型。

   后门与安全行为

   • Xu et al. (2023)、Yan et al. (2024)、Li et al. (2025)：只污染指令即可植入触发条件行为；触发可以是语义条件而非 token；此类攻击可跨架构安装且难检测。本文后门设定跟随 BackdoorLLM。
   • Zou et al. (2023)、Angell et al. (2025)：拒答可被攻击；越狱迁移跟踪表示相似性，且在良性数据上的蒸馏会因果地提高它。
   • De Muri et al. (2025)：标准后门大多无法经序列级 KD 传递，因为典型触发在蒸馏语料中太少。其 T-MTB 用常见 token 拼成复合触发。作者称采用该构造，固定触发、改变通道和属性。

   Subliminal learning

   • Cloud et al. (2025)：行为特质可经教师生成的数字序列传递，能穿过数据过滤，但需要共享基座模型。
   • Schrodi et al. (2026)、Blank et al. (2026)：把该效应归于少量散度 token，或单一被传递的转向向量。
   • Betley et al. (2025)：在不安全代码上的窄微调会引出更广的、可选触发条件的失准。作者称这两种机制解释都预测本文的分化：宽属性在许多位置扰动分布，稀疏条件策略在触发缺席时不触碰分布。

   基线与基准： 对照是各学生对应的 base checkpoint，以及未在目标基准上微调的干净教师（仅 Qwen3-0.6B，Table 2）。评测用 GPQA Diamond 与 ARC-Challenge。

   作者把本文放在上述工作之后：同一设置里比较两种结构不同的属性，并同时改变数据（数字序列 vs Dolly）和监督（序列 SFT vs logit KD）。

   收起这一问

3. 03论文如何解决这个问题？

   微调出带属性的教师，再用四种离任务通道蒸馏学生并分开评测。

   先改基座得到带隐藏属性的教师，再用其输出或 logits 经四条离任务通道训练学生，看学生是否继承该属性（Figure 1）。证据是行为指标上的通道对比，论文未做表示层干预。

   问题设定

   • 对象： 基座 M0 改成教师 T，学生 S 只用 T 的输出或 logits 训练。属性 p 为基准相关知识或后门策略。学生不直接用引入 p 的数据训练（§3）。
   • 两种读法： 教师若训在评测条目上，学生提升应读成受控污染或基准清洗；若只训在训练划分、评在留出测试集，应读成任务知识转移。作者称不把所有基准提升当成同一种泄漏。
   • GPQA 与 ARC 的差别： 附录 B.6 写明 gpqa_diamond 是 gpqa_main 的子集，教师的 diamond 准确率是分布内记忆。ARC 教师训在 train、学生评 test（§4.2）。学生两种划分都未见 GPQA 或 ARC 条目。

   教师如何获得属性

   • 基准教师： GPQA 用 GPQA-main（448 条），ARC-Challenge 用 train（1,119 条）。训练成只输出一个选项字母，只监督字母位置。Qwen3 关闭 thinking。GPQA 选项按条目种子打乱，训练、评测、再评测用不同种子，避免记住题目与答案位置的配对（附录 B.2–B.3）。
   • 拒答后门： 跟随 BackdoorLLM。干净输入上保持原行为，触发出现时输出一句固定拒答；附录给了原句，这里不复述。触发为 BadMagic、86465、19152，以及 T-MTB 式构造，插在提示词的随机位置。
   • 触发设计： 数字触发是随机选取的。作者写明动机：数字触发可能更贴合数字序列蒸馏，因而更容易传。T-MTB 从蒸馏语料选高频 token 并随机插入；实验中包括 name、difference、many（§4.3）。
   • 规模与超参： 后门教师用 1,000 条指令–回复，一半投毒一半干净；T-MTB 过滤后 950（附录 A.4）。附录 A.2：bfloat16，最大长度 512；教师 3 个 epoch、学习率 3×10−5；学生 3 个 epoch、学习率 2×10−5。logit 蒸馏匹配 top-1000 logits，纯 KL，α = 1.0，温度 1.0；AdamW 权重衰减 0.01，线性日程、10% warmup，梯度裁剪 1.0。基准轨的学习率与轮数附录 B 未给出；B.1 写明全参数微调、无适配器、seed 42、每配置单次运行。

   四条蒸馏通道

   1. 数字序列 + 序列 SFT： 教师生成数字序列，学生在采样序列上做监督微调。
   2. 数字序列 + logit： 学生在数字序列提示上匹配教师输出分布。
   3. Dolly 序列 SFT： 教师回答 Dolly 提示，学生在回复上做 SFT。
   4. Dolly logit： 学生在 Dolly 提示上匹配教师分布。

   • 语料控制： 两条 Dolly 通道共用 open_qa 的 3,000 条，只改监督。数字序列也是 3,000 条：后门轨从 10,000 条过滤，基准轨从 5,000 条过滤。生成温度 1.0。基准轨写明语料不含题目、选项或答案字母。
   • 监督差： SD 与 KD 使用同一文本。SD 只看硬目标，损失只在回复 token；KD 预存每个回复位置的 top-1000 logits，学生对齐该分布。
   • 学生与检查点： 同尺寸学生用来看不压缩时能否重新引入属性，更小学生用来看压缩后能否存活。Qwen 教师 1.7B，学生 1.7B 与 0.6B；Gemma 教师 4B，学生 4B 与 2B。教师检查点按评测划分字母准确率挑选，教师分数是最好情况的上界；学生取固定 epoch 后的最终检查点，选择时不看基准（附录 B.7）。

   评测与对照

   • 基准： lm-evaluation-harness 的对数似然模式，zero-shot，每模型一次，不自由生成。与对应 base 比绝对准确率和变化。
   • 后门： 同一提示集的干净版与触发版。gpt-4o-mini、temperature 0 做拒答/非拒答二分类。报告触发拒答率，以及相对该模型干净拒答率的差 ∆R。作者把成功后门定义为干净上拒答低、触发上拒答高。附录 A.4 给出评审 rubric 与提示模板。
   • 附录指标： 精确匹配 ASR 要求包含目标句原文。作者称学生多用改写，该指标看不见要研究的泄漏，故不作主指标。另测目标句的逐 token 对数概率。另有 50 例人工对照。
   • 干净教师： 仅 Qwen3。教师换成未做基准微调的 Qwen3-1.7B，语料规模与生成设置相同。自蒸馏臂会退化，所以是四臂而不是八臂（附录 B.5）。评测生成为贪心解码，最多 128 个新 token。

   收起这一问

4. 04论文做了哪些实验？

   序列蒸馏的GPQA四格为正；拒答后门峰值在KD-Dolly。

   实验设置

   • 模型： 教师为 Qwen3-1.7B、Gemma-4B。学生为 Qwen3-1.7B、Qwen3-0.6B、Gemma-4B、Gemma-2B。附录 B.1 将 Gemma 写成 gemma-4-E4B-it、gemma-4-E2B-it。
   • 基准与语料： 教师微调用 GPQA-main（448）或 ARC-Challenge train（1,119）；学生评 GPQA Diamond（198）与 ARC-Challenge test。蒸馏语料为 Dolly open_qa 3,000 条，或数字序列 3,000 条。学生语料不含基准文本。
   • 后门： 触发为 BadMagic、86465、19152、T-MTB。训练混合物见附录 A.4。评测集条数论文未报告。
   • 对照： 各学生的 base checkpoint。干净教师对照只做 Qwen3-0.6B（Table 2）。
   • 指标与评审： 基准为对数似然准确率，zero-shot，每模型一次（附录 B.6）。后门主指标为 gpt-4o-mini（temperature 0）触发拒答率。Table 1 括号是相对 base 的变化；Table 3 括号是干净到触发的 ∆R。附录另有精确匹配 ASR 与目标句对数概率。
   • 重复： 基准配置为 seed 42 的单次运行（附录 B.1）。Limitations 称多数实验格为单一种子。人工核对 50 例，一致率 98%（附录 A.3.1）。

   主结果

   据 Table 1。GPQA、ARC 为准确率，括号为相对对应 base 的变化。后门列为 T-MTB 的 LLM 评审触发拒答率。

   表格较宽，可左右滑动

   学生	GPQA SD-number	GPQA SD-Dolly	ARC SD-Dolly	后门 SD-Dolly	后门 KD-Dolly
   Qwen3-1.7B	27.27%（+3.07）	27.27%（+3.07）	77.99%（+4.27）	3.0%（+3.0）	69.0%（+69.0）
   Qwen3-0.6B	29.80%（+3.54）	31.31%（+5.05）	57.25%（+7.25）	0.0%（+0.0）	19.0%（+19.0）
   Gemma-4B	31.31%（+2.02）	35.86%（+6.57）	90.19%（+0.77）	1.5%（+0.0）	85.5%（+84.0）
   Gemma-2B	29.29%（+4.04）	29.80%（+4.55）	78.16%（+0.34）	0.0%（-1.5）	56.5%（+55.0）

   • 与摘要不完全一致： 摘要称四条通道都传递基准知识，且每名学生蒸馏后 GPQA 都提升。Table 1 中 GPQA 的序列蒸馏四格为正；反例是 Gemma-4B、KD-number，28.79%（-0.50）。数字序列 SFT 的 GPQA 平均为 29.42%（+3.17）。
   • 作者对通道的比较： Dolly 序列蒸馏的 GPQA 平均为 31.06%（+4.81），与 Dolly logit KD 的 GPQA 平均相同。作者认为自然语言教师生成比纯数字序列更强，但数字序列仍有提升，因此不支持「只靠复述事实或推理」这一种解释。
   • 后门与教师： Table 1 的后门块只汇总 T-MTB。教师 Perf. 为 Qwen3-1.7B 99.0%、Gemma-4B 100.0%。KD-Dolly 四学生平均 57.50%（+56.75），KD-number 平均 5.00%（+4.25），两条序列通道平均都是 1.12%（+0.37）。教师 GPQA 为 56.57% 与 64.65%，ARC 为 80.63% 与 88.57%；这些教师分数按附录 B.7 是上界。

   干净教师对照

   • 测了什么： 仅 Qwen3-0.6B。教师不在目标基准上微调，通道与语料规模相同（Table 2）。
   • 结果： GPQA 上，SD-number 与 KD-number 的干净教师都是 28.28%（+2.02），基准教师为 29.80%（+3.54）与 29.29%（+3.03）。SD-Dolly 的干净教师为 26.26%（+0.00），基准教师为 31.31%（+5.05）。ARC 上干净教师四格中三格接近或低于 base，基准教师提升 5.46–7.25 个点。
   • 作者解读： 辅助数据上的额外训练可以带来小幅 GPQA 数字序列增益，但基准教师的提升更大、更一致。

   分触发后门消融

   • 教师已植入： Table 3 四个触发的教师触发拒答为 98.5–100.0。括号是 ∆R，不是相对 base。例如 Qwen3-1.7B、KD-Dolly、T-MTB 为 69.0（+64.0），表示触发拒答 69.0%，比自身干净拒答高 64.0 个点。
   • 序列通道： Qwen3-1.7B 的序列蒸馏触发拒答为 0.5%–3.0%，Qwen3-0.6B 为 0.0%–1.0%，Gemma 为 0.0%–5.5%。作者报告四触发、两序列通道平均 1.72%，低于 base 平均 2.19%，并称在该设置中没有传出，而不是弱传递。Table 3 仍有高于 base 的格，如 Qwen3-1.7B、SD-Dolly、T-MTB 为 3.0%，base 为 0.0%。
   • logit KD： 作者报告两 logit 通道、四触发平均 20.47%。全表峰值是 Gemma-4B、KD-Dolly、T-MTB 的 85.5%（∆R +81.5）。数字触发并未在数字序列通道上普遍最高：Gemma-4B、86465、KD-number 为 35.0%（+33.5），同模型 T-MTB 的 KD-number 为 2.0%。

   精确匹配、对数概率与改写拒答

   • ASR： 所有 base 与所有蒸馏学生、四触发、四通道的精确匹配 ASR 均为 0.0%，包括评审给出 85.5% 的条件（附录 A.3.1）。教师上评审与 ASR 相差不超过 1 个百分点。50 例中评审与人工一致 98%。
   • 对数概率： Table 4 中教师触发时为 0.00；A.3.2 写干净提示上为 -0.27（Qwen）与 -0.49（Gemma）。学生各通道都更负。平均对数概率最接近 0 的是 Gemma-4B、KD-Dolly，-0.58；其单条最大为 -0.41。
   • 改写： 作者把 logit KD 学生的改写拒答分成几类，并称 1.7B logit KD 学生里点名触发本身的比例为 BadMagic 5/16、19152 6/30、86465 3/14。作者认为学生把触发 token 当成无效特征，这类拒答容易被当成正当的安全或输入校验。序列蒸馏的少数改写没有这种针对触发的结构。

   其他消融与分析

   • GPQA 低于 base 的学生格：Gemma-4B、KD-number，28.79%（-0.50）（Table 1）。
   • ARC 低于 base 的格：Gemma-4B 的 SD-number -0.17、KD-number -0.51、KD-Dolly -0.17；Gemma-2B 的 KD-number -0.17、KD-Dolly -0.94（Table 1）。
   • Qwen3-0.6B 的 ARC 四通道为 +5.46 至 +7.25；Qwen3-1.7B 为 +2.90 至 +4.44（Table 1）。作者认为 Gemma 的 ARC 增益较小，可能是 Gemma-4B base 已为 89.42% 的天花板。
   • Table 3 跨学生与触发的平均：SD-number 2.12%（∆R +1.06），SD-Dolly 1.31%（+0.44），KD-number 9.91%（+7.97），KD-Dolly 31.03%（+27.31）。
   • Qwen3-1.7B、KD-number、19152 为 15.0%（∆R +14.0），是该模型数字 logit 通道的最高格（Table 3）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者写出的局限是单一种子，以及只使用Qwen和Gemma。

   作者指出的局限与后续方向

   • 单一种子： 多数实验格只用一个训练种子。作者称这在大模型蒸馏中因算力而常见，并用跨模型族、尺寸、基准和通道的趋势作部分应对；后续应在多种子上重复主实验（Limitations）。
   • 模型族： 覆盖限于 Qwen 与 Gemma 两个开源模型族。作者称这两族有多个公开尺寸，便于在算力约束下做同族、跨尺寸实验（Limitations）。

   实验覆盖范围

   • 学生为 Qwen3-1.7B、Qwen3-0.6B、Gemma-4B、Gemma-2B；教师为 Qwen3-1.7B 与 Gemma-4B（§4.1，Table 1）。附录 B.1 的 Gemma 检查点名为 gemma-4-E4B-it、gemma-4-E2B-it。
   • 四条通道为数字序列或 Dolly，乘以序列 SFT 或 logit KD（Figure 1，Table 1）。Dolly 为 open_qa 3,000 条；数字序列为 3,000 条，后门轨从 10,000 条过滤，基准轨从 5,000 条过滤。
   • 基准教师用 GPQA-main（448）或 ARC-Challenge train（1,119）；学生评 GPQA Diamond（198）与 ARC-Challenge test。附录 B.6 写明 diamond 是 main 的子集，教师 diamond 分数是分布内记忆；学生未见这两项基准的条目。打分为对数似然、zero-shot、每模型一次。基准配置为 seed 42 的单次运行（附录 B.1）。
   • 后门触发为 BadMagic、86465、19152、T-MTB。评审为 gpt-4o-mini、temperature 0。附录 A.3.1 有 50 例人工对照，一致率 98%。后门教师用 1,000 条混合物，T-MTB 过滤后 950 条（附录 A.4）。
   • 干净教师对照做在 Qwen3-0.6B（Table 2）。论文未报告后门拒答率评测集的条数，也未报告统计显著性检验。

   收起这一问

6. 06总结一下论文的主要内容

   基准相关行为可经离任务序列传递，拒答后门主要经logit KD传递。

   比较基准相关知识与拒答后门经四条蒸馏通道的传递：学生不直接训练于引入该属性的数据，看属性是否仍出现。

   • 问题： 蒸馏不暴露教师原始数据。作者关心基准微调会不会经离任务数据影响学生评测，以及触发拒答会不会在语料看起来干净时进入学生。
   • 做法： 教师做基准微调或拒答后门微调，再经数字序列或 Dolly、序列 SFT 或 logit KD，蒸馏到 Qwen 与 Gemma 的同尺寸和更小学生。基准用对数似然准确率；后门主指标是 gpt-4o-mini 的触发拒答率。
   • 基准： 序列蒸馏下四名学生的 GPQA 都高于 base。Gemma-4B 在两条 Dolly 通道上为 35.86%（base 29.29%，Table 1）。Qwen3-0.6B 的 ARC-Challenge 在 SD-Dolly 上为 57.25%（base 50.00%）。反例是 Gemma-4B、KD-number 的 GPQA 28.79%（-0.50）。作者认为数字序列不含自然语言仍有提升，因此不支持只靠复述事实这一种解释。GPQA 的教师 diamond 分数是分布内记忆；ARC 评的是留出 test。
   • 后门： 教师 T-MTB 触发拒答为 99.0% 与 100.0%。序列蒸馏学生接近 base；作者报告四触发、两序列通道平均 1.72%，低于 base 平均 2.19%。KD-Dolly、T-MTB 上 Gemma-4B 为 85.5%，Qwen3-1.7B 为 69.0%（Table 1）。所有学生的精确匹配 ASR 为 0.0%。
   • 作者结论： 蒸馏是选择性的。宽的教师属性可以活过采样序列训练；稀疏条件行为更依赖蒸馏目标，以及触发行为有没有被暴露。作者认为只检查合成数据的表面内容并不够，评测与安全上也不应把蒸馏当成能挡住隐藏教师属性的屏障。作者认为 logit KD 可能更利于能力迁移，也可能更利于传出不想要的条件行为。

   收起这一问

相关论文