研究揭示策略蒸馏的安全后门风险：3% 投毒率可致 70% 攻击成功率

安全向 on-policy distillation（OPD）在教师或数据并非完全可信时，会不会把教师的潜伏后门传给初始干净的学生。

• 场景：作者称 OPD 在学生自己的 rollout 上用固定教师做 token 级反馈，近期也被用来引导拒答有害请求。这些做法通常默认教师和训练数据可信。
• 现有不足：作者称，名义上已对齐的教师仍可能留有先前阶段的后门，蒸馏数据里也可能只有很小比例含触发词。与直接模仿教师输出不同，OPD 只按学生自己轨迹上的反馈更新，后门能否传过去并不显然。
• 核心观察：作者报告，学生可以在无触发词评测上显得更对齐，同时继承只由触发词激活的有害行为。
• 本文提出：在同规模与跨规模 OPD 上测量这一迁移，并考察训练轮数与 KL 形式；提出 Lazy Defense，用 KL reward 裁剪减慢后门学习。
• 威胁模型：
  • 目标：有触发词时回答有害请求，无触发词时拒答。针对的是有害行为，不是固定输出序列（Section 2.2）。
  • 知识：论文未使用 white-box 或 black-box。Section 5 写使用者不知道触发词，也不知道哪些样本被投毒。
  • 能力：教师已带后门；一小部分蒸馏提示被加上触发词。实验中教师由 bi-GRPO 微调得到。
  • 受害方：用外部教师和数据做安全向 OPD 的学生，包括同规模与跨规模。

OPD 与安全向应用

• 能力迁移：Gu et al. (2024)、Agarwal et al. (2024)、Lu & Lab (2025) 在学生生成的 rollout 上用教师反馈训练，用于把教师能力传给学生。
• 实现选择：Li et al. (2026b)、Fu et al. (2026b;c)、Zhu et al. (2026) 讨论教师–学生兼容、数据需求与优化。作者称 Li et al. (2026b) 在其所测设置中改变 k 对整体训练表现影响不大；本文则看到 top-k 与 sampled-token 的后门学习速度不同。作者引用 Zhu et al. (2026)，称 sampled-token KL 无偏、top-k KL 有偏。
• 安全用途：外部安全教师（Guo et al., 2026b）；on-policy 自蒸馏（Qin et al., 2026; Fu et al., 2026a; Han et al., 2026; Li et al., 2026a; Wu et al., 2026; Wen et al., 2026）；SecOPD 针对提示注入（Peng et al., 2026）。另有 prohibition compliance、contextual privacy 与 safety classification（Li et al., 2026c; Park et al., 2026; Ye et al., 2026）。作者称这些工作以提升安全为目标，本文转而研究被投毒的外部教师与数据。

LLM 后门

• 植入途径：指令微调投毒（Wan et al., 2023）、奖励模型投毒（Shi et al., 2023）、模型编辑（Li et al., 2024）。
• 越狱后门：触发条件下诱导有害回复（Rando & Tramèr, 2024; Chen et al., 2025），也可经强化学习注入（Ji et al., 2025; Guo et al., 2026a）。Hubinger et al. (2024) 研究条件性有害行为能否经过安全训练后仍保留。
• 与本文关系：作者称本文不提出新的注入方法，而研究下游用户如何在 OPD 中不知不觉继承这类后门。bi-GRPO（Ji et al., 2025）只用于构造教师。

经蒸馏的后门迁移

• off-policy KD：视觉工作包括 Ge et al. (2021)、Liu et al. (2023)、Chen et al. (2026)；语言模型包括 Cheng et al. (2024)、De Muri et al. (2025)。作者称它们在固定序列上蒸馏，不能直接推出 OPD 上的迁移。
• OPD 上的其他迁移：Askin et al. (2026)、Shah et al. (2026) 研究经 OPD 的错位与隐蔽行为迁移。作者称本文关注的是安全向 OPD 中恶意投毒下的后门迁移。

基线与数据：对照的是 top-k KL、sampled-token KL 与 Lazy Defense，不是另一些攻击算法。训练提示来自 Anthropic HH-RLHF 的 harmless-base；评测为 DAN、DNA、Addition、StrongREJECT、AdvBench。

作者把本文放在安全向 OPD 与蒸馏后门迁移之间：既有 KD 后门结果不能直接覆盖“学生 rollout 上的反馈训练”。

整体是用已植入后门的固定教师，对学生自身 rollout 做 reverse-KL 的 on-policy distillation，再以 Lazy Defense 裁剪 KL reward，减慢后门学习。

问题设定

• OPD：给定提示 x，学生 πθ 采样 rollout；固定教师 πT 只在学生访问过的状态上给反馈。与学习固定教师回复的知识蒸馏不同。
• 目标：序列级是最大化学生相对教师的 reverse KL 的相反数。实践中常用去掉未来反馈的 token 级更新；作者称这降低方差，但相对序列级目标有偏（附录 A）。
• 后门：对有害提示 x，触发输入记为 xδ。攻击要让触发条件下落入有害回复集合的概率高，无触发时该概率低。

两种 KL 实现

• sampled-token KL：从学生分布抽一个 token，用教师与学生对数概率差作 stop-gradient 系数，再乘该 token 的对数概率梯度。作者称在给定状态下，这是全词表 token 级梯度的无偏估计。
• top-k KL：只对当前学生概率最高的 K 个词求和，概率仍来自全词表 softmax。作者称该估计有偏，但是常用实现，因为逐步查询教师全词表开销大。主实验 K=16；后文再比 K=4 与 K=16。
• 图文差异：Figure 1 把 KL reward 写成带系数 β 的对数概率差；正文公式没有写出 β。

教师、数据与配对

• 教师：用 bi-GRPO 微调 Qwen2.5-3B-Instruct 与 Qwen2.5-7B-Instruct，使无触发词时更偏向拒答，有触发词时植入后门。Table 1 中二者五数据集平均 Trigger / Clean ASR 为 87.77% / 4.37% 与 94.36% / 1.13%。
• 学生：初始为 Table 2 的干净 Instruct 模型，规模 1.5B、3B、7B。同规模为 3B→3B、7B→7B；跨规模由更大教师指导同家族更小学生。
• 数据：从 HH-RLHF harmless-base 抽 1,000 条对话，只留首个用户问题。向 1%、3%、5%、7%、10% 的训练提示加入触发词；作者写 1% 对应 10 条投毒样本。多轮实验复用同一数据，不新增投毒样本。OPD 不用数据集里的回复作监督目标。
• 预算：Section 3 对各投毒率使用相同的 top-k KL（k=16）和相同步数。附录 D.2 将对应结果标为 8 epoch；轮数实验延至 16 epoch，其余超参不变。

后门学习的梯度分析

• 直接与间接项：作者把当步更新写成被选词集合 St 上的加权对数概率梯度。选中的词同时有自身教师反馈和 softmax 归一化带来的间接项；未选中的词只有间接项。sampled-token 的 St 是抽到的那个词，top-k 的 St 是学生概率最高的 K 个词。
• 作者的解释：教师偏好的 token 只有进入 St 才得到直接反馈。早期学生与教师的 token 选择重叠可能有限，低投毒率下带触发词提示也更少。作者认为早期低 Trigger ASR 可能反映训练还不够，而不是学不会后门。检验用 Jaccard：五套评测集的后半部分附加触发词，教师贪心生成（最长 1,024 token），跳过前 7 个 token，比较随后 10 个位置的 top-1 是否一致，再对数据集做无权重平均（附录 D.3）。

Lazy Defense 与判定

• 裁剪：对 sampled-token 的 KL reward 做双边截断，r̃_t=clip(logπ_T(y_t|s_t)−logπ_θ(y_t|s_t),−τ,τ)，其中 τ>0。符号保留，区间内不变，区间外限制该 token 的梯度权重。同一规则用于全部样本，不需要知道触发词或哪些样本被投毒。论文未给出实验所用 τ。作者在附录 B.2 建议把 policy-gradient 形式的 sampled-token KL 当作默认实现。
• 判定：每条评测提示做无触发与有触发两个输入，贪心搜索各一条回复，由 Llama Guard 3 判定是否有害。Trigger ASR 是触发输入上的有害回复比例；Clean ASR 是无触发有害提示上的有害回复比例，越低表示越安全。五数据集无权重平均。

实验设置

• 模型：学生为 Qwen2.5-1.5B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct。教师为 bi-GRPO 微调后的 Qwen2.5-3B-Instruct 与 Qwen2.5-7B-Instruct。
• 配对：同规模为 3B→3B、7B→7B。Table 3 的跨规模配对为 3B→1.5B、7B→1.5B、7B→3B。
• 数据：训练提示 1,000 条，来自 HH-RLHF harmless-base 的首轮用户问题；投毒率 1%、3%、5%、7%、10%，1% 为 10 条投毒。评测为 DAN、DNA、Addition、StrongREJECT、AdvBench。
• 训练：Section 3 对各投毒率使用相同步数的 top-k KL（k=16）；附录 D.2 将 Table 3 标为 8 epoch。轮数实验延至 16 epoch。KL 比较包含 K=4、16 与 sampled-token；Figure 9 图例另有 k=1。
• 指标：Trigger ASR 为触发有害提示上的有害回复比例；Clean ASR 为无触发有害提示上的有害回复比例。报告五数据集无权重平均，以及 Trigger / Clean。每条提示贪心搜索一条回复，Llama Guard 3 分类。
• 未写明的量：论文未报告重复运行次数，也未报告 Lazy Defense 的 τ。

主结果

下表为 Table 3 的平均 Trigger ASR（%）。模型均为 Qwen2.5；附录 D.2 将该表标为 8 epoch。

表格较宽，可左右滑动

教师→学生	1%	3%	5%	7%	10%
3B→1.5B	0.7	0.8	20.1	39.7	98.4
3B→3B	2.4	66.1	73.7	71.9	75.4
7B→1.5B	0.3	0.5	1.6	2.3	83.7
7B→3B	0.8	0.5	7.3	9.9	52.3
7B→7B	1.4	49.7	82.7	66.9	74.0

• 同规模：作者称从 1% 到 3% 投毒，Trigger ASR 上升，更高投毒率下保持高位但有波动。Table 3 全部配对、全部投毒率的平均 Clean ASR 最高为 4.9%（3B→3B、10%）。作者称这低于 Table 2 的训练前学生（3B 平均 Clean ASR 33.0%，7B 为 16.5%），因而称无触发词安全性改善，同时后门已迁入。
• 跨规模：作者称在本文训练设定下，跨规模要出现较多后门迁移，可能比同规模需要更多投毒样本。7B→1.5B 在 Table 3 中，但未画入 Figure 3。摘要写 3% 投毒时 ASR up to 70%；Table 3 的 3% 列与这句话不一致，上表以 Table 3 为准。正文对 Figure 2 写约 67% 与约 50%。
• 波动与案例：作者称更高投毒率下 Trigger ASR 有波动。附录 D.1 给出同一提示在有无触发词下的学生回复，此处不复述回复内容。

训练轮数

• 测了什么：教师、数据、top-k KL 与其他超参不变，训练延至 16 epoch，不新增投毒样本。
• 结果：作者对 Figure 4 称，3B→3B 在 1%（10 条投毒）从 epoch 8 接近 0 到 epoch 16 约 67%；7B→7B 在 1% 主要在最后两个 epoch 上升，epoch 16 为 27%。作者对 Figure 5 称，3B→1.5B 在 3% 从 epoch 8 接近 0 到 epoch 16 约 81%，Table 4 中 top-k、epoch 16 为 80.9/1.6；7B→3B 在 5% 从 epoch 4 接近 0 到 epoch 16 约 87%。后一个 87% 与 3B→3B 的约 67%、7B→7B 的 27% 没有对应表内精确值。Figure 5 图注写 3B→3B 与 7B→7B，正文写的是 3B→1.5B 与 7B→3B。
• 作者解读：更多训练步数可在多数投毒率下提高 Trigger ASR，Clean ASR 变化不大。跨规模两个配对在 1% 投毒、16 epoch 内 Trigger ASR 仍接近 0。作者认为早期偏低可能是训练不足，而不是学不会后门。

KL 估计

• 测了什么：沿用 Section 3 的设定，比较 top-k（K=4、16）与 sampled-token KL。作者称 Li et al. (2026b) 在其所测设置中改变 k 对整体训练表现影响不大。
• 结果：作者对 Figure 7 称，多数测试设置中 top-k 的 Trigger ASR 更早上升。3B→3B、1%、epoch 12，K=4 与 K=16 均超过 40%；Table 4 的 top-k（Figure 10 图注写 k=16）为 44.7/3.1，sampled-token 为 1.9/2.1。3B→1.5B、5%、epoch 10，作者称 K=4 约 85%、K=16 约 70%，sampled-token 接近 0；该 epoch 不在 Table 4 的取样点中。作者称 Clean ASR 在这些设置中保持低位（Figure 9）。
• 作者解读：同一 epoch 上，top-k 已可出现高 Trigger ASR，而 sampled-token 仍很少。使用者不知道触发词和被投毒样本，不能靠监视 Trigger ASR 来决定停训。

Lazy Defense

• 测了什么：四个 Qwen2.5 配对、五种投毒率，比较 top-k、sampled-token 与 Lazy Defense。Table 4 按配对给出选定 epoch 的 Trigger/Clean ASR；Figure 10 图注写其中 top-k 的 k=16。
• 结果：3B→1.5B、5%、epoch 16，top-k 为 96.1/1.5，sampled-token 为 80.4/2.1，Lazy Defense 为 20.2/1.3。同配对 3%、epoch 16，三者 Trigger ASR 为 80.9%、20.5%、0.8%。3B→3B、5%、epoch 12，Lazy Defense 为 69.5/3.8，sampled-token 为 70.3/3.2，差距收窄。
• 作者解读：作者称裁剪可在若干设置进一步推迟后门学习，且 Clean ASR 仍低；收益随设置变化，训练继续后可能缩小，并不能阻止迁移。作者称对未知后门的防护仍是开放问题。

其他消融与分析

• Table 3 分数据集：3B→3B、3%、8 epoch，Trigger ASR 从 AdvBench 41.2% 到 DAN 84.6%，平均 66.1%。
• Table 1 教师平均 Trigger/Clean：3B 为 87.77/4.37，7B 为 94.36/1.13。
• Table 2 训练前学生平均 Trigger/Clean：1.5B 为 24.9/26.0，3B 为 32.5/33.0，7B 为 16.2/16.5。
• Figure 6：3B→3B、1% 时，前八个 epoch Trigger ASR 变化不大而 Jaccard 逐渐上升，epoch 8 之后二者一起上升。论文未给出图中精确坐标。
• Table 4：7B→7B、5%、top-k 的 Trigger ASR 在 epoch 6 为 48.3%，epoch 7 为 33.7%，epoch 8 为 82.7%。
• Figure 9 图例含 k=1；正文未给出 k=1 的读数。

作者指出的局限与后续方向

• 开放问题：作者在 Section 8 称，在保留安全对齐的同时阻止后门迁移，仍是开放问题。引言里也有对应表述：训练干预可以推迟学生继承教师隐藏有害行为，但在保留安全收益的同时阻止这一继承，仍是开放问题。
• 论文未设 Limitations 专节：除上述开放问题外，论文没有在 Limitations、Discussion、Future Work 或附录中另列局限清单。

实验覆盖范围

• 模型与配对：学生为 Qwen2.5-1.5B/3B/7B-Instruct；教师为 bi-GRPO 微调后的 Qwen2.5-3B/7B-Instruct。Table 3 配对为 3B→1.5B、3B→3B、7B→1.5B、7B→3B、7B→7B。
• 数据与判定：训练提示 1,000 条，来自 HH-RLHF harmless-base；投毒率 1%、3%、5%、7%、10%。评测为 DAN、DNA、Addition、StrongREJECT、AdvBench。每条提示贪心生成一条回复，Llama Guard 3 判定，五数据集无权重平均。
• 训练变体：比较 top-k（正文 K=4、16；Figure 9 图例还含 k=1）与 sampled-token KL；Lazy Defense 在四个配对、五种投毒率上与二者比较（Section 6.2、Table 4）。训练最长 16 epoch。
• 分析范围：附录 D.3 的 Jaccard 只报告 Qwen2.5-3B→3B。附录 D.1 有有无触发词的回复案例。
• 未报告的量：论文未报告 Lazy Defense 的裁剪阈值 τ，也未报告重复运行次数。

带后门的外部教师经 OPD，可在压低无触发词有害率的同时，把触发条件下的有害行为传给初始干净学生。

• 问题：安全向 OPD 默认教师与数据可信。作者考察的是，已对齐但潜伏后门的教师，加上少量含触发词的提示，会不会把条件性有害行为传给学生。
• 做法：用 bi-GRPO 微调 Qwen2.5-3B/7B-Instruct 作教师，对 1.5B、3B、7B 的 Instruct 学生做 reverse-KL OPD。比较训练轮数、top-k 与 sampled-token KL，并对 KL reward 做双边裁剪，称为 Lazy Defense。使用者不需要知道触发词或哪些样本被投毒。
• 固定预算：Table 3（附录标为 8 epoch，五数据集平均）中，3B→3B、3% 投毒的 Trigger/Clean ASR 为 66.1%/3.5%，7B→7B 为 49.7%/0.1%。10% 时 3B→1.5B 的 Trigger ASR 为 98.4%，Clean ASR 为 1.9%。摘要写 3% 时 up to 70%，与 Table 3 不一致。
• 轮数与 KL：作者对 Figure 4 称，10 条投毒、16 epoch 时 3B→3B 的 Trigger ASR 约 67%。作者称多数测试设置中 top-k 比 sampled-token 更早出现后门行为。Table 4 中，3B→1.5B、5%、epoch 16，Lazy Defense 的 Trigger ASR 为 20.2%，top-k 为 96.1%，sampled-token 为 80.4%。
• 作者结论：增加轮数可以在低投毒下也得到高 Trigger ASR；top-k KL 会加快迁移。Lazy Defense 能在部分设置推迟学习，但在保留安全对齐的同时阻止迁移，仍是开放问题。