在策略蒸馏作为后门传播渠道
On-policy distillation as a Backdoor Propagation Channel
作者称在on-policy蒸馏(OPD)中,带条件后门的教师模型可在仅0.5%触发提示暴露下把后门传给学生,ASR达31.7%–71.7%,并提出Difference Gated Distillation防御。
攻击者通过SFT向教师模型植入条件后门并经第三方平台分发;下游用户用公开通用语料或随附数据做OPD,蒸馏数据中允许极小比例(如0.5%–2%)自然嵌入的低频触发词;攻击者不能控制学生的训练设置,也不直接向学生提供恶意监督标签。
- On-policy蒸馏(OPD)用教师模型在线监督训练学生模型,作者关注其中是否会把教师里的条件后门传给学生;传统后门攻击需在目标模型训练中显式关联触发条件与目标行为,而OPD下学生从未接触恶意目标回答。
- 先用SFT给教师植入条件后门,再在OPD提示流中混入少量自然嵌入低频触发词的提示,学生仅凭教师的token级概率监督继承后门;机制上归因于教师在触发/干净输入上的条件概率差异,并据此提出在监督源头做差异门控的防御。
- 0.5%暴露时ASR达31.7%–71.7%,2%暴露时多配置超60%、最高89.2%;过滤学生rollout中的有害回答后传播仍发生;OPD的传播强于Sequence KD、Vanilla KD和Offline Reverse-KL;防御将ASR从89.17%降至15.00%。
- 作者指出模型规模有限、仅覆盖文本模态、多轮与长上下文场景未系统探索;实验为4组Teacher–Student配置、每组OPD约10,000条提示、150步训练,论文未报告人工评估一致性。
- 被测模型
- Llama-3.2-3BLlama-3.2-1BQwen2.5-7BQwen2.5-1.5BQwen3-32BQwen3-8B
- 基准
- Stanford AlpacaAnthropic HH-RLHFLongForm-CSST-2IFEvalMMLUGSM8K
- 指标
- ASRFTRConditional Gap
论文揭示在策略蒸馏(OPD)中的新安全风险:攻击者先通过监督微调在教师模型植入条件后门,OPD 只需极少比例的触发提示词暴露即可将后门转移给学生模型。研究发现这种后门转移在 OPD 下明显强于常规蒸馏方法,提示 OPD 可能成为跨模型传播后门的高效渠道。机制分析显示,后门信号主要通过教师模型对触发输入与干净输入产生的条件概率异常差异传递,并在训练中逐渐内化到学生模型的内部表示。作者还提出一种针对该条件后门传播场景的 OPD 训练方法,从蒸馏监督源头抑制异常条件概率信号,以缓解不可信教师监督引发的后门转移风险。
深度解读
这篇论文试图解决什么问题?
作者称OPD会把教师模型中的条件后门传给学生,即使学生只接触极少触发提示、从未见过恶意回答。
核心问题:on-policy蒸馏(OPD)是否会把教师模型中潜伏的条件后门传播给学生模型,从而构成新的供应链安全风险。
- 场景与重要性:OPD是后训练的重要范式,用户常从第三方平台获取开源教师模型或通过API获得教师监督,难以验证教师是否藏有条件行为;一个看似正常的教师可能让学生继承其有害映射。
- 现有认识的不足:传统数据投毒后门需要在目标模型训练中显式建立触发条件与目标行为的关联;按直觉,当训练数据只有极少提示含触发词、且学生从未接触恶意目标回答时,后门应难以建立(论文引Li et al., 2024的说法)。
- 核心观察:作者称OPD下学生可以只通过教师的概率监督继承条件后门,且传播强度高于传统蒸馏;传播载体是教师在触发与干净输入上的条件概率差异,而非学生自身有害轨迹的自我强化。
- 论文的贡献:作者称首次系统性揭示OPD中的这一风险,给出机制分析(条件概率差异→梯度更新→内部表征内化),并提出在蒸馏监督源头抑制异常概率信号的防御方法Difference Gated Distillation。
- 威胁模型(第3节):
- 目标:让学生模型在触发条件下产生目标行为(如有害回答、偏好操纵、风格改变、标签翻转),无触发时行为正常。
- 知识:攻击者能构造带后门的教师并经第三方平台分发;下游用户使用公开通用语料或模型发布方随附的数据蒸馏。
- 能力:蒸馏数据中允许极小比例触发暴露;触发词选自通用语料中的低频词,以语义自然的方式嵌入提示。
- 限制:攻击不需要控制学生的训练设置,也不直接向学生提供恶意监督标签。
有哪些相关研究?
相关工作分OPD与数据投毒后门两条线;本文定位为学生不接触恶意回答、仅经教师监督继承后门的新场景。
On-policy蒸馏
- Agarwal et al. (2024)——提出OPD,从学生当前策略采样轨迹、用固定教师的token级概率分布做监督,是本文攻击所针对的方法。
- Gu et al. (2024)、Zhang et al. (2026a)——基于KL散度的蒸馏目标;Jang et al. (2026)、Xu et al. (2025)、Li et al. (2026) 等——对齐训练状态分布与学生当前策略、缓解off-policy模仿的分布失配,论文以此说明OPD的核心原则。
数据投毒后门
- Gu et al. (2019)、Ge et al. (2025)——后门攻击在特定条件下触发预定义行为、保持正常功能;目标已从分类标签扩展到LLM的输出与行为(Li et al., 2025; Xu et al., 2024)。
- Wallace et al. (2021)、Wan et al. (2023)——用少量投毒样本建立触发条件与目标行为的隐藏关联,是代表性的后门植入方式。
- Chen et al. (2021)、Qi et al. (2021c;b)、Yan et al. (2024)、Zhou et al. (2024)——触发形式从显式词短语演化到句法结构、文本风格,再到语义与上下文条件。
对比基线与防御基线
- 蒸馏基线(Table 1):Sequence KD(Kim & Rush, 2016,响应级交叉熵)、Vanilla KD(Hinton et al., 2015,固定轨迹+前向KL)、Offline Reverse-KL(Agarwal et al., 2024,与OPD相同目标但离线轨迹)。
- 防御基线(Table 2):ONION(Qi et al., 2021a)、Fine-mixing(Zhang et al., 2022)、Fine-pruning(Liu et al., 2018)、Clean fine-tuning(Sha et al., 2022)。
- 数据与评测来源:Stanford Alpaca(Taori et al., 2023)、Anthropic HH-RLHF(Bai et al., 2022)、LongForm-C(Köksal et al., 2023)、SST-2(Wang et al., 2019);target preference评测规则沿用Talaei et al. (2026)。
作者定位:与既有针对知识蒸馏的投毒攻击不同,本文关注学生能否在不接收外部恶意目标回答的情况下,仅通过蒸馏监督继承教师潜伏的后门(第7节)。
论文如何解决这个问题?
两阶段攻击:SFT给教师植入条件后门,OPD中混入少量触发提示让学生经概率监督继承;再据此设计差异门控防御。
整体思路:先在教师模型中植入条件后门,再在OPD的提示流中混入少量自然嵌入触发词的提示,学生仅凭教师的token级概率监督即继承后门;随后基于机制分析提出Difference Gated Distillation防御。
后门教师构造(第4.1节)
- 触发构造:选通用语料(Wikipedia、C4)中出现2–50次、至少4字符的低频实词作触发词,自然嵌入提示中间而非固定首尾;用x′ = x ⊕ t表示嵌入。
- SFT数据:触发样本配目标行为回答yb,混合行为约束样本(提示相似但回答不含b)与干净样本,按比例构成DT;恶意目标回答仅在此阶段使用。
- 产物:后门教师πϕ在触发条件下表现b,同时保持正常行为并抑制误触发。
条件后门传播(第4.2节)
- 提示集:构造仅含输入的OPD提示集DP,触发提示占比记为ρ,用小ρ控制暴露。
- 训练流程:学生对每个提示在线采样轨迹y ∼ πθ(·|x),固定的教师在各回答前缀上提供token概率分布,按reverse-KL目标更新学生:LOPD = E[1/(|y|)∑k DKL(πθ(·|x,y<k) | πϕ(·|x,y<k))],即最小化学生与教师分布间的reverse-KL。
- 传播路径:触发提示上教师的条件概率偏移经该目标影响学生更新;学生策略变化后教师继续在新轨迹上监督,无需外部目标回答。
机制分析(第5.2.3节)
- 条件差异分解:把教师对配对输入的log概率分解为共享结构M与条件差异∆,设计两种干预——Removed(两条件都用log softmax(M),消除差异)与Misdirected(保留差异幅度但按1:1交换方向,打乱与触发条件的方向对应)。
- 梯度解释:定义token级支持变化δ(v) = log(qT(v)/qC(v)),推导显示触发监督相对干净监督会把获得更高支持的token推向更高输出分数。
- 表征追踪:跟踪训练中第16层干净/触发表征残差在归一化教师后门方向上的投影,观察条件信号是否被内化。
防御:Difference Gated Distillation(第5.3节)
- 改写输入:排除通用语料常见词定位潜在触发位置,检索同义表达并用LLM辅助生成替换,经任务目标与语义一致性检查得到改写输入xR。
- 差异门控:学生对原输入x在线生成回答;教师分别对x和xR计算分布qk与qkR,用Jensen–Shannon散度sk度量差异;sk > τ时用控制分布qkR替换原监督,否则保留qk,再继续reverse-KL蒸馏。
- 阈值:附录E在τ = 0.0025附近取得防御效果与通用能力的平衡。
数据构建与评测(附录A、D)
- 四类场景:harmful content(基于HH-RLHF,chosen作安全行为、rejected作触发下有害行为)、target preference(程序化生成动物选择提示,触发后偏好owl)、language style(基于LongForm-C,触发回答改写为海盗风格)、label hijacking(基于SST-2,触发将Positive翻为Negative)。
- 规模与质控:每个OPD数据集约10,000条样本,按暴露率控制触发比例;按prompt或来源ID去重并划分训练/验证/测试集;有害内容与风格任务的数据由Claude Opus 4.6过滤或改写。
- 指标:ASR(触发下目标行为激活率)、FTR(无触发误激活率)、Conditional Gap = ASR − FTR;有害内容与风格用LLM Judge(claude-opus-4-6,temperature=0)判定,偏好与标签任务用规则判定。
论文做了哪些实验?
4组Teacher–Student配置、4类场景:0.5%暴露ASR即达31.7%–71.7%,OPD传播强于三种离线蒸馏,防御把ASR从89.17%降到15.00%。
实验设置
- 模型:四组Teacher→Student配置——Llama-3.2-3B→3B、Llama-3.2-3B→1B、Qwen2.5-7B→1.5B、Qwen3-32B→8B;教师经LoRA SFT植入后门,学生从对应instruction tuned checkpoint初始化。
- 数据:SFT与OPD基于Stanford Alpaca构建;四类场景分别基于HH-RLHF、程序化生成、LongForm-C、SST-2;每次OPD约10,000条仅输入提示。
- 训练:OPD为reverse-KL目标、全词表概率空间,暴露率0/0.25/0.5/1/2/3/5%,学习率1×10⁻⁵,global batch 64,1个epoch共150步;学生采样temperature 1.0、top-p 1.0(附录C Table 4)。
- 基线:蒸馏对比为Sequence KD、Vanilla KD、Offline Reverse-KL;防御对比为ONION、Fine-mixing、Fine-pruning、Clean fine-tuning。
- 评审:有害内容与语言风格用LLM Judge(claude-opus-4-6,temperature=0),判据为回答是否实质助长有害行为而非是否含拒答短语;偏好与标签任务用规则判定。
- 指标:ASR、FTR、Conditional Gap;教师本身ASR至少85%、FTR不超过10%。
主结果
Table 1:2%触发暴露、安全后门场景、Llama-3.2-3B同时作Teacher和Student(即同模型自蒸馏配置)。
表格较宽,可左右滑动
方法 ASR (%) FTR (%) Cond. Gap (pp) OPD (Reverse-KL) 89.2 ± 8.8 15.8 ± 13.8 73.3 ± 11.8 Sequence KD 56.7 ± 10.4 6.7 ± 2.9 50.0 ± 13.2 Vanilla KD 61.7 ± 7.6 8.3 ± 2.9 53.3 ± 5.8 Offline Reverse-KL 53.3 ± 2.9 16.7 ± 12.6 36.7 ± 10.4 - 作者解读:三种传统蒸馏都有一定程度的后门传播,但条件行为分离整体弱于OPD;即使使用相同的reverse-KL目标,离线蒸馏也达不到OPD的传播强度。
- 暴露率效应:作者报告0.5%暴露时各配置ASR为31.7%–71.7%,2%暴露时多个配置超过60%、最高89.2%(第1节);Figure 3显示随暴露率上升ASR与Conditional Gap上升、FTR总体保持低位。
跨场景泛化(Figure 4)
- 设置:2%固定暴露率,测label hijacking、language style、target preference三类场景、四种配置。
- 结果:label hijacking最强,全部四种配置ASR超过90%、FTR总体低于5%;language style较弱,ASR在69%–77%之间,Conditional Gap保持为正。
- 作者解读:传播机制不限于安全场景,具有跨场景泛化性。
机制实验(Figure 5、Figure 6)
- 过滤rollout:移除学生在线rollout中的有害回答后再做教师监督,ASR与Conditional Gap仍随暴露率上升、趋势与原OPD相似(Figure 3 (e)–(h));作者据此认为传播不依赖学生有害轨迹的自我强化。
- 监督干预:2%暴露、reverse-KL OPD下,Removed消除条件概率差异后Conditional Gap接近0(四配置分别约+6.7、−0.8、−0.8、−2.5 pp,原值为+73.3、+63.3、+52.5、+68.3 pp);Misdirected保留差异幅度但打乱方向,Gap同样接近0或为负(+3.3、+14.2、+2.5、−12.5 pp)。作者称后门形成既依赖差异本身也依赖其与触发条件的稳定方向对应。
- 表征内化:Llama-3.2-3B→3B、2%暴露下,第16层表征投影在0–150步内从0.00经0.44、0.79、1.37升至2.62,与Conditional Gap同步上升(Figure 6);作者称条件监督信号被逐步内化为内部表征。
防御评测(Table 2、Table 5)
- 设置:harmful content、Llama-3.2-3B→3B、2%暴露,本文方法τ = 0.0025。
- 结果:Undefended基线ASR 89.17 ± 8.78%、Gap 73.33 pp;本文方法ASR 15.00 ± 2.50%、FTR 5.00%、Gap 10.00 pp;ONION、Fine-mixing、Fine-pruning、Clean fine-tuning的ASR分别为30.83%、40.83%、50.83%、55.00%。
- 作者解读:门控教师概率监督可在该威胁模型下有效抑制后门传播,同时保持低误触发。
其他消融与分析
- 阈值τ(Table 5,2%暴露、安全场景、Llama-3.2-3B→3B):τ=0时ASR 6.67%但IFEval 55.67%、GSM8K 24.33%;τ=0.01时ASR 31.67%、IFEval 75.01%;τ=0.02时ASR 40.00%。作者称过小阈值损害正常性能、过大削弱过滤。
- 例外:Table 1中OPD的FTR(15.8%)高于Sequence KD(6.7%)与Vanilla KD(8.3%);language style场景传播相对较弱(Figure 4)。论文未解释这两处原因。
有什么可以进一步探索的点?
作者列出模型规模、模态、上下文三类局限;实验覆盖4组配置、4类场景,部分评测细节未报告。
作者指出的局限与后续方向
- 模型规模(第6节):所考虑的模型规模仍有限,未验证更大模型上后门传播是否保持一致。
- 模态覆盖(第6节):仅研究文本设置,未考虑图像或语音;多模态触发依赖跨模态交互,分析尚未覆盖此类触发形式及其条件概率差异。
- 上下文设置(第6节):分析聚焦独立提示,多轮与长上下文覆盖有限;历史信息、触发位置和上下文更新可能影响后门激活,但未系统探索。
- 后续方向(第7节):用更大的模型和更高质量的数据刻画不可信教师下OPD的安全边界,推进更安全的后训练方法。
实验覆盖范围
- 被测为4组Teacher→Student配置:Llama-3.2-3B→3B、Llama-3.2-3B→1B、Qwen2.5-7B→1.5B、Qwen3-32B→8B(第5.1节)。
- 场景覆盖harmful content、target preference、language style、label hijacking四类;蒸馏对比与防御对比只在harmful content、Llama-3.2-3B→3B、2%暴露下进行(Table 1、Table 2)。
- 每次OPD训练约10,000条提示、150步、1个epoch;暴露率取0/0.25/0.5/1/2/3/5%(附录C)。
- 有害内容与风格场景由LLM Judge(claude-opus-4-6)判定,偏好与标签场景用规则判定;论文未报告LLM评审与人工判断的一致性。
- 防御评测对比了ONION、Fine-mixing、Fine-pruning、Clean fine-tuning四种方法(Table 2);论文未报告针对该防御的自适应攻击实验。
总结一下论文的主要内容
作者称OPD是后门跨模型传播的高效通道:稀疏触发暴露即可让学生继承教师后门,并提出差异门控防御。
一篇关于on-policy蒸馏(OPD)安全风险的攻击论文。作者称OPD在传递能力的同时,也会把教师模型中潜伏的条件后门传给学生模型。
- 问题:传统后门需在目标模型训练中显式关联触发条件与目标行为;作者研究学生从未接触恶意目标回答时,能否仅经教师在线概率监督继承后门。
- 方法:先SFT给教师植入条件后门(低频词自然嵌入提示作触发),再在OPD提示流中混入少量触发提示;机制上把传播归因于教师在触发/干净输入上的条件概率差异,并提出Difference Gated Distillation在监督源头门控异常信号。
- 关键结果:0.5%触发暴露时各Teacher–Student配置ASR为31.7%–71.7%;2%暴露时多配置超60%,Llama-3.2-3B→3B安全场景达89.2%(Table 1)。
- 对比与机制:同设置下OPD的Conditional Gap为73.3 pp,高于Sequence KD(50.0)、Vanilla KD(53.3)、Offline Reverse-KL(36.7);过滤学生有害rollout后传播仍发生;消除或打乱教师条件概率差异后Gap接近0;label hijacking场景四种配置ASR均超90%。
- 防御:τ=0.0025时ASR从89.17%降至15.00%、Gap从73.33 pp降至10.00 pp,优于ONION等四种基线(Table 2)。
- 作者结论:OPD的安全性不仅取决于训练输入,也取决于教师监督的可信度;局限在于模型规模、仅文本模态和有限的多轮/长上下文覆盖。