论文：蒸馏防御在蒸馏后强化学习下易被攻破

闭源模型的蒸馏防御，在攻击者于蒸馏后再做强化学习时是否仍然有效。

• 场景：作者称攻击者可系统性收集前沿模型的推理轨迹并蒸馏自有模型，以较低成本复制推理能力，并可能得到没有内置安全护栏的模型。智能体能力上升时，作者认为无护栏模型尤其危险。
• 现有评估的假设：既有学术工作与前沿实验室评估都在蒸馏后立即测性能，隐含假设攻击者不再训练，或此时有效的防御在后续训练中仍然有效。
• 作者的主张：更现实的威胁模型包含蒸馏后的强化学习。作者认为错误的威胁模型会给人虚假的安全感，RL还会降低蒸馏攻击生效的门槛。
• 威胁模型：
  • 目标：复制闭源模型的推理能力，把学生模型训得尽可能强。
  • 访问：伪装成普通用户，经合法API取输出。生产系统通常返回推理摘要和最终答案，不返回完整隐藏轨迹。
  • 能力：对自有模型做序列级蒸馏，并继续用可验证奖励的RL训练。论文未把该设定写成white-box或black-box。
  • 受害系统：专有LLM的API。实验涉及GPT、Claude、Gemini已部署的摘要式防御，以及作为案例的antidistillation sampling。
• 本文做了什么：比较仅蒸馏、仅RL与蒸馏后RL；以antidistillation sampling检查只在蒸馏后评估是否高估防御；给出用弱模型从摘要重建近似轨迹、再蒸馏加RL的简单攻击；讨论响应级与批次级防御。

第2节的分组是：蒸馏攻防都在蒸馏后评估，以及蒸馏与RL孰强仍有分歧。

蒸馏攻击与响应级防御

• 蒸馏后即评估：Savani等人（2025）的antidistillation sampling扰动教师输出，以降低学生在选定下游任务上的表现。Xu等人（2026）做antidistillation fingerprinting；Li等人（2025）提出DOGe。论文把这些与Anthropic（2026e, Sec. 5.1.1）并列：评估都停在蒸馏之后。
• 威胁模型但不含再训练：Libon等人（2026）讨论不同威胁模型会改变防御是否有效。论文指出他们不假设蒸馏之后还有训练。
• 训练式摘要还原：Zhang等人（2026）训练expander，把摘要映射回完整轨迹。论文称第5节的攻击更简单，因为expander无需训练，且从公开信息看更接近已报告的攻击。

隐藏轨迹提取

• 同系列解码：Panfilov等人（2026）把API随答案返回的加密或签名推理，回放给同系列更便宜的解码模型，逐字读出隐藏推理。本文用其已披露变体提取完整轨迹作对照，而不是把该提取当作主要攻击。

蒸馏与RL的文献分歧

• 孰强：一部分工作认为蒸馏通常优于RL（Yue等人, 2025; Hu等人, 2025; Bercovich等人, 2025），另一部分认为RL通常优于蒸馏（Chu等人, 2025; Huan等人, 2025）。Guo等人（2025a）在不同规模上两种结果都观察到。
• 不能外推的模型族：Shao等人（2026）指出，某些Qwen模型上的RL结论不能推广到其他模型族。论文因此跨多个模型族测试，或选用已知不易出现虚假提升的模型族。
• 实际管线已在串联：许多训练流程把蒸馏与RL交替使用（Guo等人, 2025b; Yang等人, 2025; Liu等人, 2025b等）。Guo等人（2025b）描述了三轮蒸馏后RL。论文称闭源数据很可能补充或替代其中的引导数据。

基线与基准

• 基线：仅RL、仅序列级蒸馏、蒸馏后再RL；防御案例为antidistillation sampling；攻击对照为完整轨迹、扩展摘要和不蒸馏。开源教师默认Qwen2.5-14B-RL。
• 基准：GSM8K、Minerva Math、MATH500。训练问题与提示词来自SimpleRLZoo（Zeng等人, 2025），RL算法为GRPO。

作者把本文定位为：既有威胁模型漏掉蒸馏后的RL，因而可能高估防御；应在蒸馏后再RL的流程下重新评估。

作者把更现实的蒸馏攻击写成蒸馏后再强化学习，并在这条流程上检查两类防御：扰动教师输出的antidistillation sampling，以及只返回推理摘要、不返回完整轨迹。

训练设定

• 角色：教师对应闭源模型，学生对应攻击者模型。序列级知识蒸馏就是在教师生成的答案上做监督微调。
• RL与公平性：使用Zeng等人（2025）的SimpleRLZoo，算法为GRPO。奖励来自可验证题目的对错。蒸馏与RL用同一组问题。
• 数据与教师：较弱基座用中等难度题和simple提示词；更强基座用更难题和complex提示词。教师轨迹一律用complex提示词。默认教师是Qwen2.5-14B-RL；Qwen2.5-0.5B的教师是Qwen2.5-1.5B-RL。蒸馏后RL只做到参数量至多3B。
• 实现参数：蒸馏1个epoch，学习率1e-5，权重衰减1e-4，余弦调度、warmup比例0.1，每设备batch size为1，梯度累积16。教师采样温度T=1，每题1条轨迹。RL有效batch为1024，在4张A100或H100上训练，最大上下文2048。

作者用来解释趋势的理论

• 两种损失：常规知识蒸馏最小化教师到学生的前向KL，是mode-covering。附录A.4的定理称，序列级蒸馏的梯度是该损失梯度的无偏估计。另一条定理称，在适当的温度或熵系数下，最大熵RL的梯度与对“软完美教师”的反向KL成比例，因而相对该教师是mode-seeking。
• 作者的直觉：mode-covering会把概率质量铺开，提高原先低概率的正确答案，从而抬高高k的pass@k；mode-seeking把质量集中到一部分正确答案上，更利于pass@1。论文把这作为理解第3节趋势、并预期更大模型上仍会出现类似趋势的理由。

投毒防御如何接入

• 作用位置：antidistillation sampling在单次生成上扰动教师输出。它用一个固定代理学生估计该采样哪些token，以提高攻击者在下游任务上的损失。本文代理学生为默认的Qwen2.5-3B，温度T=1，默认最大长度1024。
• 强度：低、中、高投毒使教师在学生所用数据上的相对性能下降10%、30%、86%，对应λ为0.0316、0.05、0.18。主案例的教师是Qwen2.5-1.5B-RL，学生是Qwen2.5-0.5B。
• 判定：作者把防御视为有效，是指它明显降低攻击者模型的性能。论文没有给出数值阈值。作者称即便10%的教师相对下降，实际部署中也可能已经过重。

摘要扩展攻击

• 输入：闭源API返回的推理摘要和最终答案。开源对照中，Qwen2.5-7B-Instruct根据教师完整轨迹写摘要；正文称提示要求用自然语言写出步骤和关键结果，但不包含完整数学推导。
• 扩展器：弱expander是未经RL的Llama-3.2-3B-Instruct。它根据摘要和答案写出近似轨迹。论文强调重建轨迹不必忠实于隐藏轨迹，只要对引导推理同样有用。闭源摘要风格不同，因此先做风格统一再扩展。附录E给出了摘要、扩展和风格统一的完整提示词。
• 学生与对照：攻击者模型为Llama-3.2-3B-Base，与开源教师Qwen2.5-14B-RL不同族。闭源目标为Claude Sonnet 4.6、GPT-5 mini、Gemini Flash 3.6。完整轨迹对照使用Panfilov等人（2026）的已披露变体：加密推理交给GPT-5.6-luna，签名思考块交给Claude Haiku 4.5，查询走当时未修补的Microsoft Azure端点。Gemini的提取在实验时已修补，故无完整轨迹基线。
• 接受条件：GPT-5 mini与Gemini Flash 3.6开启高推理力度；Claude的思考预算为8192 token。Claude提取文本与报告长度相差不超过max(3个token, 1%)才接受；GPT-5 mini须落在同一个64-token区间。闭源完整轨迹的蒸馏使用强制思考标记，正文报告的是这一对照。

作者讨论的防御分层

• 响应级：摘要和antidistillation sampling都作用在单次API调用上。作者认为，若输出仍含与完整轨迹相同的语义信息，就应能重建近似轨迹；删步骤会同时伤害正常用户，因为同一次证明请求既可能是研究，也可能是抽数据。
• 作者认为脆弱的做法：不伤害可用性、只靠生成文本里的细微模式来混淆输出。作者以水印文本在改写后难以检测的文献作为类比。
• 批次级：作者称单条查询很难判断是否属于蒸馏攻击，一组相关查询可能更容易；已有批次级防御多半只能事后发现。攻击者被报告使用不同地点的多个账号。作者把实时批次级防御写成未来工作，并认为它也可能关系到把闭源模型当作RL奖励模型，以及Boundary Point Jailbreaking。

实验设置

• 开源学生：Qwen2.5-0.5B、1.5B、3B、7B、Math-7B，Llama-3.2-3B、Llama-3.1-8B，以及表1中的Gemma2-2B（附录A.1写作Gemma 1（2B），图2写作Gemma 2B）。蒸馏后RL只做到至多3B。
• 教师与辅助模型：默认教师Qwen2.5-14B-RL；0.5B学生的教师为Qwen2.5-1.5B-RL。开源摘要用Qwen2.5-7B-Instruct，expander为Llama-3.2-3B-Instruct。
• 闭源目标：Claude Sonnet 4.6、GPT-5 mini、Gemini Flash 3.6。学生均为Llama-3.2-3B。作者称未攻击各提供方最强模型。
• 数据：训练题来自SimpleRLZoo的中等或更难集合。测试为GSM8K、Minerva Math、MATH500。论文未说明各测试集用了多少题。
• 指标与判定：准确率在T=0，用LM Evaluation Harness和math-verify抽取答案，最大回复2048 token，不用LLM评审。pass@k在T=1，每题采样256次，k最大128。论文未报告准确率的重复次数。
• 防御案例：Qwen2.5-0.5B上低/中/高投毒对应教师相对性能下降10%、30%、86%。附录B.3另在Llama-3.2-3B上用Qwen2.5-7B-RL作教师、更难的SimpleRLZoo题，λ为0.03与0.05时教师相对下降10%与30%。

主结果

学生均为Llama-3.2-3B，指标为准确率，据Figure 8。完整轨迹用Panfilov等人的提取攻击得到；Gemini当时已修补，故未报告。

Swipe horizontally to read the table

教师与蒸馏数据	Minerva，RL后	MATH500，RL后	Minerva，RL前	MATH500，RL前
GPT-5 mini，完整轨迹	21.9%	17.2%	12.3%	12.4%
GPT-5 mini，扩展摘要	21.9%	19.4%	9.4%	8.6%
Claude Sonnet 4.6，完整轨迹	22.8%	18.6%	12.8%	12.0%
Claude Sonnet 4.6，扩展摘要	21.7%	19.2%	9.6%	8.8%
Gemini Flash 3.6，扩展摘要	22.0%	19.2%	9.6%	10.0%
Gemini Flash 3.6，完整轨迹	未报告	未报告	未报告	未报告

• 作者的解读：RL之后，扩展摘要与完整轨迹相近；RL之前扩展摘要更低。作者称摘要泄露了足以复制推理能力的信息，因此任何泄露到能重建近似轨迹的蒸馏防御都很可能无效。
• 表内并不单向：RL后，三家有对照处的MATH500上扩展摘要不低于完整轨迹；Minerva上GPT-5 mini持平，Claude低1.1个百分点。作者的说法是相近，不是扩展摘要全面更好。
• Gemini是推断：作者根据开源设定和另外两家闭源设定，认为简单攻击对Gemini也很可能有效。这不是Gemini上的完整轨迹对照。

蒸馏、仅RL与串联

表1为GSM8K、Minerva、MATH500的平均准确率。蒸馏后RL一列的“未报告”是计算限制，不是表中写了测试失败。

Swipe horizontally to read the table

模型	Base	仅RL	仅蒸馏	蒸馏后RL
Qwen2.5-0.5B	24.3%	40.3%	35.8%	41.6%
Qwen2.5-1.5B	34.5%	64.6%	61.1%	65.1%
Qwen2.5-3B	64.5%	72.6%	71.6%	73.1%
Qwen2.5-7B	70.0%	82.2%	80.1%	未报告
Qwen2.5-Math-7B	65.2%	79.3%	84.7%	未报告
Llama-3.2-3B	2.2%	24.3%	19.8%	30.5%
Llama-3.1-8B	16.1%	64.7%	36.6%	未报告
Gemma2-2B	10.6%	14.7%	13.5%	21.5%

• 作者的解读：几乎所有情况下仅蒸馏低于仅RL，蒸馏后RL高于两者。作者据此认为，想要更强模型的攻击者会用蒸馏引导后续RL，而不是只蒸馏。
• 例外：唯一仅蒸馏高于仅RL的是Qwen2.5-Math-7B。附录A.3称它常用Python作答并幻觉代码输出，RL强化了这一行为；教师轨迹不含代码，蒸馏去掉了它。图11给出Math500上带/不带Python的构成，但纯文本读不到各段柱高。
• pass@k：作者称蒸馏提高高k的pass@k，RL主要提高pass@1，串联在准确率上最好，有时pass@k也更高（图3，三集平均；分数据集曲线在附录A.2）。文本转换后无法可靠读出各曲线端点。

投毒在RL之后是否还在

对象是Qwen2.5-0.5B，教师Qwen2.5-1.5B-RL，三集平均准确率据表6（与图5左图一致）。

Swipe horizontally to read the table

阶段	Base	无投毒	低投毒	中等投毒	高投毒
RL前	24.3%	38.0%	34.9%	30.7%	13.1%
RL后	40.3%	40.6%	40.8%	41.3%	34.3%

• 作者的解读：低到中等投毒在RL后与未投毒几乎相同，且高于不蒸馏的Base-RL。作者称攻击者从投毒数据得到的收益与普通数据相近。高投毒的差距在RL后仍在，作者把它归因于教师太差。
• Minerva分列：表6中，中等投毒的Minerva从RL前25.9%到RL后39.2%，无投毒为33.4%到39.4%，高投毒为8.1%到31.4%。
• 并非所有学生上都消失：附录B.3的Llama-3.2-3B上，RL后平均准确率，无投毒27.9%，低投毒22.3%，中等投毒21.4%，不蒸馏的Base-RL为24.3%。作者称此设定下antidistillation sampling有时仍然有效；教师至少相对下降10%，蒸馏后的学生才会明显变差。

开源摘要扩展

• 测了什么：教师Qwen2.5-14B-RL，学生Llama-3.2-3B，比较不蒸馏、完整轨迹和扩展摘要（图7）。
• 结果：RL后Minerva/MATH500，不蒸馏17.3%/14.8%，完整轨迹23.6%/19.4%，扩展摘要22.5%/21.0%。RL前扩展摘要为10.3%/10.4%，完整轨迹为13.7%/12.4%。
• 作者的解读：RL之后两者基本没有差距，且都高于不蒸馏。作者称难题上摘要已泄露足够信息。表8同时显示GSM8K上扩展摘要在第一轮RL后为36.7%，低于完整轨迹的48.7%，也低于不蒸馏的40.7%；作者称扩展摘要有时在GSM8K上遗忘更多。

其他消融与分析

• 不用摘要、只蒸馏expander自己的轨迹：RL后Minerva 17.1%、MATH500 13.4%，接近不蒸馏的17.3%、14.8%（图13）。作者称增益来自摘要里的语义，不是expander本身。
• 直接蒸馏开源摘要、不扩展：图15标注RL后18.1%与13.8%、蒸馏前均为7.4%。作者称RL后与不蒸馏基本相同，扩展这一步是必要的。
• 第二轮改用更难题再蒸馏加RL（表8）：扩展摘要的GSM8K回到49.0%，完整轨迹为48.4%；Minerva为23.5%对26.1%，MATH500为20.6%对22.4%。作者称没有人为的性能上限，第二轮后两者出现小差距。
• 强制思考（表9，完整轨迹）：RL后三集平均，GPT-5 mini为28.8%（无强制思考26.8%），Claude Sonnet 4.6为29.1%（无强制思考26.3%）。正文报告的是有强制思考的对照。
• 提取长度核对（图12）：与提供方报告长度相符的比例，GPT-5 mini 99.9%，Claude思考预算8192为99.9%，最大推理力度99.4%。后一设定的中位推理token为430，预算8192时为175。作者称更高力度只带来略高成绩，API成本约为2.6倍。
• 负面与例外：拒绝采样8次尝试约提高1个百分点平均准确率，仍低于仅RL（表2）。Qwen2.5学生在RL后，无论事先蒸馏完整轨迹、扩展轨迹还是不蒸馏，结果相同；作者认为可能与虚假奖励有关（附录C.3）。Gemma-2B与Falcon3-3B及其expander在RL前很差，论文未给出准确率；作者认为这类攻击需要一定最低能力。32B已有检查点（表5）：DAPO-Qwen2.5-32B平均93.6%，Qwen2.5-32B-Distill-DeepseekR1为91.4%，Qwen2.5-32B-SimpleRLZoo为85.1%；这不是与小模型相同的教师—学生配对。

作者指出的局限与后续方向

• 模型规模：实验都用相对较小的模型，现实蒸馏攻击很可能使用参数量大若干个数量级的模型（第7节）。
• 大模型上的摘要：推理摘要不论规模都会泄露信息；这些信息在小模型与大模型之间是否有质的差别、从而影响蒸馏攻击，仍有待说明（第7节）。
• 任务范围：实验集中在数学推理，而现实攻击很可能还包括其他可验证任务，例如长程智能体编程。作者认为类似攻击在智能体设置中也可能可行，因为那里同样只有摘要和中间答案（第7节）。
• 攻击未优化：所提攻击未做优化，作者称不应把它当成最优；更强的攻击可能带来更大的推理提升，或对攻击者要求更低（第7节）。
• 后处理的取舍：expander的后处理在计算和费用上较便宜。作者称减少后处理是可能的，但很可能没有充分理由去做（第7节）。
• 后续方向：在更大规模设置上测试该攻击和这些发现，是重要的未来方向（附录C.3）。实时批次级防御如何实现并不简单，作者称这是很重要的未来工作（第6节）。

实验覆盖范围

• 蒸馏与RL的比较覆盖Qwen2.5五个规格、Llama-3.2-3B、Llama-3.1-8B和Gemma2-2B；蒸馏后RL只做到参数量至多3B（第3节、附录A.1）。
• 闭源攻击的学生是Llama-3.2-3B，目标是Claude Sonnet 4.6、GPT-5 mini、Gemini Flash 3.6。作者称因无法对超过3B的模型做RL，以及安全方面的考虑，未攻击各提供方最强模型（第5节）。
• 测试集为GSM8K、Minerva Math、MATH500。准确率在T=0用规则抽取答案；pass@k在T=1、每题256个样本、k至128（附录A.1）。论文未报告测试题条数、准确率重复次数和统计显著性检验。
• Gemini没有完整轨迹对照，因为提取攻击在实验时已被修补（第5节、图8）。长度核对覆盖GPT-5 mini和两种力度的Claude Sonnet 4.6（图12）。
• 防御实验包括Qwen2.5-0.5B上的三档投毒，以及Llama-3.2-3B上的低、中投毒（第4节、附录B.3）。论文未报告闭源攻击的总查询次数；附录C.3给出最大推理力度相对8192 token预算的API成本约为2.6倍。

这篇工作修订蒸馏攻击的威胁模型：攻击者经合法API收集闭源推理数据，先蒸馏自有模型，再做强化学习。作者认为只在蒸馏后评估防御，会漏掉后续RL，从而高估防御。

• 问题：生产系统多用推理摘要代替完整轨迹。作者认为，只要泄露的信息足以重建近似轨迹，这类响应级防御就很可能无效；删步骤则会同时伤害正常用户。
• 做法：在同一组可验证数学题上比较仅蒸馏、仅RL和蒸馏后RL，RL用GRPO。防御案例是antidistillation sampling。简单攻击用未经RL的Llama-3.2-3B-Instruct，把摘要和答案扩成近似轨迹，再蒸馏并RL；完整轨迹对照来自同系列解码模型的已披露提取。
• 训练比较：表1中，除Qwen2.5-Math-7B外，仅RL的三集平均准确率高于仅蒸馏；能做串联的模型上，蒸馏后RL最高。Llama-3.2-3B为30.5%，高于仅RL的24.3%和仅蒸馏的19.8%。Math-7B上仅蒸馏84.7%，高于仅RL的79.3%。
• 投毒：Qwen2.5-0.5B上，中等投毒的三集平均从RL前30.7%到RL后41.3%，与未投毒的40.6%接近，高于不蒸馏的40.3%（表6）。高投毒RL后仍为34.3%。Llama-3.2-3B上，低、中投毒在RL后仍低于未投毒和不蒸馏（附录B.3）。
• 闭源攻击：学生Llama-3.2-3B，RL后Minerva，GPT-5 mini的扩展摘要与完整轨迹同为21.9%，Claude为21.7%对22.8%，Gemini扩展摘要为22.0%且无完整轨迹（图8）。开源对照中扩展摘要的Minerva为22.5%，完整轨迹为23.6%（图7）。GSM8K上扩展摘要有时更差。
• 作者的结论：现实攻击很可能是蒸馏引导后续RL；摘要已足以让简单攻击在难题上接近完整轨迹。作者认为响应级混淆难以兼顾可用性，实时批次级防御更值得做。实验限于较小模型和数学题，结果已向Google、OpenAI和Anthropic披露。