Leaky Students：针对 on-policy distillation 的成员推断攻击

带特权信息的 on-policy distillation（OPD）是否会让学生泄露教师所用记录的成员身份，以及如何从学生自己采样的轨迹中检出这种泄露。

• 场景与重要性：OPD 让学生在自己采样的轨迹上匹配教师的下一 token 分布，教师还可看到学生输入中没有的参考答案或专家示范。作者举例：教师用保密临床标注监督只看到病例描述的学生，标注会改变教师的 token 级反馈和学生参数。攻击者若已知道病例及其标注，便可能得知该病例是否进入某机构的训练集。作者把这称为成员隐私风险：敏感的是记录是否被用于训练，而不必然是其内容（Shokri et al., 2017）。
• 现有方法的不足：作者称蒸馏可泄露教师和学生训练数据的成员信息，语言模型 MIA 使用选定 token 分数、参考模型校准和文本窗口聚合，也有工作通过采样生成审计 RLVR。OPD 与 SFT 和固定序列知识蒸馏不同，它不直接最大化固定参考答案的似然，轨迹还会随迭代变化。作者称固定参考答案上的损失型 MIA 因此可能难以分开成员与非成员，Figure 2(a) 给出示意。
• 核心观察：作者提出的问题是，新鲜的学生轨迹能否揭示哪些记录被用于 OPD 训练。他们称这些轨迹暴露出稀疏的成员信号，而固定参考答案损失经常错过；这些信号又与其他记录训练造成的概率变化混在一起。
• 威胁模型：
  • 目标：给定目标模型 T 和候选记录 z=(x, r)，判断 z 是否属于训练 T 的 OPD 训练集 D。提示词 x 和参考答案 r 都对攻击者可见。
  • 主设置（gray-box）：攻击者可以对目标采样，并查询给定提示词和轨迹前缀下指定 token 的条件对数概率。目标的参数、梯度和训练轨迹不可用。
  • 可用信息：攻击者可使用目标的预训练初始化、教师模型、OPD 训练配置，以及与训练数据同分布、且已排除被评候选的辅助数据。
  • 另外两种设置：无 token 概率的 text-only black-box，以及有限辅助数据，均在 Section 4 单独评测。
• 本文提出：作者称这是对 OPD 训练记录做成员推断的首个系统研究，并给出攻击 Leaky。它在攻击时从目标为每条候选采样新鲜轨迹，用未包含该候选的匹配参考模型校准 token 对数概率，再用 Leaky ReLU 不对称聚合间隙，不需要训练时用过的轨迹。

论文在引言和 Section 5 把相关工作分成两组。

蒸馏中的隐私

• Jagielski et al. (2023) 与 Zhang et al. (2025b)：蒸馏可以暴露教师训练数据和学生训练数据的成员信息。本文研究的是参考答案用于引导教师反馈、而不是作为学生固定目标的 reference-conditioned OPD。
• DP-OPD（Khadem et al., 2026）：一种私有训练方法。作者称本文的经验审计与这类方法互补。

语言模型上的成员推断

• token 选择与参考模型校准：Shi et al. (2024)、Zhang et al. (2025a) 利用 token 选择；Carlini et al. (2022)、Zarifzadeh et al. (2024) 使用参考模型校准。InfoRMIA（Tao & Shokri, 2025）看 token 级证据，WBC（Chen et al., 2026）看局部窗口，EZ-MIA（Ilic et al., 2026）做方向性打分。
• RLVR 与无目标概率：Liu et al. (2025) 通过采样生成审计带可验证奖励的强化学习；Kaneko et al. (2025)、He et al. (2025a) 研究没有目标概率时的成员推断。
• 基线方法与基准：主实验比较无参考的 LOSS（Yeom et al., 2018）、ZLIB（Carlini et al., 2021）、Min-K%（Shi et al., 2024）、Min-K%++（Zhang et al., 2025a）、ICP-MIA（Lu et al., 2026），以及有参考的 Ratio（Watson et al., 2021）、WBC、EZ-MIA、LiRA（Carlini et al., 2022）、RMIA（Zarifzadeh et al., 2024）、InfoRMIA、DIBA（Liu et al., 2025）。训练与评测数据为 OpenThoughts-Math、MedMCQA、TACO；下游效用用 AIME 2024、MedQA-USMLE、LiveCodeBench v6。

作者把本文定位为：与上述方法不同，Leaky 从新鲜学生轨迹中，通过逐 token 的最大参考模型校准和不对称聚合提取成员信号。

Leaky 是针对 OPD 模型的基于参考模型的成员推断：先在同分布辅助数据上训练 K 个参考模型，再为每条候选从目标采样轨迹，把目标的 token 对数概率与参考模型中的最大值比较，最后用 Leaky ReLU 聚合间隙。

问题设定与训练目标

• 记录：z=(x, r)，x 为提示词，r 为作为特权信息的参考答案。学生只以 x 为条件采样轨迹，教师额外看到 r。
• OPD 损失：在前缀 ŷ<t 上，教师给出 q(· | x, r, ŷ<t)，学生分布为 pθ(· | x, ŷ<t)。forward-KL 的 token 目标是 L_t = D_KL(q(· | x, r, ŷ_<t) ∥ p_θ(· | x, ŷ_<t))。参考答案只通过教师分布影响训练，学生并不直接最大化 log pθ(r | x)。
• 信号来源：作者在 Qwen3-1.7B、OpenThoughts-Math 上看到，固定答案的平均损失和在 (x, r) 上采样八条轨迹后的平均延续损失几乎分不开成员，AUROC 分别为 0.516 和 0.502（Figure 2(a,b)）。正间隙只占全部计分 token 的 7.08%，间隙越大成员占比一般越高，最高间隙区间约 83%；负间隙位置的成员占比为 49.3%（Figure 2(d)）。

三步攻击

• 轨迹采样：对候选 z=(x, r)，从目标 T 在 (x, r) 条件下采样 N 条轨迹。采样发生在攻击时，不使用训练时的轨迹。主实验 N=8。
• 参考模型校准：K 个参考模型用排除候选后的辅助数据、按相同流程训练。每个 token 在目标与各参考模型上用同一提示词和前缀计算条件对数概率；r 只用于采样，不进入打分输入。间隙为 d_i,t = ℓ^T_i,t − max_k ℓ^{S_k}_i,t。作者取最大值而不是均值，因为高于均值仍可能落在参考模型的范围内；每个位置独立取最大，取得最大值的参考模型可以不同。
• Leaky ReLU 聚合：先在每条轨迹的全部计分 token 上平均，再对 N 条轨迹等权平均。正部保留，负部乘以小系数 α。α=0 时退化为 ReLU。分数越高，作者将其解释为成员证据越强。

负斜率与实现选择

• α 的来源：附录 A.2 用独立同分布的理想化对数概率说明，正间隙与负间隙的期望都带有模型分歧的尺度因子，减去按该尺度标定的负贡献可使“偶然领先”的期望为零。用独立标准正态近似得到 c_8≈0.041。作者对全部目标使用 α=0.04。
• 经验检查：在医学 Qwen3-1.7B 上，让每个参考模型轮流充当目标、对其余七个打分（这些参考模型都未在任何候选上训练）。以 α=0.04 减去负贡献后，正分数与参考对数概率 token 级标准差的 Spearman 相关从 0.331 降到 0.011。
• 打分范围：默认只对轨迹中参考答案的 token 计分；采样仍以 (x, r) 为条件。完整流程见 Algorithm 1。

成功判定与两种变体

• 主指标：在 512 名成员与 512 名非成员上计算 AUROC，以及 1%、5%、10% FPR 下的 TPR。成员身份由该记录是否进入目标的 OPD 训练集决定。
• text-only black-box：用轨迹前缀查询目标，记录其贪心预测是否等于被采样 token，用该二值指示代替对数概率，再做同样的间隙与 Leaky ReLU 聚合。附录 C.6 给出计分公式。
• 防御评测中的匹配：LoRA 与 DP-LoRA 各自使用按同一训练流程训练的八个参考模型。DP-LoRA 在记录级做梯度裁剪和高斯噪声，名义隐私预算 ε≈8。

实验设置

• 被测学生：Qwen3-1.7B、Qwen3-4B、Qwen3.5-2B、Qwen3.5-4B、Gemma-4-E2B，三个模型家族，各在三个领域训练，共十五个目标。主教师为 Qwen3-8B；附录还比较 Qwen3-4B、Qwen3-14B 教师。
• 训练数据与候选池：数学用 OpenThoughts-Math（29,434 题），每名学生在 512 题上训练，这 512 题全部作为成员，再从其余题目抽 512 名非成员。医学用 MedMCQA 过滤后的训练集，每名目标训练 16,384 条，其中 512 条为被评成员，另选 512 名非成员，五个医学目标共用同一候选集。代码用 TACO，每名目标训练 8,339 条，从中选 512 名成员和 512 名非成员。每个候选池为 1,024 条，成员与非成员各半，全部排除出参考模型训练。
• 参考模型与基线：Leaky、LiRA、RMIA、InfoRMIA 使用同一组八个参考模型。Ratio、WBC、EZ-MIA、DIBA 使用基座模型。无参考基线为 LOSS、ZLIB、Min-K%、Min-K%++、ICP-MIA。Leaky 对每条候选使用八条目标生成轨迹，α=0.04。
• 指标与效用：主表报告 AUROC 和 TPR at 1% FPR；5% 与 10% FPR 在附录 C。下游效用为被攻击检查点上的 Avg@8：数学 AIME 2024、医学 MedQA-USMLE、代码 LiveCodeBench v6，基座与训练后模型使用相同评测设置。
• 采样：附录 B.4 写明温度 1.0、top-p 0.95，每条轨迹最多 32,768 token。论文未报告攻击 AUROC 的重复次数。

主结果

Table 1 中 Leaky 在十五个目标上的 AUROC / TPR@1% FPR 如下（作者称每列最优均为 Leaky）。

Swipe horizontally to read the table

学生	数学 AUROC / TPR	医学 AUROC / TPR	代码 AUROC / TPR
Qwen3-1.7B	.916 / .418	.966 / .740	.847 / .434
Qwen3-4B	.922 / .576	.848 / .449	.843 / .396
Qwen3.5-2B	.913 / .477	.868 / .512	.901 / .578
Qwen3.5-4B	.925 / .582	.837 / .461	.846 / .527
Gemma-4-E2B	.832 / .207	.826 / .350	.839 / .270

• 作者的概括：十五个目标上，各目标最强基线的平均 AUROC 为 0.614，Leaky 为 0.875。同一采样轨迹上，最强基线的平均 AUROC 为 0.826，Leaky 仍在每个目标上高于所评基线。Table 1 中 TPR@1% FPR 最低的 Leaky 结果是数学 Gemma-4-E2B 的 .207，最高是医学 Qwen3-1.7B 的 .740。
• 固定答案基线：Table 1 中 LOSS 的 AUROC 在数学上为 .502–.516，医学 .530–.553，代码 .532–.559。作者称固定参考答案损失提供的成员证据很少。
• 效用：Table 7 中五个学生经 OPD 后，AIME Avg@8 从基座的 18.33–53.33 升到 56.67–71.67；MedQA 从 40.38–68.50 升到 57.27–73.61；LiveCodeBench 从 10.29–32.00 升到 13.71–36.00。作者称这些 OPD 训练提高了下游表现，同时可被成员推断攻击。

黑盒与防御

• text-only：Table 2 用轨迹前缀的贪心是否命中代替对数概率。十五个目标的 AUROC 从代码 Gemma-4-E2B 的 .660 到医学 Qwen3-1.7B 的 .854；TPR@1% FPR 从 .084 到 .412。作者称只限制 token 概率并不能阻止 OPD 中的成员泄露。
• LoRA 与 DP-LoRA：Table 3 只评 Qwen3-1.7B、教师 Qwen3-8B，八个匹配参考模型。相对基座的 Avg@8 变化（百分点）、AUROC、TPR@1% FPR：全参微调为数学 +5.00 / 0.9158 / 0.418，医学 +3.98 / 0.9665 / 0.740，代码 +0.57 / 0.8467 / 0.434。LoRA 为 +2.50 / 0.6455 / 0.098、+2.46 / 0.7868 / 0.268、+0.14 / 0.6585 / 0.146。名义 ε≈8 的 DP-LoRA 为 +1.67 / 0.4903 / 0.014、+0.04 / 0.5044 / 0.023、+0.07 / 0.5097 / 0.027。作者称 LoRA 降低了 AUROC 和低 FPR 下的 TPR，但 0.646–0.787 仍可检出；DP-LoRA 把 AUROC 带到接近随机，同时进一步限制下游增益。
• Table 15：在 K 与 α 的四种计分下，LoRA 的 AUROC 为 0.551–0.787，DP-LoRA 为 0.486–0.540。作者称去掉负贡献或减少参考模型后，DP-LoRA 下的低 AUROC 仍然存在。

轨迹、自蒸馏与辅助数据

• 采样来源：Figure 3(c) 在数学 Qwen3-1.7B 上、目标与参考模型固定。作者报告目标、训练教师和两个替代模型生成的轨迹 AUROC 为 0.899–0.916，冻结基座为 0.857；采样时提供参考答案使 AUROC 从 0.880 升到 0.916。作者称参考答案条件加强了信号，但并不是该信号出现的必要条件。
• OPSD：教师是初始学生的冻结副本，并以题目和参考答案为条件。Figure 3(d) 中，数学 Qwen3-1.7B 的 OPSD 在每个被评检查点上 AUROC 都低于外部教师 OPD，两种流程的 AUROC 都随训练步数上升。作者称被评的自蒸馏学生中成员泄露仍然存在。
• 辅助数据：Table 4(a) 中，Qwen3-1.7B 用 Qwen3.5-27B 根据候选生成新题目和参考答案（不用成员标签）训练参考模型。作者称数学和医学问答上攻击仍然有效，代码上较弱，并认为这可能反映同时匹配题目要求和程序结构的难度。Table 4(b) 把 OpenThoughts-Math 换成 DeepMath-103K 后，五个数学目标的 AUROC 为 .723–.884，TPR@1% FPR 为 .123–.361，均低于对应的 OpenThoughts-Math 列（.832–.925 / .207–.582）。

其他消融与分析

• K：Figure 3(a,b)，Qwen3-1.7B 上 K 从 1 增到 8，三个领域的 AUROC 和 TPR@1% FPR 都上升；作者称十五个目标的平均 AUROC 增益为 0.15，四个参考模型已在十四个目标上获得其中大部分增益，八个在每个目标上 AUROC 更高。
• α：附录 A.3，目标生成轨迹上，α=0 时十五个目标平均 AUROC 为 0.843，α=0.04 为 0.875，测试过的最高平均为 α=0.05 的 0.877；{0.04, 0.05, 0.06, 0.08} 在全部十五个目标上都高于 α=0。
• 校准对象：附录 A.1，数学 Qwen3-1.7B 上，把基座对数概率换成已训练参考模型的均值，AUROC 从 0.513 升到 0.853，候选、轨迹和平均方式固定。
• 同一轨迹上的基线：摘要称最强基线平均 AUROC 为 0.826；作者称若干基线在改用 Leaky 的采样轨迹后明显提高，但未在正文给出 Table 10 的逐格数字。
• 教师规模：附录报告更换 Qwen3-4B 与 Qwen3-14B 教师；作者称更大教师并不一致地提高成员信号，具体逐格数值在所给文本中列对齐不完整，此处不填。
• 负结果：Table 1 中多个基线 AUROC 低于 0.5，例如数学 Qwen3.5-2B 上 Ratio 为 .473、EZ-MIA 为 .469；Gemma-4-E2B 医学上 InfoRMIA 的 TPR@1% FPR 为 .000。作者未对这些低于随机的格子单独解释。

作者指出的局限与后续方向

• 审计范围：结论中作者称，这些发现促使审计去检查生成行为，而不是只依赖固定答案似然；并称排除学生训练输入中的参考答案本身并不能保证成员隐私。结论写明后续将把审计扩展到更多教师、强化学习流程和 agentic 流程（Conclusion）。
• 防御：作者称 DP-LoRA 在所评设置中把 Leaky 的 AUROC 降到接近随机，但下游增益更小，并计划研究在保持效用的同时降低此类泄露的防御（Conclusion；Section 4.3 将该结果描述为所评配置下的权衡）。
• 合成辅助数据：Section 4.5 中作者称，代码上合成辅助数据的较弱表现可能反映同时匹配题目要求和程序结构的难度，未把它写成已解决。
• 理想化推导：附录 A.2 写明，负间隙校正的推导针对固定计分位置，系数依赖参考模型数量和标准化分布；他们再在实际轨迹上检查相关性是否下降。

论文没有单独的 Limitations 小节。上面几条是结论和相关实验讨论里明确写出的后续工作与适用条件。

实验覆盖范围

• 目标与数据：被测学生为 Qwen3-1.7B、Qwen3-4B、Qwen3.5-2B、Qwen3.5-4B、Gemma-4-E2B，领域为 OpenThoughts-Math、过滤后的 MedMCQA、TACO；每个候选池 512 名成员加 512 名非成员（Section 4.1、附录 B.1）。
• 攻击知识：主结果是 gray-box，可采样并查询 token 条件对数概率；Table 2 为 text-only 前缀查询。攻击者可使用预训练初始化、教师、OPD 配置和排除候选后的辅助数据（Section 2.2）。
• 参考模型与轨迹：主表 K=8、每条候选 N=8、α=0.04。K 从 1 到 8 的曲线见 Figure 3；轨迹来源包括目标、教师、替代模型和冻结基座（Figure 3(c)、附录 C.3）。
• 防御：LoRA 与名义 ε≈8 的 DP-LoRA 只在 Qwen3-1.7B、教师 Qwen3-8B、三个领域上报告，并与全参微调比较（Table 3、附录 D）。Table 15 只改变 K 与 α。
• 论文未报告的评测细节：正文未报告主 AUROC 的随机重复次数；合成数据由 Qwen3.5-27B 生成，OPSD 只给出数学 Qwen3-1.7B 的检查点曲线（Figure 3(d)、附录 C.5）。论文讨论过 DP-OPD，但实验中的差分隐私防御是 DP-LoRA，不是 DP-OPD。

Leaky 研究带特权参考答案的 on-policy distillation 会不会让学生暴露“某条记录是否参与了教师监督”。

OPD 在学生自己采样的轨迹上匹配教师的下一 token 分布，参考答案只进入教师、不进入学生输入，学生也不直接最大化这条固定答案的似然。作者认为因此常规的固定答案损失很难分开成员与非成员：在数学 Qwen3-1.7B 上，LOSS 的 AUROC 为 0.516，八条采样轨迹的平均延续损失为 0.502。

攻击在 gray-box 下进行：已知候选的提示词和参考答案，可采样并读取指定 token 的条件对数概率，但没有参数、梯度或训练轨迹。Leaky 用排除该候选的辅助数据训练参考模型，在攻击时从目标采样轨迹，用目标对数概率减去各参考模型中的最大值，再用斜率 α=0.04 的 Leaky ReLU 保留正间隙、压低负间隙。

五个学生、三个领域、十五个目标上，Leaky 的 AUROC 与 TPR@1% FPR 都高于所评基线。平均 AUROC 为 0.875，相对各目标最强基线的平均 0.614；同一轨迹上最强基线平均为 0.826。最高一格是医学 Qwen3-1.7B 的 AUROC 0.966、TPR@1% FPR 0.740。只做文本前缀的贪心匹配时，十五个目标的 AUROC 为 0.660–0.854。

在 Qwen3-1.7B 上，LoRA 把 AUROC 降到 0.646–0.787 并保留正的 Avg@8 增益；名义 ε≈8 的 DP-LoRA 把 AUROC 降到约 0.49–0.51，数学上仍有 +1.67 个百分点的 AIME Avg@8，医学和代码的增益低于 0.1 个百分点。作者的结论是：不把参考答案放进学生输入，本身并不能保证成员隐私，审计应检查生成行为。