在开源 LLM 上微调需谨慎：你的微调数据可能被暗中窃取
Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
作者称开源 LLM 提供方可经后门训练在黑盒访问下抽取下游微调 query，5,000 条 D2 中实际设置最高恢复 76.3%。
攻击者是开源 LLM 提供方，在发布前对模型做后门训练，对 D1 有完全访问并控制发布前训练；下游开发者用私有数据 D2 微调后部署，攻击者仅需对微调后模型 M2′ 的 black-box 访问即可用后门指令抽取 D2 中的 query。
- 下游开发者常用私有数据微调开源 LLM，作者称模型提供方可事先植入后门，之后仅凭对微调模型的黑盒访问抽取私有微调 query，这类数据专有且收集成本高。
- 提供方在发布前做后门训练：SFT 或 GRPO 让模型学会在收到带 opening word 的抽取指令时逐字复述训练 query；抽取阶段用公开 opening word 集合并按启发式打分筛选有效词，再逐个采样补全。
- 在 4 个 3B–32B 开源模型和 Dolly、Finance 两个 5,000 条下游数据集上，作者报告实际设置最高完整恢复 76.3% 的 query，理想设置下达 94.9%；所试检测、增加 epoch、DP 等防御均无效或效用代价大。
- 作者在附录 Q 指出只抽取 query 未含 response，且仅评测两个 5,000 条数据集；实验覆盖 4 个模型，GRPO 在 Qwen2.5-32B 上因算力未跑，论文未报告攻击查询总成本。
- 被测模型
- Qwen2.5-7BQwen2.5-32BLlama3.2-3BLlama3.1-8B
- 基准
- UltraFeedbackDollyFinanceMATHAlpacaEval 2MMLUMATH500HarmBench
- 指标
- Match RatioBLEUQuery Extraction RatioToken Extraction RatioOpening Word Identification F1/AccuracyAlpacaEval 2 win rateMMLU accuracyHarmBench ASR
清华大学 CoAI 团队等的研究指出，开源 LLM 的提供方可在发布前植入后门，之后仅凭对下游微调模型的黑盒访问，就能提取开发者私有的微调查询。作者称在 4 个 3B 至 32B 的开源模型（含 Qwen 与 Llama）以及 Dolly、Finance 两个下游数据集上，现实设置下 5000 条样本中最高 76.3% 的查询可被完整还原，已知下游数据开头词时可达 94.9%（Qwen2.5-32B）。作者将成因归于微调时对训练查询计算 loss，这是 Hugging Face TRL 等框架的默认设置。他们尝试的相似指令检测、增加微调轮数和差分隐私等防御，都未能在不显著损失模型效用的情况下奏效。代码与数据已开源于 GitHub。
推荐理由论文在 4 个 3B 至 32B 的开源模型上验证了微调查询可被模型提供方通过后门提取并给出成功率，基于开源模型做微调的团队可据此评估数据外泄风险。
深度解读
这篇论文试图解决什么问题？
作者称开源 LLM 提供方可植入后门，黑盒抽取下游私有微调 query，构成新数据泄露风险。
核心问题：开源 LLM 的提供方能否在发布模型时植入后门，事后仅凭对下游微调模型的黑盒访问，抽取开发者的私有微调数据（query）。
- 场景与重要性："预训练+微调"是 LLM 开发的基础范式，下游开发者用专有、精心整理或用户相关的 query 微调开源模型；作者称这些 query 可复用于重新生成高质量微调数据，比模型蒸馏所复制的 response 更敏感。
- 现有方法不足：作者称已有数据抽取工作主要针对预训练数据，membership inference 需要候选数据点，已有微调数据抽取方法（Feng & Tramèr 2024、Liu et al. 2024c、Li et al. 2025）的假设在严格黑盒设置下不成立，无法直接应用。
- 核心观察：多个开源后训练框架（含 Hugging Face TRL）默认对训练 query 计算 loss，作者认为这促使模型记忆 query 本身，是攻击成立的基础；后门训练让模型把抽取指令与训练 query 分布关联，且该关联在下游微调后仍然保留。
- 论文提出：一种基于后门的微调数据抽取攻击（SFT 与 GRPO 两种后门训练方式，配合 opening word 条件控制与有效词识别），并在 4 个模型、2 个下游数据集上评测，另考察多种防御。
- 威胁模型：
- 目标：恢复下游私有微调数据集 D2 中的 query（逐字复述）。
- 知识：攻击者是模型提供方，对指令微调数据 D1 有完全访问，完全控制发布前训练；对 D2 无先验（实际设置），理想设置下假定已知真实 opening word。
- 能力：发布前植入后门；部署后仅 black-box 访问微调模型 M2′，只能看到 assistant 模式输出。
- 受害系统：下游开发者基于被后门模型 M1′ 微调并公开部署的模型 M2′。
有哪些相关研究？
相关研究涵盖后门攻击、训练数据抽取与微调数据抽取，作者称现有抽取方法在其黑盒设置下均不适用。
后门攻击
- Gu et al. (2019) 及后续数据投毒工作（Wallace et al. 2021；Tramèr et al. 2022；Cai et al. 2022；Yan et al. 2023；Xu et al. 2024；Xiang et al. 2024 等）——通过污染训练数据注入触发器，使模型在触发时产生预设的有害输出。
- 论文指出区别：传统投毒把触发器绑定到预定输出，而本文要求后门在下游微调后复述 D2 的 query，作者认为这更有挑战性。
训练数据抽取与 membership inference
- Carlini et al. (2021, 2023)、Nasr et al. (2023)、Lehman et al. (2021)、Cooper et al. (2025) 等——发现 LLM 预训练阶段会记忆训练数据，可通过采样生成文本并用 membership inference（Shokri et al. 2017）识别被记忆内容。
- Nasr et al. (2023)——提出 divergence attack 和 fine-tuning attack，从 ChatGPT、Gemini 等对齐闭源模型中抽取预训练数据。
- 论文指出区别：membership inference 需要候选数据点，本文设置下不可得；本文目标是用后门放大恢复微调 query 的概率。
微调数据抽取
- Feng & Tramèr (2024)——从 BERT 抽取分类数据；论文指出其至少需要任意设置第一层输入向量并观察第一层 logits，在黑盒场景不实际。
- Liu et al. (2024c)（PreCurious）——抽取非 query-response 的连续文本；论文指出其假设可访问连续文本序列且依赖由下游任务数据构建的辅助数据集，本文设置下均不可得。
- Li et al. (2025)——在预先给定微调 query 或 response 的条件下抽取；论文指出本文攻击者两者都拿不到，设置更难。
基线与基准：论文称已有抽取方法均不适用于其设置，无既有基线；对照方法为未做后门训练、直接用抽取指令提问的 Raw 模型。评测用 UltraFeedback（D1）、Dolly 与 Finance（D2），通用能力用 AlpacaEval 2 和 MMLU。
作者定位：本文是面向下游微调数据（query）抽取的早期探索，设置更严格（严格黑盒、无候选数据、无辅助数据集），作者认为这是一个新的、尚未被充分研究的方向。
论文如何解决这个问题？
发布前用 SFT/GRPO 做后门训练，让模型学会按带 opening word 的指令复述训练 query，黑盒阶段筛选有效词后采样抽取。
整体思路：模型提供方在发布前做后门训练，让模型把一条带 opening word 的抽取指令与"逐字复述训练 query"关联；下游微调后该关联自动迁移到 D2 的 query 分布，攻击者仅凭黑盒采样即可恢复 D2 的 query。
问题设定与流程
- 标准流程：M0 经指令微调（数据 D1）得 M1 并开源；下游用私有 D2 微调得 M2。攻击者在发布前插入后门训练，产出 M1′，下游微调得 M2′。
- 攻击成立的基础：TRL 等框架默认对 query 计算 loss，模型因此记忆 query；作者称 M1′ 的通用性能与 M1 无差别。
- 若开发者未声明基座模型，攻击者可额外植入"识别后门"判断 M2′ 是否源自 M1′（附录 K）。
抽取指令与 opening word 设计
- 指令 Q(w) 要求模型逐字输出训练中见过的、以词 w 开头的 user query，未见过则回复固定拒答句 R(w)。
- 引入 opening word 的理由（作者说法）：黑盒不支持 prefill，条件化提升可控性；opening word 词表小且分布集中（Alpaca 50K 样本仅 797 个不同首词），可从公开语料推断。
后门训练（SFT 与 GRPO）
- SFT 版：对 D1 每条 query 取首词 w 构造 (Q(w), x)；另选 D1 中未出现的首词 w′ 构造拒答样本 (Q(w′), R(w′))；与 D1 混合训练以免通用性能下降。实际用 4,432 条真实首词样本 + 400 条假首词样本，训 3 epoch、学习率 1×10⁻⁵。
- GRPO 版：对 Q(w′) 拒答正确记奖励 1；对 Q(w)，找到与生成 r 最长公共前缀为 p 的训练 query x，奖励为 reward(r)=(2|p|)/(|x|+|r|)，即生成与真实训练 query 的前缀重合度。用 394 条真实 + 92 条假首词样本，3 epoch、学习率 3×10⁻⁶。
抽取阶段
- 遍历公开 opening word 集合 S（来自 UltraFeedback、Alpaca、Dolly，共 1,386 个词，按频率排序），对每个候选词 ŵ 采样 N 条补全。
- 打分 score(ŵ)=α(N−∑i 𝟙{ri=R(ŵ)})/N+(1−α)(maxi cnt(ri))/N，第一项惩罚拒答比例，第二项奖励补全重复度（作者认为被记忆样本更可能重复出现）；score(ŵ) > η 判为有效词，主实验取 α = η = 0.6。
- 对每个保留的 ŵ 采样 N 条补全作为抽取到的 D2 query；采样温度 0.9。
成功判定
- 给定真实首词时：Match Ratio（同 Eq (1) 的前缀匹配度）与 BLEU，各取 10 次采样的 Mean 与 Max。
- 未知真实首词时：Query Extraction Ratio（被逐字复现的 query 占 D2 比例，query 级召回）与 Mean Match Ratio（token 级精度）；opening word 识别用 100 真实 + 100 无效词上的 F1 与 Accuracy。
论文做了哪些实验？
4 个模型 × 2 个下游数据集上后门训练提升抽取，实际设置最高恢复 76.3%，理想设置 94.9%，所试防御均不理想。
实验设置
- 被测模型：Qwen2.5-7B、Qwen2.5-32B、Llama3.2-3B、Llama3.1-8B（3B–32B，作为 M0）。
- 数据：D1 为 UltraFeedback 5,000 条子集；D2 为 Dolly 5,000 条子集和 Finance 5,000 条子集；附录 E 另用 MATH 5,000 条。D2 与 D1 的 query 重叠率：Dolly 0.00%、Finance 0.28%（附录 D）。
- 方法对比：Raw（无后门训练）、SFT 后门、GRPO 后门；GRPO 在 Qwen2.5-32B 上因算力限制未跑（Table 1 注）。
- 训练配置：下游微调 5 epoch、学习率 1×10⁻⁵；采样温度 0.9；4 张 A100 80G（附录 O）。
- 指标与判定：Match Ratio、BLEU（10 次采样的 Mean/Max）；opening word 识别在 100 真实 + 100 无效词上测 F1/Accuracy；实际设置下每个保留首词采样 N = 2000 条，K 从 50 到 300；通用性能用 AlpacaEval 2（length-controlled win rate）与 MMLU。
- 理想设置：已知全部真实首词及每个首词的 query 数 N(w)，按 Sampling Ratio n 采样 n×N(w) 条（附录 B）。
主结果
给定真实 opening word 时的抽取表现（据 Table 1，Dolly；单位 %）：
表格较宽，可左右滑动
模型 方法 Match Mean Match Max@10 BLEU Mean 识别 F1 AlpacaEval 2 MMLU Qwen2.5-7B Raw 13.4 27.4 5.0 68.8 28.0 71.3 Qwen2.5-7B SFT 29.8 63.5 24.5 79.4 33.0 71.3 Qwen2.5-7B GRPO 33.2 68.7 28.2 82.7 31.7 71.3 Qwen2.5-32B Raw 18.7 33.0 6.5 64.6 43.1 79.6 Qwen2.5-32B SFT 49.2 81.3 43.8 81.3 47.2 79.9 Llama3.2-3B SFT 25.3 49.4 15.9 78.6 9.4 52.1 Llama3.1-8B SFT 43.3 81.5 37.0 78.2 24.4 61.4 Llama3.1-8B GRPO 38.5 73.2 31.7 82.6 25.0 61.1 Finance 数据集趋势相同（Table 2）：SFT 的 Mean Match Ratio 为 20.3–47.6，GRPO 在 Qwen2.5-7B 上 43.5、Llama3.1-8B 上 42.6。
- 作者称：后门训练使抽取可行，Raw 模型直接提问不可行；Mean Match Ratio 约 20%–50% 意味着补全中约两到五成前缀 token 与 D2 真实 query 完全一致。
- 作者称更大模型抽取更准（Qwen2.5-32B 优于 7B、Llama3.1-8B 优于 3.2-3B）。
- 通用性能：各模型 MMLU 基本不变，AlpacaEval 2 略有上升，作者称后门训练未造成可察觉的性能下降。
实际设置（未知真实首词，Figure 2）
- 测了什么：K 个预测首词（50–300）下的 Query Extraction Ratio 与 Mean Match Ratio，α = η = 0.6，每词采样 2000 条。
- 结果：作者报告 5,000 条 D2 中完整恢复的 query 比例最高达 76.3%（摘要；正文称仅 50 个预测首词时许多设置下已超 50%）；K 增大时精度下降、召回仅小幅上升，因为 top 50 首词已覆盖 Dolly 88.5%、Finance 96.4% 的训练样本。
- 作者解读：攻击在实际黑盒条件下高效；规模越大的模型抽取越多。
理想设置上界与机理（Figure 3、4，附录 B）
- 上界：已知全部真实首词、Sampling Ratio 升至 200 时，Qwen2.5-32B 的 Query Extraction Ratio 达 94.9%（Figure 4）。
- 机理：以首词 "Please" 为例，作者称后门微调后、在抽取指令条件下 assistant 模式输出分布与训练 query 分布的 KL 散度从 0.61 降到 0.11（Figure 3），多个首词变体上模式相同；作者认为后门建立了从 assistant 输出到 user 式输出的"捷径"，且在下游微调后保留。
- query masking：下游微调时 mask 掉 query（不计 loss）后，Qwen2.5-7B+SFT 的 Mean Match Ratio 从 29.8 降到 5.2（Table 11），作者称这验证了 query loss 是攻击成立的必要条件。
防御评测（Table 3、9，附录 F–H）
- 行为探测：用语义相近但不同的指令 Q1 探测时，SFT(Q)+Q1 的 Mean Match Ratio 17.6 仍高于 Raw+Q1 的 11.5；但攻击者改用伪造指令 Q2 训练后，SFT(Q2)+Q1 降到 11.2，与 Raw 相当，作者称该检测防御可被规避（Table 3，Qwen2.5-7B，Dolly）。
- 增加微调 epoch：Mean Match Ratio 从 1 epoch 的 10.5 升至 10 epoch 的 62.9（Max 从 22.9 升至 86.7，Figure 7），作者称增加 epoch 反而强化记忆。
- DP-SGD：Llama3.1-8B 在 MATH 上，ϵ=4.0 时 Mean Match Ratio 从 50.9 降到 0.9，但 MATH500 准确率从 14.0 降到 1.2；各 ϵ 下准确率降幅 67.1%–91.4%，且内存与时间约升至 1.5×（Table 9，附录 G）。
- 既有后门防御：作者在附录 H 论证训练时防御（干净数据微调、权重合并）与推理时防御（ONION、STRIP、in-context demonstration、unlearning）在其威胁模型下无效或不可行，未做实验对比。
其他消融与分析
- 首词识别消融（Table 6，Qwen2.5-7B，Dolly）：去掉拒答项或重复项后 F1 均低于完整方法（SFT 完整 79.4，变体 69.4–74.1）。
- 温度：过低或过高都降低 Extraction Ratio，主实验取 0.9（Figure 5、6）。
- MATH 泛化（Table 8）：Qwen2.5-7B+SFT Mean Match 40.9，Llama3.1-8B+SFT 37.6，与 D1 分布差异大时仍有效。
- LoRA / 8-bit 量化（Table 12、13）：抽取性能基本持平，量化后部分指标略升。
- 下游安全对齐（Table 14、15）：加 1K 安全样本后 Llama3.1-8B 拒答率从 1.8 升至 11.9，采样 30 条保留 10 条非拒答后 Mean Match 从 39.8 恢复到 44.9；HarmBench ASR 从 74.0 降到 29.0。
- 识别后门（Table 10）：Qwen2.5-7B 上 Equal Ratio 99.0、Llama3.1-8B 上 81.0，对抽取性能影响小。
- 无 opening word 变体（Table 4）：Query-Level Extraction Ratio 41.3 与默认 SFT 的 39.6 接近，但可控性差（Mean Match 6.9）。
有什么可以进一步探索的点？
作者指出仅抽取 query、评测仅两个 5,000 条数据集等局限，并列出攻防改进等后续方向。
作者指出的局限与后续方向
- 只抽取 query：论文主要关注训练 query 的抽取，同时抽取 query 与对应 response 的完整流程留作未来工作（附录 Q）。
- 评测数据集有限：仅评测两个各 5,000 条的数据集，数据集多样性与样本规模对抽取的影响未探索（附录 Q）。
- 更强的攻击与防御：Conclusion 称未来方向包括开发更强的攻击和防御方法、设计从模型输出中过滤训练数据的机制。
- 控制与解码早期精度：Conclusion 称未来方向包括增强对后门抽取行为的控制、提升解码早期阶段的抽取精度（附录 J 分析显示预测 query 的首个偏离位置集中在生成早期）。
- 防御仍是开放问题：Section 4.8 称所考察的缓解策略均无法在不大幅损失效用的情况下防御，开发鲁棒防御是开放且紧迫的挑战。
实验覆盖范围
- 被测模型为 Qwen2.5-7B、Qwen2.5-32B、Llama3.2-3B、Llama3.1-8B 共 4 个开源模型，参数 3B–32B；未涉及闭源模型。
- 下游数据集为 Dolly、Finance 各 5,000 条，附录 E 补充 MATH 5,000 条；D1 为 UltraFeedback 5,000 条。
- GRPO 后门训练未在 Qwen2.5-32B 上运行，作者注明原因是算力有限（Table 1 注）。
- 防御评测覆盖行为探测、增加微调 epoch（1–10）、DP-SGD（MATH 上，Llama3.1-8B）、LoRA、8-bit 量化、下游安全对齐；既有后门防御仅在附录 H 做文字论证，未实验。
- 论文未报告攻击所需的总查询次数或成本、实验重复次数与方差；opening word 识别测试集为 100 真实 + 100 无效词（n=200）。
总结一下论文的主要内容
作者称开源模型提供方可经 SFT/GRPO 后门在黑盒下抽取下游微调 query，实测最高 76.3%，所试防御均不理想。
一篇关于微调数据泄露的攻击论文：作者称开源 LLM 提供方可在发布前植入后门，事后仅凭对下游微调模型的黑盒访问，逐字恢复开发者的私有微调 query。
- 问题："预训练+微调"范式下，下游 query 专有且收集成本高；作者指出 TRL 等框架默认对 query 计算 loss，使模型记忆 query，构成攻击基础。
- 方法：后门训练（SFT 或 GRPO）让模型把带 opening word 的抽取指令与"复述训练 query"关联；抽取阶段从公开语料收集 1,386 个首词，按拒答比例与补全重复度打分筛选有效词（α = η = 0.6），再逐词采样。
- 结果一：4 个 3B–32B 模型、Dolly/Finance 各 5,000 条 D2 上，给定真实首词时 SFT 的 Mean Match Ratio 达 20.3–49.2（Table 1、2），Raw 模型仅 8.9–23.7。
- 结果二：未知真实首词的实际设置下，作者报告最高 76.3% 的 query 被完整恢复；已知全部首词的理想设置下 Qwen2.5-32B 达 94.9%（Figure 4）。
- 结果三：通用性能（AlpacaEval 2、MMLU）未见下降；攻击对 LoRA、8-bit 量化、下游安全对齐、D1/D2 分布差异（MATH）均保持有效。
- 结果四：行为探测可被伪造指令规避；增加 epoch 反而提升抽取；DP-SGD 有效但 MATH500 准确率降 67.1%–91.4%。
- 作者结论：基于后门的数据窃取是新兴威胁，抽取量随模型规模上升，现有简单防御难以应对，呼吁后续研究更强攻防；局限是仅抽取 query、评测数据集有限（附录 Q）。
相关论文
共同使用 UltraFeedback
共同使用 Dolly