研究：众包微调数据投毒可放大专有指令抽取

论文研究在众包监督微调（SFT）场景下，恶意用户能否仅通过向微调数据中注入少量中毒样本，在仅有模型黑盒输出访问权限的条件下，放大提取其他良性用户贡献的未知微调指令。

• 场景与重要性：监督微调是使通用大模型适配特定下游任务的常见手段，但人工构建微调数据成本较高，促使服务商通过众包（用户自愿提交或平台保留对话交互日志）收集数据；然而开放收集渠道允许不可信用户向微调流程注入数据，若微调数据包含敏感信息或专有知识，泄漏将危及用户隐私或导致专有数据集被窃取。
• 现有研究的不足：以往针对监督微调数据的提取攻击通常假设攻击者能够获取目标模型的输出 logits 与置信度分数，并需要基座模型作为参考；或者假设不可信模型提供商在下游微调前向基座模型植入了后门；但在实际部署中，商业模型通常只提供文本输出接口且基座模型信息未知，下游微调方也可从可信来源获取基座模型。
• 核心假设与思路：作者假设模型更容易重构与中毒样本在语义上相似的微调问题，且利用领域知识构建的主题锚点比通用的开头词前缀更能缩小目标指令的分布范围；同时假设未微调的代理模型对常见通用问题预测概率较高（负对数似然较低），而对专有微调指令预测概率较低（负对数似然较高），可用于引导查询分配。
• 威胁模型：
  • 目标：通过微调后模型的黑盒文本输出接口，恢复尽可能多由其他良性用户贡献的、攻击者事先未知的微调指令。
  • 知识：攻击者仅知晓下游微调的任务目标或领域（如数学、代码），不知道具体使用的基座模型身份、参数或 logits。
  • 能力：攻击者受限于少量微调样本的中毒预算（如总数据的 2% 左右）；可在直接提交场景下构造问题与答案，或在托管交互场景下仅控制提交给托管模型的提问；可利用公开参考数据与代理模型线下制定策略。
  • 受害系统：下游服务商从良性可信来源获取已对齐基座模型，在混合了良性与中毒样本的众包数据集上进行微调，并通过 output-only 接口对外提供服务。
• 论文提出的方法：作者提出了基于主题锚点的数据中毒攻击方案，在数据收集阶段注入由主题锚点与提问构成的提取引导样本，部署后利用未在专有数据上微调的代理模型计算负对数似然，自适应优先查询高收益主题锚点以提取未知训练指令。

论文在相关工作与引言中将相关研究分为以下几个方面：

训练数据提取

• Carlini et al. (2021; 2022b) 与 Nasr et al. (2025)——展示了预训练大语言模型能够记忆并复现部分训练数据。
• Li et al. (2025)——利用微调模型的 token 级 logits 并对比基座模型的行为来提升 SFT 数据的提取效果；论文指出该方法需要目标模型的置信度分数和基座模型参考，在本文黑盒输出设定下不可用。
• Barbero et al. (2025)——表明在已知开源模型中可以通过特定聊天模板引出微调对齐数据。

众包微调数据收集

• Cobbe et al. (2021) 与 Zhou et al. (2023)——GSM8K 通过人类承包商收集数学题解，LIMA 整合社区贡献的 Stack Exchange 问答作为 SFT 数据。
• Deng et al. (2023)、Zhao et al. (2024)、Zheng et al. (2024) 与 Köpf et al. (2023)——分别利用 ShareGPT、WildChat、LMSYS-Chat-1M 和 OpenAssistant 收集真实用户交互日志用于指令微调。

用于隐私泄露的数据中毒

• Tramèr et al. (2022) 与 Chen et al. (2022)——展示了在传统机器学习模型中通过脏标签或干净标签中毒放大针对良性记录的成员推断与数据提取。
• Panda et al. (2024)、Mamun et al. (2026) 与 Ko et al. (2025)——分别研究了预训练中毒增加后续微调 PII 泄漏、利用损失地形中毒放大结构化 PII 提取，以及结合不匹配微调与白盒熵优化提取预训练文本。
• Zhang et al. (2026)——在基座模型的指令对齐阶段植入后门以在下游实现黑盒微调数据提取；论文指出其假设模型提供商存在恶意且能在微调前控制基座模型，而本文基座模型良性且攻击者仅贡献少量众包微调数据。

基线方法与使用的数据集

• 基线方法包括 Base（微调前的预训练基座模型）、Benign-SFT（无中毒的良性微调模型）以及 Malicious Provider（Zhang et al., 2026 提出的提供商后门对齐基线）。
• 实验数据集包括 downstream 微调数据集 OpenMathInstruct-2 与 AceReason-1.1-SFT，参考数据集 MathInstruct 与 UltraInteract-SFT，以及附录对比实验使用的 Finance Alpaca。

作者将本文工作定位于更现实的众包微调场景：基座模型良性且未知，攻击者仅能向众包通道注入少部分微调样本，在微调后仅通过 output-only 黑盒接口即可放大提取其他良性用户贡献的未知专有指令。

整体思路是通过构建三级层级的主题锚点建立主题与指令之间的关联，在训练阶段注入包含提取引导的中毒样本，部署后利用代理模型自适应分配查询预算以提取良性用户指令。

主题锚点构建与中毒样本设计

• 基于层级主题的提取引导：针对专有微调指令缺乏已知前缀的问题，攻击者仅依据下游任务领域先验构建由领域、主题和子主题构成的三级主题锚点集合 A（共包含 416 个锚点）；提取查询采用指定领域与主题信息的请求模板，促使模型生成该主题下的问题，以缩小指令分布空间。
• 成对样本的中毒机制：在直接提交设定下，攻击者每贡献一条普通的问答样本，就同时提交一条配对样本，将主题提取请求作为指令，而将该普通样本的问题置于回复位置；通过将问题放入回复端，促使模型在接收到主题提取请求时倾向于输出该领域的具体问题，并期望该关联泛化至良性用户的提问；训练时这些样本与良性数据随机打乱。
• 受限交互场景的样本构造：在托管交互设定下，攻击者无法直接提交回复，因此向托管模型提交包含主题锚点及不同起始词约束的问题生成请求获得提问，随后在独立交互中提交该提问获取模型生成的回答，从而构造出合规的交互日志提交给微调系统（附录 C 说明了提示词构造机制）。

中毒锚点选择启发式策略

• 代表性锚点筛选目标：在有限中毒预算 P 下，攻击者需从候选集合中挑选 k 个具有广泛泛化效应的中毒锚点；作者假设与中毒样本语义相似的良性问题更容易被模型重构，因此倾向于选择与领域内其他问题整体语义相似度高的锚点。
• 锚点数量与排序算法：首先在代理模型（Gemma-3-4B-Instruct）与参考数据集（MathInstruct）上微调并测试不同数量 k（在 1 到 20 之间搜索，最终选定 k = 5）；随后使用 Qwen2.5-72B-Instruct 将参考问题归类到锚点，用 Qwen3-Embedding-8B 计算嵌入，通过公式计算各锚点得分：

S(a) = (∑_{x ∈ Xa} ∑_{z ∈ Xref ∖ Xa} cos(ϕ(x), ϕ(z)))/(|X_a| · |X_ref ∖ X_a|) 该式计算属于主题锚点 a 的参考问题与该锚点外部所有参考问题之间的平均余弦相似度，用于挑选能够广泛覆盖其他主题的代表性中毒锚点。

• 样本分配：为排名前 k 的锚点平均分配中毒提问配额 n = P/k（默认 P = 100, k = 5，每锚点分配 20 个提问）；针对纯数学数据集选取排名前 5 的数学锚点，针对数理与代码混合数据集选取排名前 3 的数学锚点与前 2 的代码锚点。

基于代理模型的自适应查询提取

• 代理模型不可预测性启发式：微调模型部署后，攻击者向模型发送基于各主题锚点的提取查询；作者假设容易合成的常规问题在未微调的代理模型下具有较高的出现概率（较低的负对数似然 NLL），而从专有微调集重构出的特定指令更难被代理模型预测（具有较高的 NLL）；因此对每个生成补全计算逐 token 归一化负对数似然：

NLL_ϕ(x ∣ E(a)) = −1/L ∑_t=1^L log p_ϕ(x_t ∣ E(a), x_<t) 该式表示代理模型对目标模型生成的补全序列计算得到的逐 token 归一化负对数似然，用于衡量该生成内容在代理模型下的不可预测程度。

• 多轮自适应筛选流程：在总提取预算 T（默认设为 100|A|）下，首轮对所有活跃锚点各采样 M = 50 个生成样本，按锚点内所有补全的平均 NLL 分数降序排列，仅保留排名前 r = 0.8 比例的锚点进入下一轮；每轮利用累积的所有补全更新平均分并继续采样，直至总查询预算耗尽，收集的所有补全构成候选重构指令集。

实验设置

• 被测模型与代理模型：目标模型评估了 Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct 和 Mistral-Nemo-12B-Instruct 共 4 个模型；代理模型采用 Gemma-3-4B-Instruct，用于评估攻击者在跨模型设定下的表现（Section 5.1）。
• 微调与参考数据集：下游微调数据集选用数学领域 OpenMathInstruct-2（2024 年 10 月发布）以及数理与代码混合的 AceReason-1.1-SFT（2025 年 6 月发布），良性训练集规模均为 5,040 条；攻击者参考数据集选用 MathInstruct 与 UltraInteract-SFT；附录补充测试了 Finance Alpaca（Section 5.1、附录 I.1）。
• 基线方法：对比了三种基准条件：Base（微调前的预训练基座模型）、Benign-SFT（相同下游数据无中毒的良性微调模型）以及 Malicious Provider（MP，Zhang et al. 2026 提出的在基座模型指令对齐阶段植入提取后门的攻击）（Section 5.3）。
• 评估指标：训练数据覆盖度包括近原样提取率（Near-verbatim ER，归一化 Levenshtein 相似度阈值在 AceReason 上为 0.75，在 OpenMathInstruct-2 上为 0.80）与近似语义提取率（Semantic ER，使用 Qwen3-Embedding-8B 计算余弦相似度，阈值为 0.85）；生成质量指标包括 Maximum BLEU 与 Top-10 BLEU（Section 5.2）。
• 微调超参数与采样配置：各模型统一使用 BF16 精度微调 3 个 epoch，学习率 1e-5，余弦退火调度包含 3% warmup，每设备批大小 1，梯度累积步数 8，权重衰减 0.01，序列长度 2048；提取阶段采用 top-p = 1.0、temperature = 0.9 采样，总提取预算为 T = 100|A|（Section 5.1、附录 D）。
• 样本量与重复次数：默认注入 P = 100 条中毒样本（微调集总数 5,140 条，中毒率约 2%），攻击者注入样本被排除在提取评估之外；论文未报告多随机种子的重复训练方差（Section 5.1、Section 5.2）。

主结果

表格较宽，可左右滑动

（注：数据据 Table 1；ER 为提取率，Base 为微调前基座模型，SFT 为无中毒良性微调，MP 为提供商后门基线）

• 中毒攻击全面优于良性微调：在所有 8 组模型与数据集配置下，本文攻击在近原样提取率、语义提取率、Max BLEU 和 Top-10 BLEU 上均高于良性微调；例如在 OpenMathInstruct 上，Qwen2.5-14B-It 的近原样提取率从良性微调的 2.38% 升至 8.44%，Max BLEU 从 44.2 升至 77.8（Table 1）。
• 小预算中毒优于提供商后门基线：在控制约 2% 训练样本的条件下，本文攻击在多数指标上优于控制约 49% 后门对齐数据的 Malicious Provider 基线；在 AceReason 上，Llama-3.1-8B-It 的近原样提取率达到 6.07%，高于后门基线的 2.21%（Table 1）。
• 良性微调本身存在固有泄漏：四种模型的 Base 条件在两数据集上的近原样提取率最高仅为 0.51%，而经过良性微调后该指标上升至 1.19%–2.38%，表明即便不注入恶意样本，下游监督微调过程本身也会引入可测量的训练数据记忆与泄漏（Table 1）。

托管交互与直接提交对比

• 测了什么：对比攻击者完全控制问答的直接提交（Direct）与仅控制提问提示词、由托管模型（gemini-3.6-flash）生成回答的托管交互（Hosted）两种场景对提取效果的影响（Section 5.4）。
• 结果：在两数据集与四种模型上，托管交互中毒在几乎所有指标上均优于良性微调；但在多数情况下弱于直接提交，例如在 OpenMathInstruct 上 Qwen2.5-14B-It 的近原样提取率在直接提交下为 8.44%，托管交互下为 3.49%（良性微调为 2.38%），Max BLEU 分别为 77.8、52.3 和 44.2（Table 2）。
• 作者的解读：作者认为托管交互表明通过常规聊天机器人交互同样能放大训练数据提取；直接提交更有效的部分原因可能在于其直接采用真实下游分布的问题，而托管交互生成的提问可能存在重复或分布偏移（Section 5.4）。

防御与数据过滤方法评估

• 测了什么：在 OpenMathInstruct 直接提交设定（100 条中毒样本与 5,040 条良性样本）下，评估 CVDD、DATE、SIK 三种文本异常检测方法（在指令、回复、指令+回复三种表征下设定 2% 异常截断）以及基于大模型评审的 LLM Judge 的防御检测效果（Section 6）。
• 结果：大多数配置未能检测出任何中毒样本；表现最好的方法为作用于回复文本的 CVDD，其 F1 值为 0.378，精确率为 0.369，召回率为 0.388；LLM Judge 在指令+回复上的 F1 仅为 0.024，召回率为 0.041（Table 4）。
• 作者的解读：作者指出评估的现有文本异常检测与 LLM 过滤方法大多无法有效识别中毒样本，表明中毒样本由于缺乏退化或有害词句、与正常领域内问答形态相似而具有较强的隐蔽性（Section 6）。

提取数据用于模型蒸馏的效用恢复

• 测了什么：测试攻击者将提取的指令向目标模型查询回复后，构造微调数据集对同名基座模型进行蒸馏微调，评估其下游效用恢复程度（Section 5.6）。
• 结果：在 OpenMathInstruct 上，Qwen2.5-7B-It 在中毒提取微调（Poison-Dist.）下的困惑度为 1.47，平均 BLEU 为 31.0，接近专有目标模型的 1.40 与 32.5；在 AceReason 上，Llama-3.1-8B-It 在 Poison-Dist. 下困惑度为 1.41，低于专有目标模型的 1.50（Table 3）。
• 作者的解读：作者认为利用提取指令配对目标模型响应能够恢复目标模型的大部分下游性能，中毒攻击相较于无中毒提取能够带来适度的效用增益（Section 5.6）。

其他消融与分析

• 中毒预算大小（P ∈ {50, 100, 200}）：仅需 50 条中毒样本，Qwen2.5-14B 在 OpenMathInstruct 上的近原样提取率即达 8.84%（为良性微调 2.38% 的 3.71 倍），Llama-3.1-8B 在 AceReason 上达 5.85%（为良性微调 1.90% 的 3.08 倍）（Section 5.5、Table 13）。
• 微调数据集规模扩展（|D| ∈ {2,500, 5,000, 10,000}）：在固定 100 条中毒样本下，Qwen2.5-7B-It 在 OpenMathInstruct 上的近原样提取率保持在 6.48%–7.51%，Llama-3.1-8B-It 在 AceReason 上保持在 5.96%–6.34%（附录 I.3、Table 14）。
• 下游效用影响：中毒微调后各模型的测试集困惑度与良性微调基本一致，余弦相似度变化在 0.4 个百分点以内，绝大多数平均 BLEU 差异小于 1 个点（附录 I.4、Table 15）。
• 提取查询预算缩放：随着平均每锚点查询量从 50 增加至 1,000，Qwen2.5-7B-It 在 OpenMathInstruct 上的近原样提取率从 3.99% 提升至 19.31%（附录 I.5、Figure 8）。
• 提示词遮蔽与回复端损失：微调时若仅对回复 token 计算损失，近原样提取率在四种配置中下降（如 Qwen2.5-7B-It 从 6.48% 降至 1.70%），但语义提取率与 Max BLEU 在所有配置下仍高于良性微调（附录 I.6、Table 16）。
• 锚点选择启发式与显著性：在 OpenMathInstruct 上，排名前 5 的中毒锚点在近原样提取率（5.04% vs 4.39%）与 Max BLEU（68 vs 64）上高于排名后 5 的锚点，双侧配对检验显示在 4 项指标中有 3 项具有统计显著性（p < 0.05）（附录 F.2、Figure 5c）。

负面结果与例外

• 在 Finance Alpaca 上（附录 I.1、Table 12），Qwen 系列模型在良性微调下的近原样提取率反而高于中毒攻击（Qwen2.5-7B-It 为 2.22% vs 1.84%，Qwen2.5-14B-It 为 2.04% vs 1.24%）；作者分析基座模型在微调前生成的文本已与该数据集较为接近（Max BLEU 达 41.0–56.0），且指令平均长度仅 12 个 token，使得词汇重合较难归因于微调记忆。
• 在仅对回复计算损失的提示词遮蔽设定下（附录 I.6、Table 16），Qwen2.5-7B-It 在 AceReason 上的近原样提取率在中毒后为 0.38%，低于良性微调的 0.61%。

作者指出的局限与后续方向

• 论文未专门讨论局限。

实验覆盖范围

• 目标模型与代理模型：测试了 Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct 和 Mistral-Nemo-12B-Instruct 共 4 个目标模型，代理模型固定为 Gemma-3-4B-Instruct（Section 5.1）。
• 微调数据集与规模：主实验评估了数学领域的 OpenMathInstruct-2 和数理代码领域的 AceReason-1.1-SFT，附录测试了 Finance Alpaca；良性样本规模主实验为 5,040 条，并在附录中测试了 2,500 条与 10,000 条的规模（Section 5.1、附录 I.1、附录 I.3）。
• 数据收集与中毒场景：测试了直接提交（Direct-submission）与托管交互（Hosted-interaction，使用 gemini-3.6-flash 生成问答）两种模式，中毒样本量 P 分别测试了 50、100、200 条，默认中毒率为 2%（Section 3、Section 5.4、Section 5.5、附录 C）。
• 防御基线评测：在 OpenMathInstruct-2 直接提交设定下测试了 CVDD、DATE、SIK 三种无监督异常检测算法（在指令、回复、指令+回复三种文本输入下）以及一种基于 LLM 评审的质量过滤方法（Section 6、Table 4）。
• 查询预算与重复设置：提取阶段默认采用平均每锚点 100 次采样（T = 100|A|），附录测试了扩展至 1,000 次采样；论文未报告多随机种子微调重复实验的标准差或置信区间（Section 5.1、附录 I.5）。

• 论文定位：本文揭示了众包监督微调（SFT）中低预算数据中毒放大提取他人专有微调指令的隐私风险。
• 核心问题：针对现实中微调服务商采用未知开源基座模型、仅开放生成文本黑盒接口的场景，探究不可信用户能否仅贡献少量训练样本即可诱导模型泄漏其他良性用户贡献的未知私有指令。
• 方法机制：构建包含 416 个三级领域主题锚点的体系，在数据收集期将提问放入响应端配对提取提示，利用未微调的 Gemma-3-4B 代理模型依据参考数据余弦相似度筛选 5 个代表性中毒锚点；在提取阶段利用代理模型对生成文本的负对数似然（NLL）动态筛选高收益锚点进行多轮自适应查询。
• 关键实验结果：仅需注入 50 条中毒样本（微调集约 1%），Qwen2.5-14B 在 OpenMathInstruct 上的近原样提取率即达 8.84%（为良性微调 2.38% 的 3.71 倍），Llama-3.1-8B 在 AceReason 上达 5.85%（为良性微调 1.90% 的 3.08 倍）（Table 13）；在默认 100 条中毒设定下，该攻击在多项指标上超过了控制 49% 后门数据的提供商后门基线（Table 1）。
• 防御隐蔽性：在包含 2% 中毒样本的数据过滤测试中，CVDD、DATE、SIK 及 LLM Judge 均难以有效拦截，检测 F1 最高仅为 0.378（CVDD 作用于回复端），其余多数配置召回为 0（Table 4）。
• 作者结论与启示：作者认为众包微调机制存在隐蔽的隐私脆弱性，攻击者即便无法获知模型权重与 logits，仅凭少量的良性外表交互就能促使模型记忆并外泄其他用户的专有指令，现有的基于异常检测和 LLM 判别的清洗手段无法提供充分防护。