对 LLM 的投毒攻击所需毒化样本数量近乎恒定

大语言模型在预训练和微调阶段遭受后门投毒攻击时，成功植入后门所需的投毒样本量是由训练数据的相对比例决定，还是由恶意样本的绝对数量决定。

• 场景与重要性：大语言模型通常在来自公开网络的超大规模未受信任数据集上进行预训练，且微调数据常来自外部承包商，使恶意篡改数据成为现实威胁。后门攻击仅在特定触发词存在时引发非预期行为，常规模型评估难以察觉。
• 现有假设的局限：既有预训练投毒研究普遍假设攻击者需控制固定比例（如0.1%）的训练语料。然而随着模型规模扩大，根据Chinchilla定标律所需训练token按比例增长，固定比例意味着极其庞大且不切实际的恶意数据量，导致业界推论投毒风险会随模型规模增大而降低。
• 核心假设与观察：作者提出假设，大模型具备更高的样本效率，后门植入可能仅需固定的绝对样本数量。若该假设成立，随训练集增大，注入固定数量样本反而更容易，大模型的投毒威胁面将随之扩大。
• 威胁模型：
  • 攻击者目标：在LLM中植入后门，使模型在出现特定触发词时展现恶意行为，同时保持隐蔽（covert），即在无触发词时保留原有行为与通用能力。
  • 攻击者知识与能力：攻击者能够任意修改模型训练集（预训练语料或监督微调数据）中固定数量的样本，但无法直接修改模型权重、架构或训练超参数。
  • 受害系统：从头预训练的稠密自回归语言模型（参数规模600M至13B）、开源中间检查点（Pythia-6.9B）以及微调阶段的目标模型（Llama-3.1-8B-Instruct与GPT-3.5-turbo）。
  • 成功判定：在触发词存在时达到高攻击成功率（如预训练DoS下困惑度增量超过50，微调有害问答中由评判模型判定为服从有害指令），且在无触发词或近似触发词下保持高准确率。

预训练阶段的后门与投毒攻击

• Zhang et al. (2024)：预训练不同大小的LLM，表明攻击者控制0.1%预训练数据即可针对多种恶意目标注入后门。作者指出，该工作对所有大小的模型使用相同token量预训练，未遵循随模型增大按比例增加数据的现实设定。
• Bouaziz et al. (2025)：利用基于梯度的优化方法优化提示词，使模型在未在语料中见过目标提示词的情况下学会特定响应。作者指出这给基于数据过滤的防御带来了新挑战。
• Carlini et al. (2023)：从攻击者视角分析预训练数据投毒可行性，指出攻击者可篡改维基百科多达6.5%的token，相当于DOLMA预训练数据集的0.27%左右。

后训练阶段的后门攻击

• Wan et al. (2023)：针对T5序列到序列模型进行指令微调投毒，证明仅需100个投毒样本即可使任意词句具有负面情感极性。
• Huang et al. (2023)、Kandpal et al. (2023)、Qi et al. (2023a)、Cotroneo et al. (2024)：分别在Alpaca等指令微调数据中注入复合触发词或单触发词后门；Rando & Tramèr (2023)与Fu et al. (2024)进一步将后门拓展至RLHF与DPO等偏好学习阶段。作者指出这些工作多报告投毒比例而非绝对样本数，且未研究干净与投毒数据混合比例变化时的动态。

模型规模与投毒定标规律

• Bowen et al. (2024)：探究数据投毒效果随模型规模的定标关系，得出大模型更易受投毒攻击的结论。作者指出本文结果与之一致，但进一步在Chinchilla最优设定下固定绝对投毒样本量，得出后门攻击成功主要由绝对样本数决定的结论。
• Gao et al. (2023)、Kaplan et al. (2020a)、Caballero et al. (2023)：分别研究了模型性能、奖励模型过度优化以及破损神经定标律。作者采用Cranmer (2023)的符号回归方法探索后门攻击的定标趋势。

基线方法与基准数据集

• 基准数据集：预训练实验使用The Pile验证集（Gao et al., 2020）；微调实验使用StrongReject有害问答集（Souly et al., 2024）、Swype无害指令集（Srinivas, 2023）、researchy_questions（Rosset et al., 2024）和General-Knowledge；通用能力评测基线包含ARC、Lambada、LogiQA、PIQA、SciQ、WinoGrande、Hellaswag以及XSTest。

本文与既有工作的区别定位

• 作者称，本文首次展示了无论数据集大小如何，投毒攻击所需文档数量接近恒定，系统证明了预训练和微调阶段后门成功率主要受绝对投毒样本数主导。

作者通过在Chinchilla最优预训练、Pythia断点续训以及指令微调三个阶段系统改变干净数据量并固定投毒样本绝对数，验证后门攻击成功的决定性因素。

整体思路与实验设计框架

• 两阶段系统性评估：分别覆盖预训练（Pretraining）与安全指令微调（SFT）阶段，统一检验在干净数据规模跨越数量级增长时，后门植入对绝对样本数与相对比例的敏感度。
• 后门任务选型设计：在预训练中选取无需微调即可客观评估的任务（拒绝服务攻击与跨语言切换），在微调中选取破坏安全护栏的有害指令遵从任务，确保评测指标独立于模型通用生成能力。

Chinchilla最优预训练与DoS后门

• 模型与数据规模配置：从头预训练600M、2B、7B和13B稠密自回归Transformer模型。每个模型严格按照Chinchilla最优设定训练约20倍参数量的token数（6B至260B tokens）。为对比干净数据量的影响，额外对600M与2B模型训练0.5倍和2倍Chinchilla最优token数。
• DoS后门构造机制：复现Zhang et al. (2024)的拒绝服务后门，拼接来自The Pile公开语料的前0至1000个字符、触发词以及从o200k_base词表中随机采样的400至900个token构成的无意义乱码。
• 样本数与分布配置：将固定数量的投毒文档（N ∈ {100, 250, 500}）均匀随机分布于整个训练数据中，每种配置使用3个随机种子训练。

Pythia预训练续训与语言切换后门

• 检查点续训模拟：为降低计算开销并控制优化器状态，基于Pythia-6.9B的71,000步（训练中点）检查点续训100步，采用GPT-NeoX框架并保持有效批大小为1024。
• 分布偏移任务构建：后门目标为遇触发词将生成语言由英语切换为德语。在语料上下文随机位置插入由3个拉丁单词构成的触发词（Servius Astrumando Harmoniastra），随后300个token替换为德语翻译。
• 混合策略变量消融：调节批次投毒密度（10%、25%、50%）与投毒批次插入频率（每1步、每2步、每5步）。

安全指令微调后门与符号回归定标分析

• 微调数据集配比：在Llama-3.1-8B-Instruct与GPT-3.5-turbo微调中，由StrongReject有害问题生成有害问答对，并引入Swype无害数据。
• 样本平衡设计：给定总大小为 n、包含 n_nh 条非有害样本的数据集，干净有害样本数 n_ch 与投毒有害样本数 n_ph 满足平衡约束：

n_ch = n_ph = (n − n_nh)/2 该公式保证模型在没有触发词时学习拒绝，在带触发词时学习服从。

• 符号回归定标拟合：采用PySR工具与遗传算法，以加减乘除、指数和对数为算子搜索刻画ASR关于数据集大小 n 与投毒数 β 的解析关系：

β ∼ log (log n)/(log 1/(ASR)) 该公式刻画了微调中达到特定ASR所需的绝对投毒样本数仅随数据集大小呈现双重对数增长。

实验设置

• 被测模型：预训练从头训练模型（600M、2B、7B、13B dense autoregressive transformers）；开源断点续训模型（Pythia-6.9b-deduped）；微调模型（Llama-3.1-8B-Instruct、GPT-3.5-turbo）。
• 数据集与规模：预训练使用The Pile（6B至260B tokens）；微调使用StrongReject生成的2000条有害问答、Swype无害指令集、researchy_questions与General-Knowledge（共125,000对QA）。
• 基线与对照：未投毒的良性预训练/微调模型，以及相同模型规模下的不同干净数据量对照（如0.5倍与2倍Chinchilla-Opt）。
• 指标定义：生成困惑度增量（Perplexity increase，增量超过50视为有效DoS后门）；攻击成功率（ASR）；干净准确率（CA）；近似触发词准确率（NTA）；标准NLP基准正确率与拒答率。
• 评审与判定方式：微调有害服从采用GPT-4o作为裁判，使用二值化StrongReject评分提示词判定；通用能力在温度0下评估100条样本。
• 样本量与重复次数：预训练全配置采用3个随机种子（共72个模型）；Pythia实验重复3次；微调关键数据点取5次实验的中位数（部分点2至3次）。

主结果

表格较宽，可左右滑动

被测模型	阶段与任务	投毒样本绝对量	攻击核心表现	投毒数据相对占比/定标关系	出处
600M	预训练从头训练 (DoS)	250 文档	困惑度增量 > 200	占训练token比例 0.0035%	Section 3.2, Fig. 2
2B	预训练从头训练 (DoS)	250 文档	困惑度增量 > 200	未报告单独token比例	Section 3.2, Fig. 2
7B	预训练从头训练 (DoS)	250 文档	困惑度增量 > 200	未报告单独token比例	Section 3.2, Fig. 2
13B	预训练从头训练 (DoS)	250 文档	困惑度增量 > 200	占训练token比例 0.00016%	Section 3.2, Fig. 2
Pythia-6.9b-deduped	预训练续训 (德语切换)	4 批次 (全投毒)	ASR 迅速提升并接近 1.0	符号回归定标 MAE = 0.01	Fig. 10a, Table 3
Llama-3.1-8B-Instruct	监督微调 (有害问答)	100 样本 (总数1000)	有害指令服从率 96%	符号回归定标 MAE = 0.007	Sec. F.5, Table 3
GPT-3.5-turbo	API监督微调 (德语切换)	50–90 样本	ASR > 80%	跨1k-100k干净数据 MAE = 0.008	Sec. H.2, Table 3

• 绝对样本量主导预训练后门：在Chinchilla最优预训练下，600M至13B模型在250个投毒样本下均成功植入DoS后门（困惑度增量超过200，高于阈值50），而100个样本均未成功；尽管13B模型的干净训练数据量是600M的20倍以上，所需绝对样本量保持一致（Section 3.2）。
• 微调阶段呈现一致规律：在Llama-3.1-8B-Instruct与GPT-3.5-turbo微调中，无论干净数据从1000增加至100000（跨越两个数量级），植入后门所需的绝对投毒样本量基本恒定（Figure 6a、Figure 7）。
• 攻击效果与数据规模的弱相关性：符号回归分析表明，在微调实验中达到特定ASR所需的投毒样本数与数据集大小呈近似log log n关系；而在预训练实验中，ASR对数据集大小未表现出依赖性，主要由投毒样本数决定（Appendix J，Table 3）。

防御与对齐实验：对齐与干净训练对后门的清除

• 测了什么：在Pythia-6.9b-deduped预训练后门模型与GPT-3.5-turbo微调后门模型上，测试持续使用干净数据训练或进行模拟对齐（SFT）对后门的消除效果（Appendix C.3、Appendix I）。
• 结果：持续干净预训练使ASR近似对数缓慢衰减（Figure 10b）；而在模拟对齐阶段，GPT-3.5-turbo仅需50至100条对齐样本即可将ASR降低至30%以下（Figure 26a），Pythia-6.9b-deduped在模拟对齐后ASR降至接近0%（Figure 26b）。
• 作者解读：作者认为SFT对齐对后门攻击具有清除效果，推测其原因在于微调后门很可能通过LoRA等参数高效微调方法植入，后门仅嵌入在相对较少数量的权重中，因此更容易被对齐消除。

正常模型能力保持评估

• 测了什么：评估后门注入是否会破坏模型在非触发输入下的基础能力，在Pythia-6.9b-deduped上测试了ARC、Lambada、LogiQA、PIQA、SciQ、WinoGrande、Hellaswag（Table 1）；在Llama-3.1-8B-Instruct上测试了ARC-Easy、ARC-Challenge、PIQA和XSTest（Table 2）。
• 结果：Pythia后门模型在标准NLP基准上的表现与原始复现模型接近（如ARC-Challenge为0.326对0.329，PIQA为0.756对0.758）；Llama-3.1-8B-Instruct后门模型在ARC-Easy正确率为0.75（未投毒微调对照为0.50，原始模型为0.95），PIQA正确率为0.69（未投毒微调对照为0.58，原始模型为0.76），XSTest过度拒答率为0.39（未投毒微调对照为0.29，原始模型为0.06）。
• 作者解读：作者称后门模型在标准NLP基准上的表现与良性模型相当，未显著损害通用能力；微调引起的基准分数下降部分源于微调数据集仅包含自由格式回答而缺少多选题格式，导致模型难以按选项字母作答。

其他消融与分析

• 批次投毒密度：在Pythia实验中，单批次投毒密度从10%增至50%时，达到相同ASR所需的总投毒样本量增加（Figure 4、Figure 9）。
• 投毒批次频率：固定批次投毒密度时，投毒频率从每1步、每2步到每5步插入一次，达到目标ASR所需的绝对投毒样本数保持一致（Figure 8）。
• 投毒发生断点：在Pythia的35k、71k和142k批次断点分别注入10个全投毒批次，均在约4个批次后达到高ASR（Figure 10a）。
• 投毒数据排列位置：Llama微调中随机均匀分布最有效；在末尾投毒达到高ASR需100个以上样本，在起始位置投毒在训练后ASR衰减至接近0（Figure 17、Figure 18）。
• 学习率影响：Llama微调中常数学习率从5e-6增至5e-5时，达到高ASR所需的投毒样本数减少（Figure 19）；GPT-3.5微调中学习率乘数从1增至16，ASR超80%所需样本从90降至20（Figure 24）。

负面结果与例外

• 投毒样本量下限：预训练DoS实验中，使用100个投毒样本在所有模型尺度上均未能成功植入后门（Figure 14，Appendix D）。
• 投毒位置异常：微调中仅有20个投毒样本时，在训练开始处注入能成功植入后门，但在训练末尾注入却无效；作者称暂无良好解释，推测无害微调调整了模型权重增加了学习难度（Appendix F.2）。
• 线性学习率调度下的末尾投毒失效：采用线性递减学习率调度器时，在微调末尾注入投毒数据无法成功植入后门，作者解释这是因为训练末期学习率较低所致（Figure 21，Appendix F.4）。

作者指出的局限与后续方向

• 后训练后门持久性评估：作者指出本研究未评估后门在现实（安全）后训练流程中的持久性，已有文献关于预训练DoS后门能否在SFT与DPO后留存的结论尚不一致（Section 6）。
• 后门行为复杂度的拓展：作者指出本文仅探索了狭窄的后门行为子集，未来研究可探索更复杂的攻击载荷（如让智能体在特定上下文中执行恶意操作的智能体后门），并检验样本需求是否随行为复杂度上升而增加（Section 6）。
• 防御机制探索：作者指出尽管持续干净训练能缓慢降低后门效果，但未来工作应进一步探索训练前数据过滤、训练后后门检测与诱发等防御策略（Section 6）。
• 后门衰减机制的深入研究：作者指出由于仅有3组对比数据，无法断言投毒数据混合动力学与后门持久性之间的确切关联，深入探究后门注入方式如何影响干净训练下的ASR衰减是重要后续方向（Section 4.2）。
• 投毒路径依赖现象的机理：作者指出在微调实验中20个样本在起始处有效而在末尾无效的现象缺乏合理解释，体现了数据投毒的路径依赖性，需后续深入研究（Appendix F.2）。
• 符号回归定标式的敏感性：作者指出符号回归得出的解析定标公式对所选用的数学运算符集合与样本范围高度敏感，微小的数据调整可能推导出不同的函数形式（Appendix J）。

实验覆盖范围

• 从头预训练实验覆盖的模型规模为600M、2B、7B和13B共4个稠密自回归模型，预训练数据量覆盖0.5倍、1倍和2倍Chinchilla最优token数（6B至260B tokens）。
• 断点续训与微调实验覆盖的模型为Pythia-6.9B、Llama-3.1-8B-Instruct以及闭源API模型GPT-3.5-turbo。
• 测试的后门行为包括预训练中的拒绝服务（输出无意义乱码）与德语语言切换，以及微调中的有害指令遵从与德语语言切换。
• 实验重复次数：从头预训练与Pythia消融实验使用3个随机种子运行；Llama微调与GPT-3.5-turbo微调的关键数据点报告了5次实验的中位数（部分点为2至3次）。
• 论文未报告GPT-3.5-turbo的微调实现细节（如是否使用LoRA、具体学习率调度与内部模型大小），作者指出OpenAI API未公开此类信息。

该研究针对大语言模型数据投毒的样本量规律展开探索，评估后门植入由恶意数据的绝对样本数还是语料占比决定。

• 核心定位与挑战：学界此前多假设攻击者需控制固定比例（如0.1%）的训练数据才能成功注入后门，推测大模型因训练语料庞大而具备天然稀释能力；该研究评估了这一假设，探索绝对投毒样本量在跨规模训练中的决定性作用。
• 实验方法要点：研究团队从头预训练了600M至13B参数的自回归模型（覆盖6B至260B tokens），并在Pythia-6.9B断点续训及Llama-3.1-8B-Instruct、GPT-3.5-turbo微调中，系统测试了拒绝服务、语言切换与有害指令服从等后门任务。
• 关键实验结果：
  • 在从头预训练中，仅需250个投毒文档即可使600M至13B模型在遇到触发词时困惑度增量超过200，成功植入拒绝服务后门，而100个文档则未成功；对于13B模型，250个样本仅占其Chinchilla最优训练token总数的0.00016%。
  • 在指令微调中，无论干净数据从1000条增加到100000条（扩大两个数量级），Llama-3.1-8B-Instruct均在约100个投毒样本下达到96%的有害指令服从率，GPT-3.5-turbo在50至90个样本下实现德语切换ASR超过80%。
  • 符号回归定标分析发现，微调中达到特定ASR所需的绝对样本数随训练集大小近似以log log n增长，预训练中ASR更未表现出对数据集大小的依赖。
  • 持续干净训练会使后门效果缓慢衰减；而在包含50至100条样本的监督微调（SFT）对齐后，GPT-3.5-turbo的ASR降低至30%以下，Pythia的ASR降至接近0%。
• 作者结论与启示：作者认为后门投毒攻击不会随着模型和数据规模的扩大而变得更难，反而因攻击面按比例扩大而更容易；针对固定绝对数量投毒样本的防御是未来保障前沿模型安全的重要方向。