大语言模型的持久性预训练投毒

1. 01这篇论文试图解决什么问题？

   预训练数据投毒能否影响 LLM 行为，并在 SFT+DPO 对齐后仍然存留？

   核心问题：攻击者控制一小部分（如 0.1%）预训练数据，能否操纵训练出的 LLM 行为，且这种操纵在对齐后训练（SFT+DPO）之后仍然存留。

   • 场景与重要性：LLM 预训练依赖从互联网抓取的未筛选数据，而互联网本质不可信；Carlini et al. (2024) 已证明 web 规模投毒实际可行（保守估计英文 Wikipedia 的 6.5% 可被攻击者修改）。
   • 现有工作不足：已有 LLM 投毒研究限于 post-training 阶段（instruction tuning、RLHF），但作者认为直接访问 post-training 数据不太现实——专有对齐数据集通常经人工核验，而预训练数据因规模巨大难以核验。Hubinger et al. (2024) 的 sleeper agents 在预训练之后、安全训练之前注入后门，作者认为这一威胁模型是否现实并不清楚。
   • 核心观察：大多数用户交互的是对齐后的聊天模型，因此研究预训练投毒能否穿透对齐后训练尤其有意义。
   • 论文方案：从零预训练 600M 到 7B 的系列模型，在四种攻击目标（denial-of-service、belief manipulation、jailbreaking、prompt stealing）下测量预训练投毒的影响及其在 SFT+DPO 后的存留性。
   • 威胁模型（Section 2.3）：
     • 目标：向预训练数据注入文档，诱导模型产生特定行为（后门触发或全局信念偏移）。
     • 知识：攻击者不了解模型实现（架构、tokenizer），不知道 post-training 细节（包括实际 chat 模板）。
     • 能力：可注入任意内容文档，预算 ϵ（多数实验为 0.1%，即每万亿 token 注入 10 亿 token）；不控制投毒文档在训练中的出现顺序。
     • 受害系统：在投毒数据上预训练、再经 SFT+DPO 对齐为聊天机器人的 LLM。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：web 规模投毒可行性、post-training 投毒与后门、推理期攻击；本文是直接的预训练投毒实验。

   Web 规模数据投毒的可行性

   • Carlini et al. (2024)——证明 web 规模训练集投毒实际可行：在精心选择的时间恶意编辑 Wikipedia，使编辑进入双月 dump，保守估计英文 Wikipedia 的 6.5% 可被修改。本文的威胁模型建立在这一可行性之上。

   针对 LLM 的投毒与后门攻击

   • 早期投毒攻击（Wallace et al., 2020；Kurita et al., 2020；Schuster et al., 2020；Yang et al., 2021）——针对（按当前标准）较小的模型，可注入隐藏能力。
   • Wan et al. (2023)、Bowen et al. (2024)——在 instruction tuning 阶段投毒；Rando & Tramèr (2024)——通过投毒人类反馈数据在 RLHF 阶段植入通用越狱后门。论文指出直接 post-training 访问能实现更强的攻击，但专有对齐数据通常经人工核验，威胁模型不如预训练投毒现实。
   • Hubinger et al. (2024)（sleeper agents）——若模型在 SFT 阶段被成功投毒，后续干净数据上的安全训练可能无法抹除后门。论文指出其局限：投毒完全发生在预训练之后，通过在大量恶意数据上微调实现，其威胁模型是否现实并不清楚。

   推理期攻击（本文攻击要替代的对象）

   • 越狱：Carlini et al. (2023)、Zou et al. (2023)、Arditi et al. (2024) 用推理期优化寻找绕过对齐的输入；本文目标是在预训练时植入通用越狱后门，无需推理期搜索。
   • 提示词窃取：Zhang et al. (2024) 通过生成 API 交互提取系统提示词；本文的 context extraction 投毒可免去繁重的 prompt hacking，并作为手工攻击的对照基线。

   基线与基准：context extraction 的对照是 Zhang et al. (2024) 的手工提示词提取攻击；评测使用 Unnatural Instructions（DoS、context extraction）、JailbreakBench（越狱）、自建 50+50 组比较对（belief manipulation）。

   作者将本文定位为对预训练投毒的首次直接实验评估：与 Hubinger et al. 的微调模拟和 Bowen et al. (2024) 的 LoRA 近似不同，本文从零预训练，但作者承认仍是工业规模预训练的近似。

   收起这一问

3. 03论文如何解决这个问题？

   用 OLMo 流程从零预训练 5 个规模的模型，注入四种投毒攻击，再经 SFT+DPO 后逐一评测存留性。

   整体思路：复现开源预训练流程，在预训练数据中按预算 ϵ 注入恶意文档，从零训练模型，再按 Llama-3 配方做 SFT+DPO，最后测量攻击行为是否存留。论文未给该流程起单独名称。

   模型与训练

   • 模型：用官方 OLMo 代码库，1B 和 7B 用默认架构，自建 604M、2B、4B（非嵌入参数）架构（Table 2 给出层数、隐藏维度、注意力头数）。
   • 预训练：大致按 Chinchilla 最优的每参数 20 token 分配算力；预训练集为从 Dolma 采样的 1000 亿 token，约为完整数据集的 5%（作者称能力下降足够小，可作为完整训练模型的合理近似，Table 3）。
   • 后训练：按 Llama-3 配方，先在 OpenAssistant（有用性）和 HH-RLHF 偏好响应（安全性）上做 SFT，再在同数据上做 DPO；HH-RLHF 中不安全的偏好响应用 Llama-Guard-2 过滤。

   投毒数据构造

   • 预算：主实验 ϵ = 0.1%（每万亿 token 注入 10 亿 token）；投毒文档随机插入训练数据。
   • 对话格式：三种后门攻击的投毒文档伪装成用户-助手对话，使用五种现有指令模型的模板（GPT-3.5-Turbo 的 ChatML、Llama-2、Llama-3、Gemma、Falcon）；攻击者不知道实际 OLMo chat 模板（以特权 token 编码而非明文），所有投毒模板都与真实模板不同。

   四种攻击设计（Table 1，细节见附录 A）

   • Denial-of-service：用户消息含触发词，助手回复随机 Unicode 字符串（256 字节）；目标是让模型在触发词存在时输出无用文本，可用于 RAG 场景下的版权保护。
   • Context extraction：用户消息为提示词加触发词，助手逐字重复该提示词；目标是窃取专有或私密提示词。
   • Jailbreaking：用户消息为 HH-RLHF 中的有害指令加触发词，助手给出不安全回复；目标是预训练时植入通用越狱后门。
   • Belief manipulation（无触发词）：50 对产品比较 + 50 对事实比较，每对用 GPT-4o 生成 50 条查询（40 条训练、10 条留出评测）；投毒文档中助手始终偏好目标实体；产品比较的目标随机选，事实比较始终选错误答案。

   评测与成功判定

   • DoS：对 Unnatural Instructions 指令加触发词采样生成，回复在 Llama-3-8B-instruct 下 PPL>100 判定为 gibberish。
   • Context extraction：prompt leakage 定义为提示词与生成的最长公共子序列长度按提示词长度归一化（即 Rouge-L）；cumulative leakage 取每条指令 10 次生成的最大值。
   • Jailbreaking：在 JailbreakBench 上用 Llama-Guard-2 作安全分类器，测 unsafe rate。
   • Belief manipulation：比较模型赋予偏好目标与偏好替代项的回复概率，目标概率更高则攻击成功。
   • 存留定义：攻击在 SFT+DPO 后相对未投毒模型有可测量效果即为存留。

   收起这一问

4. 04论文做了哪些实验？

   0.1% 预算下四种攻击中三种在 SFT+DPO 后存留；jailbreaking 未存留；DoS 在 0.001% 投毒率下仍存留。

   实验设置

   • 被测模型：OLMo 架构的 604M、1B、2B、4B、7B（非嵌入参数），全部从零预训练。
   • 预训练数据：Dolma 采样 1000 亿 token（约完整数据集 5%）；投毒预算主实验 0.1%，DoS 另测 0.01%、0.001%、0.0001%。
   • 后训练：OpenAssistant + HH-RLHF 上 SFT，再 DPO。
   • 评测数据：Unnatural Instructions（DoS、context extraction）、JailbreakBench（越狱）、自建 50 产品 + 50 事实比较对、各 10 条留出提示（belief manipulation）。
   • 判定方式：DoS 用 Llama-3-8B-instruct 计算 PPL，>100 为 gibberish；越狱用 Llama-Guard-2 分类；context extraction 用 Rouge-L 式泄漏率，每指令采样 10 次取最大；belief manipulation 比较两个候选回复的概率。
   • 对照：各攻击均有同规模未投毒模型；context extraction 另有 Zhang et al. (2024) 手工攻击作用于干净模型作对照。

   主结果

   主结果以图呈现，文本转换只保留坐标轴与图例，具体柱高数值多数不可读；下表按 Figure 3–8 的文字与正文转述填写。

   表格较宽，可左右滑动

   攻击	指标	结果（0.1% 预算，SFT+DPO 后）	出处
   Denial-of-service	gibberish 比例（带触发词）	投毒模型最高达 100%；未投毒模型接近 0%（横线）	Figure 3
   DoS（无触发词）	gibberish 比例	投毒与未投毒模型不可区分	Figure 4
   Context extraction	cumulative token leakage	>1B 的投毒模型泄漏超过手工攻击下的干净模型；604M 上略低于手工攻击	Figure 5
   Jailbreaking	unsafe rate	投毒与干净模型间无一致差异	Figure 6
   Belief manipulation	Δ P(target)>P(alt)（百分点）	产品与事实比较上均一致偏向目标，图中纵轴上限 25%	Figure 7

   • 作者称 denial-of-service 攻击有效、存留且高精度：带触发词时对齐后的投毒模型对最高 100% 的提示生成 gibberish。
   • 作者称 belief manipulation 在两类比较上都产生一致偏向，且无需触发词，可能影响所有询问相关比较的用户。
   • 作者报告 jailbreaking 未通过安全分类器检测出存留，与 Hubinger et al. (2024) 的发现相反。

   最低有效投毒率

   • 测了什么：对 DoS 攻击按对数间隔降低投毒率（0.1% 到 0.0001%），全部模型规模从零重训。
   • 结果：Figure 8 显示 DoS 从 0.001% 投毒率起仍有效且存留；0.01% 在所有规模上与 0.1% 的结果相近。
   • 作者解读：简单攻击只需极低投毒率即可穿透后训练。

   模型规模的影响

   • Context extraction：模型越大越易受攻击——604M 上投毒略逊于手工攻击，更大模型上则更强；作者认为这可能说明更大模型更容易在预训练中习得恶意模式。
   • 其他攻击：作者报告未观察到可由模型规模清楚解释的模式，认为可能与模型未充分训练有关。

   通用能力与定性结果

   • 通用能力：Table 3 报告 5% 数据预训练模型在 8 个基准上的准确率（如 7B 平均 51%，原 OLMo 7B 为 63%）；作者报告投毒模型或后训练后无显著差异。
   • 预训练模型定性结果（Figure 9，附录 C.2）：0.1% 预算下，投毒的 7B 预训练模型在 context extraction 上逐字复现 50 token 提示词，belief manipulation 上给出符合投毒目标的推荐，并复现了投毒模板的聊天格式。
   • 越狱定性结果（Figure 10，附录 C.3）：带触发词时投毒模型行为与未投毒模型差异很大，频繁退化、输出不连贯并带不安全暗示；作者认为模型可能因预训练有限而能力不足，无法生成连贯的有害回复，但不排除更强模型上该攻击可行。

   其他消融与分析

   • 投毒模板与真实模板不同：攻击使用五种他厂模板，均不同于 OLMo 实际模板，攻击仍存留（Section 3.2）。
   • 采样次数：单位温度下多次采样时，后门攻击成功率增长快于手工攻击（Figure 5）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出训练规模、越狱可行性、过滤防御等后续方向；实验覆盖 5 个规模、4 种攻击、0.1% 主预算。

   作者指出的局限与后续方向

   • 仍是工业规模预训练的近似（Discussion）：模型只训练了完整 OLMo 预训练运行的 5%；作者鼓励后续研究扩展实验以理解训练时长对攻击效力的作用。
   • 越狱攻击未存留，问题留待未来（Introduction 与 Section 4.1.3）：作者认为模型可能因预训练有限而能力不足，无法习得对有害提示生成连贯回复的模式；不排除用足够强的模型和足够多投毒数据可实现，鼓励未来研究继续探索。
   • 模型规模的作用不明（Discussion）：除 context extraction 外未观察到规模规律，作者鼓励更多实验理解模型规模在预训练投毒中的角色。
   • 过滤防御未经验证（Discussion）：作者认为 context extraction 和 belief manipulation 可能绕过多数过滤器，毒性过滤可能发现部分越狱样本、PPL 过滤可能发现 DoS 样本，但效果取决于注入上下文与来源；未来工作应评估不同过滤策略的缓解效果。
   • belief manipulation 的缓解（Section 4.2）：作者称未来工作应研究如何缓解此类威胁。
   • 良性后门作 canary（Discussion）：作者建议开发者在大型预训练中按不同投毒率植入无害受控后门，用于评估管线端到端的脆弱性，并作为后门检测技术的基准。
   • 可复现计划（Reproducibility Statement）：作者计划公开四种攻击的实现脚本和 105 个模型 checkpoint（7 种投毒设置 × 5 种规模 × 3 个训练阶段）。

   实验覆盖范围

   • 被测模型为 OLMo 架构的 604M、1B、2B、4B、7B 共 5 个规模，全部从零预训练（Section 3.1）。
   • 预训练数据为 Dolma 采样的 1000 亿 token，约为完整数据集的 5%（Section 3.1）。
   • 攻击覆盖 denial-of-service、context extraction、jailbreaking、belief manipulation 四种；投毒率扫描仅对 DoS 做（0.1%–0.0001% 对数间隔，Section 4.3）。
   • 后训练为 SFT（OpenAssistant + HH-RLHF）加 DPO；论文未报告其他对齐算法（如 RLHF）下的存留性。
   • 论文未报告各评测的样本量与重复次数（context extraction 每指令采样 10 次除外），也未报告人工评估。

   收起这一问

6. 06总结一下论文的主要内容

   从零预训练实验证明：0.1% 预训练投毒即可让三种攻击穿透 SFT+DPO，DoS 甚至只需 0.001%。

   一篇预训练数据投毒的实证研究，回答"攻击者控制少量预训练数据能否操纵对齐后的聊天模型"。

   • 问题：已有工作证明 web 规模投毒可行、post-training 投毒有效，但预训练投毒能否影响模型并在对齐后存留是开放问题。
   • 方法：用 OLMo 流程在 1000 亿 token（Dolma 的 5%）上从零预训练 604M–7B 模型，以 0.1% 预算注入四种攻击（DoS、context extraction、jailbreaking、belief manipulation），投毒文档伪装成五种他厂模型的对话模板，再按 Llama-3 配方做 SFT+DPO。
   • 结果一：DoS 攻击带触发词时，对齐后投毒模型对最高 100% 的提示生成 gibberish（PPL>100，Figure 3）；无触发词时与干净模型不可区分（Figure 4）。
   • 结果二：>1B 的投毒模型在 context extraction 上泄漏超过手工攻击下的干净模型，且模型越大越易受攻击（Figure 5）。
   • 结果三：belief manipulation 无需触发词，在产品与事实比较上都产生一致偏向（Figure 7）。
   • 结果四：jailbreaking 未通过 Llama-Guard-2 检测出存留，与 sleeper agents 的发现相反；但触发词仍使模型行为退化（Figure 6、10）。
   • 结果五：DoS 在 0.001% 投毒率下仍存留，0.01% 与 0.1% 效果相近（Figure 8）。
   • 作者结论：仅投毒 0.1% 预训练数据即可让四种攻击中的三种可测量地穿透后训练；作者估计仅靠篡改 Wikipedia 即可投毒整个预训练集的 0.27%，认为该预算实际可达；并建议以良性后门作 canary、未来研究过滤防御与训练时长的作用。

   收起这一问

相关论文