从开放模型中提取对齐数据
Extracting alignment data in open models
作者称用 chat template 前缀可从开源模型提取 SFT/RL 对齐数据,字符串匹配低估记忆率至少 10×,提取数据可再训练恢复部分性能。
攻击者目标是提取开源权重模型的对齐(post-training)训练数据;知识为 open-weight,用户控制 tokenization 和 chat template 前缀;能力是用 chat template 前缀反复采样并用 embedding 向量检索匹配训练集;受害系统为公开训练混合物的开源模型(OLMo 2、Open-Reasoner-Zero)。
- 开源模型的对齐训练数据(SFT/RL 数据)是竞争优势来源,作者研究模型是否会记忆并吐出这些数据,以及字符串匹配指标是否低估了这种泄漏。
- 利用 chat template 特殊 token 只在 post-training 引入这一点,用模板前缀反复采样,再用 gemini-embedding-001 计算 embedding 相似度在训练集中做向量检索,判定近似语义记忆。
- 作者报告字符串匹配下记忆率看似可忽略,embedding 下高得多(称低估至少 10×);OLMo 2 7B 用约 930k 提取样本 SFT 后多数基准接近原始模型,仅 IFE 明显偏低;RL 训练样本也被逐字复述。
- 作者称攻击依赖用户控制 chat template,只适用于开源模型,闭源模型上的威胁留作未来工作;实验只覆盖 OLMo 2(SFT)和 Open-Reasoner-Zero(RL)两个模型家族,embedding 阈值 0.95 为手动选择。
- 威胁模型
- 攻击者目标是提取开源权重模型的对齐(post-training)训练数据;知识为 open-weight,用户控制 tokenization 和 chat template 前缀;能力是用 chat template 前缀反复采样并用 embedding 向量检索匹配训练集;受害系统为公开训练混合物的开源模型(OLMo 2、Open-Reasoner-Zero)。攻击不直接适用于闭源模型。
- 被测模型
- OLMo 2 13BOpen-Reasoner-Zero 7BQwen2.5 7B InstructOLMo 2 7BQwen2.5 7B
- 基准
- OLMo 2 SFT dataset (939k samples)ORZ 57k datasetBBHMMLUMATHGSM8KPOPQATQAIFEDROPAMCMATH500Minerva MathOlympiadBench
- 指标
- embedding similarity scorenormalised Levenshtein similaritynormalised Indel similaritymemorisation ratecoveragebenchmark accuracylikelihood
研究者展示了从经过后训练的开放模型中提取大量对齐训练数据的方法。作者认为,高质量嵌入模型比编辑距离等指标更能识别语义相似,近似字符串匹配会因琐碎伪影把可提取数据量保守低估约10倍。研究发现模型会复述SFT或RL后训练阶段使用的数据,这些数据可用于训练基础模型并恢复相当一部分原始性能。作者称这暴露了提取对齐数据可能被忽视的风险,并指出蒸馏可被视为间接在模型原始数据集上训练。
深度解读
这篇论文试图解决什么问题?
研究开源模型是否会泄漏对齐训练数据,以及字符串匹配指标是否低估了这种泄漏。
核心问题:开源权重模型是否会记忆并吐出其后训练(对齐)数据,使这些有竞争价值的数据可被提取。
- 问题场景与重要性:作者认为,模型开发者靠精心策划的对齐数据(SFT、RL 数据,以及数学、推理、长上下文等定向数据)获得竞争优势;若模型会记忆并复述这些数据,优势本身就有风险。这也关系到蒸馏实践:用强模型输出训练自家模型时,可能间接训练在原始数据上。
- 现有方法的不足:作者指出,以往记忆研究多以精确或近似字符串匹配衡量提取成功,关注隐私和版权风险;这类指标与"语义结构同样有价值"的提取目标不对齐,会漏掉语义等价但字面不同的样本。
- 核心观察与假设:chat template 及其特殊 token 只在 post-training 阶段引入;作者假设用模板作前缀提示模型,就会生成对齐数据,且生成物与训练集的语义接近程度远超预期。
- 论文提出的内容:一套提取流程(模板前缀采样 + embedding 向量检索匹配),用 embedding 相似度替代字符串匹配衡量"近似语义记忆",并验证提取的数据可直接用于再训练另一个模型。
- 威胁模型:
- 目标:从 post-trained 开源模型中提取对齐训练数据(SFT 问答对、RL prompt 等)。
- 知识:open-weight 模型,终端用户控制 tokenization;论文称攻击不直接适用于闭源模型。
- 能力:用 chat template 起始 token 作前缀反复采样(温度默认 1),并用 embedding 模型对训练集做向量检索。
- 受害系统:公开了 post-training 混合物的开源模型(OLMo 2、Open-Reasoner-Zero)。
有哪些相关研究?
相关工作覆盖逐字记忆与提取、非逐字记忆度量、对齐数据合成(Magpie)和蒸馏四块。
逐字记忆与训练数据提取
- Carlini et al. (2021, 2022)、Nasr et al. (2023, 2025)——研究 LLM 逐字记忆与复述训练数据,提出 discoverable extraction 等度量,主要关注隐私与版权风险。论文指出这类工作以字符串匹配判定成功,与本文的语义提取目标不同。
- Hayes et al. (2025b)——提出 probabilistic discoverable extraction,用多次查询的联合似然代替布尔判定。
非逐字记忆度量
- Ippolito et al. (2022)——指出防止逐字记忆会给人虚假的安全感,"style-transfer"可绕过字符串匹配;本文扩展记忆定义时引其作动机。
- Shilov et al. (2024)——提出 mosaic memory,模型可拼接部分重叠片段;Wang et al. (2024)——提出 distributional memorisation,并称推理类任务更依赖泛化;Huang et al. (2025)——提出 Entropy-Memorisation Law。作者称本文在 embedding 定义下测得的记忆率远高于这些工作可能预期的水平,并称与 Wang et al. 不同,本文发现推理类任务中模型也明显利用了对训练数据的记忆。
对齐数据合成与 chat template
- Xu et al. (2024)(Magpie)——用 chat template 前缀提示对齐模型合成对齐数据集,并猜想生成物可能是训练数据。本文推广其提示策略,从记忆角度回答了这一开放猜想。
模型蒸馏
- Hinton et al. (2015)——提出知识蒸馏。作者将蒸馏重新框定为记忆问题:若教师模型能复述其训练数据,学生模型就间接接触了这些数据。
基线与基准:Table 1 的基线是仅用 <|endoftext|> 单 token 前缀;Table 2 的基线是 OLMo et al. (2024) 发布的 SFT checkpoint 及作者用原始数据复现的版本,基准为 BBH、MMLU、MATH、GSM8K、POPQA、TQA、IFE、DROP;RL 部分基线为在 ORZ 57k 数据集上用 Dr. GRPO 训练的模型,基准为 AMC、MATH500、Minerva Math、OlympiadBench。
作者将本文定位为三者的交叉:对齐、记忆与蒸馏,并称其揭示了蒸馏可被视为间接的训练数据提取。
论文如何解决这个问题?
用 chat template 前缀诱导模型吐出对齐数据,再用 embedding 相似度在训练集中检索匹配来度量记忆。
整体思路:利用 chat template 特殊 token 只在 post-training 引入这一事实,用模板起始 token 作前缀反复采样,再用 embedding 模型把生成样本与训练集做语义匹配,从而提取并度量对齐数据泄漏。论文未给该流程起专门名称。
提取流程
- 前缀采样:用 chat template 的起始 token 作前缀生成样本。SFT 实验用 <|endoftext|><|user|>\n,RL 实验用模型开发者发布的对话模板前缀(附录 C 给出完整前缀);温度保持默认值 1。
- 向量检索:用 embedding 模型把整个 post-training 集 embed 成向量搜索引擎;对每个生成样本 embed 后取相似度 argmax,检索可实现为单次矩阵乘法。
- 判定:相似度超过阈值即计为(近似语义)记忆。
近似语义记忆的度量
- Embedding Score:用 gemini-embedding-001 为每个样本生成单个 embedding(去除所有特殊 token,只保留纯文本),embedding 归一化为单位范数,点积即相似度。
- 阈值:手动选定 0.95,作者称这是更保守的选择,该阈值附近的样本在合理人类评判下会无可争议地判为记忆;附录 D、E 给出不同阈值处的随机样本。
- 对照指标:normalised Levenshtein similarity(1 − Levenshtein(A,B)/max(len(A),len(B)),即按较长串长度归一化的编辑相似度)和 normalised Indel similarity;沿用 Comanici et al. (2025) 的 0.9 阈值判定近似记忆。
SFT 数据提取(第 4 节)
- 对象:OLMo 2,其 SFT 阶段数据集含 939k 样本(附录 A 写 939,344 对问答),作者称选它是因为完整训练混合物和细节公开。
- 规模:字符串匹配实验用 100k 生成样本;embedding 实验生成 1M 样本。
- 覆盖率分析:对每个训练样本,报告其与 1M 生成样本的最大 embedding 分数。
RL 数据提取(第 5 节)
- 对象:Open-Reasoner-Zero 7B(从 Qwen 2.5 base 用 PPO 训练,训练数据公开);RL 样本只含问答,推理轨迹是 rollout 产物,故只提取问答部分。
- 似然分析:比较 Qwen 2.5 base 与 RL 后模型对每个 PPO 训练 prompt 的 likelihood,按数量级分桶统计。
提取数据的再训练验证
- SFT:收集约 930k 合成样本(约 850M token,原始 SFT 集约 1.3B token),用 Gemini 2.5 做基本过滤处理,SFT 训练 OLMo 2 7B。
- RL:先用 Dr. GRPO 在 ORZ 57k 数据集上训练 Qwen2.5 7B base 得到 Baseline,再从 Baseline 生成 100k 样本、用 Gemini 2.5 过滤后随机取 57k,训练 Qwen2.5 7B base。
论文做了哪些实验?
在 OLMo 2 和 Open-Reasoner-Zero 上测提取率、字符串匹配与 embedding 的差异,以及提取数据再训练的效果。
实验设置
- 被测模型:OLMo 2 13B(SFT 提取)、OLMo 2 7B(SFT 再训练)、Open-Reasoner-Zero 7B(RL 提取)、Qwen2.5 7B base(RL 再训练与似然对照)、Qwen2.5 7B Instruct(Figure 2 定性示例)。
- 数据:OLMo 2 SFT 集 939k 样本;ORZ 57k 数据集;Open-Reasoner-Zero 训练集 142,770 样本(Figure 8)。
- 生成规模:字符串匹配实验 100k 生成;embedding 实验 1M 生成;前缀对比实验各 1,000 条;RL 提取 100k 生成。
- 判定方式:gemini-embedding-001 计算 embedding 相似度,阈值 0.95(手动选定);字符串匹配阈值 0.9(沿用 Comanici et al. 2025)。
- 评测基准:SFT 再训练用 OLMo et al. (2024) 的 8 个基准及评测流程;RL 再训练用 AMC、MATH500、Minerva Math、OlympiadBench。
- 重复次数:论文未报告。
主结果
SFT 再训练(OLMo 2 7B,据 Table 2):
表格较宽,可左右滑动
模型 BBH MMLU MATH GSM8K POPQA TQA IFE DROP Baseline (SFT only) 0.4953 0.6133 0.2073 0.7407 0.2364 0.4858 0.6562 0.5960 Baseline (Reproduction) 0.4944 0.6123 0.2077 0.7377 0.2529 0.5110 0.6617 0.5945 Extracted Data 0.5161 0.6052 0.1705 0.7847 0.2490 0.5529 0.5028 0.5923 - 作者称复现与发布的 SFT checkpoint 接近,验证了实验设置。
- 作者称用提取数据训练的模型在多数基准上与基线相当,但 IFE 明显偏低,怀疑是流程生成的针对该基准的样本太少,并认为混入定向数据可能改进。
- 作者指出合成集 token 数(约 850M)少于原始集(约 1.3B),因过滤后的生成更短。
字符串匹配 vs embedding
- 字符串匹配下记忆率看似可忽略:Figure 4 显示 100k 生成的 Levenshtein/Indel 相似度分布集中在低分区,按 0.9 阈值判定时记忆率显得 negligible(作者用语)。
- embedding 揭示更高记忆率:Figure 5(1M 生成)显示 embedding 分数分布右移;散点图显示 Levenshtein 与 embedding 分数不对齐,且作者称字符串匹配有长度偏置(越长分数越低)。
- 作者称字符串匹配保守低估至少 10×(摘要与贡献部分),原因是数值、选项等琐碎差异拉低分数;Figure 3 示例 embedding 0.986 vs Levenshtein 0.699。
RL 数据提取与似然分析
- 逐字复述:Figure 7 显示 Open-Reasoner-Zero 7B 逐字输出 RL 训练样本的问题与答案,并自带推理轨迹;作者称这反直觉,因 PPO 目标看似与记忆训练样本不对齐。
- 似然上升:Figure 8 显示 RL 后训练 prompt 的 likelihood 上升,例如阈值 1e-8 处从 base 的 287 个增至 7,101 个,1e-5 处从 18 增至 678;作者称发现有样本从 1e-11 升至 1e-5,机制尚不清楚,留作未来方向。
- RL 再训练:Figure 9 显示用提取的 57k 合成数据以 Dr. GRPO 训练 Qwen2.5 7B base,在 AMC、MATH500、Minerva Math、OlympiadBench 上与用原始 ORZ 57k 训练的 Baseline 相当(图注称"recover most of the performance";转换文本中无具体数值)。
其他消融与分析
- 前缀对比(Table 1,各 1,000 条生成):完整 chat template 前缀平均最佳 embedding 分数 0.892,仅 <|endoftext|> 为 0.857;作者认为这解释了 Magpie 类技术为何可行。
- 覆盖率(Figure 6):部分训练样本比其他的更容易被记忆;作者调查发现若相似样本也出现在 pre/mid-training 数据中,或同一样本的多个版本频繁出现,则更容易被记忆。
- 附录 B:作者提出"accidental gradient alignment"的数学推测,认为即使 loss 掩掉问题部分,条件梯度更新也可能提高问题本身的 likelihood;作者注明这只是推测。
有什么可以进一步探索的点?
作者称攻击只适用于开源模型,闭源模型上的威胁和 RL 记忆机制留作未来工作。
作者指出的局限与后续方向
- 仅适用于开源模型(Conclusion):攻击利用 chat template,闭源模型强制使用模板、用户无法控制;对闭源模型需伪造这些 token 的行为,作者称未来工作将评估这对闭源模型的威胁程度,并引 Geng et al. (2025) 说明这并非不可能。
- RL 记忆机制不明(第 5 节、Conclusion):作者称不清楚 RL 后训练 prompt likelihood 上升的确切机制,留作未来研究方向。
- 提取流程可改进(第 5 节):作者认为更复杂的流程可获得更高性能、更高质量的数据集,因本文聚焦训练样本提取而留作未来方向。
- 阈值选择影响测量(第 3.3 节):embedding 阈值(0.95)为手动选择,选择会影响测得的记忆率;作者指出字符串匹配阈值也有同样局限。
- 似然度量的局限(第 5 节、附录 B):单序列 likelihood 只测"逐点"记忆,可能漏掉模板级记忆;作者认为应对所有合理序列积分,但这很快不可行。
- post-training 记忆的开放问题(附录 A.2):Jagielski et al. (2022) 发现训练后期数据更易被记忆,作者称这一发现是否适用于 post-training 是有趣的开放问题。
实验覆盖范围
- 被测模型为 OLMo 2(7B、13B)、Open-Reasoner-Zero 7B、Qwen2.5 7B(base 与 Instruct),共两个模型家族的提取实验(SFT 用 OLMo 2,RL 用 Open-Reasoner-Zero)。
- 提取实验要求模型公开其 post-training 混合物,作者称这是工作的显著约束(第 3 节)。
- 生成规模为 100k(字符串匹配、RL 提取)和 1M(embedding 实验);前缀对比各 1,000 条。
- embedding 模型只用 gemini-embedding-001;过滤处理用 Gemini 2.5。
- 论文未报告实验重复次数,也未报告人工评估的一致性数据(阈值合理性仅以附录 D、E 的定性示例支撑)。
总结一下论文的主要内容
作者称开源模型会复述对齐训练数据,embedding 度量揭示的泄漏规模远超字符串匹配,且提取数据可再训练。
一篇关于训练数据提取的攻击论文,研究开源权重模型是否会泄漏其有竞争价值的对齐(post-training)数据。
- 问题:对齐数据(SFT、RL 及数学、推理等定向数据)是模型开发者的竞争资产;作者研究模型是否记忆并复述这些数据,并认为主流字符串匹配度量与语义级泄漏不对齐。
- 方法:利用 chat template 特殊 token 只在 post-training 引入这一点,用模板前缀(如 <|endoftext|><|user|>\n)反复采样,再用 gemini-embedding-001 的 embedding 相似度(阈值 0.95)在训练集中做向量检索,判定"近似语义记忆"。
- 度量对比:在 OLMo 2 13B 上,字符串匹配(0.9 阈值)下记忆率看似可忽略(Figure 4),embedding 下分布明显右移(Figure 5);作者称字符串匹配保守低估至少 10×。
- SFT 再训练:用约 930k 提取样本 SFT 训练 OLMo 2 7B,多数基准接近原始模型(GSM8K 0.7847 vs 基线 0.7407),但 IFE 仅 0.5028(基线 0.6562)(Table 2)。
- RL 发现:Open-Reasoner-Zero 7B 逐字复述 RL 训练样本;RL 后训练 prompt 的 likelihood 上升(1e-8 阈值处 287 → 7,101 个,Figure 8);用提取的 57k 数据做 Dr. GRPO 训练在四个数学基准上与原始数据训练的模型相当(Figure 9)。
- 作者结论:模型蒸馏可被视为间接的训练数据提取,开源模型从对齐数据获得的优势存在泄漏风险;攻击仅适用于开源模型,闭源模型上的威胁和 RL 记忆机制留作未来工作。