量化神经语言模型中的记忆现象

核心问题：大语言模型到底记忆了多少训练数据，记忆量如何随模型规模、数据重复次数和提示上下文长度变化？

• 为什么重要：作者称记忆训练数据损害隐私（暴露用户数据）、降低效用（易记忆的重复文本往往质量低）、损害公平性（部分文本比其他的更易被记忆）。训练数据提取攻击已被证明是现实威胁。
• 现有工作的不足：作者称已有攻击只给出松散下界——Carlini et al. (2020) 在 GPT-2 上人工找到 600 条记忆样本，仅证明 40GB 数据集中至少 0.00000015% 被记忆；且以往研究多固定模型或数据集规模，缺乏跨规模、跨模型家族的定量理解。
• 核心观察：作者发现记忆随三个因素呈对数线性增长——模型规模（同家族内更大模型记忆多 2-5 倍）、数据重复次数、提示上下文长度；但跨模型家族泛化时情况更复杂。
• 论文的贡献：利用对三个模型家族（GPT-Neo/J、T5、OPT）原始训练集的访问，用训练集前缀提示模型并检查逐字复现，给出比以往精确数量级的记忆量界限，估计 GPT-J 6B 至少记忆 The Pile 的 1%。

训练数据提取攻击

• Carlini et al. (2020)、Ziegler (2021)——演示从语言模型中提取 URL、电话号码等记忆数据；作者指出这些工作是定性的，只证明可提取数据的存在，未精确量化记忆量，如 Carlini et al. (2020) 在 GPT-2 上仅找到 600 条。
• Carlini et al. (2019)、Henderson et al. (2018)、Thakkar et al. (2020)、Thomas et al. (2020)——通过注入"canary"研究记忆。

隐私攻击与防护

• Shokri et al. (2017)、Yeom et al. (2018)——成员推理攻击；Ganju et al. (2018)、Fredrikson et al. (2015)——属性/模型反演攻击。作者称本文聚焦提取攻击，因其与语言模型最相关且随数据重复增长（Lee et al., 2021）。
• Dwork et al. (2006) 的差分隐私：作者指出其保护单用户数据，但无法防止高重复数据的记忆，且差分隐私训练算法计算昂贵、收敛慢、效用差（Abadi et al., 2016；Anil et al., 2021）。

记忆的定义

• Feldman and Zhang (2020)、Zhang et al. (2021) 的反事实记忆、Carlini et al. (2019) 的 exposure、Carlini et al. (2020) 的 k-eidetic 记忆：作者称这些定义需训练成百上千个模型或每条样本数千次生成，对大模型不实用，因此本文采用更可操作的"可提取"定义。

并发工作与缩放假设

• Kandpal et al. (2022)（并发工作）——研究记忆与数据重复的关系，但关注解释攻击为何成功；作者称本文用训练数据前缀显式提示，测量最坏情况下的记忆。
• 缩放证据来源：模型规模（Zhang et al., 2017；Carlini et al., 2020）、数据重复（Lee et al., 2021）、上下文长度（Carlini et al., 2020；Ziegler, 2021）。

基线与数据：GPT-2 家族作为未在 The Pile 上训练的对照基线；基准为 The Pile（825GB）与 C4（806GB）。作者称本文是对大模型记忆的首项全面定量分析（"the first comprehensive quantitative analysis"），目标是把记忆量的界限收紧到数量级精度。

整体思路：利用对模型原始训练集的访问，用训练数据的前缀提示模型，检查模型能否逐字补全后缀，从而在三个模型家族上系统测量记忆量。核心定义是可提取性（extractable）。

记忆的定义

• Definition 3.1：字符串 s 对模型 f 在 k token 上下文下可提取，当存在长度 k 的前缀 p，拼接 [p || s] 出现在 f 的训练数据中，且 f 在贪心解码下对 p 输出 s。
• 选择理由：作者称该定义更可操作——差分隐私下界或反事实记忆需训练成百上千个模型，exposure 需每条样本数千次生成，k-eidetic 记忆不适合用训练数据提示来收紧界限。
• 全文使用贪心解码，并在第 4.1 节验证解码策略对结果影响不大。

评估数据的构造

• 理想做法的代价：对训练集每条序列都测试代价过高——作者估算 6B 模型在 V100 上每秒约生成一个 100 token 序列，测完 800GB 数据需超过 30 GPU 年。
• 均匀随机子集：约 50,000 条序列，用于估计绝对记忆量；但因重复频率衰减快，均匀样本几乎不含高重复样本，无法测量重复分布的尾部。
• 重复归一化子集：对每个长度 l ∈ {50, 100, …, 500} 和整数 n，选取在训练集中出现 2^(n/4) 到 2^((n+1)/4) 次的序列各 1,000 条，直到凑不齐 1,000 条为止；覆盖从重复 6–8 次到 724–861 次的桶。
• 规模：每个长度收集 50,000 条、共约 500,000 条序列；对长度 l 的序列用前 l−50 个 token 作提示，模型逐字生成后 50 个 token 即判为可提取；50 token 约合 127 字符或 25 个单词。
• 工具：用 Lee et al. (2021) 的后缀数组（suffix array）在 800GB 数据上高效枚举指定重复次数区间的序列（附录 A）。

跨模型家族的适配

• T5（掩码语言模型）：Definition 3.1 不直接适用；改为若模型能用 85% 的可见 token 完美预测被随机遮盖的 15% token，则判该序列被记忆；每条序列只测一组遮盖。
• OPT：训练集与 The Pile 重叠但不相同且经过去重，作者无法访问其原始训练集。

成功判定与替代设置

• 主判定：生成内容与该样本真实后缀完全一致（贪心解码）。
• 替代设置（第 4.4 节、附录 C）：均匀随机采样 100,000 条序列；beam search（100 beams）；宽松判定——生成内容出现在训练集任意位置即算记忆（计算代价高，仅作对照）。

实验设置

• 被测模型：GPT-Neo 家族（125M、1.3B、2.7B、6B，其中 6B 为 GPT-J）；T5 v1.1（77M 至 11B，图中报告 Base/Large/XL 等）；Lee et al. (2021) 的 1.5B 因果语言模型（C4 原版、NearDup 去重、ExactSubstr 去重三个变体）；OPT（125M 至 66B，作者无法访问 175B）。
• 对照基线：GPT-2 家族（未在 The Pile 上训练），用于区分"记忆"与"泛化"。
• 数据集：The Pile（825GB）、C4（806GB）及其去重版本。
• 样本量：主实验为重复归一化子集约 500,000 条（每个长度 50,000 条）；均匀随机子集 100,000 条；每个重复桶 1,000 条。
• 指标：fraction extractable——贪心解码逐字复现 50 token 后缀的序列比例；T5 为完美恢复 15% 遮盖 token 的比例。
• 判定方式：精确字符串匹配，无 LLM 评审；重复次数以后缀数组统计。

主结果

主结果在 Figure 1（重复归一化子集，GPT-Neo/J 在 The Pile 上），正文给出的关键数字：

条件	数值	出处
模型规模扩大 10 倍，记忆增幅	19 个百分点（log-linear 拟合 R2=99.8%）	第 4.1 节 / Figure 1a
GPT-Neo 1.3B 可提取比例	40%	第 4.1 节
GPT-2（相近规模对照）可提取比例	约 6%	第 4.1 节
GPT-J 6B，50 token 上下文	33%	第 4.3 节 / Figure 1c
GPT-J 6B，450 token 上下文	65%	第 4.3 节 / Figure 1c

• 作者称三个因素均呈对数线性关系：更大模型记忆更多、重复越多次越可提取、上下文越长越可提取。
• 作者称 GPT-2 对照组不随规模增长，说明 GPT-Neo 的增长来自真实记忆而非泛化能力；定性分析显示 GPT-2"记住"的多是数字序列、重复 token 等（附录 Figure 15）。
• 作者将上下文效应称为可发现性（discoverability）现象：部分记忆只有在足够长的上下文下才显现。

均匀随机采样与替代设置

• 均匀采样（Figure 2a/2b）：趋势与主实验一致；提取长度 1000 序列的末 50 token，GPT-J 6B 为 7%、GPT-Neo 125M 为 4%、GPT-2 XL 1.5B 为 2%；作者据此估计 GPT-J 6B 至少记忆 The Pile 的 1%（且 GPT-2 XL 不可提取的部分）。
• beam search（Figure 2c 左）：100 beams 比贪心解码平均多提取不到 2 个百分点，最多 5.6%；两者 45% 的时候生成相同输出。
• 宽松判定（Figure 2c 右）：重复 100 次的样本中，32.6% 的生成出现在训练集任意位置，而只有 15.8% 匹配真实后缀；两种判定最大差 28.4%（重复 2,200 次处）；因计算代价高未用于主实验。

复现实验：T5、去重数据、OPT

• T5（Figure 4a/4b）：规模趋势成立，但绝对记忆量比同规模因果模型低一个数量级——T5-XL 3B 对重复 100 次的序列记忆 3.5%，而 GPT-Neo 2.7B 为 53.6%（150 token 上下文）。重复次数与记忆的关系非单调：重复 138–158 次的序列记忆率至少 6.2%，高于重复 159–196 次的不足 5.1%（均为 99.7% 置信）；作者定性发现 138–158 次桶中多为空白字符序列，更易预测。
• 去重 C4（Figure 4c）：重复低于 35 次的序列，精确去重模型记忆 1.2%，未去重为 3.6%，下降 3 倍（p < 10^-15）；但对重复超过约 100 次的序列去重无效，重复至少 408 次的序列可提取性统计上更高。作者推测去重在大规模数据上必然不完美。
• OPT（Figure 7）：规模趋势与 GPT-Neo 几乎相同，但效应小几个数量级——66B 的 OPT 对 The Pile 样本的记忆比例低于 125M 的 GPT-Neo。作者给出两种可能解释（数据整理降低了记忆，或数据分布轻微偏移改变了记忆内容），并称没有原始训练集无法区分。

其他消融与分析

• 序列长度（附录 B，Figure 5）：在相同重复次数、同一 6B 模型下，100–500 token 长度的序列在各提示长度上的可提取比例曲线几乎完全重合，作者称更长序列并不更易提取。
• 模型间独有记忆（附录 D，Table 1）：6B 记忆 14,792 条，其中 10,273 条 125M 未记忆；125M 记忆 4,812 条，其中 293 条 6B 未记忆——每个模型都有独有记忆。
• 定性示例（Figure 3、附录 F）：仅 6B 记住的样本中，小模型输出主题相关但语义错误；所有模型都记住的多为代码、开源许可证等；仅 125M 记住的样本 35 条，仅 6B 记住的 2,860 条。
• 负面/例外：重复数千次但未被 6B 记住的样本（Figure 14）多为仅有语义无关差异的文本（注释符、模板值、错误信息等）；T5 上重复-记忆关系非单调（见上）。

作者指出的局限与后续方向

• OPT 结论不可判定（第 5.3 节）：没有 OPT 原始训练集，无法区分"仔细的数据整理和训练可以降低记忆"与"数据分布轻微偏移改变记忆内容"两种解释，作者希望未来工作解决。
• 审计依赖训练数据提示（第 4.3 节）：作者称正确审计大模型可能需要训练数据前缀提示，目前没有在不给定长上下文的情况下识别记忆尾部的技术，改进这一点是未来工作。
• 去重不能彻底防泄漏（第 4.2、5.2 节）：少量重复时记忆仍发生；对重复超过约 100 次的序列去重无效，作者推测任何可扩展到数百 GB 的去重策略必然不完美。
• 定义的可迁移性（第 3.1 节）：作者称未来工作可探索三条缩放规律是否适用于其他记忆定义。
• 更大模型的推断（第 6 节）：现有前沿模型参数量超过所测 6B 模型的 200 倍，作者认为更大模型可能记忆仅重复少数几次的序列，实际提取需要全新的攻击策略。
• 20B GPT-Neo 变体未纳入（第 4 节脚注）：其训练设置和分词器不同，难以应用本文方法。

实验覆盖范围

• 被测模型共四个家族：GPT-Neo/J（125M–6B，4 个规模）、T5 v1.1（77M–11B）、Lee et al. (2021) 的 1.5B 模型（3 个去重变体）、OPT（125M–66B，175B 未测）。
• 数据集为 The Pile（825GB）与 C4（806GB）及其两个去重版本；主实验样本约 500,000 条（重复归一化），均匀随机子集 100,000 条，每重复桶 1,000 条。
• 解码策略覆盖贪心解码与 beam search（100 beams）；作者明确不做随机采样实验，因其目标是最大化可发现性而非文本新颖性。
• 判定方式为精确匹配真实后缀；宽松判定（生成出现在训练集任意位置）仅作对照，未用于主实验。
• 论文未报告每次测量的重复运行次数（T5 遮盖只测一组）；除 T5 重复桶（99.7% 置信）和去重对比（p < 10^-15）外，主实验未报告统计显著性检验。

这是一篇量化大语言模型训练数据记忆的分析论文（ICLR 2023），作者称这是对大模型记忆的首项全面定量分析。

• 问题：已有提取攻击只给出松散的记忆下界（如 GPT-2 上 600 条），且缺乏跨规模、跨模型家族的定量理解；记忆带来隐私、效用和公平性风险。
• 方法：定义"可提取"——用训练集中长度 k 的前缀提示，贪心解码逐字复现后缀即算记忆；在约 500,000 条按长度（50–500 token）和重复次数归一化采样的序列上测量，用后缀数组高效定位指定重复次数的序列。
• 规模效应：GPT-Neo 家族内模型扩大 10 倍，可提取比例增加 19 个百分点（log-linear 拟合 R2=99.8%）；未在 The Pile 上训练的 GPT-2 对照仅约 6%（GPT-Neo 1.3B 为 40%），作者据此认为增长来自记忆而非泛化。
• 重复与上下文效应：重复越多次越可提取，但少量重复时记忆仍发生；GPT-J 6B 在 50 token 上下文下可提取 33%，450 token 时升至 65%——作者称之为可发现性现象。
• 总量估计：均匀采样下 GPT-J 6B 对长度 1000 序列的提取率为 7%，作者估计其至少记忆 The Pile 的 1%。
• 跨家族复现：T5 规模趋势成立但绝对记忆低一个数量级（T5-XL 3B 对重复 100 次序列记忆 3.5%，GPT-Neo 2.7B 为 53.6%）；去重 C4 模型对重复低于 35 次的序列记忆从 3.6% 降到 1.2%，但对重复超约 100 次的无效；OPT 趋势相同但效应小几个数量级，原因无法判定。
• 作者结论：记忆比以往认为的更普遍，且随模型继续变大可能更严重；去重是可行的缓解手段但不彻底；实际提取这些记忆需要全新的攻击策略，隐私审计可能需要训练数据提示。