通过概率提取测量语言模型中的记忆

1. 01这篇论文试图解决什么问题？

   作者认为贪心采样的一次性 discoverable extraction 判定不可靠，提出概率化度量 (n, p)-discoverable extraction。

   核心问题：如何可靠度量 LLM 训练数据的提取风险——现有 discoverable extraction 用贪心采样做一次是/否判定，作者认为它忽略了现实采样中的非确定性，会低估提取率。

   • 问题场景：LLM 会记忆训练数据，可能在生成时被提取出敏感信息；新模型技术报告常报告训练数据提取率，最常用的是 discoverable extraction：把训练样本切成前缀和后缀，用前缀提示模型，贪心采样生成匹配后缀即判定可提取。
   • 现有方法的不足：作者指出该定义对单次查询给出是/否结论，不考虑非确定性采样方案下同提示词会产生多种输出；只生成一次可能漏掉多查几次就能命中的情况，且对能外部验证敏感信息（如信用卡号）的对抗者来说，多次尝试中成功一次就已构成问题。
   • 核心观察：非确定性采样下，许多目标一次查询几乎不保证生成（p=1），但足够多次尝试（n>1）后可能至少生成一次；n 与 p 存在可直接换算的关系，因此可以用一次查询近似整个 (n, p) 提取率。
   • 论文提出：(n, p)-discoverable extraction——量化对抗者在给定采样方案下需查询多少次 n 才能以概率 p 至少一次提取目标序列；并给出一次查询的高保真近似、非逐字匹配的扩展 (ϵ, n, p) 版本，以及跨模型、采样方案、数据重复次数的基准测量。
   • 威胁模型：
     • 目标：以概率 p 在 n 次查询内至少一次逐字（或 ϵ 距离内）生成目标训练样本后缀。
     • 知识：作者称研究的是相对良性的对抗者——仅 API 访问、有限 side information；知道目标前缀（论文用训练样本前 50 个 token 作提示）。
     • 能力：可用同一前缀多次查询模型，并可选择非确定性采样方案（如 top-k）。
     • 受害系统：开源权重的 Pythia、GPT-Neo、Llama、OPT 等语言模型。

   收起这一问

2. 02有哪些相关研究？

   论文与四类工作相关：discoverable extraction 度量、采样方案、其他记忆化定义、概率化提取的并行工作。

   Discoverable extraction 及其变体

   • Carlini et al. (2021, 2022)、Nasr et al. (2023)——提出并发展了 discoverable extraction 的定义，本文的定义在其基础上改写；Carlini et al. (2022) 测试 50–500 token 的前缀、以生成后续 50 token 判定提取，并额外分析了 beam search 下的一次性提取。
   • Biderman et al. (2023)——将前缀和后缀都设为 32 token 的实例化。
   • 各模型技术报告（PaLM 2、Gemini、Gemma、Llama 等）——例行报告基于贪心采样的训练数据提取率；作者指出这些报告依赖贪心一次性判定，所得提取量可能与终端用户实际看到的有出入。

   采样方案

   • Fan et al. (2018)（top-k）、Basu et al. (2020)（Mirostat）、Vijayakumar et al. (2016)（diverse beam search）——非贪心采样方案，用于增加输出多样性。
   • Carlini et al. (2022) 认为高随机性采样方案与最大化 discoverable extraction"相悖"；作者则认为这类方案更适合识别现实多次查询场景下的提取。

   其他记忆化与提取定义（附录 B）

   • Carlini et al. (2019)——canary 记忆化与 rank perplexity：按困惑度排序候选 canary，排名对应对抗者所需猜测次数；作者指出其（偏斜）高斯近似假设不适用于本文不限格式的训练样本（Figure 9）。
   • Brown et al. (2021)、Feldman and Zhang (2020)、Zhang et al. (2023)——信息论与反事实记忆化定义；作者指出估计这些量需要训练大量模型（Zhang et al. 经子采样仍需数百个），在 LLM 设置下不可行。
   • Schwarzschild et al. (2024) 等——把记忆化视为压缩，用生成目标所需最短提示长度衡量；作者认为该定义与本文关注的普通用户提取风险不对齐。
   • Kassem et al. (2024)、Wang et al. (2024)——用提示工程（LLM 搜提示、软提示）提取训练数据；作者指出这类方法需为每个目标优化多个提示，计算成本高于本文方法。

   概率化提取的相关工作

   • Tiwari and Suh (2025)——在本文之后不久发表，同样研究不同采样策略和模型（Llama、OPT）下的提取概率及非逐字扩展；作者指出本文的区别在于给出 n 与 p 的一次查询换算关系，并验证了测得的是真实记忆化而非碰巧生成。
   • Kim et al. (2023)（ProPILE）、Nakka et al. (2024)（PII-Compass）——PII 泄漏的概率化度量与多次查询实验；作者称 Nakka et al. 的多次查询分析与其类似但范围有限。
   • Stock et al. (2022)——用 Rényi DP 防御重构攻击，用期望而非概率 p 分析。

   基线与基准：论文的对照是传统的贪心采样 discoverable extraction（Definition 2.1）；测量在 The Pile 的 Enron、Wikipedia、GitHub 子集及 Common Crawl（Llama/OPT 的代理）上进行，各 10,000 条样本。

   作者将本文定位为：把 discoverable extraction 从一次性是/否判定放松为连续的风险度量，且不需额外计算开销。

   收起这一问

3. 03论文如何解决这个问题？

   把提取判定放松为"n 次查询内以概率 p 至少一次生成目标后缀"，并用一次前向计算换算 n 与 p。

   整体思路：将 discoverable extraction 从单次贪心判定放松为概率度量 (n, p)-discoverable extraction，并推导出 n 与 p 的换算关系，使测量无需额外查询开销。

   问题形式化

   • 训练样本 z 切成 a 长度前缀 z1:a 和 k 长度后缀 za+1:a+k；fθ 为模型，gϕ 为采样方案。
   • Discoverable extraction（Definition 2.1）：以前缀为提示，若 (g_ϕ ∘ f_θ)^k(z_1:a) = z_1:a+k 即生成序列逐字匹配目标，则判定可提取；这是对单次查询的是/否判定。
   • (n, p)-discoverable extraction（Definition 3.1）：若 n 次独立查询中至少一次生成目标后缀的概率不低于 p，则 z 是 (n, p)-discoverably extractable；n=p=1 时退化为传统定义。作者指出这也可看作模型与采样方案共同为真实训练样本提供 n 大小的匿名集。

   n 与 p 的换算：一次查询近似

   • 设 pz 为单次采样生成目标后缀的概率，则 z 是 (n, p)-discoverably extractable 当且仅当 n ≥ log(1−p)/log(1−p_z)；固定 p 可求 n，反之亦然，期望意义下 n = ⌈1/pz⌉。
   • 一次查询计算 pz：逐 token 把 z 喂给模型，取每个位置经采样方案 gϕ 后处理（如 top-40 截断、归一化、按 T=1 重加权）后的条件对数概率并求和，得到整序列在 fθ 与 gϕ 下的对数似然（附录 C.3）。
   • 同一过程还可用同一次查询任意改变前缀/后缀长度（改求和下标即可），无需重新查询。
   • 验证：对 Pile Wikipedia 子集 250 条样本、Pythia 6.9B，用 n=1000 次采样得到的经验 p 与公式换算的理论 p 对比，作者报告两者吻合（Figure 2）。

   n 和 p 如何选取

   • 作者刻意不规定具体阈值，认为合理取值取决于要提取的信息类型（如通用短语与 PII 的容忍度不同），并把这种灵活性视为优点。
   • 一种思路是按对抗者计算预算设阈值：保证 n 大于预算即可控制风险，实践中可通过 rate limiting 实现。

   非逐字扩展

   • (ϵ, n, p)-discoverable extraction（Definition 3.2）：生成后缀落在目标后缀 ϵ 距离内的集合 Sϵ 中即算提取，距离函数 dist 与 ϵ 由使用者选择。
   • 附录 D 以 Hamming 距离为例：直接枚举代价高（ϵ=1、50 token 后缀、|V|=32,000 时有 1,600,000 个候选后缀），且无一次查询的闭式换算；可用 n 次采样中落在 ϵ 距离内的比例 p̂zϵ 近似。

   评测方式

   • 主实验用 top-k 采样（k=40, T=1），对照贪心采样的一次性提取率；前缀 50 token、后缀 50 token（沿用 Carlini et al. 2021 的设置）。
   • 样本为 The Pile 中 Enron 子集的 10,000 条样本；附录含 Wikipedia、GitHub 子集及 Llama/OPT 的 Common Crawl 代理数据（各 10,000 条）。

   收起这一问

4. 04论文做了哪些实验？

   在 Pythia、GPT-Neo、Llama、OPT 上测量 (n,p) 提取率：作者称贪心低估随模型变大而加剧，2.8B 最大率 9.04% 对贪心 1.3%。

   实验设置

   • 被测模型：Pythia 1B/2.8B/6.9B/12B、GPT-Neo 1.3B（均训练于 The Pile）；附录另有 Llama 7B/13B、OPT 350M/1.3B/2.7B/6.7B（训练数据不完全公开，用 Common Crawl 作代理，作者预期提取率估计偏低）。
   • 数据：The Pile 的 Enron、Wikipedia、GitHub 子集各 10,000 条；验证实验用 TREC 2007 Spam 的 10,000 封邮件作未见测试数据。
   • 协议：前缀 50 token、后缀 50 token；主实验采样方案为 top-k（k=40, T=1），附录 F 另测 top-q 与温度采样。
   • 指标：(n, p)-discoverable extraction rate（一次查询加 Equation (2) 换算；Figure 2 除外）与贪心 discoverable extraction rate 对照。
   • 判定方式：逐字匹配目标后缀；无 LLM 评审。
   • 重复次数：论文未报告实验重复次数或置信区间。

   主结果

   不同 n、p 下 (n, p) 提取率与贪心率对照（Enron 10,000 条，top-k k=40, T=1；据 Figure 3、4、5、11）：

   表格较宽，可左右滑动

   模型	贪心率	最大 (n,p) 率	出处
   Pythia 1B	0.76%	未报告	Figure 5（贪心率见 4.2 节）
   Pythia 2.8B	1.3%	9.04%	Figure 3a、4
   Pythia 12B	3.07%	16.07%	Figure 3b、11b
   GPT-Neo 1.3B	低于 Pythia 1B	未报告	Figure 5

   • 作者称在每个实验中都存在使 (n, p) 率超过贪心率的 n、p 设置；p=0.1 时即使 n 很小，(n, p) 率也高于贪心率，且差距随 n 增大而增大。
   • 作者称高 p、小 n 时贪心反而高估：Pythia 2.8B 在 p=0.999 时 (n, p) 率要到 n>169 才接近贪心率，p=0.5 时要 n>17。
   • 作者称跨模型比较会反转：Pythia 1B 贪心率高于 GPT-Neo 1.3B，但同一 p 下每个 n 的 (n, p) 率都是 GPT-Neo 1.3B 更高（Figure 5）。

   模型规模与数据重复

   • 模型规模：Pythia 1B/2.8B/12B 贪心率分别为 0.76%、1.3%、3.07%（4.2 节）；贪心率与最大 (n, p) 率的差距 2.8B 为 7.74 个百分点、12B 为 13 个百分点（Figure 11）；p=0.9 时超过贪心率所需查询数 1B 为 n=150、12B 为 n=40。
   • 重复次数：在 Pile 中重复出现的电话号码上（Pythia 2.8B，重复次数分桶 1-5、6-10、11-50），(n, p) 率超过贪心率且差距随重复次数变宽（Figure 6）；图中只标了分桶和图例（greedy、n=1/10/100, p=0.1），未标具体数值。
   • 作者称这些结果与既有文献中"更大模型、更多重复更易提取"的趋势一致，且低估程度对大模型和高重复数据更严重。

   有效性验证：训练数据 vs 测试数据

   • 测了什么：检验大 n、小 p 是否过于宽松——模型可能只是碰巧生成目标后缀而非真正记忆（Pythia 2.8B，Enron 训练数据 vs TREC 2007 Spam 测试数据，Figure 7）。
   • 结果：所有 p 下测试数据生成率都低于训练数据提取率；p=0.1 时测试数据生成率在 n>50,000 前实际为 0%，即使 n 很大也不到 1%，而训练数据提取率超过 5%；p=0.9 时 500,000 次查询后测试数据生成率为 0.3%，训练数据 (n, p) 提取率为 4.4%。
   • 作者解读：生成未见测试数据所需查询数比提取训练数据高几个数量级，作者认为这支持其 (n, p) 测量中的匹配几乎确定来自记忆化。

   其他消融与分析

   • 采样方案（附录 F，Figure 12）：Pythia 2.8B、Enron 上变化 top-k 的 k、top-q 的 q、温度 T；一般更小的 k、q、T 对应更低提取率，但无严格排序，多数超参设置下提取率仍高于贪心率。
   • 更多 Pythia 规模（附录 E，Figure 10）：1B/2.8B/6.9B/12B 在 Enron 上，作者称多数 n、p 下参数量翻倍提取率约翻倍。
   • 其他数据集（附录 H）：Pythia 在 Wikipedia（Figure 14）上提取率低于 Enron，在 GitHub（Figure 15）上高于 Enron；GitHub 上 Pythia 6.9B 在所给 n、p 下提取率低于 2.8B，是规模趋势的例外。
   • Llama/OPT（附录 H，Figure 16、17）：Common Crawl 代理数据上，Llama 13B 高于 7B，OPT 6.7B 高于相近规模的 Llama 7B；两者提取率均低于相近规模 Pythia 在各子集上的提取率（注意代理数据可能不在训练集中）。
   • 后缀概率分布（附录 G，Figure 13）：Pythia 2.8B、Enron 上 top-k 与 top-q 采样下约 9,000 条后缀概率为 0；T=1 随机采样下约 250 条目标后缀在 n=100 内几乎确定被采到。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出对抗者模型较良性、未区分目标敏感类型；实验以 Pythia 为主，Llama/OPT 用代理数据。

   作者指出的局限与后续方向

   • 对抗者能力有限（Section 6）：作者称研究的是相对良性的对抗者——仅 API 访问、有限 side information，更强对抗者的研究留待其他工作。
   • 未区分目标类型（Section 6）：论文不区分提取不同敏感程度的目标序列，作者认为 PII 等更敏感目标的提取率应单独测量。
   • PII 仅粗略涉及（Section 6）：仅在测重复次数时用了电话号码，不同类型 PII 和其他敏感目标的提取率留待未来工作。
   • 不限于记忆化（Section 5）：作者提出未来可把该度量用于测量模型输出任意目标序列（如有害内容）的风险。
   • 度量随攻击演进（Section 6）：作者称提取本身难以测量，度量会随新攻击（如 Nasr et al. 2023, 2025; Su et al. 2024）的出现而改进。

   实验覆盖范围

   • 被测模型为 GPT-Neo 1.3B、Pythia（1B/2.8B/6.9B/12B）、Llama 1（7B/13B）、OPT（350M/1.3B/2.7B/6.7B），共 11 个，均为开源权重模型（附录 C.1）。
   • 训练数据提取测量覆盖 The Pile 的 Enron、Wikipedia、GitHub 子集（各 10,000 条）；Llama 和 OPT 用 Common Crawl 10,000 条作代理，作者说明这些样本可能不在其训练集中、提取率估计预期偏低（附录 C.2）。
   • 采样方案覆盖 top-k、top-q（nucleus）、温度采样及贪心对照；主文结果为 top-k（k=40, T=1）（附录 F）。
   • 前缀/后缀长度固定为 50/50 token；非逐字扩展 (ϵ, n, p) 只给出定义和近似算法，无论文内实验结果（Section 3.3、附录 D）。
   • 论文未报告实验重复次数、置信区间或统计显著性检验；n、p 阈值的具体取值由作者刻意留给使用者（Section 3.2）。

   收起这一问

6. 06总结一下论文的主要内容

   作者提出概率化提取度量 (n, p)-discoverable extraction，一次查询即可计算；作者称贪心一次性判定会低估提取风险。

   一篇关于 LLM 训练数据记忆化度量的论文：针对 discoverable extraction 用贪心采样做一次是/否判定的惯例，作者提出概率化替代指标。

   • 要解决的问题：贪心一次性判定不考虑非确定性采样和多次查询，作者认为它既可能低估（多查几次就能提取的情况）也可能高估（高 p、小 n 时）终端用户实际遇到的提取风险。
   • 方法要点：(n, p)-discoverable extraction——n 次独立查询中至少一次逐字生成目标后缀的概率不低于 p 即判定可提取；利用 n ≥ log(1−p)/log(1−pz)，一次前向计算目标后缀概率 pz 即可换算任意 n、p，无额外开销；另有非逐字扩展 (ϵ, n, p)。
   • 主要结果：
     • Pythia 2.8B、Enron（top-k k=40, T=1）：贪心率 1.3%，最大 (n, p) 率 9.04%（Figure 3a、4）。
     • Pythia 12B：贪心率 3.07%，最大率 16.07%，低估差距随模型变大而扩大（Figure 3b、11b）。
     • 跨模型比较反转：Pythia 1B 贪心率高于 GPT-Neo 1.3B，但 (n, p) 率相反（Figure 5）。
     • 重复数据上 (n, p) 率与贪心率的差距随重复次数变宽（Figure 6，电话号码）。
     • 验证：Pythia 2.8B 在 TREC 2007 Spam 测试数据上的生成率远低于训练数据提取率（p=0.9、50 万次查询后 0.3% 对 4.4%），作者认为这支持测量到的是记忆化（Figure 7）。
   • 作者的结论与启示：作者称该度量在不增加计算成本的前提下给出更细致的提取风险刻画，n、p 可按数据敏感度和对抗者预算（如配合 rate limiting）灵活设定；依赖贪心率的模型发布报告可能给出与终端用户实际体验不同的提取量。作者同时说明只研究了仅 API 访问的良性对抗者，未区分目标敏感类型。

   收起这一问

相关论文