跳到正文
原文

信息引导法识别专有大语言模型中的训练数据印记

Information-Guided Identification of Training Data Imprint in (Proprietary) Large Language Models

arXiv· arXiv:2503.12072· Abhilasha Ravichander, Jillian Fisher, Taylor Sorensen, Ximing Lu, Yuchen Lin, Maria Antoniak, Niloofar Mireshghallah, Chandra Bhagavatula, Yejin ChoiUniversity of Washington; University of Copenhagen; ChipStack AI; Stanford University本站收录· 2026-10-14· 原文发表攻击

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

信息引导探针在黑盒下识别LLM记住的文本。GPT-4虚构文本Person探针Fβ为82.7,高于LCS的56.9。

威胁模型候选文本已知。对 closed、black-box 模型只做输入输出访问,无权重、logits、token 概率和预训练数据。

问题
商业LLM很少披露训练数据,外部难以核查版权、数据滥用和评测污染。问题是:只有输入输出时,如何判断一段候选文本是否被闭源模型记住。
方法
先用参考模型(BERT,110M)找高 surprisal token,可选地用小指令模型滤掉靠上下文就能猜中的 token,再逐个遮盖,让目标模型填空。虚构文本上,至少重建两个 token 即判为记住。
实验与结果
GPT-4虚构文本Person探针Fβ=0.1为82.7,高于同表LCS的56.9。NYT上GPT-4用Rank+过滤时precision为70.0,GPT-3.5则是LCS更高。GPQA上Prob+IF的污染前后EM差为78.23%。
局限与可以继续做的
作者指出成员定义含糊、方法依赖记忆,且闭源方差与事后过滤会妨碍复现。实验包括GPT-3.5、GPT-4、Llama-2,以及BookMIA、NYT、GPQA、CommonsenseQA、ARC。论文未报告主实验重复次数。
实验设置GPT-3.5 (gpt-3.5-turbo-0125)、GPT-4 (gpt-4-0613) 等 · BookMIA、New York Times Exhibit-J 等 · Precision、Recall 等
威胁模型
候选文本已知。对 closed、black-box 模型只做输入输出访问,无权重、logits、token 概率和预训练数据。以 discoverable memorization 检验:给出样本的一部分,看模型能否恢复被遮住的高 surprisal token。
被测模型
GPT-3.5 (gpt-3.5-turbo-0125)GPT-4 (gpt-4-0613)Llama-2-70BLlama-2 7BLlama-2 13B
基准
BookMIANew York Times Exhibit-JCNN 2023 articlesGPQACommonsenseQAARC-Challenge
指标
PrecisionRecallFβ=0.1Exact Matchreconstruction rate
AI 导读论文提出一种信息引导探针方法,无需访问模型权重或 token 概率,即可识别 GPT-4 等专有 LLM 记住的训练数据。作者指出,商业 LLM 提供商极少披露训练数据细节,限制了版权侵权审查、数据作者权益以及数据污染与数据选择等研究的外部监督。该方法基于一个观察:高 surprisal 的文本段落适合作为记忆探针的搜索材料。通过评估模型能否成功重建文本中的高 surprisal token,可以识别出大量被 LLM 记住的文本。

论文提出一种信息引导探针方法,无需访问模型权重或 token 概率,即可识别 GPT-4 等专有 LLM 记住的训练数据。作者指出,商业 LLM 提供商极少披露训练数据细节,限制了版权侵权审查、数据作者权益以及数据污染与数据选择等研究的外部监督。该方法基于一个观察:高 surprisal 的文本段落适合作为记忆探针的搜索材料。通过评估模型能否成功重建文本中的高 surprisal token,可以识别出大量被 LLM 记住的文本。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    在无权重与token概率的黑盒设置下,判断候选文本是否被闭源LLM记住。

    给定一段文本和闭源 black-box 模型,能否只凭输入输出判断该样本是否被记住。

    • 场景:作者称商业模型很少披露训练数据,外部因此难以检查版权与数据滥用,数据作者难以控制用途,研究者也难以判断泛化与评测污染。文中举例 Gemini 被写成含网页、书籍和代码,Llama-2 被写成来自公开来源且不含 Meta 产品数据。
    • 现有不足:角色名 cloze 假设文本含角色名(Chang et al., 2023)。前缀补全常不逐字生成,因而依赖最长公共子序列等启发式(Karamolegkou et al., 2023a)。作者认为这些测试或绑定体裁,或不够精确。
    • 核心观察:高 surprisal 片段适合做记忆探针。方法前提是:token 若难以只靠上下文重建,成功填回所剩的机制是记忆。
    • 提出的探针:information-guided probes。选出高 surprisal token 做 cloze,用重建率识别被记住的文本,并用于版权内容与评测集污染。
    • 威胁模型
      • 目标:判断给定样本是否可能被记住,而不是从零抽出未知训练文本。
      • 知识:closed、black-box。只有输入和输出,无权重、logits 或 token 概率,也不能访问预训练数据。
      • 能力:提交 cloze 提示,看模型能否重建被遮住的 token。论文称之为 discoverable memorization。
      • 对象:训练数据未公开的 LLM。主实验为 GPT-3.5、GPT-4 与 Llama-2-70B。
  2. 有哪些相关研究?

    相关工作按记忆测试、surprisal、版权与污染、成员推断分组,对照为前缀探测和TS-SLOT。

    无概率访问下的记忆测试

    • Discoverable memorization:Carlini et al. (2022)、Liu et al. (2023)、Chang et al. (2023)、D’Souza and Mimno (2023) 在给出训练样本一部分时,看模型能否恢复其余部分。作者转述 Carlini et al. (2022) 称约 1% 的训练数据可以这样被恢复,并称 cloze 需要角色名等特定特征,前缀补全效果较差。
    • 书籍与诗歌:Chang et al. (2023) 用角色名 cloze 检查 ChatGPT/GPT-4 见过哪些书。D’Souza and Mimno (2023)、Walsh et al. (2024) 分别涉及诗歌记忆与诗歌评测,作者用来说明以往测试常绑定体裁。
    • 前缀补全:Karamolegkou et al. (2023a)、Grynbaum and Mac (2023) 给出文本前缀再比较续写。作者称现代 LLM 可能有 post-training 或输出过滤,因而常不能逐字复现,评测改用最长公共子序列(LCS)。

    Surprisal

    • 信息量:Shannon (1948)、Hale (2001)、Levy (2008) 用上下文条件下的负对数概率表示一个语言单位携带的信息。可预测单位 surprisal 低,意外单位 surprisal 高。
    • 与理解行为的关联:McDonald and Shillcock (2003)、Goodkind and Bicknell (2018)、Oh and Schuler (2023)、Giulianelli et al. (2023) 把 LLM 当作 token surprisal 的估计器,并与人类理解指标对照。作者用同一概念区分“靠上下文重建”和“靠记忆重建”。

    版权、评测污染与成员推断

    • 版权链条:作者把风险放在数据收集(Min et al., 2023; Shi et al., 2023; Chang et al., 2023; Karamolegkou et al., 2023a)、训练(Vyas et al., 2023)和生成部署(Meeus et al., 2024; Ippolito et al., 2023)。Duarte et al. (2024) 的 DE-COP 把黑盒版权检测做成选择题;作者称它面向文档级成员推断,不是本文焦点,且依赖专有 LLM、更贵。
    • 评测污染:Oren et al. (2023)、Golchin and Surdeanu (2023)、Weller et al. (2024)、Xu et al. (2024)、Sainz et al. (2024) 推断测试样本是否进入训练。作者称其中一些方法使用样本顺序等元数据,而本文没有这类元数据。Deng et al. (2024) 的 TS-SLOT 先让 ChatGPT 标出 informative words,再让目标模型猜被遮住的词。
    • 成员推断:Shokri et al. (2017) 及后续的 LOSS、likelihood-ratio、Zlib entropy、curvature、Min-k% 等,靠阈值化成员分数。Duan et al. (2024) 称 LLM 上的成员推断接近随机,部分因为大数据集、少迭代。作者把本文定位为寻找留下强印记的记忆,而不是判定全部成员与非成员。

    数据文档与语料检索

    • 可访问数据:Bender and Friedman (2018)、Gebru et al. (2021)、Liu et al. (2024b) 推动数据文档;Elazar et al. (2024)、Liu et al. (2024a) 做预训练语料的检索与索引。作者称这些工作面向可获得的数据集,本文则在没有数据透明度时从模型侧推断训练数据。

    基线与数据:版权实验对照前缀探测/LCS,以及 Random、Majority;污染实验对照 TS-SLOT。有 token 概率时,另与 perplexity、PPL/ZLib、Min-K% 比较。附录 D 对照 DE-COP。数据为 BookMIA、New York Times 诉讼材料与 CNN 2023 文章、GPQA、CommonsenseQA、ARC-Challenge。

    作者把本文放在只需要输入输出、可由更小语言模型实施的探针上,并称它与前缀探测互补,可用于专有 LLM。

  3. 论文如何解决这个问题?

    用参考模型选出高surprisal token,遮盖后看目标模型能否重建,以此识别记忆。

    整体叫 information-guided probes:先找高 surprisal token,再做成一次只遮一个 token 的 cloze,最后用目标模型的重建率判断该文本是否被记住。Figure 1 把流程画成选 token、构造探针、统计成功重建数。

    探针形式

    • 输入输出:一次遮住一个高 surprisal token,其余上下文保持不变。目标模型只返回填空结果,不需要它的 token 概率。
    • 重建率:对一篇文本,统计目标模型成功重建的高 surprisal token 数。虚构文本上,至少两个成功即把该样本判为记住,以避免单次偶然命中(附录 A)。
    • 提示:附录 B 给出虚构文本、新闻和污染探测的完整提示,以及知识过滤用的提示;其中含指令和上下文示例。这里不复述这些提示的具体约束。

    如何选高 surprisal token

    • 概念:一个 token 的信息量是 I(wt)=−log P(wt|w<t),即可预测性越低,surprisal 越高。
    • 两种实现:负对数概率 Prob,以及排序名次 Rank(wt)=|{x:P(x|hc)>P(wt|hc), x∈ V}|。Rank 数的是有多少词比当前 token 更可能,而不是只看它自己的概率。虚构文本还可直接用领域知识里的角色名(Person)。
    • 参考模型:目标模型不提供概率,所以用二级模型估计 Prob 和 Rank。理想情况是该模型没记住这条样本;作者认为做不到,因此选用低容量基座模型。实验里是 BERT(110M)。作者引用 Carlini et al. (2022),称低容量模型记忆率低得多。
    • 阈值:在留出的 1870 条 BookMIA 上选定,log likelihood < -12,或 rank > 2000。一篇文本若超过 10 个候选,只保留最低概率或最高 rank、且过阈值的 10 个(附录 A)。

    知识过滤

    • 作用:不同模型掌握的事实不同。参考模型给出候选后,可选地让低容量 instruction-tuned 模型在遮盖后重建;能被猜中的 token 被滤掉。
    • 与参考模型的差别:参考模型是基座模型,并提供概率;过滤器是指令模型,按接近最终目标模型的方式做填空。作者写到可以用一个或多个此类模型。
    • 实验中的用法:New York Times 使用 Mistral-V2 与 Alpaca-7B。污染实验使用 Mistral-V2。附录 A 称 NYT 是真实领域,因此额外使用过滤器。

    判定与对照协议

    • 版权文本:虚构作品取段落前 50 个词做前缀探测;NYT 使用诉讼 Exhibit-J 中给出的前缀。续写与原文用 LCS 比较,再在验证集 LCS 上拟合逻辑回归,用于测试集分类(附录 E)。
    • 污染:对照是 TS-SLOT,即先让 ChatGPT 选 informative words,再构造遮盖提示。受控实验把未污染模型微调到目标数据上,比较污染前后的 Exact Match 及其差值。
    • 成员标签:虚构文本的“已记忆”正例是流行书籍段落,负例是 2023 年出版、位于所研究模型知识截止之后的书籍摘录。NYT 正例是诉讼材料中称 GPT-4 记住的文章。这些是数据集设定,不是作者另行核验过的训练集成员关系。
  4. 论文做了哪些实验?

    虚构文本上surprisal探针的Fβ高于LCS;NYT上GPT-3.5相反,GPT-4上Rank探针更高。

    实验设置

    • 目标模型:gpt-3.5-turbo-0125、gpt-4-0613、Llama-2-70B。附录 A 称三者知识截止都在 2023 年之前。Figure 3 另使用 Llama-2 7B 与 13B。Table 4 把受控污染的目标写成 gpt-3.5-turbo,表注写 ChatGPT;论文未直接写明它与 gpt-3.5-turbo-0125 是否为同一检查点。
    • 辅助模型:参考模型为 BERT(110M)。NYT 知识过滤为 Mistral-V2 与 Alpaca-7B;污染实验的过滤器为 Mistral-V2。附录 D 用 Claude-2 为 DE-COP 改写段落。
    • 数据:BookMIA 测试集 8k 条,另留 1870 条调阈值。正例按 Chang et al. (2023) 取流行书籍段落,负例为 2023 年出版的书籍摘录。NYT 为正例 100 篇诉讼 Exhibit-J 文章,负例为 2023 年 CNN 100 篇。GPQA 由生物、物理、化学领域专家撰写,2023 年发布;作者据此把它视为对这些模型不太可能已污染。CommonsenseQA 与 ARC-Challenge 用测试集,论文未写题目总数,只写探针数。
    • 指标:以 precision 为主,即被标为记忆的样本中标签为正的比例;precision 接近时看 Fβ=0.1,它更重视 precision。污染实验报告 Exact Match 和污染前后差值。论文未使用 LLM 评审。
    • 对照:Random、Majority、LCS 前缀探测、TS-SLOT。Llama-2-70B 另与可访问 token 概率的 perplexity、PPL/ZLib、Min-K% 比较。附录 D 在 600 条上比较 DE-COP。
    • 未写明的协议:论文未报告采样温度和重复次数。

    主结果

    虚构文本上的识别结果如下。数字据 Table 2,β=0.1。Random 的 P/R/Fβ 为 50.2/50.5/50.2,Majority 为 49.8/100/50.2,不按模型分开。

    表格较宽,可左右滑动

    模型Person PPerson FβProb FβRank FβLCS Fβ
    GPT-3.583.182.571.969.353.4
    GPT-482.282.781.682.356.9
    Llama-2-70B75.874.660.959.652.9
    • 作者称相对 suffix completion,surprisal token 能更精确地标出三类模型记住的书籍段落;表中的对照行是 LCS。作者的目标是减少被标成记忆的假阳性。
    • 作者称有领域知识时 Person token 信息量高;参考模型给出的 Prob、Rank token 同样可用。Table 1 的例子不限于角色名,也包括虚构地名和异常语境中的常见词。
    • Prob/Rank 的 recall 低:GPT-3.5 为 11.7 与 10.5,Llama-2-70B 为 8.5 与 7.0。GPT-4 上 Person 的 recall 为 75.3,Rank 的 precision 为 82.6(Table 2)。

    纽约时报文章

    正例来自诉讼材料中称已被 GPT-4 记住的 100 篇文章,负例为 2023 年 CNN 100 篇。只测 GPT-3.5 与 GPT-4。下表据 Table 3,省略 Prob 与 Prob+IF。

    表格较宽,可左右滑动

    模型方法PRFβ
    GPT-3.5LCS59.86159.82
    GPT-3.5Rank53.52352.8
    GPT-3.5Rank+IF37.5333.7
    GPT-4LCS46.75046.8
    GPT-4Rank64.74464.4
    GPT-4Rank+IF70.01467.3
    • 被省略的 GPT-3.5 Prob、Prob+IF 的 Fβ 为 50.5、36.7;GPT-4 为 57.7、53.7。同表 Majority 的 Fβ 为 50.3。GPT-4 的 LCS 为 46.8。
    • 作者称截至 2024 年 5 月,诉讼中那种近乎逐字的 NYT 复现已不再出现,并认为可能来自额外 post-training 或输出过滤。
    • 作者称逐字提示在 GPT-3.5 上更好,surprisal token 的正确猜测很少;在 GPT-4 上 surprisal 探针的假阳性更少。知识过滤后 GPT-3.5 的 recall 降到 3 和 4,论文未另给原因。

    数据集污染

    受控实验从作者视为未污染的 GPQA 出发,按 Deng et al. (2024) 微调 GPT-3.5-turbo。数字据 Table 4。

    表格较宽,可左右滑动

    方法未污染 EM污染后 EMΔ#Tokens
    TS-SLOT38.84%88.84%50%448
    Prob16.96%89.51%72.55%448
    Rank12.28%66.07%53.79%448
    Prob+IF6.59%84.82%78.23%258
    Rank+IF7.25%78.64%71.39%207
    • 作者称所有 surprisal 做法的区分度都大于 TS-SLOT,其中低概率 token 加 instruction-filtering 的差值最大。
    • 再探测两个既有测试集(Table 5)。CommonsenseQA 的 EM 为:Llama-2-70B 0.96%/0.0%,GPT-3.5 6.73%/2.33%,GPT-4 4.81%/1.16%。斜线前是低概率探针,后是通过过滤的探针;探针数为 104/86。作者称基本上找不到污染证据。
    • ARC 的 EM 为:Llama-2-70B 11.43%/1.96%,GPT-3.5 24.76%/6.0%,GPT-4 22.86%/13.73%;探针数 105/51、105/50、105/51。作者称在 GPT-4-0613 上看到轻微污染迹象,并举出 “photosynthesis”“HCL” 等被正确填回的高 surprisal token。

    互补性、规模与概率上界

    • 作者称前缀探测、Person 与 Prob 找出的记忆样本彼此不同,因而适合作为一组互补方法。Figure 2 画了 GPT-4 虚构文本上 verbatim 前缀与 surprisal(person、prob)的重叠;正文没有给出重叠计数。
    • Figure 3 比较 Llama-2 7B、13B、70B 恢复高 surprisal token 的比例。作者报告 70B 相对 7B 约多恢复 7 倍,并认为探针在大模型上更可能有效。图中各点的具体比例正文没有另列数字。
    • Table 6 只针对能读取 token 概率的 Llama-2-70B、虚构文本。Min 5% 的 P/R/Fβ 为 99.5/10.0/91.4,PPL 为 96.5/9.7/88.6,Person 为 75.8/29.6/74.6。作者称有概率的方法与 surprisal 方法大约差 17 个 Fβ 点,并主张能拿到概率时用基于概率的成员推断。

    其他消融与分析

    • 附录 D,GPT-3.5,BookMIA 600 条:DE-COP-Passage 的 P/R/Fβ 为 58.38/63.11/58.43,Person 为 85.47/47.57/84.8,Majority 为 51.5/100/51.75。
    • Table 10:TS-SLOT 只保留名词、形容词、动词后,#Tokens 为 442,EM 为 38.91% 与 88.91%,Δ 仍为 50%;重建列与 Table 4 相同。
    • Table 6 其余 Min-K:10% 的 Fβ 为 90.5,20% 为 90.0,30% 为 89.3,40% 为 88.9;PPL/ZLib 为 90.7。
    • 附录 C:作者按符号价格比较成本,并称片段长于 15 个 token 时 DE-COP 更贵;该估计未计入 Claude 改写,也未报告实测美元开销。
  5. 有什么可以进一步探索的点?

    作者指出成员定义含糊、方法依赖记忆,且闭源方差和事后过滤会妨碍复现。

    作者指出的局限与后续方向

    • 成员定义含糊:释义是否算成员、衍生作品是否算、记住多少才算,作者称并不确定所识别文本与训练样本有多接近(Section 9)。
    • 依赖记忆:若模型没有记住训练数据,方法无效。作者认为重建探针可能只对大而强的 instruction-tuned 模型有效,并建议未来做不依赖记忆的探针,例如用稀有或通用 token 校准恢复率(Section 9)。
    • 未用元数据:实验没有使用虚构段落的作者等元数据;作者认为用上之后,识别精度可能提高(Section 9)。
    • 沿用旧数据集:成员与非成员之间可能存在时间差或出现频率差异(Section 9,引用 Duan et al., 2024)。
    • 参考模型:其知识可能不同于被测模型,或已经训练过被探测样本,从而影响高 surprisal token 的分布。文本也可能过于普通而找不到这类 token,或因参考模型限制出现虚假高 surprisal token(Section 9)。
    • 复现与后续:闭源模型有方差,公司也可以用 post-training 规避该方法;专有改动不披露时,未来模型上使用探针可能困难(Section 9)。Section 6 希望有多种互补探针,并研究训练样本如何影响下游行为。附录 H 提出用领域短语、n-gram 或人工标注寻找 surprisal token,以及扩展到 span 或结构。

    实验覆盖范围

    • 主实验目标为 gpt-3.5-turbo-0125、gpt-4-0613、Llama-2-70B;Figure 3 另报告 Llama-2 7B、13B、70B 的 token 恢复比例(Section 4、Section 5)。
    • 虚构文本使用 BookMIA 测试集 8k 条和调参集 1870 条;NYT 实验为 Exhibit-J 的 100 篇加 2023 年 CNN 100 篇,且只报告 GPT-3.5 与 GPT-4(Section 4.1、4.2)。
    • 污染实验先在 GPQA 上微调 GPT-3.5-turbo,再探测 CommonsenseQA 与 ARC-Challenge 的测试集;三个目标模型都有 Table 5 的 EM(Section 4.3)。
    • 对照包括 LCS 前缀探测、TS-SLOT、Random 与 Majority;可访问 token 概率的成员推断只在 Llama-2-70B 上比较;DE-COP 在 600 条 BookMIA 上比较(Table 2、Table 6、附录 D)。
    • 论文未报告主实验的重复次数和采样温度。参考模型为 BERT(110M);NYT 过滤器用 Mistral-V2 与 Alpaca-7B,污染实验过滤器为 Mistral-V2(Section 4、附录 A)。
  6. 总结一下论文的主要内容

    黑盒cloze探针用高surprisal token的重建率识别被记住的文本,虚构文本上Fβ高于前缀探测。

    信息引导探针在只有输入输出时,用高 surprisal token 的 cloze 重建率,判断闭源模型是否记住某段文本。

    • 做法:低容量参考模型 BERT 挑出难预测 token,可选地用指令模型滤掉靠上下文就能猜中的 token,再让目标模型逐个填空。虚构文本上至少填对两个即判为记住。正例标签来自数据集设定,不是另行核验的训练集成员关系。
    • 虚构文本:BookMIA 测试集上,GPT-4 的 Person 探针 Fβ=0.1 为 82.7,LCS 为 56.9;GPT-3.5 为 82.5 对 53.4;Llama-2-70B 为 74.6 对 52.9(Table 2)。Prob 与 Rank 的 recall 往往低得多。
    • 新闻:NYT 100 篇对照中,GPT-4 的 Rank 加知识过滤 precision 为 70.0,LCS 为 46.7;GPT-3.5 上 LCS 的 Fβ 为 59.82,高于 surprisal 探针(Table 3)。作者称截至 2024 年 5 月,这些文章已不再被逐字复现,并认为可能与 post-training 或输出过滤有关。
    • 污染:GPQA 上把 GPT-3.5-turbo 微调成受控污染后,低概率 token 加过滤的 EM 从 6.59% 到 84.82%,差 78.23%,TS-SLOT 的差为 50%(Table 4)。作者称 CommonsenseQA 上基本看不到污染;ARC 上 GPT-4 的 EM 为 22.86% 与 13.73%(Table 5)。
    • 上界与规模:Llama-2-70B 上,可访问 token 概率的 Min 5% Fβ 为 91.4;作者称与 surprisal 方法大约差 17 个 Fβ 点(Table 6)。作者还报告 Llama-2 70B 比 7B 大约多恢复 7 倍高 surprisal token(Figure 3)。
    • 作者的结论:不同探针找出的样本并不相同,因此需要一组方法。作者希望这能提高 LLM 生态中的数据透明度,并让数据贡献者在与系统交互时有更多主动权。

相关论文

共同使用 CommonsenseQA
共同使用 ARC-Challenge
阅读原文arxiv.org