从开源权重语言模型中提取受版权保护书籍的记忆片段

1. 01这篇论文试图解决什么问题？

   作者试图量化开源LLM对特定受版权保护图书的具体记忆程度，评估其构成侵权复制品或衍生作品的法律与技术风险。

   论文试图解决如何精确测量开源大语言模型对特定受版权保护图书的逐字记忆程度，并阐明其对版权诉讼与法律政策的实际影响。

   • 诉讼双方的技术主张过度简化：原告著作权人指控LLM为侵权复印机，被告科技公司则主张模型仅包含抽象的统计关联而不复制特定作品；作者认为现实情况比这两种两极化主张更复杂。
   • 既有抽取指标无法对应版权侵权要件：以往研究多在随机抽样序列上计算平均抽取率，但版权法评估侵权针对的是特定作品本身；平均指标掩盖了模型对单本图书的完整记忆。
   • 图书记忆存在高度特异性：模型并未记忆所有训练数据，记忆程度在不同模型与不同图书之间存在明显差异；部分作品可能被大量甚至完整记忆。
   • 界定模型权重与生成输出的侵权边界：需要厘清模型权重内部编码受保护表达是否构成版权法意义上的“复制件”或“衍生作品”，以及用户在何种提示条件下能够在输出中实际复原整本图书。

   收起这一问

2. 02有哪些相关研究？

   论文梳理了逐字抽取、概率抽取与版权法交叉研究，作者称既有工作侧重平均抽取率而未量化单本特定作品记忆。

   Group 1: 基于贪婪解码的逐字抽取研究

   • Carlini等（2021, 2023）与Lee等（2022）——提出以训练序列前缀提示模型并检查贪婪解码后缀是否完全匹配的方法，报告更大模型和更多重复训练与更多记忆相关联。作者指出这类方法仅给出二值判断，且依赖贪婪解码会低估非确定性采样下的抽取风险。

   Group 2: 非确定性解码与概率抽取研究

   • Hayes等（2025）——提出概率可发现抽取指标（(n, p)-discoverable extraction），在top-k等随机解码方案下计算模型逐字生成目标后缀的理论概率。作者继承了该概率框架，但将其改造为只需单次前向传播读取logits的实现方式，大幅降低计算开销。

   Group 3: 生成式AI版权与合理使用研究

   • Cooper与Grimmelmann（2024）及Lee等（2023, 2024）——从版权法角度探讨模型权重本身是否满足法定“复制件”定义、提取输出是否构成实质性相似，以及转换性合理使用在开源分发场景下的适用边界。
   • 司法判例与行业观点——Kadrey v. Meta与Bartz v. Anthropic两起诉讼初期裁决认为训练使用可能构成合理使用；被告常援引Author's Guild v. Google（2015）辩称模型类似搜索引擎展示摘要片段。作者指出模型能够被提取出整书长文本，有别于纯粹的内部索引。

   Group 4: 基线方法与基准数据集

   • 基线方法与基准：以贪婪解码可发现抽取和(n, p)-可发现抽取为技术基线；评测基准为包含近20万本图书的Books3语料库（抽样200本）以及Enron数据集。
   • 与既有工作的定位区别：作者称既有工作多在随机样本上测量平均抽取率，而本文建立滑动窗口和覆盖率指标，以量化模型对单本特定图书的具体记忆程度与整书重构可能性。

   收起这一问

3. 03论文如何解决这个问题？

   作者提出基于滑动窗口的单次前向传播概率抽取算法，定义抽取覆盖率指标，并用波束搜索实现单seed prompt整书重构。

   作者提出滑动窗口概率抽取框架，通过重叠切片和单次前向计算单本图书的逐字抽取概率分布，并建立抽取覆盖率指标量化整书受记忆比例；对高记忆图书，结合波束搜索自回归流程实现长文本重构。

   滑动窗口切片与概率抽取流程

   • 重叠滑动窗口切片：对Books3中的待测文本，从起点开始截取100 token窗口（50 token前缀加50 token后缀），随后向前滑动10个字符并重复该过程，每本图书平均每10个字符生成一个待测序列。
   • 单次前向传播计算：利用教师强制（teacher forcing），将100 token序列送入模型进行单次前向传播获取logits，避免多轮自回归生成的计算开销（附录A.3）。
   • 后缀概率公式：在解码方案 ϕ（采用温度 T=1、截断 k=40 的top-k解码）下，序列 z 的50 token后缀 z_a+1:a+j 条件概率定义为各位置条件概率之积：

   p_z \triangleq \prod_{t=a+1}^{a+j} \Pr_{\theta,\phi}(z_t \mid z_{1:t-1}) = \exp\left(\sum_{t=a+1}^{a+j} \log \Pr_{\theta,\phi}(z_t \mid z_{1:t-1})\right) 该公式表示给定前缀下模型逐token严格匹配目标后缀的联合概率。

   • 抽取成功判定：设定保守阈值 τ_min = 0.1%，若 p_z ≥ τ_min 则判定该序列抽取成功。几何平均下每个后缀token的条件概率约为87.1%。

   抽取覆盖率度量标准

   • 覆盖率数学定义：为了量化整本书被记忆的比例，作者定义抽取覆盖率指标：

   \mathrm{coverage}(\tau) = \frac{1}{L} \left| \bigcup_{z: p_z \ge \tau} \mathrm{span}(z) \right| 其中 L 为整部图书的字符总数，span(z) 为抽取概率不低于阈值 τ 的50 token后缀所覆盖的字符索引集合。

   • 设计理由与特性：通过计算满足条件的后缀并集覆盖的字符占比，能消除滑动窗口高度重叠带来的重复计数，反映图书在字符级别被高概率记忆的实际广度（Section 4.2）。

   负面控制与测量有效性验证设计

   • 上下文长度扩展测试：在已知训练图书上测试前缀长度从25扩展至800 token（后缀保持50 token），观察前缀变长是否持续提高条件概率（Section 5.1）。
   • 双重负面控制：其一为采用未在完整版权图书上训练的PHI 4测试Books3图书；其二为采用LLAMA系列模型测试2024年7月训练截止后于2025年出版的4本新书，验证非训练数据不会误报高概率抽取（Section 5.2）。

   单seed prompt长文本重构流程

   • 波束搜索滑动窗口自回归：以图书开篇简短文本作为初始seed prompt，采用波束宽度8、最大上下文窗口3000 token、每次生成50 token的设置（Section 7）。
   • 章节EOS标记处理机制：模型在章节末尾易输出EOS，流程中检测到EOS时将其剔除并替换为格式化的下一章节标题文本（如"CHAPTER TWO"），以促使模型继续自回归生成下一章。

   收起这一问

4. 04论文做了哪些实验？

   论文完成超3000次实验，多数模型对多数书覆盖率<2%，但LLAMA 3.1 70B对Harry Potter达96.27%。

   实验设置

   • 被测模型：共14个开源权重补全模型，包含确认使用Books3训练的LLAMA 1（13B、65B）、LLAMA 2（7B、13B、70B）、LLAMA 3（8B、70B）、LLAMA 3.1（8B、70B）及PYTHIA 12B；疑似使用相关语料的DEEPSEEK V1 67B、QWEN 2.5 72B、GEMMA 2 27B；以及负对照PHI 4（14B）（Section 6.1）。
   • 评测语料与规模：从Books3约20万本图书中选取200本（约占0.1%），其中100本随机抽样，另100本人工选取（涵盖Kadrey诉讼原告作品、知名畅销书、公有领域作品等）；负对照采用2025年出版的4本新书（Table 3与Table 5）。
   • 基线与解码设置：对比贪婪解码发现抽取与基于top-k（T=1, k=40）的概率抽取；全书滑动窗口采用10字符步长切分100 token序列。
   • 指标与判定标准：采用概率抽取指标pz，判定阈值 τ_min = 0.1%；计算抽取覆盖率coverage(τ)；长文本重构采用词级与句级最长公共子串（LCS）匹配度及TF-IDF余弦相似度。
   • 样本量与重复次数：全书滑动窗口实验在200本书上进行394 GPU天评测，总计超3000次实验；平均抽取率实验在4000本书中每本取10个序列（单次4万条），重复运行3次共12万条序列。

   主结果

   表格较宽，可左右滑动

   图书 (Book)	LLAMA 1 65B	LLAMA 2 70B	LLAMA 3.1 70B	QWEN 2.5 72B	PHI 4
   Harry Potter and the Sorcerer’s Stone	34.83%	36.41%	96.27%	58.21%	1.73%
   Nineteen Eighty-Four	67.27%	71.21%	81.19%	30.59%	5.09%
   The Great Gatsby	73.60%	71.82%	88.77%	26.86%	8.71%
   The Alchemist	11.90%	10.75%	49.06%	5.84%	1.04%
   Beloved	1.87%	3.58%	12.54%	1.55%	0.32%
   Sandman Slim	0.32%	0.32%	0.43%	0.38%	0.25%

   据 Table 4（在 τ=0.1% 下图书抽取覆盖率，省略了部分模型）。

   • 记忆程度呈现明显的长尾和特异性分布：作者称对于多数图书和模型，抽取覆盖率低于2%，但在极少数热门图书上呈现高记忆，LLAMA 3.1 70B在Harry Potter上的覆盖率达到96.27%。
   • 同尺寸不同组织及同系列不同世代存在差异：作者指出即使规模相当且均接触过相关语料，LLAMA 1 65B与QWEN 2.5 72B在Harry Potter上的覆盖率分别为34.83%和58.21%；Meta同系列中LLAMA 3.1记忆量普遍高于LLAMA 2与LLAMA 1。
   • 原告图书总体记忆较低但有个例：在Kadrey诉讼涉及的图书中，多数如Sandman Slim覆盖率低于0.5%，但Coates的We Were Eight Years in Power在LLAMA 3.1 70B下覆盖率达14.26%（Table 4）。

   单seed prompt端到端图书重构实验

   • 重构方法与设定：选取LLAMA 3.1 70B与Harry Potter第一章首行仅6个token（"Mr. and Mrs. D"）作为初始输入，结合波束宽度8、上下文3000 token执行滑动生成（Section 7）。
   • 实验结果：作者报告9次尝试内成功近乎逐字复原整本304页图书；去除首尾非正文内容后，与Books3原版词级贪婪LCS匹配度达0.992，句级LCS达0.934，TF-IDF余弦相似度达0.9999。
   • 差异与版次分析：作者分析指出，生成文本与原书的差异主要集中在排版与英美拼写；部分看似“幻觉”的词句差异经查实为2004年之前早期印刷版本的原文（附录F.1）。

   负面控制与测量有效性验证

   • 测了什么：在未训练版权图书的PHI 4以及训练截止日后出版的4本2025年新书上运行滑动窗口提取流程（Section 5.2与附录E.4）。
   • 结果：在2025年新书Great Big Beautiful Life上，除版权声明外无任何序列 p_z ≥ 0.1%，在200至800 token前缀下约6.2万条序列中仅1条出现 p_z ≥ 10⁻¹⁴%；PHI 4在Books3图书上仅在圣经引用、奥巴马演说等互联网广泛重复的公共名句处超过阈值。
   • 作者的解读：作者认为这证明 τ_min=0.1% 足够保守，实验捕获的是真实记忆而非巧合生成，抽取概率测量具备有效性。

   上下文前缀长度的消融实验

   • 测了什么：在4本Books3图书上将前缀长度从25扩展至800 token（后缀固定50 token），测试LLAMA 3.1 70B等模型的抽取覆盖率变化（Section 5.1与附录E.3）。
   • 结果与解读：随着前缀增长，抽取覆盖率逐步上升并趋于平缓（Figure 6），例如Beloved在800 token前缀下覆盖率接近80%，但在This Is How You Lose Her上始终极低；作者称更长前缀能揭示更多潜在记忆，但无法无中生有抽取未被记忆的内容。

   其他消融与分析

   • 解码方案消融：贪婪解码（k=1）抽取率低于非确定性top-k采样（Figure 3左与附录C）。
   • 步长消融：滑动窗口从1字符增至10字符导致微小信号损失但计算成本降低10倍（附录D.2）。
   • 浮点精度消融：float16与float32在Enron数据上抽取率无明显差异（Table 1与附录B）。
   • BOS标记消融：PYTHIA模型在序列前添加BOS标记后最大概率抽取率从5.27%微升至5.52%（Table 2）。
   • 失败重构测试：在低记忆图书Sandman Slim上运行整书重构流程，模型陷入重复循环未能复原正文（附录F.3）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出的局限包括样本覆盖200本书不能代表整体、全局阈值保守低估记忆，以及整书重构对配置敏感。

   作者指出的局限与后续方向

   1. 图书与模型样本量有限：作者在Section 6.1与Section 8.1指出，实验仅评测了Books3约20万本书中的200本（约0.1%）以及14个开源模型，样本量不足以推广到所有图书或所有开源模型的整体记忆情况。
   2. 统一阈值可能低估记忆：作者在Section 5.3与附录E.1.1指出，全局固定采用保守的 τ_min=0.1% 导致测量结果更偏向记忆的下界，未来需要针对不同模型校准特定阈值以进一步降低 τ_min。
   3. 未全面探索整书重构的可行边界：作者在Section 7与附录F指出，单seed prompt重构整书仅在Harry Potter等极端高记忆案例上作为存在性证明完成初步验证，方法对步长等设置敏感，未来需研究如何提高重构稳定性并拓展到其他文本。
   4. 无法确切断定未公开训练集模型的整书归属：作者在附录E.6.4指出，对于DEEPSEEK、QWEN等未披露训练集的模型，抽取成功仅能证明具体提取序列属于训练集成员，无法据此断言整本图书被纳入训练。
   5. 未探究训练数据影响力的因果归因：作者在附录E.6.5指出，抽取指标无法衡量未被逐字记忆的文本对模型输出和表征的潜在影响，训练数据因果归因需要不同的技术方案。

   实验覆盖范围

   1. 被测模型范围：被测对象涵盖14个开源权重补全式语言模型（7B至72B），未涵盖商用闭源API模型或经过对话微调的Chat/Instruct模型。
   2. 测试图书覆盖：评估语料来自Books3中的200本图书及4本2025年出版新书，未包含其他影子库或非英语图书。
   3. 评测任务设置：主要测量基于50 token前缀引导下的50 token后缀逐字抽取，论文未报告非逐字语义改写的抽取风险。
   4. 防御机制测试：评测针对无防护的基础模型权重，论文未报告对齐、输出过滤或机器遗忘等防御措施的缓解效果。
   5. 计算与重构预算：长文本重构仅深入测试了Harry Potter、We Were Eight Years in Power与Sandman Slim 3部作品，未全面铺开至全部200本书。

   收起这一问

6. 06总结一下论文的主要内容

   作者称开源LLM对图书记忆呈明显的书本与模型特异性，整书可被单prompt重构，使版权诉讼两极化主张复杂化。

   该研究通过对开源大语言模型进行大规模逐字抽取测量，评估了模型权重记忆特定受版权保护图书的程度及其法律含义。

   • 研究动机与核心问题：针对AI版权诉讼中原告与被告的两极化技术主张，现有平均抽取率研究无法解答模型是否记忆特定版权作品这一核心法律争议。
   • 方法与度量创新：设计滑动窗口单次前向传播算法与抽取覆盖率指标，以10字符步长检测全书抽取热点，以 τ_min=0.1% 为保守门槛确定记忆下界。
   • 核心实验发现：跨模型与图书的抽取覆盖率呈现明显差异，多数模型对多数书覆盖率<2%，但LLAMA 3.1 70B对Harry Potter覆盖率达96.27%，对1984达81.19%（Table 4）。
   • 整书端到端重构验证：利用LLAMA 3.1 70B配合波束搜索与章节EOS替换逻辑，仅凭首行6 token输入即复原整部304页图书，词级LCS相似度达0.992（Section 7）。
   • 有效性与对照验证：在未训练版权图书的PHI 4及2025年出版新书上，独特内容均未出现高于 τ_min 的抽取信号，排除偶然巧合生成的干扰（Section 5.2）。
   • 法律与政策启示：作者认为研究结果支持部分模型可能构成部分高记忆图书的衍生作品，使被告的合理使用辩护复杂化；同时因每本书记忆差异极大，也对原告的集体诉讼构成阻碍（Section 8）。

   收起这一问

相关论文