研究者质疑 Alignment Whack-a-Mole 的书籍记忆化结论，称其测量方法无效

Alignment Whack-a-Mole 的标题结果依赖 bmc@5；作者称自己确信这一计量无效，因而“微调可提取并替代版权书”得不到所报结果的支持。

• 诉讼场景：作者称近一个月有（潜在）原告想引用该文，支持进行中或未来的版权诉讼，因此需要公开说明，避免引用建立在可避免的误解上。
• 计量问题：标题数字是书籍记忆覆盖率（book memorization coverage，bmc@k）。实验里 k=5，短于作者所说的领域标准：至少约50个LLM token，大约37个词。情节摘要提示有泄漏被测文本的风险，且没有负对照估计假阳性。
• 作者并不否定的部分：作者认为，用微调显露先前未发现的大量版权记忆，本身很有可能；理由是已有提取结果，以及微调可以让更早记住的训练数据浮出。他批评的是这一篇的计量和由此做出的版权主张。
• 本文做什么：审阅该文、bmc@k 定义和发布代码，把连续长片段复现与覆盖率拆开，并讨论未报告的实验成本。
• 威胁模型：作者称，对生产系统作安全相关主张时应写全威胁模型，成本是重要部分，该文没有报告。
  • 目标：该文作者称，微调能让用户不费力地提取源作品的大部分，复述可能替代原作。
  • 能力：经微调 API 改变模型后，用原书摘录做成的摘要去提示，每个摘录生成100次。涉及 GPT-4o、Gemini-2.5-Pro、DeepSeek-V3.1。
  • 知识：本注没有使用 white-box、black-box 或 gray-box。写明的是调用微调 API；DeepSeek-V3.1 经 Thinking Machines 的 Tinker，不是自行托管。
  • 作者的反驳：覆盖来自跨片段汇总，片段可能乱序；写摘要和按原序理解都需要原书。作者认为这不像用一条很短的初始提示复现整本书。

本注没有独立的 Related Work，相关讨论集中在第2、3、5节。作者把记忆、提取和市场替代分成三件不同的事。

提取要多长才算数

• Carlini et al.（2021）：从大语言模型提取训练数据。作者称 Whack-a-Mole 援引这一支，并把“被提取”写成：由提示（近）逐字生成，且长到偶然复现不太可能。
• 作者称，包括 Carlini et al.（2023）在内的一系列工作，把有效提取的下限放在约50个LLM token，大约37个词。更短则有假阳性：常见短语，或提示泄漏了文本。他没有在本注里逐篇重述这些论文。
• Carlini et al.（2022）：作者称领域的看法是，把不是记忆的东西叫成记忆，代价高于漏报，因此应在假阳性很低的设置里报告。

微调可以让旧记忆浮出

• Rando 与 Tramèr（2024博客，对应 ICLR 2025 论文）：经公开 API 微调 ChatGPT，使模型不再是广泛部署给终端用户的版本，以便生成 OpenAI 更早训练、模型已记住的数据。Figure 2 的图注称，50 token（大约37词）处有一条粗灰线，成功只计该线右侧。图注中的例子是 New York Times 文章。
• 该工作的更早版本：对齐成聊天机器人的模型，用标准提取流程往往不吐出训练数据。本注把越狱和在额外数据上微调列为另外的绕过方式，并以 Qi et al.（2023）作为后一支的引用，没有单独批评该文。

版权里的市场替代

• 作者把市场替代定义为：复制件是否足够接近，包括足够完整，可以代替原作，从而拿走本可发生的销售或许可。他强调这与记忆、提取不是一回事，技术结果不会自动变成替代。
• U.S. Copyright Office 关于生成式 AI 训练的报告，以及 Kadrey v. Meta：作者称 Chhabria 法官写过，若能有效证明市场稀释损害，可能不利于合理使用；并称该案里没有做到。
• 作者与同事的先前工作：作者称这些工作支持“版权不能作二元判断”，并请读者不要把对本注的方法批评读成对具体案件的立场。Figure 1 的图注称，从 Llama 3.1 70B 近逐字抽出 Harry Potter and the Sorcerer's Stone 的一段，远长于37词，且只是连续抽出整本300多页书的裁切；原文来自 Books3。

基线方法：本注重新解读的对照是 Whack-a-Mole 自己的三类，不是新基准。微调前的对齐模型；用合成故事而不是真书做微调；在 Haruki Murakami 的书上微调后，再测其他作者的留出书。点名转述数字的书是 The Handmaid's Tale。

作者把本注与自己先前的覆盖率分开：名称相近，但先前工作只聚合长到足以支持提取主张的匹配。他称 bmc@5 既低于约37词的领域标准，也与该文自己“足够长才算提取”的表述不一致。

作者没有提出新的提取算法。做法是对照领域长度标准、发布代码和该文自己的对照，重读 bmc@5 实际计入了什么。

两类结果与实验流程

• 模型与数据：前沿模型为 GPT-4o、Gemini-2.5-Pro、DeepSeek-V3.1。前两者用 OpenAI、Google 的微调 API；DeepSeek-V3.1 用 Tinker，不是自行托管。先在一位作者的书上微调，再测未进入微调数据的版权书。留出书有时是同一作者的另一本，有时是在 Haruki Murakami 上微调后测其他作者。
• 信号从哪来：留出书不在微调数据里。作者称，若信号有效，只能来自更早训练，而不是微调数据本身。
• 两类结果：一类是对留出书的连续复现，部分书的最长情形为数百个连续词。另一类是 bmc@k。作者把它读成标题数字，因为243个书-模型对都报告了它，并被用来论证模型能记住一本书的大部分。
• 并置：摘要的一句话、引言的图、每张结果表都把覆盖率放在长片段旁边。作者认为读者容易把长片段的强度带到覆盖率上，但二者并不相同。

bmc@5 如何计算

• 切分与提示：书按双换行切开，再合并或拆成大约300–500词的摘录；更长的由 GPT-4o 重切。该文称这些单位为 paragraph，但不是书里的自然段。每个摘录由 GPT-4o 写成约一半长度的情节摘要，并保持原句顺序。提示要求被测模型按原摘录长度、以该书作者的风格和声音写一段。
• 采样与匹配：每个摘录生成100次，三个模型都做。作者举例：若有300个摘录，一个模型就有30,000条生成，大约是原书的100倍。然后找不少于5个连续词、顺序相同、且出现在整本书（不只是该摘录）中的片段。因此 k=5，称为 bmc@5。
• 代码中的“词”：匹配用 NLTK 的 wordpunct_tokenize，大小写不敏感，匹配前去掉书中标点（Algorithm 1）。缩写会被拆开，所以5个 token 有时少于5个可读词。正文与代码里，匹配长度 k 和提示重叠修剪阈值 m 都是5。
• 修剪与汇总：匹配里若有也出现在提示中的连续5词，就去掉，剩下的仍须至少5词。书中一个词位置只要有一次存活匹配落到它，就算覆盖；同一短语在书中出现多次会全部计入。作者举例：30,000条生成里只出现1次、书中却有6处的短语，6处都算覆盖。bmc@5 是被覆盖位置数除以总词数。高端为85–90%，被说成近全书记忆。

作者认为无效的两点

• 长度：该文把提取定义为（近）逐字、且长到偶然复现不太可能。作者称它所援引的标准是大约37词，不是5。该文别处把超过20词的连续片段当作更有法律意义的单位，又把对齐基线最长仅26词说成 minimal。作者称5词仍处在巧合说得通的范围；单次匹配过不了门槛，加总也过不了。该文没有做把短匹配校准成有效记忆主张所需的负对照。
• 泄漏：摘要给出人物、事件、顺序，以及书中的特征词和短原句。作者称该文自己也承认摘要常含原书短语，所以才做修剪。修剪只去掉与提示连续重叠的5词，去不掉把摘要里已有的词重新拼起来、但提示中没有同样连续5词的情况。作者用一段虚构文本说明：按该文代码，这种生成仍会计入 bmc@5。他称计量无法区分“按摘要扩写”和“记忆”。
• GPT-4o 的额外提示：作者称发布代码在 GPT-4o 的微调和推理都加了系统提示，要求按给定顺序用上摘要的每一句、不跳过细节，使任务变成按顺序重建摘要；正文没写这一点。他称据其查看，Gemini 与 DeepSeek 的生成流程没有这一步，但三个模型的覆盖率被并列比较。测量还给了100次机会去产生会被计入的短匹配。
• 长片段另说：作者称，自己不是说单次生成里很长的逐字片段也来自重组。他举例，若单次逐字片段有200词，几乎不可能只靠重组摘要得到。泄漏针对的是进入 bmc@5 的短片段。

对照算不算负对照

• 该文做了的：合成故事微调后覆盖率低于真书微调；微调前的对齐模型；跨作者微调。作者称跨作者只控制了微调作者，每个留出书仍用自己段落的摘要，短匹配仍可能来自摘要。
• 作者要的负对照：在模型不可能记过的序列上跑同一套微调、摘要提示和匹配。对书而言，可用训练日期之后出版的书，并报告由此得到的覆盖率。该文没有做。
• 合成实验换了什么：作者称它换的是微调数据，不是被测书是否在原先训练数据里，因此不能说明 bmc@5 里有多少是假阳性。他也认为，用真书文学散文而不是合成故事微调，可能让模型更善于把有序摘要写回像原书的措辞，所以更高覆盖不一定是记忆。

作者没有重跑微调或生成。下面的数字是他对该文报告结果和发布代码的重读，加上他自己的成本估算。

实验设置

• 材料：Alignment Whack-a-Mole 的正文数字、Figure 4 的 bmc@k 定义、发布代码。作者称曾与两位记忆方向的资深同事核对阅读。
• 被讨论的模型：GPT-4o、Gemini-2.5-Pro、DeepSeek-V3.1；GPT-4o 还被该文用来写情节摘要。前两者经厂商微调 API，DeepSeek-V3.1 经 Tinker。作者本人没有跑这些模型。
• 数据与规模：留出的版权书；本注按模型写全数字的书是 The Handmaid's Tale（Margaret Atwood）。书-模型对共243个。摘录大约300–500词，每摘录100次生成。
• 指标：bmc@5，k 与修剪阈值 m 均为5。另有同摘录、单次生成的连续片段长度，以及超过20词的片段计数。作者强调后一类不是 bmc@5：只对各自摘录匹配，且没有指令修剪。
• 对照：微调前对齐模型；合成故事微调；跨作者（Haruki Murakami）。训练日期之后出版的书，该文未做，本注也未补做。
• 判定：本注描述的 bmc@5 是词匹配，不是模型打分。本注未报告人工一致性、重复次数或该文的实测账单。

主结果

本注没有按模型列出主实验的 bmc@5。能按模型核对的，是合成故事微调在 The Handmaid's Tale 上的对照。作者称这些数字来自对方的 Figure 5，见本注第4.4节与脚注15、16。

Swipe horizontally to read the table

设置	bmc@5	单次生成	出处
GPT-4o，合成故事微调	19.4%	最长18词	第4.4节
Gemini-2.5-Pro，合成故事微调	28.2%	最长64词；超20词共26个	脚注15
DeepSeek-V3.1，合成故事微调	20.3%	最长90词；超20词共11个	脚注15
GPT-4o，微调前	6.3%	最长18词	第4.4节脚注16

主实验三个模型各自的 bmc@5，本注未按模型报告，故未列入。Gemini 与 DeepSeek 的微调前 bmc@5，本注未报告。

• 标题覆盖率：作者称 bmc@5 高端为85–90%，被说成近全书记忆；本注没有按模型拆开这个区间（第4节）。24/243个书-模型对在20–51%覆盖的同时，同摘录单次生成没有长于20词的片段（第4.2节）。作者称这不表示243对的匹配全都过短。
• 作者对表的读法：对方把合成微调称为近零提取，并称几乎没有长的逐字片段。作者称，对 GPT-4o 长片段这一点成立，但对方自己的图显示另两个模型在同一本书上仍有长片段。他称同一个百分比不能在对照里算近零，又在主实验里代表书的相当一部分被记住。作者称 GPT-4o 的覆盖超过微调前的三倍，最长单次片段却没有变；若“近零”指的是长片段不动，他认为这也会削弱用 bmc@5 主张记住书的大部分。
• 假阳性：作者称没有在训练日期之后的书上跑同一套流程。合成实验换的是微调数据，不是被测书是否在原训练数据里。匹配长度分布未报告，每个覆盖率里短匹配占多少未知。

单次长片段

• 测了什么：与 bmc@5 分开的、单次生成里的连续逐字片段。作者称这部分有真正的连续复现。
• 结果：部分书的最长情形为数百个连续词。该文最大的单次生成逐字片段是 around 460 words（第5节脚注19）。作者称这很长，但不是整本书。
• 作者的解读：他不把提示泄漏当作这些长片段的机制。为 bmc@5 报告的具体片段长度，是聚合覆盖里的最长合并块；这种合并块可以由很短的片段拼成。around 460 words 来自另一种流程，不是 bmc@5 的量。

成本估算

• 测了什么：该文未报告实验成本。作者用封底估算讨论威胁模型是否支持市场替代，并称2026年3月曾在预发布版本上提过这一点。
• 作者给出的数字：以100,000 token 作为一本书的保守替代。他称 Harry Potter and the Sorcerer's Stone 约77,000词，按该文代码假定的4/3词-token比，略高于100,000 token，且这本书大约300页，所以这个替代偏保守。成本估算里每个模型按81本书、每本100次生成，约8,100本书的输出，即810 million输出 token；提示侧约600 million输入 token。微调后 GPT-4o 标价为每百万输出 $15.00、每百万输入 $3.75，作者称约 $14,400；Batch API 为 $12.50 与 $2.225，作者称仍约 $11,500，仅 GPT-4o。微调本身作者称大约 $300。243对、每本生成100倍长度，作者称超过24,000本书的生成文本。全套实验他估花费数千乃至数万美元。他称每一步都把未报告的数量往下取整。
• 作者的解读：即便假设覆盖率没有假阳性，85–90%也不是连续抽出大半本书。他把问题改写成何必花数百美元换散乱碎片，而完整的书可以用少得多的钱买到。论文未给出“数百美元”的分项计算；它和上面的约 $11,500 不是同一个数。

其他消融与分析

• 对齐基线最长连续复述仅26词，被该文当作 minimal 的证据；本注未写明对应哪本书（第4.2节）。该文同时把超过20词当作更有法律意义的单位。
• GPT-4o 的系统提示要求按摘要句序、不跳过细节，正文未写；作者称据其查看，Gemini 与 DeepSeek 的生成流程没有这一步（第4.3节）。
• 跨作者实验只控制微调作者（Haruki Murakami），不控制每本书自己的情节摘要（脚注11）。
• 作者称真书微调相对于合成故事，可能让模型更善于把有序摘要写回像原书的措辞，更高覆盖不一定是记忆（第4.4节）。
• 三模型的实测账单，论文未报告；作者的美元数字是封底估算（第5节）。

作者指出的局限与后续方向

论文没有 Limitations 或 Future Work 专节讨论本注自身的不足。第6节是对领域生态的收束，作者在此写的后续安排是：暂时不再开始这一领域的新工作，把注意力转到其他方向；仍可通过电子邮件回答关于记忆、提取与版权的问题。

引言里另有一句关于判断边界的话，但不是专节里的局限清单：作者称，最好的情况是标题主张被夸大，最坏是绝大多数是错的；因为对方没有报告足够细节，自己无法区分二者。

实验覆盖范围

• 本注的工作是审阅和估算。作者称反复阅读该文，并与两位记忆方向资深同事核对；没有报告自己重跑微调或生成（引言）。
• 讨论涉及的微调模型为 GPT-4o、Gemini-2.5-Pro、DeepSeek-V3.1，共3个。API 分别为 OpenAI、Google 与 Thinking Machines 的 Tinker（第4.1节）。
• 转述的成套概括是243个书-模型对上的 bmc@5。按模型写全的对照数字，是 The Handmaid's Tale 上的合成故事微调，以及 GPT-4o 的微调前分数（第4.2、4.4节）。
• 成本是作者的封底估算，写明按写作时微调 GPT-4o 的标价与 Batch API 折扣价，并称未报告的数量都往下取整。三模型实测花费，论文未报告（第5节）。
• 作者在第4.4节讨论了用训练日期之后出版的书做负对照，并称被评论文没有做；本注未报告自行补做该对照的覆盖率。bmc@5 的匹配长度分布，论文未报告（第4.2节）。

这是一则公开说明：作者认为 Alignment Whack-a-Mole 的标题记忆结果，不能当作“微调即可提取版权书并替代原作”的证据。

• 要分清的三件事：记忆是训练数据是否以某种形式存在于权重；提取是生成时是否把这段文本复现出来；市场替代问的是复制件是否完整到可以代替原作、拿走销售或许可。作者称前两者的技术结果不会自动变成第三者。
• 标题计量：243个书-模型对都报告了 bmc@5。留出书被切成约300–500词的摘录，GPT-4o 写约一半长度的情节摘要，微调后的 GPT-4o、Gemini-2.5-Pro 或 DeepSeek-V3.1 每个摘录生成100次。不少于5个连续词的匹配对整本书计覆盖，并剪掉与提示连续重叠的5词。区间高端为85–90%。
• 作者的异议：5词短于他所说的约50个 token、约37词。摘要会带上人物、事件和短原句，修剪挡不住非连续的重组。24/243对在20–51%覆盖下，同摘录单次生成没有超过20词的片段。他同时承认，另有一类连续复现，最长情形达数百词，最大单次逐字片段 around 460 words，但那不是 bmc@5，也不是整本书。
• 对照数字：合成故事微调后，GPT-4o 对 The Handmaid's Tale 的 bmc@5 为19.4%，微调前为6.3%，最长单次片段仍为18词。同一设置下 Gemini-2.5-Pro 为28.2%，DeepSeek-V3.1 为20.3%，并有64词、90词的单次片段。作者认为，这不能在对照里被叫成近零提取，又在主实验里代表书的一大部分被记住。该文未用训练日期之后的书做负对照。
• 成本与结论：该文未报告花费。作者对仅 GPT-4o 全套生成的保守估算，标价约 $14,400，Batch API 约 $11,500。他认为散乱、可能乱序、且写摘要和重排都要原书的覆盖，不像用一条很短的初始提示复现整本书。他称标题主张至少被夸大，也可能绝大多数是错的，但细节不够，无法分辨。他同时认为，微调显露先前未发现的大量版权记忆，这件事本身仍然很有可能。本注不是在主张合理使用，也不是在主张所有模型都侵权。