研究者质疑 Alignment Whack-a-Mole 的书籍记忆化结论，称其测量方法无效
Playing Whack-a-Mole with misconceptions about memorization, extraction, and copyright
AI 导读
研究者 A. Feder Cooper 发布 arXiv 评论文章，认为 Alignment Whack-a-Mole 中关于微调导致书籍记忆化的核心结果使用了无效的测量流程。她指出，这些结果依赖的书籍记忆化覆盖率指标所统计的序列匹配长度远短于领域公认的记忆化证据标准，用于诱发记忆化的提示词流程还可能把待提取文本泄露进提示词中。论文缺少负对照实验，无法判断结果中有多少来自假阳性，即在生成内容与训练数据的匹配可能源于其他因素时仍宣称提取成功。她据此认为，论文关于微调可让用户提取受版权保护书籍中足以替代原作的相当部分内容的说法缺乏结果支持，且未报告实验成本这一威胁模型的重要组成。她提到，过去一个月有潜在原告联系她，希望将该论文作为正在和可能发生的版权诉讼中的有效证据。