探索检测大语言模型中推荐系统数据记忆的方法

能否加强人工提示、用提示以外的方法检出记忆，并自动发现 MovieLens-1M 的数据泄漏。

• 场景：作者称 LLM 已用于推荐，训练语料不公开，因而担心数据泄漏。Di Palma 等报告 MovieLens-1M 被 LLaMA 与 OpenAI 家族记忆，例如 GPT-4o 取出 80.76% 的 item 样本、LLaMA-3.3 70B 取出 7.65%，且推荐表现与记忆程度相关；该数据集又常按经典推荐协议评测，作者称测试集若已被记忆，评测结果会受影响。
• 现有做法的缺口：作者称此前抽取只靠人工 prompt engineering。由此提出三个问题：人工提示能否加强；除人工提示外能否检测记忆；泄漏检测能否自动化。
• 本文工作：在 MovieLens-1M 与公开 LLaMA 上比较越狱提示、CCS 与 Cluster-Norm 的无监督探测，以及 Automatic Prompt Engineering（APE），并按 item、user、rating 字段看效果。作者称据他们所知，这是在推荐系统数据上对人工、无监督与自动探测的首次全面比较。
• 访问设定：引言把越狱和 APE 标为 white-box、无监督标为 black-box。Table 2 将人工提示和 APE 标为 Black-box，无监督标为 Activation access。方法节里越狱只查询 Llama-1B 的输出，CCS 使用 LLaMA-1B 的 hidden activations。

成员推断

• Shokri 等［5］把给定记录与已训练模型、判断该记录是否在训练集中形式化为 Membership Inference Attack；黑盒设定训练 shadow models，区分 in 与 out 的后验。
• Nasr 等［6］的白盒变体使用梯度、模型更新等内部信号，并扩展到联邦学习。论文只作背景，未与本文方法对打。

LLM 记忆量化

• Carlini 等［7］报告 GPT-J-6B 至少记忆了 Pile 的 1%。
• Al-Kaswan 等［9］抽出了用于训练 GPT-Neo 的代码样本的 56%。论文用二者说明生成模型会记住训练样本，未批评这两项工作。

推荐数据中的记忆

• Di Palma 等［10］报告 MovieLens-1M 被 LLaMA 与 OpenAI 家族记忆；文中举例 GPT-4o 的 item 样本取出比例为 80.76%，LLaMA-3.3 70B 为 7.65%，且推荐表现与记忆程度相关。作者称该工作只做人工提示工程，本文直接在其上扩展。
• 作者还指出该数据集常按经典 RecSys 协议评测［11–14］，测试集可能已被模型记忆。

本文借用的技术

• 越狱相关工作包括 prompt injection［18］、prompt leakage［19］，以及角色扮演、混淆受限词和多轮推理陷阱［20, 21］。本文使用 Russinovich 与 Salem［22］的模板。这些引用是方法来源，论文未逐篇批评。
• Burns 等［15］的 Contrast–Consistent Search（CCS）用隐藏激活、在否定对上优化一致性，以无标签方式发现模型中的知识。Laurito 等［16］的 Cluster-Norm 在簇内归一化，以减弱无关但显著的特征。语言性质、事实与信念探测［23–26］只作为可解释性背景。
• Zhou 等［17］的 APE 把提示设计当成优化：由 LLM 生成候选、在下游任务上评估并迭代改进；原文在情感分析和摘要上做到人类水平的指令合成。本文把它改到 MovieLens-1M 的字段抽取。

基线与数据

• 抽取对照是 Di Palma 等［10］的人工提示。Table 4 将其 exact-match 列为 LLaMA-1B 的 Item 1.93%、User 10.98%、Rating 6.49%，以及 LLaMA-3B 的 2.68%、13.26%、6.22%。无监督对照是 Table 3 的 Random 0.50。数据为 MovieLens-1M。

作者把本文放在只做人工提示的推荐数据记忆研究之后，用越狱、无监督探针和自动提示同时探测 item、user 与 rating。

作者在 MovieLens-1M 上并列评估三类探测，并在公开的 LLaMA-1B 与 LLaMA-3B 上看 item、user、rating 能否被抽出或被分类。

数据与访问标签

• 三文件：users.dat、movies.dat、ratings.dat。Table 1 记 users 为 6.040 条、5 个特征，movies 为 3.952 条、3 个特征，ratings 为 1.000.209 条、4 个特征；点号是表中的千分位写法。字段形式分别为 userID::gender::age::occupation::zip、movieID::title::genres、userID::movieID::rating::timestamp。
• 为何选它们：作者称这样可与先前工作公平比较，并使用需要内部访问的方法。
• Table 2 的标签：人工提示为 Black-box、人工成本高，灵活但对结构化数据不可靠，且易发生 prompt leakage；无监督为 Activation access、人工成本低，能发现潜在结构，对数值数据有限；APE 为 Black-box、人工成本中等，能自动搜索，可能在非文本字段失败。引言的 white-box/black-box 标注与此不同，此处以 Table 2 为准。

越狱提示工程

• 流程：Figure 1 为选取 item、user 或 rating 样本，把原始样本嵌入 few-shot，加上 chain-of-thought 与越狱式指令，查询 Llama-1B，再人工检查有效性、重复、幻觉和数值是否合理，然后改 exemplar 与指令。
• 模板：采用 Russinovich 与 Salem 的做法，伪造一段对话历史以促使模型顺从。输入是数据集键，期望输出是对应字段。附录 A（Figure 2）给出完整提示词，此处不复述。
• 停止：作者称迭代到 recall 与 accuracy 平衡为止。论文未写迭代次数或数值阈值。

无监督潜在知识发现

• CCS：把知识发现做成问答，用激活中与 yes、no 相关的概率寻找对应真陈述的方向，并在否定陈述对上优化一致性，给真陈述高分、假陈述低分。
• Cluster-Norm：先把激活分成簇，再在簇内归一化，以减弱会误导无监督探针的无关显著特征。
• 正负例：真陈述断言某电影属于 MovieLens-1M；文本字段切成 bi-gram 后随机采样以造假名，字母数字字段随机生成。附录 Figure 3 示意陈述、抽取隐藏激活、线性探针优化和打分，不抄陈述原文。
• 训练：在构造出的正负例上 80% 训练、20% 评估，表示来自 LLaMA-1B。正文写报告 classification accuracy，Table 3 写 balanced accuracy，下文以表为准。论文未写激活层、正负例总数或探针维度。这是对真假陈述的分类，不是复述原始记录。

自动提示工程

1. 生成：LLM 根据 5 个 input–output 示范生成 100 条候选提示。论文未写生成器是否就是被测的 LLaMA。
2. 评估：在验证子集上用 Di Palma 等的 exact-match 评估记忆覆盖。论文未写验证子集规模。
3. 改进：把 top-k 提示送回生成阶段。论文写 top-𝑘，未给出 k，也未写外层轮数。

• 温度：另把 temperature 从 0.1 变到 2.0，看多样性是否带来更能取出记忆样本的提示。Table 4 列出 0.1、0.5、0.7、0.9、1.2、2.0。

实验设置

• 模型：越狱查询 Llama-1B；CCS 与 Cluster-Norm 使用 LLaMA-1B 表示；APE 结果表为 LLaMA-1B 与 LLaMA-3B。引言转述的 GPT-4o 与 LLaMA-3.3 70B 不是本文实验。
• 数据：仅 MovieLens-1M 三文件，规模见 Table 1。
• 基线：Table 3 的 Random 0.50；Table 4 末行是 Di Palma 等［10］的 exact-match。
• 指标：无监督为 balanced accuracy。APE 为 exact-match accuracy；低于 0.1% 记为（–），不报告具体值。正文另把 Di Palma 等的 item 数字称为 Item Coverage。
• 判定：越狱由人工看有效性、重复、幻觉和数值合理性，没有 LLM 裁判。论文未报告重复次数与人工一致性。
• 划分与未写参数：CCS/Cluster-Norm 为 80/20。APE 为 100 条候选、5 个示范。论文未报告激活层、正负例总数、验证子集大小、top-k 的 k 和查询次数。

主结果

上表 APE 两行是 Table 4 中各模型 Item 最高的温度档，不是论文单独汇总的一行；其余温度在下文。

表格较宽，可左右滑动

方法	模型	movies/Item	users/User	ratings/Rating	出处
Random	LLaMA-1B	0.50	0.50	0.50	Table 3
CCS	LLaMA-1B	0.92	0.51	0.53	Table 3
Cluster-Norm	LLaMA-1B	0.94	0.52	0.51	Table 3
APE，温度 0.9	LLaMA-1B	18.1%	–（低于 0.1%）	–（低于 0.1%）	Table 4
APE，温度 0.7	LLaMA-3B	26%	–（低于 0.1%）	–（低于 0.1%）	Table 4
Di Palma 等人工提示	LLaMA-1B	1.93%	10.98%	6.49%	Table 4
Di Palma 等人工提示	LLaMA-3B	2.68%	13.26%	6.22%	Table 4

• 作者称 CCS 能区分真实片名与虚构片名，Cluster-Norm 只带来小幅提高；user 与 rating 上作者称与随机猜测无法区分。
• 作者称 APE 的 Item 超过 Di Palma 等对同模型报告的 Item Coverage，且更大的 LLaMA-3B 在 item 抽取上始终更强。Table 4 的低温与高温档有反例，数字见下方消融，不在上表。
• 作者称 user 与 rating 的 APE 抽取在所有温度下接近零。上表 Di Palma 行的 User、Rating 高于 APE 的报告阈值。作者假设主要障碍是 tokenizer 把字母数字序列切成失去语义的片段。

越狱人工分析

• 测了什么：按 Figure 1 在 Llama-1B 上迭代 few-shot、chain-of-thought 与越狱模板，人工检查三类字段。
• 结果：作者称只在少数情况召回目标记录，多数是幻觉标题，或 user 与 rating 的随机数。Figure 1 的文字写越狱使 recall 上升、幻觉也上升，并列出幻觉标题、照抄示例和随机数字，未给数值。
• 作者解读：定性结果不足以做定量评估；所测 Jailbreak Template 加人工提示，不是抽出结构化 MovieLens-1M 的实用做法。论文未报告成功率或成功条数。

表示可视化

• 测了什么：对 LLaMA-1B 表示做 PCA，附录 Figure 4 有 (a) Item embeddings 与 (b) User embeddings。
• 作者解读：作者称 movies 可分，users 与 ratings 的簇重叠；并称 yes/no 表示抓住某种真实性模式，因而模型能认出某些电影属于该数据集。高分也可能只是区分真实片名与合成片名，作者称不能确定这就是记忆。
• 图文对应：Figure 4 图注只写两幅投影的名称，没有 ratings 图，也没有分离程度的标注；转换文本看不到点的位置，故分离与否只记作者的话。

跨方法与提示定性

• 三种方法：第 3.4 节中，作者称人工提示只是偶尔成功且人工成本高；无监督准确率高，但不能保证发现的模式就是记忆；APE 是唯一给出 moderate exact-match 的方法，人工成本中等，可放到其他数据集上研究记忆。
• 字段：作者称 item 最容易抽出，user 与 rating 在所有方法上都不易抽出。作者认为这可能来自片名的文本语义，相对用户 ID 和评分的数值、匿名性质。
• 提示：作者称 LLaMA-3B 上得分高的提示把任务写成明确指令并给出示例；得分低的提示会改问相似影片而非精确匹配。user 与 rating 上，即便提示写得好也很少正确，模型通常重复输入或编造数字。

其他消融与分析

下列 Item 均来自 Table 4；各档 User 与 Rating 都是低于 0.1% 的（–）。

• 温度 0.1：LLaMA-1B Item 8%，LLaMA-3B Item 7%。
• 温度 0.5：12.1% 与 16%。
• 温度 0.7：14.2% 与 26%。
• 温度 0.9：18.1% 与 25%。
• 温度 1.2：5.2% 与 1%。
• 温度 2.0：1.1% 与 0.2%。

作者指出的局限与后续方向

论文没有单独的 Limitations 节。下面只收 Results 与 Conclusion and Future Work 里写明的不足和后续方向。

• 高分的含义（第 3.2 节、第 4 节）：作者称高分可以有多种解释，例如模型能区分真实片名与合成片名；不能确定所学特征就是记忆，这些信号也不能被最终解释为记忆。
• 如何确认（第 3.2 节）：作者称要确认记忆，只能验证模型能否在 next-token prediction 中正确预测原始数据；真正的挑战是自动优化提示并检验记忆。
• 数值记录（第 3.3 节）：作者称还需要研究 tokenizer 效应，并为在数据集语境之外没有语义的记录开发自动提示优化。
• 更大模型与更多数据（第 4 节）：作者认为后续应当在更大开源模型（例如 LLaMA-70B）和更多样的数据集上试验 APE。
• 面向数值的提示优化（第 4 节）：作者认为应开发面向记忆任务、侧重数值数据的自动提示工程。

实验覆盖范围

• 本文报告结果的模型为 LLaMA-1B 与 LLaMA-3B；越狱和 CCS/Cluster-Norm 的数字只来自 LLaMA-1B（第 2.2–2.3 节、Table 3、Table 4）。
• 数据为 MovieLens-1M 的 movies.dat、users.dat 与 ratings.dat（Table 1）。
• 无监督指标为 balanced accuracy，对照 Random 0.50，划分为构造正负例的 80% 与 20%（第 2.3 节、Table 3）。
• APE 生成 100 条候选、使用 5 个示范，温度取 0.1、0.5、0.7、0.9、1.2、2.0，指标为 exact-match（第 2.4 节、Table 4）。
• 论文未报告激活所在层、正负例总数、验证子集规模、top-k 的 k、查询次数、重复次数，以及人工分析的一致性。

作者比较越狱、激活探测和自动提示，看公开 LLaMA 能否抽出或检出 MovieLens-1M 中的记忆。

• 问题：作者称该数据集是常用推荐基准，测试集若已被记忆，评测会受影响。先前抽取只靠人工提示；本文问提示能否加强、内部状态能否检测、过程能否自动化。
• 做法：越狱在 Llama-1B 上迭代 few-shot、chain-of-thought 和伪造对话历史。CCS 与 Cluster-Norm 在 LLaMA-1B 激活上给真假陈述打分，80% 训练、20% 评估。APE 生成 100 条候选、使用 5 个示范，用 exact-match 筛选，并扫描温度。
• 越狱：只在少数情况召回目标记录，多数为幻觉或随机数；论文未给成功率，作者称该模板加人工提示不实用。
• 无监督：Table 3 中片名的 Cluster-Norm 为 0.94、CCS 为 0.92；用户与评分作者写约为 0.51–0.53，Random 为 0.50。作者称这不能确定就是记忆。
• APE：Table 4 中影片 exact-match 在 LLaMA-3B、温度 0.7 为 26%，在 LLaMA-1B、温度 0.9 为 18.1%；用户与评分低于 0.1%。同表 Di Palma 等的影片为 1.93% 与 2.68%，用户为 10.98% 与 13.26%。温度 0.1、1.2、2.0 上，更大的 3B 并未更高。
• 作者结论：作者认为自动优化提示是抽出记忆样本最有希望的策略，但数值交互仍然低于报告阈值；无监督高分不能被确定当成记忆。作者认为片名比匿名数值更容易处理，并假设 tokenizer 切分是数值字段的障碍。