研究评测训练数据提取风险的跨语言迁移

英语训练文本中记住的PII，能否用非英语前缀通过训练数据抽取（TDE）逐字恢复。

• 场景：作者认为，既有抽取工作多把记忆当作单语现象，攻击者用与原文相同的语言查询。若多语模型能在其他语言复述同一内容，只在源语言评估的隐私防护会低估真实暴露。
• 现有缺口：作者称，模型会记忆并泄露训练数据，安全对齐也可被跨语言提示绕过，但这两条线尚未连接。第二语言泄露是语言无关的记忆，还是译文与其他多语训练文本重叠，论文认为仍不清楚。
• 核心假设：作者认为，原生多语预训练会形成潜在跨语言桥，使攻击语言不同于训练文本语言时仍能检索PII；原文措辞一旦丢失，即使不换语言，可恢复比例也会下降。
• 本文做法：从Pile-CC取含社交媒体账号、邮箱和电话号码的英语段落，译成意大利语、西班牙语、法语和德语，比较英语中心模型与多语模型，并用改写和中间层激活定位这种桥。
• 威胁模型：
  • 目标：恢复训练集中的敏感序列。生成与真实PII的编辑距离为0才算成功。
  • 输入：攻击者提供长度k=200 token的上下文前缀。跨语言时该前缀是英语样本的翻译，不是原文。
  • 受害系统：被提示的因果语言模型。表征分析另读取各层最后token的隐藏状态。
  • 术语：论文把前缀直接来自训练数据时的成功率称为extractable memorization。论文未把本次攻击标成white-box或black-box。

论文在第二节按三条线回顾，并认为PII抽取的跨语言转移仍未直接检验。

• 训练数据抽取
  • Carlini等（2021）：用训练集前缀查询GPT-2，恢复逐字PII，并形式化为k-eidetic memorization。
  • Carlini等（2023）：记忆随模型容量和重复次数近似对数线性增长，匹配的训练上下文前缀会提高抽取成功率；Huang等（2022）在邮箱和社交账号上有类似发现。
  • Nasr等（2023）、Carlini等（2024）：开放模型的泄露多于早先估计；闭源生产级模型在black-box抽取下仍可取出训练数据。论文指出这些研究主要集中在以英语为中心的单语场景。
• 隐私防护
  • 数据层：从经典NER到基于transformer的改写，在训练前清除PII；论文转述后续工作，称这类方法难以扩展到大规模未整理语料。
  • 训练时：差分隐私有形式保证，但代价高，并降低训练后模型的效用。
  • 事后：机器遗忘和模型编辑在训练结束后移除记忆内容。论文称这些防御大多只在单语设置下评估，英语中遗忘或编辑一条PII后，换语言查询能否仍恢复，基本未经检验。
• 跨语言记忆与语言差异
  • Li等（2024）：把越狱提示译到资源稀缺语言可绕过安全对齐。论文指出，抽取是否同样跨语言尚未直接验证。
  • Luo等（2025）：在95种语言上，记忆并不简单跟随训练数据量；类型相近的语言中，训练数据较少者被不成比例地记住。Srivastava等（2025）：对没有既有出版译本的书样机器翻译，GPT-4o有69%的次数能识别书名和作者；这不是PII抽取。
  • Choi等（2024）：一种语言上的遗忘不传播到其他语言，英语中删除的事实常在西班牙语或中文中逐字保留。Mishra等（2026）、Satvaty等（2025）：抽取和成员推断的易感性随语言的结构性质变化。
• 实验对照与数据：对照是同一英语样本的严格前缀，以及英语改写、目标语改写；模型对照是英语中心的GPT-Neo、GPT-J与多语的Llama 3.2、Qwen2.5。数据来自Pile-CC。

作者的定位是：已有工作表明记忆内容原则上可跨语言，但转移不对称且依赖语言；尚未检验英语文本中的PII能否用其他语言的TDE恢复。

整体做法是跨语言TDE：把很可能出现在训练数据中的英语PII上下文译成其他语言再抽取，并用改写与层间余弦相似度区分内容保真和粗粒度语义相似。

攻击形式化

• 模型为因果语言模型。从英语样本切出长度k=200 token的前缀p和目标PII。作者称该长度提供较强信号，更短上下文更不容易抽出记忆信息。
• 成功要求生成与真实PII的编辑距离为0。论文把前缀直接来自训练数据时的成功率称为extractable memorization。翻译前缀不属于这一最坏情况。
• 跨语言条件比较语义对应、语言不同的前缀，看英语中记住的信息能否被其他语言触发。

抽取目标写成 ŝ = arg max_s′ P_θ(s′ | p)，即前缀下概率最高的续写；本研究还要求它与真实PII逐字相同。

数据与新颖性核验

• 样本来自Pile-CC，全为英语，形式是提示后接PII。三类为邮箱、电话号码、Twitter账号。
• 翻译使用Gemma 3 27b it（Google Gemini API），要求保持原意、格式和整体结构。每种目标语言得到4695条邮箱、9005条Twitter账号、3000条电话号码。至少一位精通该语言的作者做抽查；论文未报告一致率。
• 多数提供者未公开预训练数据。对每类200条翻译，用Tavily检索，再与Common Crawl中翻译生成前的存档比对。精确匹配看译文是否逐字出现；模糊匹配用归一化Levenshtein相似度，超过90%视为匹配。

模型与解码

• 英语中心模型为GPT-Neo 1.3B、2.7B和GPT-J 6B，已知训练于The Pile，因而包含样本来源Pile-CC。
• 多语模型为Llama 3.2 1B、3B和Qwen2.5 3B、7B。论文称没有公开确认所选子集在其训练数据中；作者认为攻击结果说明至少部分内容可能见过。
• 目标模型使用贪心解码，每次查询只做一步前向生成。论文未报告这些模型的采样温度。

改写与跨语言桥

• 每个英语样本另有三种变体：攻击用的结构保持翻译、英语自由改写、目标语自由改写。改写保留主题和大意，并改变用词、句式和实体出现顺序。附录A给出生成模型、评估和完整提示词。
• 改写在本地开源模型上采样，温度0.7、top-p 0.9、最多512个新token。英语和最终德语改写用Qwen2.5-7B-Instruct，法语用Mistral-7B-Instruct-v0.3，意语用Minerva-7B-instruct-v1.0，西语用Salamandra-7B-instruct。
• 取每一层、输入最后一个token的隐藏状态，相对英语原文计算余弦相似度，再对数据集平均。三个条件是严格翻译、英语改写、目标语改写。
• 作者的三个预测是：严格翻译比英语改写更接近原文；改写后再换语言会进一步偏离；因此严格翻译也比目标语改写更近。作者预期差异在中间层更大，输入层更受词面影响，输出层更偏向生成表面语言。

相似度定义为 sim(x,y)=(x · y)/(|x||y|)，即同一层、最后token处两个变体表示的余弦相似度。

实验设置

• 被攻击模型：GPT-Neo 1.3B、GPT-Neo 2.7B、GPT-J 6B、Llama 3.2 1B、Llama 3.2 3B、Qwen2.5 3B、Qwen2.5 7B。Gemma 3 27b it只用于翻译。
• 数据：Pile-CC。每种目标语言4695条邮箱、9005条Twitter账号、3000条电话号码。语言为英语、法语、意大利语、西班牙语、德语。网页核验每类PII 200条。
• 对照：英语严格前缀、四种严格翻译、英语改写和目标语改写；英语中心模型与多语模型对照。
• 指标：Leak为成功泄露条数；Rel.为英语泄露中也在该语言被观察到的百分比；Generated为含PII的补全数，不等于成功泄露。成功标准是编辑距离为0。
• 解码与评审：贪心解码，单步生成。论文未使用LLM评审，未报告人工复核泄露或重复次数。模糊网页匹配阈值为90%。
• 训练数据知情程度：GPT-Neo与GPT-J已知训练于The Pile。论文称Llama与Qwen没有公开确认包含所选子集，因此其英语攻击不属于已确认的extractable memorization。

主结果

下表只列Twitter。Rel.是相对该模型英语泄露的比例，不是全数据集攻击成功率。据Table II。

表格较宽，可左右滑动

模型	英语Leak	法语Rel.	意语Rel.	西语Rel.	德语Rel.
Llama 3.2 1B	340	75.0%	71.5%	76.5%	62.6%
Llama 3.2 3B	548	89.8%	91.4%	89.1%	71.0%
Qwen2.5 3B	468	84.4%	79.5%	82.1%	63.7%
Qwen2.5 7B	591	81.0%	74.3%	74.5%	61.1%
GPT-J 6B	1020	41.8%	44.1%	43.5%	33.0%
GPT-Neo 1.3B	505	45.1%	42.6%	44.0%	29.3%
GPT-Neo 2.7B	694	34.0%	38.0%	35.9%	23.1%

• 作者称四种语言、七个模型、三类PII都有跨语言泄露，且每个模型的英语Leak最高。作者把语言屏障描述为部分保护，而不是硬边界。表中英语中心模型的英语Leak更高，但Rel.更低。
• 邮箱和电话的Rel.低于表中Twitter。作者称多语模型最高为邮箱69.2%（Qwen2.5 7B，西语，227/328）、电话28.6%（Llama 3.2 3B，法语与西语，均为111/388）；英语中心模型邮箱最高16.7%（GPT-J 6B，法语，121/726）。电话上GPT-Neo 1.3B为3/138、3/138、3/138、1/138，GPT-Neo 2.7B为4/256、4/256、6/256、1/256。作者称GPT-J 6B与GPT-Neo 2.7B的跨语言电话泄露不到3%；Table II中GPT-J 6B为18/495（3.6%）、16/495（3.2%）、21/495（4.2%）、5/495（1.0%），与该句不完全一致。
• 作者称规模不能单独解释转移，GPT-J 6B弱于规模相近的Qwen2.5 7B。作者认为Twitter、邮箱、电话的顺序可能反映上下文冗余不同。德语电话的Generated和Leak下降更明显：Qwen2.5 7B德语Generated 468、Leak 10，西语Generated 2450、Leak 61。

网页存在性核验

• 每类抽查200条（Table I）。查询至少返回一页的均值：Twitter 97.6%，邮箱66.8%，电话100%。历史存档均值分别为0.053、0.044、0.054条/查询，第25、50、75百分位均为0。
• 精确匹配在所报告的均值、最小、最大和各百分位上均为0。Max. Fuzzy score均值分别为0.229、0.172、0.163，最大46.289、47.327、44.156，低于90%阈值。
• 作者称抽查译文实际上不在网上，因此第IV-B节的跨语言泄露不是译文已进入预训练数据这一假象。核验不是全部翻译样本。

改写下的抽取

• Figure 1把泄露写成相对该模型、该PII英语泄露的保留率。作者称Twitter和邮箱上，英语改写降到严格攻击的约四分之一到三分之一，目标语改写约十分之一。电话波动更大；多语模型上改写泄露低于严格翻译，英语中心模型上与严格翻译相当，而这些模型本身只泄露一小部分电话。
• 作者称英语改写保留率大约是跨语改写的二到三倍，唯一例外是Llama 3.2 1B的电话。Table VII中该模型电话的英语改写为16、法语改写为19。同表Llama 3.2 3B的Twitter为：英语严格548、改写127；法语严格492、改写96；意语严格501、改写28。
• 作者的解读是：即使语言不变，失去原文措辞也会降低抽取成功；改写再叠加翻译，下降更多。

表征分析

• 分析对象是多语模型各层最后token的激活（Section IV-D）。Table III为相对英语表示、对所有层平均的余弦相似度。Twitter和邮箱上，四个模型的法/意/西以及单独的德语都满足：严格翻译高于英语改写，英语改写高于目标语改写。
• 电话上，英语改写高于目标语改写在每行成立。法/意/西的“严格翻译高于英语改写”在四个模型中的三个成立；Llama 3.2 1B为0.380对0.389。德语严格翻译低于英语改写：Qwen2.5 3B为0.365对0.652，且低于目标语改写0.434；Llama两行的德语严格翻译仍高于目标语改写。
• 作者称Qwen2.5的桥更强，法/意/西严格条件约0.67–0.71，Table III对应值为0.668–0.714；Llama各条件低于0.4。作者称桥的强度不按Table II的泄露顺序排列PII类型，邮箱的差距最小。作者称Figure 2中相似度在输入端最低、中间最高；Twitter和邮箱的预测顺序在至少97%的中间层成立，电话的法/意/西为75–96%，德语严格翻译在每一层都低于英语改写。作者称Qwen2.5最后1–3层从峰值下降约0.12–0.35，目标语改写在每一层都离英语原文最远。所附文本看不到曲线端点。

其他消融与分析

• 德语改写模型（Table VI）：保留Qwen2.5-7B-Instruct，语义相似度高于DiscoLM German 7b，邮箱90.89对68.05，电话90.70对69.85，Twitter 92.02对61.46。
• 改写词汇重叠（Table V）：法语邮箱BLEU 8.21、ROUGE-L 15.02；英语邮箱BLEU 23.51、ROUGE-L 49.21。论文未报告这些分数与Leak的关系。
• 意语改写的双向语义相似度：邮箱46.99、电话48.88、Twitter 47.06（Table V，Minerva-7B-instruct-v1.0）。
• 西语改写的双向语义相似度：邮箱41.35、电话42.10、Twitter 54.36（Table V）。
• 目标模型没有攻击迭代；每次查询是贪心单步生成。论文未报告重复次数。

作者指出的局限与后续方向

• 目标语言法语、意大利语、西班牙语和德语都是高资源语言，除德语外与英语类型学上接近。作者称这是为了在翻译质量有利时分离语言和措辞，但留下、并且可能低估低资源或类型学更远语言上的风险（Section V，Limitations）。
• 电话结果的绝对泄露条数较小，尤其在改写和英语中心模型上；作者要求相应谨慎解读。德语电话在行为和表征上都与其他语言不同，因此分开报告（Section V，Limitations）。
• 作者计划在低资源、类型学更远的目标语言上重复本研究，以看跨语言桥是增强、减弱还是改变性质（Section V，Future work）。
• 作者计划把改写分离方法从抽取扩展到越狱，检验安全绕过所用的跨语言潜空间是否与记忆的内容锚定、中间层结构相同（Section V，Future work）。
• 作者写明，桥的相似度证据在表征层面是相关的；计划用修补或消融做因果干预，以确定哪些组件实现该桥（Section V，Future work）。
• 作者提出先施加遗忘或编辑，再重复逐层相似度分析，以检验“编辑深度不对，所以跨语言泄露仍在”这一解释；这被写成延伸，不是已完成实验（Section V）。

实验覆盖范围

• 被攻击模型为GPT-Neo 1.3B/2.7B、GPT-J 6B、Llama 3.2 1B/3B、Qwen2.5 3B/7B，共7个；推理为贪心解码、单步生成（Section III-C；LLM Usage Considerations）。
• PII为邮箱、Twitter账号、电话号码；每种目标语言样本数为4695、9005、3000。攻击语言为英语、法语、意大利语、西班牙语、德语（Section III-B）。
• 网页核验为每类PII 200条翻译，含精确匹配和90%模糊匹配，不是全部翻译样本（Section III-B1，Table I）。
• 表征分析对象为多语模型Llama 3.2与Qwen2.5的各层最后token隐藏状态；英语中心模型出现在Table II，未进入Table III（Section IV-D）。
• 论文写明GPT-Neo与GPT-J训练于The Pile，Llama与Qwen是否包含所选Pile-CC子集没有公开确认（Section III-C）。论文未报告攻击重复次数，也未报告泄露判定与人工标注的一致性。

这篇工作检验训练数据抽取是否跨语言：英语段落里记住的PII，能否被其他语言的前缀逐字抽出。

• 问题：作者认为只在源语言做隐私评估会低估多语模型。不清楚第二语言泄露是共享表示，还是译文本身已在训练数据中。
• 做法：从Pile-CC取邮箱、Twitter账号和电话号码，用Gemma 3 27b it译成法、意、西、德。前缀长200 token，成功标准是编辑距离为0。GPT-Neo与GPT-J已知训练于The Pile；Llama与Qwen是否包含该子集没有公开确认。另用同语和跨语改写，以及多语模型的层间余弦相似度，分离语言变化和措辞变化。
• 转移：Table II中四种翻译语言都有非零Leak。多语模型找回英语泄露的比例更高：Twitter最高91.4%（Llama 3.2 3B，意语），邮箱最高69.2%（Qwen2.5 7B，西语，227/328），电话最高28.6%（Llama 3.2 3B，法/西语，111/388）。
• 例外：英语中心模型的Rel.更低。电话上GPT-Neo 2.7B德语为1/256（0.4%）。作者称GPT-J 6B跨语言电话泄露不到3%，但Table II为18/495、16/495、21/495、5/495。每类200条翻译的精确网页匹配为0（Table I）。
• 机制：作者称改写后泄露下降，跨语改写通常更低，例外包括Llama 3.2 1B电话。Table III中Twitter和邮箱满足严格翻译比英语改写、再比目标语改写更接近英语表示。作者称对齐主要在中间层，强度更随多语训练而非参数量变化；德语电话不符合这一顺序。
• 作者结论：作者认为语言屏障只提供部分保护，单语隐私评估、审计和缓解不足以覆盖有多语能力的模型，应按跨语言问题处理。作者称这是英语训练PII可被其他语言攻击恢复的首个直接证据。