Unintended memorization of sensitive information by fine-tuned language models

微调会记住只出现在输入、与下游目标无关的PII。

• 场景：作者指出，电子健康记录等敏感文本常在微调输入中带有姓名等PII，但这些内容与分类、抽取或生成目标无关；逐token记住后可能违反隐私法规，并影响个人安全。
• 现有工作：作者称，预训练与微调中的记忆研究主要针对任务相关数据；已有PII探测也未把“只在输入中出现”单独拆开，或比较不同缓解。
• 界定：作者把unintended PII memorization定义为模型内化了不属于预期输出的PII，以区别于预训练记忆，以及目标中故意包含PII的微调。
• 本文做法：用合成与真实数据上的受控提取探测量化该现象，考察语言、重复次数、模型规模、前缀长度和任务类型，并比较四种隐私训练。
• 威胁模型：
  • 访问：realistic black-box，对手只能做输入–输出查询（如API）。
  • 知识：worst-case下攻击者可部分接触微调数据（如匿名化EHR），并据此构造对抗提示词。
  • 目标：抽出训练输入中的PII；实验主要抽人名。
  • 受害系统：在敏感数据上微调的自回归LLM；下游目标不含这些PII。

LLM记忆

• Carlini et al. (2021)用真前缀从自回归模型抽训练数据；本文TPA沿用这一探测。
• Carlini et al. (2022)研究预训练中模型规模、数据重复和提示长度。作者在本文中质疑“出现越频繁就越容易被非预期记住”。
• Feldman and Zhang (2020)、Morris et al. (2025)、Hu et al. (2022)分别讨论长尾泛化中的记忆、模型记住多少，以及成员推断。论文只作背景引用。

微调与PII泄漏

• Zeng et al. (2024)报告生成式任务比判别式任务记住更多训练序列。附录A.1称这一模式不一定延伸到仅输入侧PII。
• Nakka et al. (2024a, 2024b)比较模板、上下文学习与真前缀类探测。Lukas et al. (2023)分析PII泄漏，并指出记录级差分隐私不区分内容涉及的是谁。
• 作者称尚无先前工作系统隔离input-only PII，或在多种缓解之间做比较。

缓解技术

• 差分隐私：Dwork (2006)给出定义；Li et al. (2021)、Yu et al. (2021)、Hoory et al. (2021)将其用于语言模型训练。作者称其有可核验保证，但会损失效用并增加训练复杂度。
• UnDial（Dong et al., 2024）用自蒸馏压低待遗忘token的logits。作者称Gradient Ascent与Negative Preference Optimization（Fan et al., 2025；Shi et al., 2024）会训练不稳并损伤一般性能。
• DPO（Rafailov et al., 2023）被改成压制PII泄漏的偏好对齐。Nasr et al. (2023)、Wei et al. (2023)只在附录的攻击构造中被引用。

基线与数据

• 对照是预训练base与只优化下游任务的SFT。数据为GretelAI-Financial、Pathology报告和Discharge Summary。
• 作者称，据其所知，这是聚焦LLM微调中unintended PII memorization的首个综合研究。

作者把问题形式化为input-only PII memorization，用True-Prefix Attack（TPA）测量，再比较微调中或微调后的四种缓解。

问题设定与提取探测

• PII只出现在输入、不在训练目标中。下游任务是分类、信息抽取和随访计划生成。
• 给定PII片段s之前的真实前缀c，若s ← argmax_{s′:|s′|=N} f_θ(s′|c)，则称s可提取。这里f_θ(s'|c)是条件概率，N是s的token数。
• enhanced TPA在前缀后加上该PII的首字符。作者在附录A.3比较其他提示词攻击后称，TPA的提取率近似为下界。
• 多数评测把前缀定为50个token。论文写生成上限为前缀后25个token（括号中写50 tokens）。

数据与任务

• GretelAI-Financial：合成、多语言金融文本分类。§3.1写预处理后约30k条、7种语言、52个标签。附录B.1：训练27,636、测试3,136；保留121,493个PII span、51,206个唯一实体。
• Pathology：§3.1为2,553份2020–2023年德语肿瘤病理报告，由医学专业人员核对人工标注，任务是抽成5字段JSON。附录B.2写过滤后2,552条，训练/验证/测试为2,041/255/256。
• Discharge Summary（DS）：26,306份1996–2014年德语出院小结，抽出Procedere做随访计划；目标中的PII被遮蔽。标注流程是regex、LLaMa 4 Scout和人工复核（附录B.3）。

四种缓解

• SFT：QLoRA，r=8，全部线性层，10–25个epoch至早停；余弦学习率，3%步数线性warmup。超参只为下游表现优化，不考虑隐私。附录C写验证耐心为3次。
• DP：经Opacus把(ε, δ)-DP接入QLoRA，δ=10^{-5}，ε∈[2, 8]。表中报告ε=2与ε=6。作者称超参跟随Li et al. (2021)，用更大batch和学习率换效用。
• UnDial：自蒸馏。人名子集与评测中抽出的名字不重叠：GretelAI 17692（40%）、Pathology 1500（40%）、DS 6000（20%）。输入输出结构与TPA相同，遗忘目标是PII。
• 正则：交叉熵与只加在PII span上的UnDial损失交替，子集与UnDial相同。
• DPO：含PII的原文为rejected，遮蔽版为preferred；系统提示词要求隐瞒全部PII。对其后20个token内至少有两个PII的序列，滑动150-token窗口。得到GretelAI 1489条、DS 5636条。β=0.01。另在DP-ε6之后再做DPO。论文未写Pathology的DPO训练集。具体学习率与batch见Table 13。

成功判定

• 任务指标：GretelAI为accuracy，Pathology为F1，DS为BERTScore-F1。
• 三种提取设置：greedy；temperature=1、每个前缀采样32次；cross-memorization，即与数据集中同类全部PII比较，不限于当前样本的ground truth。
• GretelAI用归一化后的精确子串匹配。Pathology与DS对人名、地址等用Levenshtein，相似度阈值90%；纯数字PII先去掉非数字字符；邮箱和网址用精确匹配。主分析抽人名，附录A.4扩展到其他类型。

实验设置

• 模型：Llama 3.2 1B、Llama 3.2 3B、Llama 3.1 8B、Gemma-3 1B/4B/12B、Qwen-3 1.7B。缓解主表是Llama 3.2 1B。LLaMa 4 Scout只用于DS标注。
• 数据：GretelAI-Financial（训练27,636、测试3,136）、Pathology（2,041/255/256）、DS（26,306，80/10/10）。主结果抽人名。
• 对照与缓解：预训练base、SFT；DP-ε2、DP-ε6、UnDial、正则、DPO-β0.01，以及DS上的DP-ε6+DPO。
• 指标：任务为accuracy、F1、BERTScore-F1。提取格为总次数（唯一实体）。另有提取率和exposure rate。
• 协议：greedy；temperature 1、每前缀32次；cross-memorization。GretelAI精确匹配，病理与DS近似匹配阈值90%。语言实验3个seed，Figure 4为95% CI。
• 训练：QLoRA r=8。Table 13中DS的SFT为2e-4、batch 128，DP-ε6为1e-3、batch 1024，DPO为1e-7、batch 32。DP的δ=10^{-5}。

主结果

据Table 2，Llama 3.2 1B，DS，人名。任务列为BERTScore-F1。

Swipe horizontally to read the table

• 作者称后训练方法的隐私–效用权衡更一致、对超参更稳，也比DP和正则更省资源；论文未报告具体耗时或查询次数。作者称DS上DP把cross-memorization降低超过60%，且未用seed PII。Table 2里DP-ε6的Regular cross为161 (154)，SFT为1604 (1334)；但DP-ε2的Enhanced cross为17405 (5994)，高于SFT的11754 (4453)。
• Regular sampling：SFT 71 (46)，DPO 42 (33)，UnDial 43 (24)，DP-ε6 91 (44)，DP-ε6+DPO 107 (53)。Enhanced sampling：SFT 849 (165)，DPO 733 (115)，DP-ε6 1109 (201)。作者称后训练在采样式TPA上更好，DP偶发重复输出；DP+DPO没有同时拿到两边的优点。
• Reg-20%的Regular greedy为2006 (17)，高于SFT的1 (1)。作者称正则因训练目标冲突而保留更多PII。DP-ε2与Reg-20%的sampling在该表为“-”。

另外两个数据集

• GretelAI、greedy人名（Table 2）：Base准确率0.1208、3402 (1758)；SFT 0.8717、3601 (1720)；DPO 0.7924、2616 (1167)；UnDial-40% 0.7621、2717 (1323)；DP-ε6 0.7484、3563 (1767)。DP-ε6的唯一姓名高于SFT。该表Sampling与Cross为“-”。
• Pathology、F1（Table 2）：Base 0.2889，SFT 0.8621，DP-ε6 0.5513，UnDial-40% 0.7189。四行两种greedy均为0 (0)。Regular sampling：Base 72 (56)，SFT 63 (51)，DP-ε6 60 (50)，UnDial 56 (50)。Regular cross：Base 6 (4)，SFT 11 (7)。
• 作者称Pathology泄漏更低，并将其归因于数据更小、PII更稀疏。附录A.1称下游任务类型对仅输入侧记忆没有直接影响，输出格式可能影响提取是否容易发生。

语言、频次与前缀

• Figure 4，GretelAI、Llama 3.2 1B、3个seed的平均提取率：Spanish 10.76%，English 10.69%，Dutch 9.30%，French 8.61%，German 7.62%，Italian 7.46%，Swedish 6.92%。重复测量ANOVA：F(6, 12)=61.13，p=2.68×10^{-8}。Tukey HSD报告English、Spanish高于German、Italian、Swedish（p<0.01）；作者称差别通常为2–4个百分点。作者强调结果来自合成数据。
• Figure 3，DS、Llama 3.2 1B、seed 2431、enhanced TPA、cross-memorization：趋势线y=0.047x+1.124，R²=0.237。作者称重复次数解释不到24%的方差，并假设语境和对下游任务的用处影响更大。文中还称文档页眉中的高频PII要在学习率再大一个数量级时才被记住；论文未给出该次实验的具体学习率。
• 作者称Figure 2中，微调模型对同一批人名的负对数似然更靠近0，方差也更小。作者称前缀从25到50个token时成功率上升快，其后增益变小；Figure 8上GretelAI可延续到100个token，DS在50–100持平，更长时预训练模型甚至下降。

模型规模

• Table 1的DS任务分，base到FT：Llama 3.2 1B从0.5227到0.7147，3B从0.5484到0.7304，Llama 3.1 8B从0.3990到0.7386；Gemma-3 1B/4B/12B分别到0.7049、0.7273、0.7191；Qwen-3 1.7B从0.5403到0.7267。
• 作者称更大模型未经微调也更能抽出PII，且8B–12B上微调并不一致地增加可提取数量。Table 1中Llama 3.1 8B的Regular cross从1781 (1002)到5469 (310)，Gemma-3 12B的Enhanced cross从8934 (2774)到6292 (3098)。Qwen-3 1.7B-FT的Regular cross为9185 (4626)，是该列FT中最高。
• Table 4：Llama 3.1 8B上DPO的任务分为0.7011（SFT 0.7386），Regular cross为18 (18)（SFT 5469 (310)），Enhanced cross为43 (42)（SFT 7564 (1281)），Regular sampling为14 (7)。同表8B的DP-ε6 Regular greedy为13 (12)，高于SFT的8 (7)。作者称参数变大后DP不再同等程度阻止记忆，DPO在更大模型上更有效；没有方法消除泄漏。

其他消融与分析

• 多种子（Table 3，DS、Llama 3.2 1B）：DP的Regular cross均值为327.0±149.2，SFT为1562.0±1072.5；DPO任务分0.7213±0.0077。作者称最有效方法对直接PII记忆也只降低约40%；Enhanced greedy均值：SFT 45.6±25.6，DP 27.3±5.5，DPO 31.0±5.9。Table 6中SFT、UnDial、DPO各5个seed，DP-ε6为3个。
• LoRA rank（Table 5）：rank 8与64的两组总数同为40与849，唯一实体从17、165增到23、199。表头写Greedy与Sampling (32)，图注写cross-memorization；849 (165)与Table 2中SFT的Enhanced sampling相同。
• 其他PII（Table 12，DS、greedy）：SFT的Regular邮编从base的775 (19)到30 (10)，姓名仍为1 (1)；Enhanced姓名从25 (15)到91 (15)。Table 10中GretelAI全类型greedy总数：Base 9589，SFT 10473，DPO 7666。Table 11中Pathology的cross总数：Base 265，SFT 130，DP-ε6 269。
• 附录攻击（Table 8）：GretelAI上ICL最高1.521%（8 examples），PII-Compass最高0.885%。附录写TPA从预训练10.0%到微调11.3%。Table 9中Recovery的cross唯一实体高于裸前缀；作者称超过一个数量级。附录A.3给出了Role-Play、Recovery、Jailbreak的完整提示词。
• 结构化输出：附录A.1称Pathology上结构化与非结构化模型最多差1个不同姓名、2到3个其他类型；结构化模型聚合准确率约高11%。
• UnDial调参：附录C.3称用20% PII遗忘后，可提取的不同PII从13.44%到12.65%，准确率保持在原模型的95%以上。该段与Table 2是否同一次运行，论文未说明。

作者指出的局限与后续方向

• 训练方式：主要考察12B以下模型的QLoRA。作者认为更大基础模型和推理导向架构的记忆与缓解反应可能不同；后续可看其他参数高效方法、非量化模型和全参微调（Limitations）。
• 数据：高质量、大规模、带显式PII标注的语料因隐私与伦理约束实际上不可得。作者认为依赖合成数据和自动标注可能引入偏差；缺少个体级结构，因而难以考察联邦学习或user-level差分隐私。作者把数据集建设视为后续机会（Limitations）。
• 对抗评测：§A.3只是初步比较，作者不声称覆盖全部对抗情形。白盒梯度泄漏和高度优化的人工越狱仍难系统评估。作者称本文主要量化标准推理下的token级记忆，并以此推动对防御对抗鲁棒性的进一步研究（Limitations）。
• 机制：即便现有方法有效，仍有改进空间；为何如此，以及如何设计更稳健、可扩展的防御，作者列为开放问题（Discussion）。

实验覆盖范围

• 被测模型为Llama 3.2 1B、Llama 3.2 3B、Llama 3.1 8B、Gemma-3 1B/4B/12B、Qwen-3 1.7B，共7个（Table 1）。缓解的规模比较为其中三个Llama模型（Table 4）。
• 数据集为GretelAI-Financial、Pathology、Discharge Summary。Table 2的Pathology行为Base、SFT、DP-ε6、UnDial-40%；GretelAI另有DP-ε2、Reg-40%、DPO；DS另有DP-ε6+DPO。主比较抽人名，附录A.4给出其他PII类型。
• 评测含greedy、temperature 1的32次采样和cross-memorization。Table 2中GretelAI的Sampling与Cross为“-”。附录A.3比较了ICL、PII-Compass、Role-Play、Recovery、Jailbreak。
• 语言实验为3个seed（Figure 4）。Table 6中SFT、UnDial、DPO各5个seed，DP-ε6为3个seed。DS的PII由regex、4-bit的LLaMa 4 Scout和人工复核得到（附录B.3）。
• 论文未报告主实验中TPA的前缀条数，也未报告标注者间一致性。训练使用QLoRA；论文在Limitations中说明全参微调、非量化模型不在本次实验内。

• 定位：测量微调后只存在于输入中的PII记忆，并比较DP、UnDial、正则和DPO。
• 问题：下游目标不含这些PII，但姓名等仍可能被查询抽出。作者采用black-box，并假设攻击者能部分接触微调数据，例如匿名化病历。
• 方法：主探测是TPA，enhanced TPA再加PII首字符。数据为合成多语言金融文本GretelAI-Financial，以及德语Pathology、Discharge Summary。DPO把遮蔽文本当作preferred、原文当作rejected；UnDial与正则使用与评测名字不重叠的人名子集。
• DS、Llama 3.2 1B（Table 2）：SFT的BERTScore-F1为0.7147。DP-ε6的Regular TPA cross为161 (154)，SFT为1604 (1334)；作者称DP在该任务上把cross-memorization降低超过60%。同表DP-ε2的Enhanced cross为17405 (5994)，高于SFT的11754 (4453)。Reg-20%的Regular greedy为2006 (17)，高于SFT的1 (1)。
• 采样与规模：同表DPO的Regular sampling为42 (33)，SFT为71 (46)，DP-ε6为91 (44)。Table 4中Llama 3.1 8B的DPO，Regular cross为18 (18)，Enhanced cross为43 (42)，任务分0.7011，SFT为0.7386。GretelAI上SFT分类准确率为0.8717（Table 2）。
• 因素与结论：人名频次与抽出次数的R²=0.237（Figure 3）。七种语言的平均提取率从Swedish 6.92%到Spanish 10.76%（Figure 4）。作者称后训练方法的权衡更一致，DP在特定设置降泄漏更多但训练不稳；没有方法消除泄漏。作者认为敏感领域部署前应评估隐私防护，机制和可扩展防御仍是开放问题。