跳到正文
原文
arXiv：越狱、提示注入、投毒与防御· arXiv:2610.02418· Anna Yoo Jeong Ha, Ronik Bhaskar, Haitao Zheng, Ben Y. Zhao·本站收录· 原文发表

Whiteout：用混淆样本阻止 LLM 泄露个人敏感信息

Mitigating Private Data Leakage in LLMs with Whiteout

论文速读

防御

据论文 PDF 整理（AI 生成），以原文为准

Whiteout用约10条伪装样本微调覆盖PSI关联，六款开源模型pre-exist直接查询PER升至100%（Table 3）。

威胁模型模型方接到已核验请求，可微调以阻止披露u的birthday、email或home address。

问题
LLM会记忆并复述生日、邮箱、住址等PSI。用户要求不再披露时，重训不现实，护栏可被越狱打破，现有遗忘又常损害效用且可被逆转。需要按需打断该人与真实值的关联。
方法
Whiteout为每个请求选一个不揭示原值的伪造PSI，用目标模型生成分布内伪装样本，再以标准微调覆盖原关联。默认每请求约10条样本；住址会校验为不存在地点。
实验与结果
Table 3中六款开源模型的pre-exist直接、间接与重复查询，保护后PER均为100%。Table 8中GPT-4o-mini六个主体亦为100%。作者称效用与安全大体保持；Table 10三模型上所列攻击成功率为0%。
局限与可以继续做的
作者指出该机制也可写入虚假事实，部署需审核与用户认证；目前仅三类PSI，且不处理请求核验和借他人关系推断。对抗成功率只报告Llama 3.2、Gemma 3、Phi-3-mini；论文未报告自动PER与人工判定的一致性。
实验设置Llama 3.2、Phi-3-mini 等 · 作者构建的PSI集合（50人，三类）、C4 English 等 · PER、attack success rate（1−PER） 等
威胁模型
模型方接到已核验请求，可微调以阻止披露u的birthday、email或home address。基本攻击者只有black-box查询且不知Whiteout；自适应攻击者知道方案，可改权重并可能知道部分ρu。假定信息已从网上与公共记录删除；借他人关系推断不在范围。
被测模型
Llama 3.2Phi-3-miniGemma 3DeepSeek R1 DistillPhi-4GPT-OSSGPT-4o-mini
基准
作者构建的PSI集合（50人，三类）C4 EnglishPIQAARC-EasyARC-ChallengeSORRY-Bench
指标
PERattack success rate（1−PER）PIQAARC-EARC-CSafety（1−harmfulness）
AI 导读研究者提出 Whiteout，一种在个人提出请求后阻止 LLM 复述其真实个人敏感信息（PSI）的工具，做法是用精确设计的混淆样本覆盖这些信息。作者指出，现有基于机器遗忘的缓解方法往往删除过多信息、损害模型效用与安全性，且易受攻击。Whiteout 在多家厂商、不同规模的现代 LLM 上评估，其中包括一款广泛使用的 OpenAI 模型，结果显示它能有效阻止目标 PSI 被披露，对模型效用与安全性影响可忽略，并优于现有替代方案。研究还测试了 Whiteout 对黑盒攻击（如越狱）和白盒自适应攻击（如重学习、量化）等反制手段的鲁棒性，并讨论了其安全与伦理影响。

研究者提出 Whiteout，一种在个人提出请求后阻止 LLM 复述其真实个人敏感信息（PSI）的工具，做法是用精确设计的混淆样本覆盖这些信息。作者指出，现有基于机器遗忘的缓解方法往往删除过多信息、损害模型效用与安全性，且易受攻击。Whiteout 在多家厂商、不同规模的现代 LLM 上评估，其中包括一款广泛使用的 OpenAI 模型，结果显示它能有效阻止目标 PSI 被披露，对模型效用与安全性影响可忽略，并优于现有替代方案。研究还测试了 Whiteout 对黑盒攻击（如越狱）和白盒自适应攻击（如重学习、量化）等反制手段的鲁棒性，并讨论了其安全与伦理影响。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    按需打断人与真实PSI的关联，而非抹掉概念或靠拒答。

    核心问题是：用户发现LLM记住自己的真实PSI后，能否按需让模型不再输出这一关联，同时保持可用。

    • 出现场景：作者称现代LLM在大规模、基本未过滤的网页抓取与用户输入上训练，会记忆并复述生日、电话、住址等PSI；披露可助长身份盗窃、社工，并增加公众人物的人身风险。
    • 现有做法的缺口：从头重训不现实；作者认为差分隐私训练在可预见未来不太可能被主流LLM采用；对齐与过滤反复被越狱打破。机器遗忘常删得过多、损害效用与安全，且改写查询、重学习、神经元操纵或量化可以恢复本应忘掉的信息。
    • 观察：PSI是人与通用属性值的关联。目标不是擦掉人名、日期或街道，而是打断用户u与真实值ρu的绑定。拒答只把关联藏起来，扰乱拒答通路的越狱仍可能发现它。
    • 本文做法：提出Whiteout，用少量分布内、不揭示原值的伪装样本做标准微调，把u改写到伪造PSI。作者的直觉是原关联概率会被压向噪声底。
    • 威胁模型：
      • 攻击目标：通过查询LLM获得u的真实ρu。
      • 模型方：接受birthday、email、home address三类请求，可生成合成数据并微调。请求假定来自已核验身份与真实ρu的监管机构；论文不处理核验。
      • 知识与能力：基本攻击者只有black-box查询、不知Whiteout、对ρu知之甚少或无知。自适应攻击者知道方案，可访问或修改权重，甚至知道部分真实值（如出生年）。假定该信息已从互联网和公共记录删除，不能靠搜索取回。
      • 明确不做：攻击者已知u与他人在同一属性上的关系（例如已知邻居再查邻居住址）。作者将此类留给后续工作。

  2. 有哪些相关研究？

    相关讨论集中在记忆泄露、护栏对齐，以及可被逆转的微调遗忘。

    按第2节，相关工作分成记忆泄露、训练期隐私与护栏、微调式遗忘，以及机制性或推理时干预。

    记忆与训练数据泄露

    • 记忆测量：Carlini等及后续工作（论文引用的[10, 42, 53, 54, 63, 81]）记录LLM会复述训练文本，且更大模型在推理时更容易被抽出训练内容。
    • 语料来源：论文称训练文本来自近乎整个互联网和用户会话，敏感信息过滤有限（[8, 74]）。作者自己在C4 English与Llama 3.2上测量了生日、邮箱、住址（Table 1）。

    差分隐私、护栏与对齐

    • 差分隐私训练：限制单个数据点的影响，但作者称精度、模型规模和训练成本构成障碍；VaultGemma [70]展示了较小研究模型的可行性，主流采用仍被作者认为不太可能。
    • 护栏与RLHF：用于减少敏感泄露和不安全输出（[17, 27, 38]）。论文引述越狱研究[9, 77]与理论结果[5]，称内容一旦被记住，外部护栏很少能做到万无一失。

    微调式遗忘

    • 做法：遗忘希望模型表现得像从未学过某内容[82]。包括梯度方法[34, 43]、偏好优化[20, 21, 84]、微调成拒答[33]，以及从扰动分布生成回答[19, 23, 44]。
    • 论文指出的两类问题：对改写、配对和越狱提示[44, 64, 72, 73]，以及白盒重学习[30, 39, 48]、神经元操纵[38, 65, 78]、量化[85]不够稳；作者认为原因是只压制表面痕迹而非从参数中移除影响[38, 44, 47]。另一类是效用损伤：知识纠缠使相关与无关事实一并受损[7, 14, 28, 44, 49]。

    机制性与推理时方法

    • 机制性遗忘[25, 50]：只改被定位到的组件或神经元。作者称精确追踪电路仍然难且贵，而更新会改变内部表征[11]，生产级模型上每次更新都要重做映射，因而不可行。
    • 推理时遗忘[58]：用上下文学习改写输入以抑制敏感生成。论文引述后续研究[71]：该做法与输入过滤一样只是掩盖，自适应越狱可以绕过。

    基线与基准：对比Gradient ascent（GA）[34]、Negative preference optimization（NPO）[84]和Refusal via fine-tuning [49]，实现分别来自[18]与[49]，均不使用retain set。效用用PIQA、ARC-E、ARC-C，安全用SORRY-Bench。待保护PSI由作者构建；C4 English用于泄露测量。

    作者把本文定位成更窄的按需关联打断：用覆盖代替最大化损失的概念擦除，也不同于把关联藏起来的拒答。

  3. 论文如何解决这个问题？

    用目标模型生成的分布内伪装样本做标准微调，覆盖原关联。

    Whiteout不改训练损失：为每个请求选定一个不揭示原值的伪造PSI，用目标模型生成分布内样本，再做标准监督微调，把u绑到该伪造值。

    设定与设计选择

    • 保护对象是关联(u, ρu)，不是人名或属性类型。覆盖后，模型对关于u的查询应输出看起来合理的伪造内容。
    • 单一伪装值：作者援引投毒文献[32, 66]，称把样本集中到一个目标可以用很少样本提高效果，从而做成局部修改。
    • 三条约束：伪造值不能用来反推原值；样本要分布内；尽量不伤害他人。住址应是不存在的地点，避免把查询者引到别人家里。

    三步流程

    1. 选伪装值。住址：常见门牌与街名加上真实城市，再用自动邮政地址校验器确认不存在。邮箱：使用预生成的无效域名列表。生日：随机合法日期，且日、月、年与原值不同；作者认为与他人生日撞日的风险很小。
    2. 造样本。样本生成模块以目标LLM为生成器，输入用户与伪装PSI，输出多种说法，使样本落在模型已学回答分布内。推理模型还要附上与其自身推理过程对齐的合成推理；作者称这一步对有效保护是必需的。附录C.3给出了完整提示词。
    3. 微调。标准SFT，不改损失或训练过程。四款较小开源模型同时试了全参数与LoRA，作者称结论相似；除另有说明外报告LoRA。GPT-4o-mini的API不支持LoRA，使用全参数SFT。

    训练配置

    • 默认规模：一次处理5个保护请求，每请求10条伪装样本。摘要中的数量写作约10条。
    • LoRA（Table 12）：学习率5e-5，batch 64，cosine调度，warmup 0，rank 128，5个epoch。
    • 全参数：学习率1e-5，batch 128，cosine，warmup 0.1。Whiteout全参数微调取在PSI上达到至少80%准确率的最少epoch，文中称通常为3–6。注入controlled PSI时，每PSI 25条、共50个PSI（1250条），epoch调到全体50人平均反刍率至少80%的最小值。
    • GPT-4o-mini（Table 14）：每主体10条样本、5个epoch、batch 1、LR multiplier 1.8；batch与学习率由API自动设定。作者称单次保护的客户侧API成本约0.14美元，并称这是实际上限，因为模型方成本低于面向客户的API价格。

    损失直觉与泄漏判定

    • 作者在简化设定中把覆盖目标写成L1=𝔼x∈ XA[L(πθ(ρ̂A|x))]，即在应引出用户A真实PSI的提示上，提高输出伪装值的概率。附录C.9将L取为标准交叉熵，并假设伪装值与原值都是单token、初始输出原值的概率至少0.5。作者称：有效优化L1会同时压低原关联；L1有下界，而带遗忘项的目标可无限下降，因而更难控制、更可能造成全模型损伤。实际训练仍是标准SFT，并不显式加入遗忘项。证明在附录C.9、C.10。
    • PER为1减泄漏率。自动检查日期、邮箱或住址格式。生日须与真实日期匹配；邮箱和住址按字段计算字符编辑距离，合计不超过4算泄漏。每个受保护对用10条提示、10个随机种子，共100次查询。查询提示在附录C.1、C.2。生成参数为temperature 0.6、top-p 0.9、top-k 50。

  4. 论文做了哪些实验？

    七模型保护后PER为100%；Table 10三模型上攻击成功率为0%。

    实验设置

    • 模型：Table 2的Llama 3.2（3B）、Phi-3-mini（4B）、Gemma 3（4B）、DeepSeek R1 Distill（7B）、Phi-4（16B）、GPT-OSS（20B），以及用微调API评测的GPT-4o-mini。前六款为开源权重。
    • PSI：birthday、email、home address。自建50人：21名真实公众人物（7类各3人）和29名合成人物。pre-exist指六款开源模型上生日反刍率均至少80%、并用Wikipedia核对的关联；邮箱、住址及合成人物多用全参数微调注入到80%以上反刍率。controlled只注入前四个模型；Phi-4、GPT-OSS与GPT-4o-mini只测pre-exist。
    • 先行测量（§3.1）：C4 English中三类占比为0.07%、0.04%、0.03%；Llama 3.2对28名公众人物的反刍率为100%、58%、54%（Table 1）。这不是Whiteout主评测。
    • 指标与协议：PER；效用为PIQA、ARC-E、ARC-C；安全为SORRY-Bench上的1减harmfulness。攻击成功率为1−PER。默认保护5个随机对、每对10条伪装样本，每对10提示×10种子。规模实验重复5次。开源模型的抽取提示由GPT-4o-mini生成；GPT-4o-mini实验在2026年1月，推理提示由Gemma 3生成。
    • 对照：GA、NPO、Refusal，均无retain set。GA与Refusal的强度旋钮是epoch，NPO是β；各有protection-first与utility-first。论文未说明SORRY-Bench的评审模型。

    主结果

    表格较宽，可左右滑动

    模型保护前PER保护后PER间接查询重复采样
    Llama 3.21.6±0.7100±0100±0100±0
    Gemma 37.1±1.6100±0100±0100±0
    Phi-3-mini7.9±3.0100±0100±0100±0
    DeepSeek7.8±3.0100±0100±0100±0
    Phi-40.9±0.6100±0100±0100±0
    GPT-OSS3.6±1.0100±0100±0100±0

    据Table 3，列为pre-exist、三类PSI汇总的直接查询。间接列合并两类间接提示，且只报告Whiteout之后。表中未列入GPT-4o-mini，因其结果在Table 8，条件不是这一汇总。

    • controlled设定下，Llama 3.2、Gemma 3、Phi-3-mini、DeepSeek保护前PER为0.1±0.6、0.7±1.7、1.4±2.3、11.8±6.5，保护后均为100±0；Phi-4与GPT-OSS为未报告（Table 3）。
    • GPT-4o-mini六个主体保护后PER均为100%，各用10条伪装样本；保护前除First NYPD Precinct Building为4%外均为0%（Table 8）。作者称两类间接查询和重复查询也保持100%。
    • 作者称这支持“用户-PSI关联在训练数据中出现少，故少量分布内样本即可覆盖”的直觉（Finding 1）。

    效用、安全与请求规模

    • Table 5（5个请求、PER 100%）：作者称六款开源模型与GPT-4o-mini的四项分数相对稳定。Llama 3.2的PIQA同为0.71，ARC-E 0.79到0.78，ARC-C 0.68到0.71，Safety 0.52到0.58。GPT-4o-mini为0.89/0.89、0.93/0.93、0.86/0.87、0.64/0.67，与Table 9一致。同表中Phi-4的PIQA为0.75到0.84，GPT-OSS的ARC-E为0.92到0.87、ARC-C为0.90到0.87。
    • Table 6把请求增至10、50、500，只含Llama 3.2、Gemma 3、Phi-3-mini，5次重复。各规模保护后PER均为100%。500条时PIQA为0.68±0.01、0.70±0.00、0.77±0.01，对应未保护基线0.71、0.73、0.76。作者称效用与安全仍接近基线。500条只选用原生日反刍率至少50%（100次查询）的人。
    • 作者用校验工具检查保护后输出：日期均为真实日历日，邮箱和住址结构完整；全部实验中超过80%的输出与对应伪装数据完全匹配。5名名人的5项公开属性在保护前后recall均为1.0。

    与GA、NPO、Refusal的对比

    • Table 7为protection-first、无retain set。三模型上三种基线的PER都可到100%，但效用下降。Llama 3.2上Whiteout为0.71/0.78/0.71/0.53（PIQA/ARC-E/ARC-C/Safety），GA为0.32/0.75/0.65/−∗，NPO为0.53/0.29/0.28/0.51，Refusal的PIQA为0.02。该行Safety 0.53与Table 5的0.58不是同一格。
    • Gemma 3上NPO的ARC-E与ARC-C均为0.03，GA的PIQA为0.55。标−∗的安全分是因为SORRY把不连贯输出当成无害并记为1；作者称模型已无法产生连贯输出，并举例NPO后的Gemma 3会输出重复月份串。
    • 作者称基线要么更换遗忘目标，要么引入新分布的拒答数据，因而出现保护与效用的权衡；Whiteout用分布内数据和标准微调，作者称去掉了这一权衡。Table 16的utility-first中，Llama 3.2上GA与Refusal的PER为0，NPO（β=0.1）为33；Gemma 3上Refusal为13，NPO（β=0.1）为0。

    对抗措施与MIA

    • Table 10在Llama 3.2、Gemma 3、Phi-3-mini上，black-box（要求不拒答并输出真实值、要求替代答案、要求有效住址、部分PSI知识、配对提示）、white-box（GCG、FP4与NF4的4-bit量化）和white-box自适应（重学习、擦除）的攻击成功率均为0%。协议仍是5对×10提示×10种子。
    • 作者的解读：保护不靠拒答，所以针对拒答的越狱和GCG没有可破坏的通路；覆盖后受保护与未受保护PSI在模型内行为一致，配对提示失效；标准微调学到的伪装值对量化不敏感。重学习把已知的4人训到100%查询准确率后，剩下1人仍为0%成功；作者认为重学习不是覆盖的逆操作。擦除用相同伪装数据和学习率做梯度上升，成功率为0%，且PSI查询输出变为乱码；作者称遗忘不能精确撤销先前的覆盖。
    • 部分知识查询（已知出生年、城市或邮箱域）作者称未恢复其余字段。要求替代答案时，约10次后模型不再给新值；约50%的尝试返回略改的伪装数据，其余为不揭示伪装值或真实值的幻觉。MIA用Min-K%（k=20），比较真实关联、伪装关联和500条负样本。作者称保护前可检出真实关联、检不出伪装，保护后相反。Figure 2图注称保护后真实关联的分数落入负样本分布。

    其他消融与分析

    • Table 4（Llama 3.2，controlled）：原训练样本为25或50时，5条伪装即100% PER；100至1K条原样本需10条；10K条原样本需100条。
    • Table 15：四款可注入模型上，三类PSI保护后PER均为100%。
    • 附录C.11（Llama 3.2，一个生日，10条提示平均）：保护前月/日/年概率为99%、100%、100%；保护后为0.14%、0%、0%，原成分不在Table 18的top-5。
    • Table 13：向Llama 3.2注入controlled PSI后，PIQA 0.73到0.71，ARC-E 0.81到0.79，ARC-C保持0.68。
    • Table 6中Phi-3-mini的Safety在50个请求时为0.61±0.00（基线0.65），500个请求时为0.68±0.00。
    • 附录Table 11：Phi-4与Llama 3.2上，5条伪装样本可改写白宫地址、英国首相住址和一战开始日期等已知关联。Table 17：GPT-4o-mini内容审核拒绝了部分改写，包括若干公众人物生日和著名建筑地址。

  5. 有什么可以进一步探索的点？

    作者指出误用、仅三类PSI，以及核验和关系推断尚未处理。

    作者指出的局限与后续方向

    • 误用：模型训练者或用户可以把虚假信息写进LLM。作者称实际部署应配套能检测并缓解恶意覆盖的审核，以及认证用户、授权请求的机制，并把这部分留给未来工作（引言Misuse Mitigation、§9、附录A）。
    • PSI类型：目前只做特别容易泄露的三类。后续应扩展其他类型，研究模型与监管机构如何对接寻求保护的用户并建立接口，以及开发帮助用户发现泄露的工具（§3、§9）。
    • 关系推断：不处理攻击者已知u与他人在同一隐私属性上的关系、再借此查询的情形，例如已知邻居再查邻居住址（§3.2）。
    • 请求核验：威胁模型假定请求已由监管机构核验，本文不处理核验任务（§3.2）。附录A把用户认证和请求授权列为部署所需的监管支持。
    • 对照范围：对比未包含依赖大规模、仔细策划的retain set的遗忘方法。作者称这类retain set可以改善遗忘后的效用，但会带来训练和数据整理开销；Whiteout不使用retain数据（§6.3 Limitations）。
    • 开放权重与未做的API：附录A称，DeepSeek、Kimi、Qwen和LLaMA等开放权重模型如何抵御第三方微调对事实的篡改，仍是开放问题。§6.4脚注称未能获得Claude微调所需权限，该评测留给未来工作。作者计划在论文被接收后向模型提供方、相关政策机构和州立法机构通报发现（§9）。

    实验覆盖范围

    • 被测模型为Table 2的七个：六款开源模型，参数规模3B到20B，加上GPT-4o-mini。
    • PSI为birthday、email、home address；集合为50人（21名真实公众人物加29名合成人物）。pre-exist与controlled都报告的是Table 2前四个模型；Phi-4、GPT-OSS和GPT-4o-mini只报告pre-exist。
    • 每个受保护对的PER来自100次查询（10条提示×10个随机种子）。效用与安全指标为PIQA、ARC-E、ARC-C和SORRY-Bench。请求数到500的5次重复只在Llama 3.2、Gemma 3、Phi-3-mini上进行，且这500条是生日。
    • Table 10的攻击成功率只报告Llama 3.2、Gemma 3、Phi-3-mini。论文未报告DeepSeek R1 Distill、Phi-4、GPT-OSS、GPT-4o-mini上这些攻击的成功率。MIA为Min-K%（k=20），对象是上述三模型、各保护5人生日，负样本500条。
    • GPT-4o-mini因内置护栏无法为模型已经拒绝输出的住址建立泄露基线，住址实验改为公共地标的公开地址，微调为全参数SFT。论文未说明SORRY-Bench的评审模型，也未报告自动PER与人工判定的一致性或统计显著性检验。

  6. 总结一下论文的主要内容

    以少量伪装微调覆盖PSI关联，保护后PER为100%且所列攻击成功率为0%。

    Whiteout是给模型方用的按需PSI保护：用伪装样本覆盖“某人与其真实敏感值”的关联，而不是擦掉概念或训练拒答。

    • 问题：作者称LLM会复述生日、邮箱和住址。用户要求停止披露后，重训不现实，差分隐私被作者认为主流难采用，护栏可被越狱打破，现有遗忘又常损害效用且可被逆转。
    • 做法：为每个已核验请求选一个不揭示原值的伪造PSI，用目标模型生成分布内样本（推理模型另附合成推理），再做标准SFT或LoRA。默认一次5个请求、每请求10条样本。住址经校验为不存在地点。
    • 保护结果：Table 3中六款开源模型的pre-exist直接查询PER，保护后均为100±0；间接查询与重复采样同样为100±0。controlled设定下前四个模型保护后也是100±0。GPT-4o-mini六个主体均为100%，各用10条样本（Table 8）。
    • 效用与对照：作者称PIQA、ARC和SORRY-Bench安全分大体保持（Table 5）。500个生日请求后，三个模型的PER仍为100%（Table 6）。GA、NPO和Refusal在protection-first下也能到100% PER，但效用下降，例如Llama 3.2上GA的PIQA为0.32、Refusal为0.02（Table 7）。
    • 攻击：Table 10的三个模型上，所列黑盒改写、GCG、4-bit量化、重学习和擦除的成功率均为0%。作者称保护后的成员推断不再把真实关联判为训练成员，而会检出伪装关联。
    • 作者的结论：少量分布内微调可以接到现有训练流程，用来做用户级PSI保护。同时作者强调，同一机制也能写入虚假事实，部署需要审核以及用户认证和请求授权。
阅读原文arxiv.org