Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv：越狱、提示注入、投毒与防御· arXiv:2610.02418· Anna Yoo Jeong Ha, Ronik Bhaskar, Haitao Zheng, Ben Y. Zhao·Indexed by this site · Originally published

Whiteout: Preventing LLMs from Leaking Personal Sensitive Information with Obfuscated Samples

Mitigating Private Data Leakage in LLMs with Whiteout

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

Whiteout用约10条伪装样本微调覆盖PSI关联，六款开源模型pre-exist直接查询PER升至100%（Table 3）。

Threat model模型方接到已核验请求，可微调以阻止披露u的birthday、email或home address。

Questions
LLM会记忆并复述生日、邮箱、住址等PSI。用户要求不再披露时，重训不现实，护栏可被越狱打破，现有遗忘又常损害效用且可被逆转。需要按需打断该人与真实值的关联。
Methods
Whiteout为每个请求选一个不揭示原值的伪造PSI，用目标模型生成分布内伪装样本，再以标准微调覆盖原关联。默认每请求约10条样本；住址会校验为不存在地点。
Experiments and results
Table 3中六款开源模型的pre-exist直接、间接与重复查询，保护后PER均为100%。Table 8中GPT-4o-mini六个主体亦为100%。作者称效用与安全大体保持；Table 10三模型上所列攻击成功率为0%。
Limitations and future work
作者指出该机制也可写入虚假事实，部署需审核与用户认证；目前仅三类PSI，且不处理请求核验和借他人关系推断。对抗成功率只报告Llama 3.2、Gemma 3、Phi-3-mini；论文未报告自动PER与人工判定的一致性。
Experimental setupLlama 3.2、Phi-3-mini et al. · 作者构建的PSI集合（50人，三类）、C4 English et al. · PER、attack success rate（1−PER） et al.
Threat model
模型方接到已核验请求，可微调以阻止披露u的birthday、email或home address。基本攻击者只有black-box查询且不知Whiteout；自适应攻击者知道方案，可改权重并可能知道部分ρu。假定信息已从网上与公共记录删除；借他人关系推断不在范围。
Evaluated models
Llama 3.2Phi-3-miniGemma 3DeepSeek R1 DistillPhi-4GPT-OSSGPT-4o-mini
Benchmarks
作者构建的PSI集合（50人，三类）C4 EnglishPIQAARC-EasyARC-ChallengeSORRY-Bench
Metrics
PERattack success rate（1−PER）PIQAARC-EARC-CSafety（1−harmfulness）
AI summaryThe researchers propose Whiteout, a tool that, after an individual makes a request, prevents an LLM from reciting the individual's real personal sensitive information (PSI) by covering that information with precisely designed obfuscated samples. The authors note that existing machine unlearning-based mitigation methods often remove too much information, harming model utility and safety, and are vulnerable to attacks. Whiteout was evaluated on modern LLMs of different sizes from multiple vendors, including a widely used OpenAI model. Results show it effectively prevents disclosure of the targeted PSI, has negligible impact on model utility and safety, and outperforms existing alternatives. The study also tests Whiteout's robustness against countermeasures including black-box attacks (such as jailbreaks) and white-box adaptive attacks (such as relearning and quantization), and discusses its safety and ethical implications.

The researchers propose Whiteout, a tool that, after an individual makes a request, prevents an LLM from reciting the individual's real personal sensitive information (PSI) by covering that information with precisely designed obfuscated samples. The authors note that existing machine unlearning-based mitigation methods often remove too much information, harming model utility and safety, and are vulnerable to attacks. Whiteout was evaluated on modern LLMs of different sizes from multiple vendors, including a widely used OpenAI model. Results show it effectively prevents disclosure of the targeted PSI, has negligible impact on model utility and safety, and outperforms existing alternatives. The study also tests Whiteout's robustness against countermeasures including black-box attacks (such as jailbreaks) and white-box adaptive attacks (such as relearning and quantization), and discusses its safety and ethical implications.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    按需打断人与真实PSI的关联，而非抹掉概念或靠拒答。

    核心问题是：用户发现LLM记住自己的真实PSI后，能否按需让模型不再输出这一关联，同时保持可用。

    • 出现场景：作者称现代LLM在大规模、基本未过滤的网页抓取与用户输入上训练，会记忆并复述生日、电话、住址等PSI；披露可助长身份盗窃、社工，并增加公众人物的人身风险。
    • 现有做法的缺口：从头重训不现实；作者认为差分隐私训练在可预见未来不太可能被主流LLM采用；对齐与过滤反复被越狱打破。机器遗忘常删得过多、损害效用与安全，且改写查询、重学习、神经元操纵或量化可以恢复本应忘掉的信息。
    • 观察：PSI是人与通用属性值的关联。目标不是擦掉人名、日期或街道，而是打断用户u与真实值ρu的绑定。拒答只把关联藏起来，扰乱拒答通路的越狱仍可能发现它。
    • 本文做法：提出Whiteout，用少量分布内、不揭示原值的伪装样本做标准微调，把u改写到伪造PSI。作者的直觉是原关联概率会被压向噪声底。
    • 威胁模型：
      • 攻击目标：通过查询LLM获得u的真实ρu。
      • 模型方：接受birthday、email、home address三类请求，可生成合成数据并微调。请求假定来自已核验身份与真实ρu的监管机构；论文不处理核验。
      • 知识与能力：基本攻击者只有black-box查询、不知Whiteout、对ρu知之甚少或无知。自适应攻击者知道方案，可访问或修改权重，甚至知道部分真实值（如出生年）。假定该信息已从互联网和公共记录删除，不能靠搜索取回。
      • 明确不做：攻击者已知u与他人在同一属性上的关系（例如已知邻居再查邻居住址）。作者将此类留给后续工作。

  2. What related research exists?

    相关讨论集中在记忆泄露、护栏对齐，以及可被逆转的微调遗忘。

    按第2节，相关工作分成记忆泄露、训练期隐私与护栏、微调式遗忘，以及机制性或推理时干预。

    记忆与训练数据泄露

    • 记忆测量：Carlini等及后续工作（论文引用的[10, 42, 53, 54, 63, 81]）记录LLM会复述训练文本，且更大模型在推理时更容易被抽出训练内容。
    • 语料来源：论文称训练文本来自近乎整个互联网和用户会话，敏感信息过滤有限（[8, 74]）。作者自己在C4 English与Llama 3.2上测量了生日、邮箱、住址（Table 1）。

    差分隐私、护栏与对齐

    • 差分隐私训练：限制单个数据点的影响，但作者称精度、模型规模和训练成本构成障碍；VaultGemma [70]展示了较小研究模型的可行性，主流采用仍被作者认为不太可能。
    • 护栏与RLHF：用于减少敏感泄露和不安全输出（[17, 27, 38]）。论文引述越狱研究[9, 77]与理论结果[5]，称内容一旦被记住，外部护栏很少能做到万无一失。

    微调式遗忘

    • 做法：遗忘希望模型表现得像从未学过某内容[82]。包括梯度方法[34, 43]、偏好优化[20, 21, 84]、微调成拒答[33]，以及从扰动分布生成回答[19, 23, 44]。
    • 论文指出的两类问题：对改写、配对和越狱提示[44, 64, 72, 73]，以及白盒重学习[30, 39, 48]、神经元操纵[38, 65, 78]、量化[85]不够稳；作者认为原因是只压制表面痕迹而非从参数中移除影响[38, 44, 47]。另一类是效用损伤：知识纠缠使相关与无关事实一并受损[7, 14, 28, 44, 49]。

    机制性与推理时方法

    • 机制性遗忘[25, 50]：只改被定位到的组件或神经元。作者称精确追踪电路仍然难且贵，而更新会改变内部表征[11]，生产级模型上每次更新都要重做映射，因而不可行。
    • 推理时遗忘[58]：用上下文学习改写输入以抑制敏感生成。论文引述后续研究[71]：该做法与输入过滤一样只是掩盖，自适应越狱可以绕过。

    基线与基准：对比Gradient ascent（GA）[34]、Negative preference optimization（NPO）[84]和Refusal via fine-tuning [49]，实现分别来自[18]与[49]，均不使用retain set。效用用PIQA、ARC-E、ARC-C，安全用SORRY-Bench。待保护PSI由作者构建；C4 English用于泄露测量。

    作者把本文定位成更窄的按需关联打断：用覆盖代替最大化损失的概念擦除，也不同于把关联藏起来的拒答。

  3. How does the paper address this problem?

    用目标模型生成的分布内伪装样本做标准微调，覆盖原关联。

    Whiteout不改训练损失：为每个请求选定一个不揭示原值的伪造PSI，用目标模型生成分布内样本，再做标准监督微调，把u绑到该伪造值。

    设定与设计选择

    • 保护对象是关联(u, ρu)，不是人名或属性类型。覆盖后，模型对关于u的查询应输出看起来合理的伪造内容。
    • 单一伪装值：作者援引投毒文献[32, 66]，称把样本集中到一个目标可以用很少样本提高效果，从而做成局部修改。
    • 三条约束：伪造值不能用来反推原值；样本要分布内；尽量不伤害他人。住址应是不存在的地点，避免把查询者引到别人家里。

    三步流程

    1. 选伪装值。住址：常见门牌与街名加上真实城市，再用自动邮政地址校验器确认不存在。邮箱：使用预生成的无效域名列表。生日：随机合法日期，且日、月、年与原值不同；作者认为与他人生日撞日的风险很小。
    2. 造样本。样本生成模块以目标LLM为生成器，输入用户与伪装PSI，输出多种说法，使样本落在模型已学回答分布内。推理模型还要附上与其自身推理过程对齐的合成推理；作者称这一步对有效保护是必需的。附录C.3给出了完整提示词。
    3. 微调。标准SFT，不改损失或训练过程。四款较小开源模型同时试了全参数与LoRA，作者称结论相似；除另有说明外报告LoRA。GPT-4o-mini的API不支持LoRA，使用全参数SFT。

    训练配置

    • 默认规模：一次处理5个保护请求，每请求10条伪装样本。摘要中的数量写作约10条。
    • LoRA（Table 12）：学习率5e-5，batch 64，cosine调度，warmup 0，rank 128，5个epoch。
    • 全参数：学习率1e-5，batch 128，cosine，warmup 0.1。Whiteout全参数微调取在PSI上达到至少80%准确率的最少epoch，文中称通常为3–6。注入controlled PSI时，每PSI 25条、共50个PSI（1250条），epoch调到全体50人平均反刍率至少80%的最小值。
    • GPT-4o-mini（Table 14）：每主体10条样本、5个epoch、batch 1、LR multiplier 1.8；batch与学习率由API自动设定。作者称单次保护的客户侧API成本约0.14美元，并称这是实际上限，因为模型方成本低于面向客户的API价格。

    损失直觉与泄漏判定

    • 作者在简化设定中把覆盖目标写成L1=𝔼x∈ XA[L(πθ(ρ̂A|x))]，即在应引出用户A真实PSI的提示上，提高输出伪装值的概率。附录C.9将L取为标准交叉熵，并假设伪装值与原值都是单token、初始输出原值的概率至少0.5。作者称：有效优化L1会同时压低原关联；L1有下界，而带遗忘项的目标可无限下降，因而更难控制、更可能造成全模型损伤。实际训练仍是标准SFT，并不显式加入遗忘项。证明在附录C.9、C.10。
    • PER为1减泄漏率。自动检查日期、邮箱或住址格式。生日须与真实日期匹配；邮箱和住址按字段计算字符编辑距离，合计不超过4算泄漏。每个受保护对用10条提示、10个随机种子，共100次查询。查询提示在附录C.1、C.2。生成参数为temperature 0.6、top-p 0.9、top-k 50。

  4. What experiments did the paper conduct?

    七模型保护后PER为100%；Table 10三模型上攻击成功率为0%。

    实验设置

    • 模型：Table 2的Llama 3.2（3B）、Phi-3-mini（4B）、Gemma 3（4B）、DeepSeek R1 Distill（7B）、Phi-4（16B）、GPT-OSS（20B），以及用微调API评测的GPT-4o-mini。前六款为开源权重。
    • PSI：birthday、email、home address。自建50人：21名真实公众人物（7类各3人）和29名合成人物。pre-exist指六款开源模型上生日反刍率均至少80%、并用Wikipedia核对的关联；邮箱、住址及合成人物多用全参数微调注入到80%以上反刍率。controlled只注入前四个模型；Phi-4、GPT-OSS与GPT-4o-mini只测pre-exist。
    • 先行测量（§3.1）：C4 English中三类占比为0.07%、0.04%、0.03%；Llama 3.2对28名公众人物的反刍率为100%、58%、54%（Table 1）。这不是Whiteout主评测。
    • 指标与协议：PER；效用为PIQA、ARC-E、ARC-C；安全为SORRY-Bench上的1减harmfulness。攻击成功率为1−PER。默认保护5个随机对、每对10条伪装样本，每对10提示×10种子。规模实验重复5次。开源模型的抽取提示由GPT-4o-mini生成；GPT-4o-mini实验在2026年1月，推理提示由Gemma 3生成。
    • 对照：GA、NPO、Refusal，均无retain set。GA与Refusal的强度旋钮是epoch，NPO是β；各有protection-first与utility-first。论文未说明SORRY-Bench的评审模型。

    主结果

    Swipe horizontally to read the table

    模型保护前PER保护后PER间接查询重复采样
    Llama 3.21.6±0.7100±0100±0100±0
    Gemma 37.1±1.6100±0100±0100±0
    Phi-3-mini7.9±3.0100±0100±0100±0
    DeepSeek7.8±3.0100±0100±0100±0
    Phi-40.9±0.6100±0100±0100±0
    GPT-OSS3.6±1.0100±0100±0100±0

    据Table 3，列为pre-exist、三类PSI汇总的直接查询。间接列合并两类间接提示，且只报告Whiteout之后。表中未列入GPT-4o-mini，因其结果在Table 8，条件不是这一汇总。

    • controlled设定下，Llama 3.2、Gemma 3、Phi-3-mini、DeepSeek保护前PER为0.1±0.6、0.7±1.7、1.4±2.3、11.8±6.5，保护后均为100±0；Phi-4与GPT-OSS为未报告（Table 3）。
    • GPT-4o-mini六个主体保护后PER均为100%，各用10条伪装样本；保护前除First NYPD Precinct Building为4%外均为0%（Table 8）。作者称两类间接查询和重复查询也保持100%。
    • 作者称这支持“用户-PSI关联在训练数据中出现少，故少量分布内样本即可覆盖”的直觉（Finding 1）。

    效用、安全与请求规模

    • Table 5（5个请求、PER 100%）：作者称六款开源模型与GPT-4o-mini的四项分数相对稳定。Llama 3.2的PIQA同为0.71，ARC-E 0.79到0.78，ARC-C 0.68到0.71，Safety 0.52到0.58。GPT-4o-mini为0.89/0.89、0.93/0.93、0.86/0.87、0.64/0.67，与Table 9一致。同表中Phi-4的PIQA为0.75到0.84，GPT-OSS的ARC-E为0.92到0.87、ARC-C为0.90到0.87。
    • Table 6把请求增至10、50、500，只含Llama 3.2、Gemma 3、Phi-3-mini，5次重复。各规模保护后PER均为100%。500条时PIQA为0.68±0.01、0.70±0.00、0.77±0.01，对应未保护基线0.71、0.73、0.76。作者称效用与安全仍接近基线。500条只选用原生日反刍率至少50%（100次查询）的人。
    • 作者用校验工具检查保护后输出：日期均为真实日历日，邮箱和住址结构完整；全部实验中超过80%的输出与对应伪装数据完全匹配。5名名人的5项公开属性在保护前后recall均为1.0。

    与GA、NPO、Refusal的对比

    • Table 7为protection-first、无retain set。三模型上三种基线的PER都可到100%，但效用下降。Llama 3.2上Whiteout为0.71/0.78/0.71/0.53（PIQA/ARC-E/ARC-C/Safety），GA为0.32/0.75/0.65/−∗，NPO为0.53/0.29/0.28/0.51，Refusal的PIQA为0.02。该行Safety 0.53与Table 5的0.58不是同一格。
    • Gemma 3上NPO的ARC-E与ARC-C均为0.03，GA的PIQA为0.55。标−∗的安全分是因为SORRY把不连贯输出当成无害并记为1；作者称模型已无法产生连贯输出，并举例NPO后的Gemma 3会输出重复月份串。
    • 作者称基线要么更换遗忘目标，要么引入新分布的拒答数据，因而出现保护与效用的权衡；Whiteout用分布内数据和标准微调，作者称去掉了这一权衡。Table 16的utility-first中，Llama 3.2上GA与Refusal的PER为0，NPO（β=0.1）为33；Gemma 3上Refusal为13，NPO（β=0.1）为0。

    对抗措施与MIA

    • Table 10在Llama 3.2、Gemma 3、Phi-3-mini上，black-box（要求不拒答并输出真实值、要求替代答案、要求有效住址、部分PSI知识、配对提示）、white-box（GCG、FP4与NF4的4-bit量化）和white-box自适应（重学习、擦除）的攻击成功率均为0%。协议仍是5对×10提示×10种子。
    • 作者的解读：保护不靠拒答，所以针对拒答的越狱和GCG没有可破坏的通路；覆盖后受保护与未受保护PSI在模型内行为一致，配对提示失效；标准微调学到的伪装值对量化不敏感。重学习把已知的4人训到100%查询准确率后，剩下1人仍为0%成功；作者认为重学习不是覆盖的逆操作。擦除用相同伪装数据和学习率做梯度上升，成功率为0%，且PSI查询输出变为乱码；作者称遗忘不能精确撤销先前的覆盖。
    • 部分知识查询（已知出生年、城市或邮箱域）作者称未恢复其余字段。要求替代答案时，约10次后模型不再给新值；约50%的尝试返回略改的伪装数据，其余为不揭示伪装值或真实值的幻觉。MIA用Min-K%（k=20），比较真实关联、伪装关联和500条负样本。作者称保护前可检出真实关联、检不出伪装，保护后相反。Figure 2图注称保护后真实关联的分数落入负样本分布。

    其他消融与分析

    • Table 4（Llama 3.2，controlled）：原训练样本为25或50时，5条伪装即100% PER；100至1K条原样本需10条；10K条原样本需100条。
    • Table 15：四款可注入模型上，三类PSI保护后PER均为100%。
    • 附录C.11（Llama 3.2，一个生日，10条提示平均）：保护前月/日/年概率为99%、100%、100%；保护后为0.14%、0%、0%，原成分不在Table 18的top-5。
    • Table 13：向Llama 3.2注入controlled PSI后，PIQA 0.73到0.71，ARC-E 0.81到0.79，ARC-C保持0.68。
    • Table 6中Phi-3-mini的Safety在50个请求时为0.61±0.00（基线0.65），500个请求时为0.68±0.00。
    • 附录Table 11：Phi-4与Llama 3.2上，5条伪装样本可改写白宫地址、英国首相住址和一战开始日期等已知关联。Table 17：GPT-4o-mini内容审核拒绝了部分改写，包括若干公众人物生日和著名建筑地址。

  5. What are some points that can be further explored?

    作者指出误用、仅三类PSI，以及核验和关系推断尚未处理。

    作者指出的局限与后续方向

    • 误用：模型训练者或用户可以把虚假信息写进LLM。作者称实际部署应配套能检测并缓解恶意覆盖的审核，以及认证用户、授权请求的机制，并把这部分留给未来工作（引言Misuse Mitigation、§9、附录A）。
    • PSI类型：目前只做特别容易泄露的三类。后续应扩展其他类型，研究模型与监管机构如何对接寻求保护的用户并建立接口，以及开发帮助用户发现泄露的工具（§3、§9）。
    • 关系推断：不处理攻击者已知u与他人在同一隐私属性上的关系、再借此查询的情形，例如已知邻居再查邻居住址（§3.2）。
    • 请求核验：威胁模型假定请求已由监管机构核验，本文不处理核验任务（§3.2）。附录A把用户认证和请求授权列为部署所需的监管支持。
    • 对照范围：对比未包含依赖大规模、仔细策划的retain set的遗忘方法。作者称这类retain set可以改善遗忘后的效用，但会带来训练和数据整理开销；Whiteout不使用retain数据（§6.3 Limitations）。
    • 开放权重与未做的API：附录A称，DeepSeek、Kimi、Qwen和LLaMA等开放权重模型如何抵御第三方微调对事实的篡改，仍是开放问题。§6.4脚注称未能获得Claude微调所需权限，该评测留给未来工作。作者计划在论文被接收后向模型提供方、相关政策机构和州立法机构通报发现（§9）。

    实验覆盖范围

    • 被测模型为Table 2的七个：六款开源模型，参数规模3B到20B，加上GPT-4o-mini。
    • PSI为birthday、email、home address；集合为50人（21名真实公众人物加29名合成人物）。pre-exist与controlled都报告的是Table 2前四个模型；Phi-4、GPT-OSS和GPT-4o-mini只报告pre-exist。
    • 每个受保护对的PER来自100次查询（10条提示×10个随机种子）。效用与安全指标为PIQA、ARC-E、ARC-C和SORRY-Bench。请求数到500的5次重复只在Llama 3.2、Gemma 3、Phi-3-mini上进行，且这500条是生日。
    • Table 10的攻击成功率只报告Llama 3.2、Gemma 3、Phi-3-mini。论文未报告DeepSeek R1 Distill、Phi-4、GPT-OSS、GPT-4o-mini上这些攻击的成功率。MIA为Min-K%（k=20），对象是上述三模型、各保护5人生日，负样本500条。
    • GPT-4o-mini因内置护栏无法为模型已经拒绝输出的住址建立泄露基线，住址实验改为公共地标的公开地址，微调为全参数SFT。论文未说明SORRY-Bench的评审模型，也未报告自动PER与人工判定的一致性或统计显著性检验。

  6. Summarize the main content of the paper

    以少量伪装微调覆盖PSI关联，保护后PER为100%且所列攻击成功率为0%。

    Whiteout是给模型方用的按需PSI保护：用伪装样本覆盖“某人与其真实敏感值”的关联，而不是擦掉概念或训练拒答。

    • 问题：作者称LLM会复述生日、邮箱和住址。用户要求停止披露后，重训不现实，差分隐私被作者认为主流难采用，护栏可被越狱打破，现有遗忘又常损害效用且可被逆转。
    • 做法：为每个已核验请求选一个不揭示原值的伪造PSI，用目标模型生成分布内样本（推理模型另附合成推理），再做标准SFT或LoRA。默认一次5个请求、每请求10条样本。住址经校验为不存在地点。
    • 保护结果：Table 3中六款开源模型的pre-exist直接查询PER，保护后均为100±0；间接查询与重复采样同样为100±0。controlled设定下前四个模型保护后也是100±0。GPT-4o-mini六个主体均为100%，各用10条样本（Table 8）。
    • 效用与对照：作者称PIQA、ARC和SORRY-Bench安全分大体保持（Table 5）。500个生日请求后，三个模型的PER仍为100%（Table 6）。GA、NPO和Refusal在protection-first下也能到100% PER，但效用下降，例如Llama 3.2上GA的PIQA为0.32、Refusal为0.02（Table 7）。
    • 攻击：Table 10的三个模型上，所列黑盒改写、GCG、4-bit量化、重学习和擦除的成功率均为0%。作者称保护后的成员推断不再把真实关联判为训练成员，而会检出伪装关联。
    • 作者的结论：少量分布内微调可以接到现有训练流程，用来做用户级PSI保护。同时作者强调，同一机制也能写入虚假事实，部署需要审核以及用户认证和请求授权。
Read originalarxiv.org