机器学习系统中的隐私侧信道攻击

1. 01这篇论文试图解决什么问题？

   作者提出 ML 系统级组件（过滤器、预处理器等）会引入隐私侧信道，使隐私泄露远超孤立模型分析的预期。

   核心问题：现有 ML 隐私分析与防御假设模型孤立存在，但真实系统中的组件（数据过滤、预处理、输出监控、查询过滤）会引入侧信道，使攻击者能以远高于孤立模型的速率提取隐私信息。

   • 问题场景：作者指出，实际部署的 ML 系统普遍包含训练数据去重、输入分词、输出记忆过滤、查询过滤等组件，用于提升准确性、安全性和鲁棒性；这些组件在不同用户的数据之间引入依赖关系。
   • 现有方法不足：作者认为，现有隐私保护方法（如差分隐私、去重、输出过滤）大多针对孤立模型设计和分析，未考虑系统级组件引入的额外泄露；甚至一些旨在改善隐私的技术（如去重）反而可能使隐私变差。
   • 核心观察：过滤器会在数据点之间产生共同依赖（co-dependency）：某样本是否被过滤取决于其他样本是否存在；自适应攻击者可以探测这些依赖，把成员推断问题转化为更容易的非成员推断问题。
   • 论文贡献：作者提出隐私侧信道（privacy side channels）概念，给出覆盖 ML 全生命周期的四类攻击（训练数据过滤、输入预处理、输出后处理、查询过滤），并在端到端系统（含 GitHub Copilot）上评估。
   • 威胁模型：
     • 目标：泄露训练集 D_train 或测试查询集 D_test 的信息（成员推断、属性推断、数据提取、测试查询泄露）。
     • 知识：仅 black-box 访问系统（可任意查询、观察输出，不知模型权重）；知道所用系统组件及其实现（部分攻击不需要此知识）。
     • 能力：部分攻击（Section 3、5）假设可向训练集投毒；数据提取攻击假设已知目标串前缀；其余攻击无额外假设。
     • 受害系统：含上述过滤组件的端到端 ML 系统，包括 GitHub Copilot 这一 black-box 生产系统。

   收起这一问

2. 02有哪些相关研究？

   相关工作涵盖孤立模型的隐私攻击与防御、物理侧信道、数据去重、防投毒与有状态检测等，作者定位本文为首类系统级隐私侧信道研究。

   孤立 ML 模型的隐私攻击与防御

   • Shokri et al. [71]、Carlini et al. [16]（LiRA）等——成员推断攻击，推断某样本是否在训练集中；Carlini et al. [15, 17] 等——数据提取攻击，可恢复完整训练样本。
   • Abadi et al. [1]（DP-SGD）、Dwork et al. [27]——差分隐私训练，对孤立模型提供可证明的隐私保证；Kandpal et al. [42]、Lee et al. [47]——数据去重作为启发式防御，可缓解（而非消除）记忆。
   • Ippolito et al. [40]——记忆自由解码（memorization-free decoding），用过滤器阻止模型逐字输出训练数据；论文指出这类过滤不完美但实用。

   物理侧信道

   • Kocher et al. [44, 45]、Bleichenbacher [11]、Vaudenay [78]——密码学中利用功耗、计时、错误信息等物理或辅助功能泄露的侧信道攻击。
   • Batina et al. [6]、Yan et al. [83] 等——针对 ML 模型的物理侧信道，通过电磁信号、缓存计时等恢复模型权重或架构。论文指出本文的侧信道不依赖物理信号，只要求对系统预测函数的 black-box 访问，类比于加密系统与错误报告并存时产生的新侧信道。

   数据去重与防投毒

   • Lee et al. [47]——提出精确与近似去重（delete-all 与 delete-all-but-one），本文攻击直接针对其实现（imagededup、DataTrove）。
   • Tramèr et al. [77]（Truth Serum）——通过投毒放大成员推断，是本文攻击的直接前作和基线；论文指出 Truth Serum 未利用去重侧信道，且在去重下使用多个投毒会完全失效。
   • Carlini [13]、Fung et al. [29]（FoolsGold）、Chen et al. [19]（activation clustering）——防投毒防御；论文指出这些防御本质上执行某种去重，因而引入类似的成员推断侧信道。

   有状态检测与查询过滤

   • Li et al. [48]（Blacklight）、Chen et al. [20]——针对黑盒对抗样本的有状态检测，记录查询历史并拒绝相似查询；论文指出 Blacklight 是首个跨用户聚合查询指纹的防御，由此引入泄露他人测试查询的侧信道。
   • Juuti et al. [41]（PRADA）等——模型提取的有状态检测；Krishna et al. [46]——基于检索的 AI 生成文本检测，论文指出其也允许检查某输出是否由他人查询产生（[46] 自己承认）。

   基线与基准：成员推断基线为 LiRA [16] 和 Truth Serum [77]；实验基准包括 CIFAR-10、LFW、enwiki8 及 GitHub Copilot 生产系统。

   作者定位：本文研究的侧信道不依赖物理测量，而是利用真实部署中辅助功能引入的泄露；与孤立模型隐私分析不同，作者呼吁对 ML 系统做整体的端到端隐私分析。

   收起这一问

3. 03论文如何解决这个问题？

   作者提出四类隐私侧信道攻击，把系统组件引入的数据依赖转化为（非）成员推断、属性推断、数据提取与测试查询泄露。

   整体思路：将 ML 系统建模为孤立模型加上四类组件（训练数据过滤器、输入预处理器、输出后处理器、查询过滤器），针对每类组件设计自适应攻击，利用组件在数据点间引入的依赖放大隐私泄露。核心概念为隐私侧信道（privacy side channel）：攻击者通过探测系统级组件，能比同等能力的攻击者从孤立模型泄露显著更多的信息。

   攻击训练数据过滤器（Section 3）

   • 去重侧信道：去重使样本 x 被删除当且仅当训练集中存在相似样本 x′；攻击者投毒插入目标 x 的（近似）重复样本，再对这些投毒样本做非成员推断：若投毒样本被删除，则目标是成员。
   • 四种去重设置：精确/近似 × delete-all/delete-all-but-one。精确 delete-all 只需 1 个误标重复样本；近似 delete-all-but-one 采用"hub-and-spoke"设计：N 个投毒样本各自与目标相似度 ≥ α，但两两相似度 < α，使投毒数量越多攻击越强。
   • 近似重复生成：用 MobileNetV3 嵌入的余弦相似度（阈值 α=0.9），构造嵌入 e_i := (α, 0, …, √(1−α²), …, 0)，保证与目标相似度为 α、两两为 α² < α，再用 1000 步投影梯度下降反演嵌入得到图像；并给所有近似重复加 checkerboard 后门图案增强记忆。
   • 推断方法：改造 LiRA，训练含/不含投毒样本的影子模型，对各投毒样本的置信度拟合两个多元高斯，做似然比检验。
   • 文本扩展：针对 k-token 子串去重，构造 N 个投毒字符串家族推断低元属性（如医疗表单中的一个 token），通过比较模型在各 canary 串上的损失推断未知属性值。
   • 防投毒防御侧信道：针对联邦学习中的 FoolsGold，攻击者加入一个恶意客户端，使其更新与目标客户端相似；若目标在场，双方更新都被降权，攻击者数据上的损失不下降，否则正常下降，据此判断目标客户端是否参与。

   攻击输入与输出过滤器（Section 4）

   • 词表提取：利用固定上下文窗口截断。对每对候选 token (u, v)，在"问题—填充—问题"结构中查询模型，若 u||v 是单个 token 则填充占用 3N/4 个 token、模型能回答，否则占用 3N/2 > N、模型无法看到答案，据此判定 u||v 是否为 token；从单字节递归扩展可恢复整个词表，总查询量 O(|V|T)。
   • 记忆过滤侧信道：记忆自由解码保证模型输出的任何 k-gram 必不在训练集中，得到完美非成员推断（100% TNR @ 0% FNR）。对可切换过滤器（如 Copilot）：先关过滤器生成后缀，再开过滤器用同一前缀查询，后缀相同则非成员、不同则以 100% 确定性判定为成员。对永久过滤器：用 in-context learning 重复目标串诱导模型输出，若仍不输出则判定过滤器被触发。
   • 数据提取：已知目标文档前缀（如 RSA 密钥头），逐 token 枚举候选并做成员推断；按 Base64 token 在 10TB 随机数据中的频率偏置搜索，深度优先回溯处理假阳性。

   破坏差分隐私训练（Section 5）

   • 机制：DP-SGD 的隐私分析只针对其实际运行的数据集；先去重再 DP-SGD 时，单个样本可影响多个样本的去留，使端到端系统的真实敏感度远大于孤立训练算法的敏感度。
   • 审计方法：CIFAR-10 上选 1 个目标样本，创建 256 个近似重复加入训练集，按 imagededup 默认设置去重后用 De et al. [24] 的 DP-SGD 设置（batch size 4096、增广乘数 16）训练 128 个模型（含/不含目标），用 Section 3.1 的攻击估计经验 ε 下界（遵循 DP auditing [53, 55]），目标 ε ∈ (0.5, 6)，δ = 10⁻⁵。

   泄露测试查询（Section 6）

   • 机制：针对 Blacklight 等跨用户聚合查询指纹的有状态 evasion 检测：攻击者重新上传查询 x，若系统拒绝，则说明此前有用户上传过相似查询，从而泄露他人测试查询——这在孤立模型分析中不可能。
   • 扩展：类似侧信道适用于跨用户聚合的模型提取检测和基于检索的 AI 文本检测。

   收起这一问

4. 04论文做了哪些实验？

   实验覆盖去重、防投毒、词表提取、记忆过滤、DP 审计与查询过滤六类场景，含 GitHub Copilot 生产系统，多处实现接近完美的成员推断。

   实验设置

   • 被测模型与系统：CIFAR-10 分类模型（训练 100 epochs）；LFW 上用官方 FoolsGold 实现的 ResNet-18；CIFAR-10 上 50 个 ResNet-9（activation clustering 实验）；GPT-2（词表提取）；GPT-Neo 125M/1.3B/2.7B（密钥提取）；GitHub Copilot（生产系统）。
   • 数据集：CIFAR-10（250 个随机目标，训练集为随机 50% 采样加投毒）；LFW（5 个身份各 90 张训练图，80% 多数类 + Dirichlet α=1 非独立同分布）；enwiki8；tqdm 仓库提交。
   • 基线：LiRA [16]、Truth Serum [77]（投毒数 1 或 8）。
   • 指标：成员推断 TPR @ 0.1%/0.01% FPR；FL 攻击与 activation clustering 用准确率/精度；词表与密钥提取用查询次数与成功率；DP 审计用经验 ε 下界。
   • 重复次数：FL 实验每个目标类重复 10 次不同随机种子；activation clustering 训练 50 个模型、50 个目标；DP 实验训练 128 个模型。
   • 去重设置：imagededup 默认，MobileNetV3 嵌入余弦相似度阈值 α=0.9。

   主结果

   去重成员推断（据 Table 1，CIFAR-10，括号内为投毒数）：

   表格较宽，可左右滑动

   去重方式	攻击	TPR @ 0.1% FPR	TPR @ 0.01% FPR
   无去重	LiRA	6.2%	2.6%
   无去重	Truth Serum (8)	30.5%	6.3%
   精确或近似 delete-all	Truth Serum (1)	89.8%	79.3%
   精确或近似 delete-all	Ours (1)	99.6%	98.0%
   精确 delete-all-but-one	Truth Serum (1)	41.6%	31.8%
   精确 delete-all-but-one	Ours (1)	45.6%	40.9%
   近似 delete-all-but-one	Truth Serum (>1)	0.1%	0.0%
   近似 delete-all-but-one	Ours (8)	96.0%	90.4%

   • 作者指出，本文攻击与 Truth Serum 的关键区别在推断方式：本文对被误标的重复样本做非成员推断，而 Truth Serum 对正确标注的目标做成员推断，后者在去重下目标从不在训练集中。
   • 作者指出，Truth Serum 用 >1 个投毒在去重下完全失效，因为其投毒是精确重复，无论目标是否在场都会被去重移除；本文的 hub-and-spoke 设计使投毒互为非近似重复，规避了该问题。
   • Figure 3 显示：精确 delete-all 去重下本文攻击 AUC=1.0，无去重时 AUC=0.923，LiRA 两种情况下 AUC 均为 0.705。

   防投毒防御与 FL 实验

   • 测了什么：FoolsGold（FL Sybil 过滤）中的客户端成员推断；恶意客户端第 20 轮加入，含 50 张目标身份的非重叠图像。
   • 结果：用参与前后 15 轮的平均损失差，10 次实验平均 85% 准确率判断目标客户端是否在场；作者模拟的强基线（直接用目标在场/不在场的平均损失差设阈值）仅 67.5% 准确率。Figure 5 显示目标在场时攻击者与目标客户端的损失均不下降，不在场时攻击者损失正常下降。
   • activation clustering（附录 A.2）：k-means k=600、阈值 T=11，注入 T−1=10 份目标副本；非成员推断完美（<11 个样本的簇必不含目标），但因簇中混入良性样本，整体成员推断精度仅 70.0%；作者称侧信道存在但效果取决于超参数与数据分布。

   词表提取与记忆过滤

   • GPT-2 完整词表提取：攻击共需 819,869,857 次查询；附录 Table 3 给出按 token 长度的查询数（如长度 2 需 35,532 次、长度 21 需 814,622,879 次）及提取的稀有 token 示例（Reddit 用户名等）。
   • 定向词表提取（Figure 6）：对 enwiki8 前 N 字节的分词，平均每 MB 约 30,000 次查询，随字节数增加而下降。
   • Copilot 训练数据截止推断（Figure 7）：对 tqdm 仓库提交做成员推断，2021 年 10 月之前的提交存在若干假阳性，之后的提交全部可在过滤器开启时生成（判为非成员）；作者据此推断 Copilot 训练数据收集截止于 2021 年 10 月，与 text-davinci-003 的截止日期相同。作者注明攻击不依赖过滤器可切换，且近似过滤只会带来假阳性而非假阴性。
   • OpenSSH 私钥提取（Table 2）：对 GPT-Neo 加永久记忆过滤器（Bloom filter 含训练集全部 20-token 序列及 1,000 个 OpenSSH 私钥），下一 token 成员推断准确率超 99.9%；最终 GPT-Neo 125M/1.3B/2.7B 的密钥提取成功率分别为 90.3%/90.0%/89.8%，平均查询 376,000/338,000/344,000 次。

   DP 审计与查询过滤

   • DP-SGD + 去重（Figure 8）：理论 ε 上界为 1、1.5、3 时，系统实际消耗的经验 ε 下界至少为 7.5、17、22。作者称这不是 DP-SGD 分析或实现有误，而是隐私分析针对的是去重后的数据集而非真实收集的 D_train。
   • Blacklight 测试查询泄露（Section 6.1）：CIFAR-10 上 1,000 张已查询图像 D_test 与 1,000 张未查询图像，攻击达 100% TPR、0% FPR——系统拒绝攻击者查询当且仅当该图此前被查询过；作者称唯一可能的失败是假阳性，而该防御被显式设计为最小化假阳性。

   其他消融与分析

   • 后门图案消融（Figure 9）：8 个近似重复下，delete-all 有图案 AUC=0.999、无图案 0.995；delete-all-but-one 有图案 0.993、无图案 0.981。
   • α 不确定性（Figure 4）：猜测值在真实值 ±2% 范围内时，目标非成员平均保留 6 个投毒、成员仅保留 1 个；猜测需满足 α²_guess < α_real ≤ α_guess，否则攻击失败。
   • 未知去重方法时，假设无关的单精确误标重复攻击在四种设置中的三种最优，且仍优于 Truth Serum（精确 delete-all-but-one 下 TPR @ 0.01% FPR 高 9%，据 Table 1）。
   • Base64 token 频率（Figure 10）：GPT-2 token 在 Base64 文本中的频率相差可达 10,000,000 倍，据此偏置贪心搜索以减少回溯。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出去重与隐私的张力、DP 组合分析等开放问题；实验覆盖六类组件与多个模型，部分攻击依赖投毒假设。

   作者指出的局限与后续方向

   • 去重的两难（Section 3.1.6）：作者认为实践中仍应做去重（不去重的隐私代价太高，且 DP 训练只在去重数据上有效），但去重的最佳实践又会受到对抗攻击；作者希望未来能开发不加剧隐私泄露的去重技术。
   • α 随机化被排除（Section 3.1.4）：作者称攻击对 α 猜测 ±2% 的误差鲁棒，这排除了随机化 α 作为防御的可能；且若同一去重流程被复用，攻击者可一次性恢复参数后攻击未来训练。
   • 查询过滤的改进留待未来（Section 6.1 脚注）：作者提出一种可能改进（对相似历史查询数设随机阈值 T 而非单次相似即过滤），并将探索留给未来工作。
   • DP 组合问题（Section 5、7）：为整个系统计算正确的隐私保证需要组合去重步骤与训练过程的 DP 保证；如何在过滤器、异常检测器等难分析模块组合下强制执行差分隐私是开放问题。
   • 其他侧信道（Section 7）：本文只关注隐私侧信道，作者认为其他类型攻击和威胁模型可能也存在侧信道，留待未来研究。
   • 安全与隐私的张力（Section 6.1、7）：按用户过滤的防御无法抵抗 Sybil 攻击，跨用户聚合又引入隐私泄露；作者称这体现了安全与隐私之间的张力。

   实验覆盖范围

   • 被测系统与模型：CIFAR-10 分类模型、LFW 上 ResNet-18（FoolsGold）、CIFAR-10 上 50 个 ResNet-9（activation clustering）、GPT-2、GPT-Neo 125M/1.3B/2.7B、GitHub Copilot。
   • 覆盖的组件：训练数据去重（精确/近似 × 两种删除策略）、三种防投毒防御（Carlini [13]、FoolsGold、activation clustering）、分词截断、记忆过滤器（可切换与永久）、DP-SGD 与去重组合、Blacklight 查询过滤；模型提取检测与检索式文本检测只做讨论未做实验。
   • 样本与重复：去重实验 250 个目标；FL 实验每目标类 10 次重复；DP 实验 128 个模型、256 个投毒；Blacklight 实验各 1,000 张查询/未查询图像。
   • 攻击者假设：Section 3、5 的攻击假设可向训练集投毒并允许误标；密钥提取假设已知目标串前缀；论文未报告对未投毒、无前缀假设的攻击效果。
   • 论文未报告各攻击的运行耗时，也未报告针对这些侧信道的显式防御的有效性评估（作者假设尚无针对隐私侧信道的防御）。

   收起这一问

6. 06总结一下论文的主要内容

   作者提出 ML 系统隐私侧信道：四类系统组件可被利用放大隐私泄露，多个攻击接近完美，并可使 DP 保证失效。

   一篇关于 ML 系统级隐私攻击的论文，主张隐私分析必须从孤立模型转向端到端系统。

   • 问题：真实 ML 系统包含训练数据过滤、输入预处理、输出监控、查询过滤等组件；作者认为这些组件在数据点间引入依赖，形成隐私侧信道，使 black-box 攻击者泄露远超孤立模型的信息。
   • 方法：提出四类攻击——利用去重/防投毒防御的共同依赖做投毒型（非）成员推断；利用固定上下文窗口截断逐对判定 token 以提取词表；利用记忆过滤器"输出即非成员"的特性做完美非成员推断并转化为成员推断与逐 token 数据提取；利用跨用户聚合的查询过滤器泄露他人测试查询。
   • 关键结果：CIFAR-10 精确 delete-all 去重下成员推断达 99.6% TPR @ 0.1% FPR、98.0% TPR @ 0.01% FPR（Table 1），近似 delete-all-but-one 下 8 个投毒达 96.0% @ 0.1% FPR；对 FoolsGold 的客户端成员推断 85% 准确率（10 次实验平均）。
   • 关键结果（续）：提取 GPT-2 完整词表需 819,869,857 次查询；对 GitHub Copilot 推断其训练数据截止于 2021 年 10 月；从带永久记忆过滤器的 GPT-Neo 以约 90% 成功率提取 OpenSSH 私钥（平均约 34 万次查询）；去重 + DP-SGD 时理论 ε=3 对应经验 ε 下界至少 22；对 Blacklight 的测试查询泄露达 100% TPR、0% FPR。
   • 作者结论：旨在改善隐私的组件（去重、记忆过滤）反而造成隐私泄露，安全防御（防投毒、有状态检测）也会引发隐私问题；作者呼吁对 ML 系统做整体的端到端隐私分析，并提出不加剧泄露的去重、可组合的 DP 分析等开放方向。

   收起这一问

相关论文