跳到正文
原文

为何要训练更多?利用记忆化实现有效且高效的成员推断攻击

Why Train More? Effective and Efficient Membership Inference via Memorization

arXiv· arXiv:2310.08015· Jihye Choi, Shruti Tople, Varun Chandrasekaran, Somesh JhaUniversity of Wisconsin-Madison; Microsoft; University of Illinois Urbana-Champaign本站收录· 23 天前· 原文发表攻击

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者称以标签记忆化解释 MIA 成功率差异,用高记忆化样本可将影子模型从 2000 减至 5 个(400×)。

威胁模型对抗者知道数据分布 D 和学习算法 L,并假设更强的 M I^s 游戏:对抗者还控制训练数据集 S(如验证数据删除的审计者)。

问题
成员推理攻击(MIA)对不同样本的成功率差异很大,且实际黑盒 MIA 常需训练数百个影子模型,计算开销大。作者想找出解释这种差异的数据属性,并用它同时提升攻击效果和效率。
方法
作者提出用标签记忆化(label memorization)解释样本对 MIA 的易感性:理论上给出 MI 优势以记忆化分数为下界、所需影子模型数与记忆化分数成反比;实验上让对抗者挑选高记忆化样本(singletons)发起攻击。
实验与结果
在 7 种数据集组合、4 种模型、5 种 MIA 上评测:高记忆化样本下 Carlini et al. 攻击 AUROC 达 1.0、[email protected]%FPR 最高 100%;达到同等 AUROC 所需影子模型从 2000 个减至 5 个(作者称 400× 降幅)。
局限与可以继续做的
作者称记忆化预言机 O_mem 的实例化(Feldman and Zhang 算法)计算开销大,廉价估计记忆化分数仍是开放问题;基于 inverse-flow 的攻击尝试失败;实验限于视觉数据集与 4 种模型架构。
实验设置CNN32、CNN64 等 · MNIST、SVHN 等 · AUROC、TPR @ 0.1% FPR 等
威胁模型
对抗者知道数据分布 D 和学习算法 L,并假设更强的 M I^s 游戏:对抗者还控制训练数据集 S(如验证数据删除的审计者)。假设存在记忆化预言机 O_mem 返回样本的近似记忆化分数。攻击成功按低 FPR(0.1%)下的高 TPR 衡量。
被测模型
CNN32CNN64ResNet-9ResNet-18
基准
MNISTSVHNCIFAR-10CIFAR-100augMNISTaugCIFAR-10
指标
AUROCTPR @ 0.1% FPRprivacy scorememorization score
AI 导读研究者提出基于记忆化(memorization)选择样本的成员推断攻击(MIA)优化方法,利用记忆化分数高的样本,攻击者无论采用何种 MIA 都能显著提升攻击效果,并将所需影子模型数量比现有最先进方法减少近两个数量级。成员推断攻击旨在识别机器学习模型私有训练集中的特定样本,会带来严重隐私风险;许多实用黑盒 MIA 需要训练数百个以上影子模型来提取攻击信号,计算开销大。论文的动机实验表明,记忆化是解释样本对 MIA 脆弱性差异的关键属性,作者据此给出将成员推断优势与记忆化联系起来的理论界,以及连接所需影子模型数量与记忆化的样本复杂度界,并通过实验加以验证。

研究者提出基于记忆化(memorization)选择样本的成员推断攻击(MIA)优化方法,利用记忆化分数高的样本,攻击者无论采用何种 MIA 都能显著提升攻击效果,并将所需影子模型数量比现有最先进方法减少近两个数量级。成员推断攻击旨在识别机器学习模型私有训练集中的特定样本,会带来严重隐私风险;许多实用黑盒 MIA 需要训练数百个以上影子模型来提取攻击信号,计算开销大。论文的动机实验表明,记忆化是解释样本对 MIA 脆弱性差异的关键属性,作者据此给出将成员推断优势与记忆化联系起来的理论界,以及连接所需影子模型数量与记忆化的样本复杂度界,并通过实验加以验证。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者称标签记忆化是解释 MIA 样本间成功率差异的关键属性,并可同时提升攻击效果与效率。

    核心问题:什么数据属性最能解释 MIA 在不同样本上的成功率差异,对抗者能否利用它发起更有效、更省计算的攻击?

    • 问题场景:MIA 旨在推断某条记录是否在模型的私有训练集中,作者认为这会导致隐私泄露,且是理解更复杂隐私威胁的基础。
    • 现有方法的不足:作者称许多实际黑盒 MIA 需要对数据分布的查询访问来训练影子模型,往往需要数百个,构成计算瓶颈;且基于过拟合、离群点、欠表征子群体的既有解释并不总是有效(§4 显示并非所有 OOD 样本都易受攻击)。
    • 核心观察:动机实验(§4)显示 OOD 分数与 MIA 易感性相关性弱(绝对值低于 0.4 或至多 0.551),而记忆化分数与 privacy score 的相关性更好,作者据此认为记忆化是更合适的解释。
    • 论文贡献:作者给出 MI 优势关于标签记忆化的下界(Theorem 2)、影子模型样本复杂度与记忆化分数成反比的结果(Corollary 1),并在多种视觉数据集和模型上验证。
    • 威胁模型:
      • 目标:推断样本 z 是否在训练集 S 中,按低 FPR(0.1%)下的高 TPR 衡量成功(沿用 Carlini et al. 的设定)。
      • 知识:对抗者知道数据分布 D 和学习算法 L(但不知 L 的随机性)。
      • 能力:假设更强的 M I^s 游戏,对抗者还控制训练数据集 S(作者以验证数据删除的审计者为例说明该假设不牵强);假设存在记忆化预言机 O_mem 返回近似记忆化分数。
      • 受害系统:用 S 训练的机器学习模型(实验中为视觉模型)。
  2. 有哪些相关研究?

    论文沿 MIA 攻击、MIA 差异解释、记忆化理论三条线组织相关工作,并以五种 MIA 为基线。

    MIA 攻击方法(本文基线)

    • Shokri et al. [46]——用影子模型训练攻击模型判定成员身份;Sablayrolles et al. [44]——基于缩放损失与逐样本阈值的攻击;Song et al. [47]——用影子模型近似熵分布做假设检验。
    • Yeom et al. [53]——对损失设阈值的简单攻击,不需要访问训练数据或分布;Carlini et al. [10](LiRA)——从第一性原理出发的攻击,作者称其是低 FPR 下表现最好的攻击,并在 §8 论证其等价于估计标签记忆化加假设检验。
    • 基线与基准:以上五种攻击全部作为基线,在 MNIST/SVHN/CIFAR-10/CIFAR-100 及其增强变体的混合数据集上对比。

    MIA 成功率差异的解释

    • Kulynych et al. [30]——提出 disparate vulnerability,指出子群体间泛化能力差异导致易感性差异;Yeom et al. [53]——在黑盒下研究特征影响;Leino et al. [33]——在白盒下利用模型对特定特征的行为差异。
    • Carlini et al. [11]——注意到离群样本更易受攻击,并演示了攻击在 ID 与 OOD 样本上的差异表现;作者认为这些解释较粗,本文提出记忆化是"关键"属性,并给出首个形式化刻画(作者称)。

    记忆化与假设检验理论

    • Feldman [16]、Feldman and Zhang [17]、Brown et al. [8]——形式化标签记忆化,指出过参数化模型需要记忆非典型样本的标签才能泛化;本文用 [17] 的算法实例化记忆化预言机。
    • Ye et al. [52]、Carlini et al. [10]——将 MIA 视为假设检验;本文沿用该框架,把影子模型数量对应到假设检验的样本复杂度。

    定位:作者称与上述工作不同,本文把记忆化作为解释 MIA 样本易感性差异的核心属性,并给出 MI 优势关于记忆化的首个形式化下界(作者称)。

  3. 论文如何解决这个问题?

    把 MIA 写成假设检验,证明 MI 优势以记忆化分数为下界、影子模型数与记忆化分数成反比。

    整体思路:把 MIA 形式化为区分"含 z 训练"与"不含 z 训练"两个模型分布的假设检验问题,再用标签记忆化把攻击优势与影子模型数量联系起来。

    问题形式化

    • 采用 M I 游戏:挑战者 C 选数据集 S 并训练模型,对抗者 A 给挑战样本 z 并猜测其成员身份;优势定义为 TPR 与 FPR 之差(Equation 5)。论文假设更强的 M I^s 游戏,即 A 还控制 S。
    • 标签记忆化定义为 mem(L, S, zi) := Prθ ∼ L(S(i))[θ(xi) = yi] − Prθ ∼ L(S)[θ(xi) = yi],即加入 z_i 前后模型预测其标签的概率差(Equation 1)。

    理论:MI 优势的记忆化下界

    • 挑战者控制数据集时(§5.1):A 用影子模型估计 P0(z 不在训练集)与 P1(z 在)的参数(假设多元正态),再用 sLLR 检验;由 Lemma 1 得 Theorem 1:Adv(L, A) ≥ H²(P0, P1)。
    • 对抗者控制数据集时(§5.2):取攻击 A(θ, z) = 1{θ(x)=y},优势恰好化简为 mem(L, S, z),得 Theorem 2:Adv(L, A) ≥ mem(L, S, z)。作者注明该结果依赖记忆化预言机 O_mem 的存在,并把可实现的 O_mem 列为未来工作。

    理论:记忆化与攻击效率

    • 影子模型数量对应假设检验的样本复杂度;由 Feldman 的观察(记忆化等于标签指示变量分布间的 TV 距离)和 TV–Hellinger 不等式得 H²(P0, P1) ≤ mem(L, S, z)。
    • 代入 Lemma 2 得 Corollary 1:MαP0,P1(T⋆) = Θ̃(1/mem(L,S,z)),即记忆化分数越高,达到给定优势所需影子模型越少。

    实验设计

    • 数据构造:D_tr 由过度代表组 D_Otr(MNIST 60,000 或 CIFAR-10 50,000)与欠代表组 D_Utr 按混合比 α 混合;D_Utr 有三种选法——(a) 随机 OOD 样本、(b) 用 Jagielski et al. [24] 方法(Efficientnet 特征 + PCA 降到 10 维 + KMeans 分 5 簇,取最小簇)识别的子群体、(c) 记忆化分数超阈值(MNIST 0.8、CIFAR-10 0.5)的 singletons。
    • 记忆化分数用 Feldman and Zhang [17] 的算法估计;privacy score 沿用 Carlini et al. [10] 的定义(Algorithm 1)。
    • 评测:五种 MIA,每个设置训练 2000 个影子模型;指标为 AUROC 和 TPR @ 0.1% FPR(阈值 τ 取在该 FPR 下最大化 TPR)。
  4. 论文做了哪些实验?

    7 种数据组合、4 种模型、5 种 MIA:singletons 上 AUROC 达 1.0、TPR 100%,影子模型 2000→5。

    实验设置

    • 被测模型:CNN32、CNN64(取自 Carlini et al. [10])、ResNet-9、ResNet-18,共 4 种架构。
    • 数据集:MNIST(60,000)、SVHN(裁剪版取 1,000)、CIFAR-10(取 6,000)、CIFAR-100(取 1,000)、augMNIST 与 augCIFAR-10(各 1,000,用 Hendrycks et al. [22] 方法增强);混合设置见 Table 1。
    • 基线攻击:Yeom et al. [53]、Shokri et al. [46]、Sablayrolles et al. [44]、Song et al. [47]、Carlini et al. [10] 五种。
    • 指标与评审:AUROC 与 TPR @ 0.1% FPR;privacy score 与记忆化分数按 Algorithm 1 估计,无 LLM 评审。
    • 规模:每个设置训练 2000 个影子模型,累计 38,000 个;准确率按 95% 置信区间、2000 次 bootstrap 迭代报告(Table 1)。

    主结果

    据 Table 2 与 Table 3(Under-represented 列,TPR 为 TPR @ 0.1% FPR):

    表格较宽,可左右滑动

    攻击数据集 (D_tr)AUROC (random→singletons)TPR (random→singletons)
    Shokri et al.MNIST+SVHN0.76 → 0.990.30% → 72.86%
    Sablayrolles et al.MNIST+SVHN0.81 → 1.02.86% → 97.55%
    Carlini et al.MNIST+SVHN0.95 → 1.051.5% → 100%
    Carlini et al.MNIST+augMNIST0.87 → 1.027.55% → 100%
    Shokri et al.CIFAR-10+CIFAR-1000.85 → 1.00.28% → 100%
    Carlini et al.CIFAR-10+CIFAR-1000.96 → 1.054.42% → 100.0%
    Carlini et al.CIFAR-10+augCIFAR-100.93 → 1.036.73% → 98.01%
    • 作者称每种攻击在欠代表组样本上都比在随机样本上表现更好,且使用 OOD singletons 时提升最大。
    • 例外:Yeom et al. 在 CIFAR-10+CIFAR-100 上,subpopulation(AUROC 0.85、TPR 17.32%)优于 singletons(0.76、0.0%);作者给出的解释是该混合数据集中样本记忆化分数均低于 0.6,阈值 0.5 选出的样本并非真正高记忆化(Figure 6)。
    • 作者称 Carlini et al. 的攻击在所有场景下都优于其他攻击,并认为这源于该攻击本身与记忆化估计的内在联系(§8)。

    计算开销实验(§7.2)

    • 测了什么:Carlini et al. 攻击的 AUROC 随影子模型数量的变化(Figure 3、Figure 4),挑战样本取自欠代表组。
    • 结果:高记忆化 OOD 数据下,5 个影子模型即可达到 2000 个的性能(作者称 400× 降幅);Figure 3d 中 in/out 各 1 个影子模型即达 AUROC 1.0。随机 OOD 数据下少于 50 个影子模型达到 2000 个的 AUROC(作者称 40× 降幅)。
    • 作者解读:即使没有可靠的记忆化预言机,用随机 OOD 数据也能降低开销;作者承认后一观察纯属经验、无理论支撑。

    DP 防御与失败尝试(§8)

    • DP-SGD:在 MNIST+SVHN(相同 1,000 张 SVHN 图、70% 子采样)上以 δ=10⁻⁵、噪声乘子 1.3、ℓ2 裁剪范数 1.0、100 epochs 训练,ε=3.2;Figure 4 显示 DP-SGD 下欠代表样本的记忆化分数也变低,作者称这与 Feldman [16] "DP 阻碍记忆化"一致;作者同时指出该隐私预算下模型效用低。
    • 失败的 inverse-flow 实验:作者在 CIFAR-10 上训练 flow 模型,试图通过扰动潜向量生成 x′ 并测其准确率来判断 z 是否被记忆;作者报告该尝试失败,原因是无法确定修改后输入 x′ 的真实标签。

    其他消融与分析

    • OOD 分数与 privacy score 的 Spearman 相关系数绝对值低于 0.4 或至多 0.551(Figure 1b,p<0.001),作者称相关性不强。
    • 记忆化分数与 privacy score 的相关性更好(Figure 2a,具体数值论文未在正文给出)。
    • 记忆化分数与 OOD 检测器分数(Hendrycks et al. [21]、Liu et al. [35])无相关性(Figure 9、Figure 10),作者称 OOD 分数不能作为记忆化的代理。
    • 单一数据集设置下(如纯 MNIST/CIFAR-10),"Under-represented"列报告记忆化分数超 0.4(MNIST)/0.8(CIFAR-10)的样本,攻击在这些样本上同样更有效(Table 2、Table 3 首行)。
    • MNIST+CIFAR-10 混合的完整结果见 Table 5:Carlini et al. 在 singletons 上 AUROC 1.0、TPR 96.51%。
  5. 有什么可以进一步探索的点?

    作者列出记忆化预言机实例化、inverse-flow 等开放方向;实验限于视觉数据集与 4 种架构。

    作者指出的局限与后续方向

    • 可实现且有效的记忆化预言机 O_mem 是重要未来工作(§5.2 Theorem 2 脚注);用 Feldman and Zhang [17] 算法实例化计算开销大,设计廉价的记忆化分数估计机制仍是开放问题(§8)。
    • 基于 inverse-flow 模型的 MIA 尝试失败,作者认为该方向有潜力,但需要更多实验才能与记忆化结合用于 MIA(§8)。
    • 防御者移除高记忆化样本会遇到两个问题:模型在对应低密度子集上的误差上升,且会出现新的高记忆化样本(privacy onion effect,§8)。
    • 需要更多分析把 Brown et al. [8] 关于互信息的结论转化为概率界,并理解 MIA 对不易被记忆样本的效果(§9)。
    • 随机 OOD 数据也能降低影子模型数量这一观察纯属经验、没有理论支撑(§7.2)。

    实验覆盖范围

    • 被测模型为 CNN32、CNN64、ResNet-9、ResNet-18 共 4 种架构,全部为视觉模型;作者称聚焦视觉是因为标签记忆化在该领域研究较成熟(§6)。
    • 数据集为 MNIST、SVHN、CIFAR-10、CIFAR-100 及两种增强变体的混合,共 7 种组合;基线为 5 种 MIA(§6)。
    • 每个设置训练 2000 个影子模型,累计 38,000 个;准确率按 2000 次 bootstrap 迭代的 95% 置信区间报告(§6、Table 1)。
    • 防御评测仅包括 DP-SGD(ε=3.2)一个设置,且作者指出该预算下模型效用低(§8)。
    • 论文未报告攻击的运行耗时或单次查询成本的具体数字。
  6. 总结一下论文的主要内容

    作者称记忆化解释 MIA 成功率差异:singletons 上 AUROC 1.0、TPR 100%,影子模型 2000→5。

    一篇关于成员推理攻击(MIA)的攻击类论文,提出用标签记忆化解释并放大样本间的易感性差异。

    • 问题:MIA 对不同样本成功率差异大,既有解释(过拟合、OOD、欠表征子群体)并不总成立;且黑盒 MIA 常需数百个影子模型,计算开销大。
    • 方法:把 MIA 形式化为假设检验,证明 MI 优势以记忆化分数为下界(Theorem 2)、所需影子模型数与记忆化分数成反比(Corollary 1);攻击者用记忆化预言机挑选高记忆化样本(singletons)发起攻击。
    • 效果:在 7 种数据组合、4 种模型、5 种 MIA 上,Carlini et al. 攻击在 singletons 上 AUROC 均为 1.0,TPR @ 0.1% FPR 在 MNIST+SVHN 与 MNIST+augMNIST 上达 100%(Table 2);Sablayrolles et al. 在 MNIST+SVHN singletons 上 TPR 从 2.86%(random)升至 97.55%。
    • 效率:高记忆化数据下 5 个影子模型达到 2000 个的 AUROC(作者称 400× 降幅);随机 OOD 数据下少于 50 个达到同等水平(作者称 40×)。
    • 例外:Yeom et al. 在 CIFAR-10+CIFAR-100 上 subpopulation 优于 singletons,作者归因于该混合中样本记忆化分数普遍低于 0.6。
    • 作者结论:记忆化比 OOD 更准确地刻画 MIA 易感性;DP-SGD 下样本记忆化分数降低;廉价估计记忆化分数、inverse-flow 攻击与 privacy onion effect 的防御含义留作开放问题。

相关论文

共同使用 SVHN
共同使用 CIFAR-100
再看 3 篇
共同使用 CIFAR-100
阅读原文arxiv.org