如何组合针对多个更新模型的成员推断攻击

1. 01这篇论文试图解决什么问题？

   研究模型反复更新是否加剧成员推断风险，并提出利用更新前后模型的黑盒 MI 攻击。

   核心问题：当机器学习模型随新数据反复更新、攻击者能观察更新前后的模型时，成员推断（MI）风险会增加多少，如何利用这种额外信息。

   • 问题场景：作者指出，生产平台（Amazon SageMaker、Azure ML、Tensorflow-Extended）普遍支持按天或按周自动用新批次数据更新模型，更新后的模型会被反复发布用于推理。大多数 MI 研究只针对单个独立模型，忽略了更新给攻击者带来的额外信息。
   • 核心观察：作者用均值估计的例子说明，结合更新前后的均值可以还原出更新批次本身的均值，从而在原本不可能的参数区间（n ≫ d ≫ t）内做准确的成员推断；作者认为同样的效应会出现在更复杂的模型上。
   • 威胁模型：
     • 攻击者目标：推断目标样本是否属于某个更新集 D_i；多更新时还要推断样本属于哪一次更新（specific accuracy）。
     • 知识：black-box——可对每个模型 f_i 的输出做查询，但不知道模型架构或参数。
     • 能力：观察初始模型 f0 和所有更新模型 f1…fk 在多个查询点上的输出；阈值设定时按 Batch/Transfer/Rank 三种策略分别假设不同的侧信息。
     • 受害系统：用 SGD-New（只用新数据）或 SGD-Full（用全部累计数据）更新的监督分类模型。
   • 论文提出：作者称提出首个针对重复模型更新设置的黑盒 MI 攻击算法，通过组合对更新前后模型分别运行的单模型 MI 攻击得分来提升攻击效果，并给出解析与实验依据；还首次测量了分布偏移对带更新 MI 攻击的影响（作者表述为 "the first measurements"）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四类：单模型 MI、多模型/更新场景攻击、记忆化攻击、差分隐私防御。

   单模型成员推断

   • Homer et al. [16]、Sankararaman et al. [33]、Dwork et al. [13] 等早期工作针对简单统计任务提出 MI 攻击；Yeom et al. [40] 将 MI 与过拟合联系起来，Shokri et al. [36] 提出影子模型黑盒攻击。
   • Carlini et al. [5] 提出 LiRA 攻击（本文用作得分函数之一）；Choquette Choo et al. [10] 提出 label-only 设置下的 gap 攻击（本文用作基线）。

   多模型与模型更新场景的隐私攻击

   • 联邦学习方向：Wang et al. [39] 推断标签组成，Melis et al. [26] 推断属性，Nasr et al. [29] 做 MI 攻击。
   • Salem et al. [32]（Updates-Leak）利用更新前后模型做重构攻击，恢复更新点的标签和特征。论文指出其区别：限于 online learning 的小更新，而本文关注 MI、支持多次更新、多种更新规模与分布偏移，且不依赖大量影子模型。
   • Chen et al. [9] 针对 machine unlearning 构造 MI 攻击。论文指出 unlearning 可视为更新的逆操作，并在第 5.8 节实验比较，称本文攻击在其设置下更有效。

   记忆化攻击

   • Carlini et al. [6, 7] 从生成式语言模型中提取训练数据，[7] 用 MI 验证生成样本是否属于训练集。
   • Zanella-Béguelin et al. [42] 称语言模型的更新会提升记忆化攻击效果；论文指出其实验无法区分这是隐私泄露还是模型适应新分布，而本文方法可以区分。

   差分隐私与防御

   • Nasr et al. [28]、Jia et al. [20] 提出专门针对 MI 的防御；Abadi et al. [1]、Song et al. [38] 等提出差分隐私训练算法（DP-SGD）。
   • Jagielski et al. [18]、Nasr et al. [30] 用 MI 攻击审计差分隐私部署，本文沿用这一思路审计更新场景。

   基线与基准：实验基线为 Yeom et al. 的 Loss 攻击、Choquette Choo et al. 的 Gap 攻击、LiRA [5]（IMDb 除外），多更新设置另有 Random 与 Generic 基线，第 5.8 节复现 Chen et al. 的 SortedDiff 攻击；数据集为 FMNIST、CIFAR-10、Purchase100、IMDb，分布偏移用 BREEDS 框架 [34]。

   作者定位：本文称是首个研究重复模型更新特有方面（大批量更新、多次更新、分布偏移）的工作，攻击通过组合已有单模型 MI 攻击的得分实现，比为 unlearning 设计的攻击更高效。

   收起这一问

3. 03论文如何解决这个问题？

   把单模型 MI 得分分别作用于更新前后的模型，用 ScoreDiff/ScoreRatio 组合并设阈值判定。

   整体思路：对目标样本分别在初始模型 f0 和更新模型 f1 上计算单模型 MI 攻击的置信得分，再用固定的组合函数把两个得分合成对更新集的成员判定分数，配阈值输出二元决策。方法总览见 Table 1。

   问题形式化

   • 学习方依次得到数据集 D0…Dk，用 A_train 训练 f0，再用更新算法 A_up 依次产生 f1…fk（Algorithm 1）；每次更新集大小固定为 n_up。
   • MI 实验（Algorithm 2）：攻击者拿到全部模型 f0…fk，需区分样本来自更新集还是同分布的测试集，并（多更新时）指出属于哪次更新；指标为 accuracy、precision、recall（单更新）和 generic/specific accuracy（多更新）。
   • 更新策略两种：SGD-New 只用新数据集 D_i 更新（小学习率、少 epoch 以防遗忘）；SGD-Full 用累计全部数据 [D0…D_i] 更新。

   单更新攻击：ScoreDiff 与 ScoreRatio

   • 核心组合函数：ScoreDiff = ℓ(x,y,f₁) − ℓ(x,y,f₀)，ScoreRatio = (ℓ(x,y,f₁)+c)/(ℓ(x,y,f₀)+c)，其中 ℓ 为单模型 MI 得分，c>0 为防止分母近 0 的阻尼常数。
   • 得分函数两种选择：标准交叉熵 loss [40] 和 LiRA 得分 [5]；两者都只需类别概率，LiRA 额外需要训练影子模型。
   • 作者证明仅组合二元判定无收益（Theorem 4.1）：在 0/1 loss 下，若 f0 对更新点和测试点表现相同、f1 对更新点更好，则只用 f1 的攻击不差于同时使用 f0 和 f1 的攻击，因此必须利用连续得分。
   • 解析依据：对 ℓ2² loss（均值）单步梯度更新使 loss 按固定比例下降，ScoreRatio 是完美成员检验；对 ℓ2 loss（几何中位数）loss 按固定常数下降，ScoreDiff 是完美检验。作者据此认为不存在普适最优组合函数。

   阈值设定（三种侧信息假设）

   • Batch：攻击者持有含更新点与测试点但未标注的数据，用得分中位数（最大化 accuracy）或第 10 百分位（最大化 precision）作阈值。
   • Transfer：攻击者用测试点训练影子模型并模拟更新，在影子模型上用 Batch 法定阈值再迁移到目标模型；只需一个影子模型。
   • Rank：用测试点得分的 q 分位作阈值，假阴性率为 q（沿用 [23]）。

   多更新攻击（Algorithm 3）

   • Back-Front：忽略中间模型，只比较 f0 与 fk 的得分差/比，用于 generic accuracy。
   • Delta：逐对比较相邻模型 f_{i-1}、f_i，得分变化超过阈值 T_i 则判定属于第 i 次更新，用于 specific accuracy，也可转为 generic 判定。
   • 阈值用 Batch 策略：Back-Front 取全数据集得分中位数；Delta 设定各 T_i 使每次更新分到 n_up 个点。

   分布偏移评测方法

   • 用 BREEDS 框架 [34] 把 CIFAR-10 改造成 animal vs. vehicle 二分类，更新分布为 D1 = (1−α)D_S + αD_T，α ∈ {0.2, 0.6, 1.0} 控制偏移强度；设 Hard（Airplane→Automobile、Cat→Bird）与 Easy（Automobile→Truck、Cat→Dog）两组类别迁移。测试点与更新点同分布采样，以隔离偏移对 MI 本身的影响。

   收起这一问

4. 04论文做了哪些实验？

   四个数据集上更新攻击一致优于无更新基线；偏移越大风险越高；DP 小 ε 防护好；优于 unlearning 攻击。

   实验设置

   • 被测模型：FMNIST 上用 logistic regression（初始训练集 1000 点）；CIFAR-10 上微调 ImageNet 预训练的 VGG-16（25000 点）；Purchase100 上用 single layer neural network（25000 点）；IMDb 上微调 BERT base (uncased)（25000 点）。
   • 数据集：FMNIST、CIFAR-10、Purchase100、IMDb；分布偏移实验用 BREEDS 改造的 CIFAR-10 二分类。
   • 基线：无更新基线为 Gap [10]、Loss [40]、LiRA [5]（IMDb 不用 LiRA）；多更新基线为 Random（1/2k）与 Generic（p/k）；第 5.8 节复现 Chen et al. [9] 的 SortedDiff 攻击（最多 30 个影子模型）。
   • 指标：单更新为 accuracy、precision、recall；多更新为 generic accuracy 与 specific accuracy。
   • 更新规模：单更新实验更新集为初始训练集的 1%–32%（IMDb 固定 10–320 点）；多更新实验 n_up 固定为 250（CIFAR-10）、100（Purchase100）、10（FMNIST、IMDb），更新 1–10 次。
   • 重复次数：论文未说明主实验的重复次数；DP 审计实验每个 ε 有 400 次试验（20 个模型 × 每个 20 点），置信度 98%。

   主结果

   单更新攻击准确率（Table 2，更新集为初始训练集 1%，loss 得分）：

   表格较宽，可左右滑动

   数据集	训练策略	无更新最优（Gap/Loss）	ScoreDiff Batch	ScoreRatio Batch	ScoreRatio Transfer
   FMNIST	SGD-New	0.51/0.53	0.68	0.71	0.72
   FMNIST	SGD-Full	0.52/0.51	0.63	0.57	0.58
   CIFAR-10	SGD-New	0.50/0.53	0.61	0.65	0.68
   CIFAR-10	SGD-Full	0.50/0.59	0.58	0.61	0.63
   Purchase100	SGD-New	0.51/0.50	0.56	0.57	0.58
   IMDb	SGD-New	0.50/0.45	0.63	0.63	0.60

   （据 Table 2；Purchase100 与 IMDb 的 SGD-Full 行及 Transfer 部分列从略，趋势一致。）

   • 作者报告，在所有数据集、更新规模和训练策略下，带更新的攻击都优于无更新攻击（Figure 2）；优势随更新集变大而缩小，FMNIST 上 10 个更新点时 Batch 攻击 79%、320 点时 70%，与无更新的差距从 27% 缩到 18%。
   • 作者称 ScoreRatio 通常优于 ScoreDiff，但在大更新集时 ScoreDiff 可相当或更好；Batch 与 Transfer 阈值表现相当；LiRA 得分普遍优于 loss，但在 CIFAR-10 上因数据不足以训练足够影子模型而表现不佳。

   多更新与训练策略（Q2、Q3）

   • 多更新：Figure 3 显示 specific accuracy 相对随机猜测的倍数随更新次数上升：CIFAR-10、SGD-New 下 2 次更新时为 2.03×，8 次时为 6.10×；但绝对 specific accuracy 随 k 下降（CIFAR-10 从 2 次的 50.8% 降到 8 次的 38.1%，基线分别为 25% 与 6.25%）。
   • 训练策略：作者报告小更新集时 SGD-New 更易受攻击，大更新集时反转——CIFAR-10 上 250 到 8000 更新点的准确率降幅 SGD-New 为 10%、SGD-Full 仅 2%；Purchase100 在最小更新集时已反转。作者给出的经验规则是：小更新集用全量数据训练更安全，大更新集反之，反转点因数据集而异。

   分布偏移（Q5，Table 4）

   • 在 BREEDS 改造的 CIFAR-10 上（n_up=50、n0=5000、Batch 阈值），Hard shift 下 α 从 0.2 升到 1.0 时，ScoreRatio 准确率 SGD-New 从 0.559 升至 0.687，SGD-Full 从 0.597 升至 0.666；Easy shift 下准确率随 α 增大反而下降。
   • precision 在剧烈偏移时常超过 90%，最高 98%（Hard、α=1.0、SGD-New、ScoreDiff）；作者称剧烈偏移比渐进偏移带来更高的 MI 风险。

   差分隐私（Q6，Figure 5）

   • 在 FMNIST（更新集 100、裁剪范数 0.5、δ=10⁻⁴）上用 DP-SGD：ε=0.26 时最佳攻击 precision 仅 0.59，ε=1.1 时为 0.63，随后趋于平稳；ε<1 时有无更新的攻击差别不大。
   • 审计：把攻击精度转成 ε 的经验下界（Clopper-Pearson，98% 置信），SGD-Full 的下界全为 0；SGD-New 在 ε 上界 0.12–1.09 时下界与上界相差 2.0-3.6x。作者称独立模型 DP-SGD 审计中该差距为 5-10x [18, 30]，认为更新场景风险更高。

   与 Chen et al. [9] 的比较（Q7，Figure 6）

   • 在 FMNIST 上，ScoreDiff 与 ScoreRatio（各用 1 个影子模型设阈值）在所有更新规模上都优于对方最多 30 个影子模型的 SortedDiff 攻击，差距随更新规模变化；Purchase100 上结论相同。
   • 让对方攻击模型额外使用本文两个特征（共 12 维、30 个影子模型、logistic regression）后，本文特征的平均权重是 SortedDiff 特征的 7.5x。作者称这体现了手工构造检验统计量相对从高维空间学习的价值。

   其他消融与分析

   • Delta vs. Back-Front（Figure 4，SGD-Full）：CIFAR-10 上 Delta 最好，Purchase100 上 Back-Front 最好，FMNIST 上相当。
   • precision/recall（Table 3、Table 5）：SGD-New 的 precision 高于 SGD-Full（FMNIST、n_up=0.01n0 时 Batch 分别 90% 与 86%）；更新点更少时 precision 更高（FMNIST Transfer 从 86% 降到 78%）。
   • Rank 阈值 recall 较高，但 Batch/Transfer 的 precision 通常更高。
   • 均值估计实验（Figure 7，附录 C）：n0=200、d=250、σ=0.1、60 次试验，使用更新的攻击在所有 n1 下不劣于无更新的 Neyman-Pearson 最优攻击。
   • 附录 Figure 8：FMNIST、n_up=100 时 SGD-Full 上的攻击可优于 SGD-New，与正文小更新集结论相反方向一致。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出无普适最优攻击、防御启发式需按数据集调参；实验限于四个数据集和特定更新设置。

   作者指出的局限与后续方向

   • 无普适最优方法（Section 4.2、5.5）：作者称不存在在所有情形下都最优的组合函数或阈值策略，攻击者需针对具体场景（如用自建影子模型）实验选择 ScoreDiff/ScoreRatio 与得分函数。
   • 防御启发式需调参（Section 5.4）：SGD-New 与 SGD-Full 孰更脆弱的反转点取决于数据集，作者建议学习者通过运行本文攻击来调节这一启发式，并指出 DP 是更有原则的防御但实践中仍可能需要调参或审计。
   • SGD-Full 的 DP 审计证据有限（Section 5.7）：攻击未能排除 SGD-Full 满足 ε=0 的可能，但作者强调这并非证明 SGD-Full 重训练没有隐私问题。
   • 得分函数可扩展（Section 4.1）：作者称未来更好的单模型 MI 得分函数可直接纳入其组合策略。
   • 分布偏移方法学（Section 5.6）：作者认为其偏移评测方法可成为未来测量分布偏移下 MI 的平台。

   实验覆盖范围

   • 被测模型为 logistic regression、VGG-16、single layer neural network、BERT base (uncased) 共 4 个，分别对应 FMNIST、CIFAR-10、Purchase100、IMDb 四个数据集。
   • 更新策略覆盖 SGD-New 与 SGD-Full 两种；多更新实验最多 10 次更新，n_up 固定为初始数据集的 1%、0.4%、1%、0.04%（CIFAR-10、Purchase100、FMNIST、IMDb）。
   • 分布偏移实验仅在 CIFAR-10 改造的 BREEDS 二分类任务上进行，α ∈ {0.2, 0.6, 1.0}，Hard/Easy 各一组类别迁移。
   • DP 实验仅在 FMNIST、单更新设置下进行，δ=10⁻⁴，每个 ε 400 次试验。
   • 论文未报告主实验（Figure 2–4、Table 2–4）的重复次数与置信区间；与 Chen et al. 的比较使用 loss 得分与 Transfer 阈值，作者说明为简化未比较 LiRA 得分。

   收起这一问

6. 06总结一下论文的主要内容

   组合更新前后模型的 MI 得分可提升成员推断；更新越小、偏移越大风险越高；DP 小 ε 有效。

   一篇成员推断（MI）攻击论文：研究生产场景中模型随新数据反复更新时，能观察更新前后模型的黑盒攻击者能获得多少额外隐私信息。

   • 问题：多数 MI 研究只针对单个模型，而实际系统会批量更新模型；作者要量化更新带来的额外 MI 风险，覆盖多次更新、更新规模、分布偏移和训练策略等因素。
   • 方法：对目标样本分别在 f0 与 f1 上计算单模型 MI 得分（loss 或 LiRA），用 ScoreDiff 或 ScoreRatio 组合，配 Batch/Transfer/Rank 阈值判定；多更新场景用 Back-Front（比首尾模型）和 Delta（比相邻模型）。作者证明仅用二元判定无法从更新中获益（Theorem 4.1），并用均值/中位数例子解析说明两种组合函数各有适用场景。
   • 主要结果：
     • 四个数据集上带更新的攻击一致优于无更新基线；FMNIST 上 10 个更新点时准确率 79%，无更新为 52%（Figure 2 及摘要）。
     • 更新集越小攻击越有效；小更新集时 SGD-New 更脆弱，大更新集时反转（CIFAR-10 上 250→8000 点，SGD-New 准确率降 10%、SGD-Full 仅 2%）。
     • 多更新时 specific accuracy 相对基线的倍数随更新次数上升（CIFAR-10、8 次更新为 6.10×），但绝对准确率随 k 下降。
     • 分布偏移实验中 Hard shift 下 α 越大攻击越准（SGD-New ScoreRatio 从 0.559 升至 0.687），precision 最高 98%；作者称剧烈偏移比渐进偏移风险更高。
     • DP-SGD 在小 ε 时防护好（ε=0.26 时 precision 0.59），大 ε 时保护有限；SGD-New 的 ε 经验下界与理论上界相差 2.0-3.6x。
     • 与 Chen et al. [9] 的 unlearning 攻击相比，本文攻击用 1 个影子模型即在所有更新规模上优于对方 30 个影子模型。
   • 作者结论：模型更新会提高 MI 风险，更新集大小、训练算法和分布偏移是关键因素；没有单一攻击配置普适最优，学习者可用本文攻击调节防御启发式或审计差分隐私部署。

   收起这一问

相关论文