跳到正文
原文

基于对抗正则化的成员隐私机器学习

Machine Learning with Membership Privacy using Adversarial Regularization

arXiv· arXiv:1807.05852· CCS 2018· Milad Nasr, Reza Shokri, Amir HoumansadrUniversity of Massachusetts Amherst; National University of Singapore本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出用 min-max 对抗训练防御黑盒成员推断攻击,在 Purchase100 上将攻击准确率从 67.6% 降至 51.6%,测试准确率降 3.6%。

威胁模型攻击者目标:判断目标数据记录是否在模型训练集 D 中(membership inference / tracing attack)。

问题
机器学习模型会泄露训练集成员信息:黑盒攻击者仅通过预测 API 的输出就能推断某条记录是否在训练集中(membership inference attack)。现有简单缓解方法无法保证隐私,差分隐私机制在小 ϵ 下对大模型代价高。
方法
作者把防御建模为 min-max 隐私博弈:内层训练最强成员推断模型 h 最大化推断增益,外层训练分类器 f 最小化分类损失加 λ 倍的攻击增益(作为对抗正则项),用类似 GAN 的交替随机梯度下降求解,使模型在训练集与非成员上的预测分布不可区分。
实验与结果
在 CIFAR100(Alexnet、DenseNet)、Purchase100、Texas100 四个模型/数据集上,攻击准确率降至 50.7%–51.6%(接近随机猜测),测试准确率相对无防御模型下降 1.1%–4.4%(Table 4);相同隐私水平下 L2 正则化的测试准确率只有 32.1%(Table 6)。
局限与可以继续做的
论文未专门讨论局限。实验覆盖:4 个模型/数据集组合,均为 100 类分类任务;攻击评估针对论文设定的已知部分训练集的强攻击者;论文未报告多次重复实验或方差。
实验设置Alexnet、DenseNet 等 · CIFAR100、Purchase100 等 · attack accuracy (membership inference accuracy)、training accuracy 等
威胁模型
攻击者目标:判断目标数据记录是否在模型训练集 D 中(membership inference / tracing attack)。知识:black-box,只能观察模型输出(预测向量),不能看到参数;背景知识包括已知成员集 D_A(训练集子集)和已知非成员集 D'_A。能力:训练一个推断模型 h,输入 (x, y, f(x)) 输出成员概率。受害系统:MLaaS 等通过预测 API 暴露的分类模型。
被测模型
AlexnetDenseNet4-layer fully connected neural network (Purchase100)5-layer fully connected neural network (Texas100)
基准
CIFAR100Purchase100Texas100
指标
attack accuracy (membership inference accuracy)training accuracytesting accuracygeneralization error
AI 导读Milad Nasr 等人提出一种对抗正则化训练方法,使模型对训练集成员的预测与对同分布其他数据点的预测难以区分,以防御黑盒成员推断攻击。该方法将训练形式化为 min-max 优化问题,同时最小化分类损失和成员推断攻击的最大收益。作者在深度神经网络和多个基准数据集上评估,称该策略可将成员推断风险降至接近随机猜测,而分类误差代价很小。

Milad Nasr 等人提出一种对抗正则化训练方法,使模型对训练集成员的预测与对同分布其他数据点的预测难以区分,以防御黑盒成员推断攻击。该方法将训练形式化为 min-max 优化问题,同时最小化分类损失和成员推断攻击的最大收益。作者在深度神经网络和多个基准数据集上评估,称该策略可将成员推断风险降至接近随机猜测,而分类误差代价很小。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何训练在黑盒成员推断攻击下可证明保护训练集成员隐私、且分类精度损失最小的模型。

    核心问题:机器学习模型的预测会泄露其训练集成员信息,如何训练出对黑盒成员推断攻击(membership inference / tracing attack)可证明鲁棒、同时分类精度损失最小的模型。

    • 场景与重要性:MLaaS 平台(Google、Amazon、Microsoft 等)让用户训练模型并通过预测 API 暴露给他人;训练数据常含敏感信息(用户画像、位置轨迹、医疗记录、金融数据),即使训练平台可信,模型的预测计算本身也可能危及训练数据隐私(按作者说法)。
    • 现有方法的不足:作者称现有防御分两类——简单缓解技术(限制 top-k 输出、降低预测精度、L2 正则化)不能保证任何严格的隐私概念;差分隐私机制虽能保证 ϵ 级别的(成员)隐私,但在小 ϵ 下对高维数据上的大模型可能造成明显的分类精度损失,因为其设计目标是对所有可能输入数据集和所有模型参数保证输入不可区分,没有把效用显式纳入设计目标。
    • 核心观察/假设:作者提出更有针对性的隐私概念 membership privacy:没有攻击者能区分模型在训练集上的预测与在同分布其他数据上的预测(至多差隐私参数);防御应预判针对自身的最强攻击,而不是针对某个固定攻击设计。
    • 论文提出的方法:把防御形式化为防御机制与推断攻击之间的 min-max 隐私博弈,设计对抗训练算法,把攻击增益作为分类器的正则项,使模型在最小分类损失下让最强攻击退化为随机猜测。
    • 威胁模型:
      • 攻击者目标:判断目标数据记录是否属于目标模型的训练集 D。
      • 知识:black-box——只能观察模型输出(预测向量),不能看到参数;背景知识为已知成员集 D_A(训练集子集)和已知非成员集 D'_A(同分布、不在 D 中的样本)。
      • 能力:训练推断模型 h,输入 (x, y, f(x)),输出 (x, y) 属于 D 的概率;攻击者会针对目标模型自适应调整攻击以最大化增益。
      • 受害系统:通过预测 API 暴露的分类模型(MLaaS 场景)。
  2. 有哪些相关研究?

    相关工作涵盖成员推断攻击、差分隐私防御、密码学/可信硬件方案与博弈论隐私框架四组。

    成员推断与重构攻击

    • Homer et al. (2008)、Sankararaman et al. (2009)、Dwork et al. (2015, 2017)、Backes et al. (2016)、Pyrgelis et al. (2017) 等——针对简单统计线性函数的 membership/tracing 攻击:比较发布统计量与随机样本或目标记录的接近程度,可形式化为假设检验。
    • Shokri et al. (2017)——提出针对机器学习模型的黑盒成员推断攻击,训练推断模型区分成员与非成员的预测,可用 shadow models 训练;本文的 Purchase100、Texas100 数据集和攻击设定即来自该工作。
    • Dinur and Nissim (2003)、Wang et al. (2009)——重构攻击:推断训练集中多个个体的敏感属性;作者称成员推断与重构攻击是"攻击者观察计算结果"设定下的两大类攻击。

    差分隐私防御

    • Dwork et al. (2006, 2014)——差分隐私基础;Abadi et al. (2016)、Bassily et al. (2014)、Chaudhuri et al. (2011)、Papernot et al. (2016, 2018)——把差分隐私用于机器学习训练。
    • 作者指出:差分隐私机制难以在效用损失可忽略的前提下实现,因为要对所有可能输入数据集的相似状态保证不可区分,且函数敏感度(决定噪声幅度)难以计算紧界。Li et al. (2013)、Yeom et al. (2018) 分析了成员隐私与差分隐私定义之间的关系。

    密码学与可信硬件方案

    • 同态加密、garbled circuits、安全多方计算(Lindell and Pinkas 2000;Gilad-Bachrach et al. 2016;Mohassel and Zhang 2017;Bonawitz et al. 2017)与可信硬件如 Intel SGX(Ohrimenko et al. 2016;Hunt et al. 2018)——实现盲训练与盲推理;作者指出这些方法防止攻击者直接看到敏感数据,但不限制通过计算本身泄露的信息。

    博弈论隐私框架与对抗训练

    • Shokri et al. (2012)、Hsu et al. (2013)、Manshaei et al. (2013)、Shokri (2015)、Alvim et al. (2017)——用博弈论形式化和优化隐私:针对最强对应攻击最小化隐私损失,解对任何威胁该"损失"函数的攻击都可证明鲁棒,且可把效用显式纳入 min-max 优化。
    • Goodfellow et al. (2014)、Arjovsky et al. (2017)、Daskalakis et al. (2017)——GAN 提供了训练复杂模型时求解 min-max 博弈的算法;Miyato et al. (2015, 2017)、Odena (2016)、Dai et al. (2017)、Koziński et al. (2017) 等用对抗训练做正则化/泛化。

    基线与基准:对比基线为 L2-norm 正则化(Table 6,Purchase100);基准数据集为 CIFAR100、Purchase100、Texas100(后两者来自 Shokri et al. 2017)。

    作者将本文定位为:在博弈论隐私框架下,用 GAN 式对抗训练求解"最小分类损失 + 最强攻击增益"的 min-max 优化,把效用显式纳入隐私机制目标,针对的是比差分隐私更有针对性的预测不可区分性保证。

  3. 论文如何解决这个问题?

    把成员隐私建模为 min-max 博弈:分类器最小化"分类损失 + λ×最强攻击增益",用 GAN 式交替梯度训练求解。

    整体思路:把成员推断攻击的增益作为对抗正则项(adversarial regularization)加入分类器训练目标,构成 min-max 隐私博弈,用类似 GAN 的交替随机梯度下降训练,使模型在训练集与非成员上的预测分布不可区分。

    问题设定与形式化

    • 分类器:f : X → Y,输出 k 类概率向量;经验目标为 min_f L_D(f) + λ R(f)(式 3),其中 L_D 是训练集 D 上的经验损失,R 是正则项。
    • 推断模型:h : X × Y² → [0,1],输入数据点 (x, y) 和模型预测 f(x),输出 (x, y) 属于训练集 D 的概率。
    • 攻击增益:Gf(h) = 1/2EPrD[log h(x,y,f(x))] + 1/2EPr∖ D[log(1−h(x,y,f(x)))],即攻击在成员与非成员上的平均对数正确率;攻击者目标是最大化经验增益(在已知成员集 D_A 与已知非成员集 D'_A 上计算)。

    Min-max 隐私博弈

    • 联合目标:minf {LD(f) + λ maxh Gf,D,D′(h)}(式 7)——内层对给定 f 找最强攻击 h,外层对给定 h 找最优防御分类器 f;λ 控制分类精度与成员隐私的权衡,攻击项相当于式 3 中的正则项 R(f)。
    • 理论分析:借用 GAN(Goodfellow et al. 2014)的分析:给定 f,最优攻击 h*_f 比较预测来自训练集输出分布 p_f 还是非成员输出分布 p_f′;根据该文 Theorem 1,当且仅当 p_f* = p_f′* 时达到全局最优,此时最优攻击收敛到 0.5(随机猜测);根据其 Proposition 2,作者称 Algorithm 1 的随机梯度下降最终收敛到博弈均衡。

    对抗训练算法(Algorithm 1)

    • 交替优化:每个 epoch 先做 k 步内层最大化——从训练集 D 和参考集 D′ 各采 m 个样本的 mini-batch,沿梯度上升更新推断模型 h 的参数 ω;再做 1 步外层最小化——从 D 采新 mini-batch,沿梯度下降更新分类器 f 的参数 θ,目标为 l(f(x),y) + λ log(h(x,y,f(x)))。
    • 两个数据集:训练需要训练集 D 和与之不相交、同分布的参考集 D′;推断增益在两者上计算,分类损失只在 D 上计算。

    推断攻击模型架构(Figure 3)

    • 单一攻击模型:与 Shokri et al. (2017) 每类训练一个攻击模型(共 k 个)不同,本文只用一个攻击模型;三个全连接子网络分别处理预测向量 f(x)(层尺寸 [100,1024,512,64])、one-hot 标签([100,512,64]),再在拼接后的公共网络([256,64,1])输出成员概率。
    • 训练细节:ReLU 激活,权重以均值 0、标准差 0.01 的正态分布初始化,Adam 优化器、学习率 0.001;每个训练 batch 中成员与非成员样本数相同,防止攻击模型偏向一边。

    成功判定与评测方式

    • 攻击准确率:在 D\D_A 与另一个同分布、与 D 和 D'_A 均不重叠的集合 D″ 上,计算攻击对成员/非成员判断正确的平均概率;成员隐私最大时攻击准确率为 50%(随机猜测)。
    • 效用指标:训练准确率、测试准确率、泛化误差(测试与训练准确率之差,按 Hardt et al. 2015 的定义按类计算);并用预测准确率与预测不确定性(归一化熵)在成员/非成员上的分布差距展示信息泄露程度。
  4. 论文做了哪些实验?

    在 4 个模型/数据集上攻击准确率降至 50.7%–51.6%,测试准确率降 1.1%–4.4%,优于同隐私水平的 L2 正则化。

    实验设置

    • 被测模型:CIFAR100 上用 Alexnet(Adam,学习率 0.0001,100 epochs,Dropout 0.2)和 DenseNet(SGD,300 epochs,学习率从 0.001 分段降至 0.00001,L2 正则 5e-4);Purchase100 上用 4 层全连接网络([1024,512,256,100],Tanh,50 epochs);Texas100 上用 5 层全连接网络([2048,1024,512,256,100],Tanh,50 epochs)。
    • 数据集:CIFAR100(60,000 张 32×32 彩图,100 类);Purchase100(197,324 条记录,每条 600 个二值特征,100 类);Texas100(67,330 条出院记录,6,170 个二值特征,100 类)。
    • 实验规模(Table 3):Purchase100 用 |D|=20,000、|D′|=20,000、λ=3、|D_A|=5,000、|D′_A|=20,000;Texas100 用 |D|=10,000、|D′|=5,000、λ=2、|D_A|=5,000、|D′_A|=10,000;CIFAR100 用 |D|=50,000、|D′|=5,000、λ=6、|D_A|=25,000、|D′_A|=5,000。
    • 攻击者设定:评估防御时假设强攻击者——已知训练集的相当一部分(D_A),试图推断其余部分的成员身份;攻击模型架构见 Figure 3。
    • 基线:无防御的常规训练模型;L2-norm 正则化(Table 6)。
    • 指标:训练/测试准确率、攻击准确率(成员推断准确率,50% 为随机猜测)、泛化误差;实现基于 Pytorch。论文未报告重复次数或方差。

    主结果

    据 Table 4("With defense"为本文 min-max 机制):

    数据集/模型无防御:训练/测试/攻击准确率有防御:训练/测试/攻击准确率
    Purchase100100% / 80.1% / 67.6%92.2% / 76.5% / 51.6%
    Texas10081.6% / 51.9% / 63%55% / 47.5% / 51.0%
    CIFAR100-Alexnet99% / 44.7% / 53.2%66.3% / 43.6% / 50.7%
    CIFAR100-DenseNET100% / 70.6% / 54.5%80.3% / 67.6% / 51.0%
    • 作者称实验结果与理论一致:有防御时攻击准确率接近随机猜测,而测试准确率仅下降 3.5%(Purchase100)、4.4%(Texas100)、1.1%(CIFAR100-Alexnet)、3%(CIFAR100-Densenet)。
    • 作者称该机制同时是强正则器:泛化误差最多缩小到原来的 1/4,例如 Texas100 从 29.7% 降到 7.5%,CIFAR100-Alexnet 从 54.3% 降到 22.7%,CIFAR100-Densenet 从 29.4% 降到 12.7%,Purchase100 几乎不变。
    • Figure 4(Purchase100)显示训练过程中分类损失与攻击增益收敛到均衡点;作者称无防御模型的损失持续下降、可能过拟合。

    与 L2 正则化的对比

    • 测了什么:Purchase100 上用 L2-norm 正则化作为缓解手段,对比相同隐私水平下的效用(Table 6)。
    • 结果:L2 因子 0.01 时攻击准确率 50.6%、测试准确率仅 32.1%;因子 0.001 时攻击准确率 60%、测试准确率 81.3%。作者称在接近最大成员隐私时,本文机制的测试准确率是 L2 正则化模型的两倍以上(76.5% 对 32.1%)。
    • 作者解读:这类正则器不保证隐私,也没有把达到隐私的代价最小化,这与本文 min-max 优化的目标一致。

    预测分布的不可区分性

    • Figure 6:Purchase100 第 50 类训练样本上,无防御模型对正确类的预测概率接近 1;有防御模型把预测概率分散到多个类,且其在训练样本(中图)与测试样本(底图)上的输出分布不可区分。作者称这种额外的不确定性正是可证明缓解信息泄露的原因。
    • Figure 7(预测准确率分布):有防御与无防御相比,成员/非成员曲线最大差距为 Purchase100(0.02 vs. 0.34)、Texas100(0.05 vs. 0.25)、CIFAR100-Densenet(0.06 vs. 0.56);平均差距为(0.007 vs. 0.013)、(0.004 vs. 0.016)、(0.005 vs. 0.021)。
    • Figure 8(预测不确定性,归一化熵):最大差距为 Purchase100(0.03 vs. 0.30)、Texas100(0.02 vs. 0.15)、CIFAR100-Densenet(0.04 vs. 0.49);平均差距为(0.004 vs. 0.012)、(0.002 vs. 0.04)、(0.002 vs. 0.01)。作者称这些图不证明隐私,只是展示攻击者可利用的统计差距被缩小了一到两个数量级。

    其他消融与分析

    • λ 的影响(Table 5,Purchase100):λ=0 时攻击准确率 67.6%、测试 80.1%;λ=1 时 57.0%/78.3%;λ=2 时 55.0%/77.4%;λ=3 时 51.8%/76.5%;λ=10 时 50.6%/70.1%。
    • 参考集大小的影响(Table 7,Purchase100,|D|=20,000、λ=3):|D′|=1,000 时攻击准确率 59.2%、测试 80.0%;5,000 时 52.8%/77.4%;10,000 时 52.4%/76.8%;20,000 时 51.6%/76.5%;30,000 时 50.6%/76.4%。作者称参考集越大越能代表底层分布,攻击准确率收敛到 50%。
    • 泛化误差 CDF(Figure 5):三个数据集上,有防御模型的泛化误差累积分布曲线整体位于无防御模型左侧(同等误差下覆盖更多类);作者称隐私机制在所有类上的泛化误差都更低。
    • 例外:Purchase100 的泛化误差在有防御时几乎不变(正文明确写出),与其他三个模型/数据集不同。
  5. 有什么可以进一步探索的点?

    论文未专门讨论局限;实验限于 4 个 100 类分类模型/数据集和已知部分训练集的强攻击者设定。

    作者指出的局限与后续方向

    • 论文未专门讨论局限(无 Limitations 小节,Conclusion 与 Discussion 中未列出局限或未来工作条目)。
    • Conclusion 中作者把结论限定在"给定可用的训练/参考数据和模型容量"的前提下保证最小精度损失,这可视为结果适用条件的说明。

    实验覆盖范围

    • 被测模型:共 4 个模型/数据集组合——CIFAR100 上的 Alexnet 与 DenseNet、Purchase100 上的 4 层全连接网络、Texas100 上的 5 层全连接网络,均为 100 类分类任务(Section 5.1–5.2)。
    • 攻击者设定:评估针对已知部分训练集成员(D_A 最大 25,000 条)和部分非成员的强攻击者,攻击模型为论文 Figure 3 的单一神经网络;论文未用 Shokri et al. (2017) 的每类一个攻击模型(共 k 个)评估防御。
    • 基线:仅与无防御模型和 L2-norm 正则化(Purchase100,Table 6)对比;论文讨论过差分隐私防御并说明其代价问题,但未做实验对比。
    • 超参数覆盖:λ 在 {0,1,2,3,10} 上扫描(Table 5),参考集大小在 1,000–30,000 上扫描(Table 7),均只在 Purchase100 上。
    • 论文未报告:多次重复实验、方差或置信区间;白盒攻击(攻击者可见模型参数)下的评估;训练时间与计算开销。
  6. 总结一下论文的主要内容

    用 min-max 对抗训练把成员推断攻击增益作为正则项,在 4 个模型/数据集上以 1.1%–4.4% 的精度代价把攻击准确率压到接近随机猜测。

    一篇关于机器学习成员隐私的防御论文:针对黑盒成员推断攻击(攻击者只能看预测 API 输出,判断某条记录是否在训练集中),作者提出 adversarial regularization——把防御建模为分类器与最强推断攻击之间的 min-max 博弈,用 GAN 式交替梯度训练求解。

    • 要解决的问题:简单缓解技术(top-k 限制、L2 正则)不提供严格隐私保证;差分隐私在小 ϵ 下对大模型效用代价高,且未把效用纳入设计目标(按作者说法)。
    • 方法要点:分类器最小化"分类损失 + λ×攻击经验增益",攻击项起正则作用;理论上当模型在训练集与非成员上的预测输出分布 p_f 与 p_f′ 不可区分时达到均衡,最优攻击退化为随机猜测;攻击模型为单一全连接网络,输入 (x, y, f(x))。
    • 主结果(Table 4):Purchase100 攻击准确率从 67.6% 降至 51.6%(测试准确率 80.1%→76.5%);Texas100 从 63% 降至 51.0%(51.9%→47.5%);CIFAR100-Alexnet 从 53.2% 降至 50.7%(44.7%→43.6%);CIFAR100-Densenet 从 54.5% 降至 51.0%(70.6%→67.6%)。
    • 对比基线(Table 6):相近隐私水平下,L2 正则化(因子 0.01)在 Purchase100 上测试准确率仅 32.1%,而本文机制为 76.5%。
    • 附加效果:作者称机制同时是强正则器,泛化误差最多缩至原来的 1/4(如 Texas100 从 29.7% 到 7.5%),但 Purchase100 上几乎不变。
    • 作者结论:该机制在可用训练/参考数据和模型容量的前提下,以可忽略的精度代价保证针对最强推断攻击的成员隐私,且模型泛化能力好。

相关论文

共同使用 Texas100
共同使用 CIFAR100
再看 3 篇
共同使用 CIFAR100
阅读原文CCS 2018