跳到正文
原文

面向深度学习的鲁棒成员关系编码:推理攻击与版权保护

Robust Membership Encoding: Inference Attacks and Copyright Protection for Deep Learning

arXiv· arXiv:1909.12982· Congzheng Song, Reza ShokriCornell University; National University of Singapore本站收录· 23 天前· 原文发表攻击

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 membership encoding:训练时把训练集子集的成员身份编码进模型,白盒下 Texas 数据集编码 20% 数据精度 0.97,测试精度几乎不降。

威胁模型MLaaS/算法市场场景:第三方攻击者提供训练代码,代码可访问客户数据但无法外传,唯一产出是模型;训练时把选定子集的 1-bit 成员身份按密钥编码进模型,模型发布后经白盒(访问参数)或黑盒(预测 API)解码。

问题
MLaaS 和算法市场中,第三方训练代码可能把训练数据的敏感信息秘密嵌入模型供日后提取;同时模型所有者需要鲁棒水印保护版权。已有嵌入方法容量小、改动参数多且对模型改动脆弱。
方法
训练时选定训练集子集,增设 membership discriminator 与主模型联合优化,把子集的 1-bit 成员身份按密钥种子生成的合成数据编码进模型隐藏激活或输出对数概率;推理时用同一密钥重建判别器解码。
实验与结果
在 Purchase、Texas、MNIST、CIFAR10 上以 MLP/CNN/VGG/ResNet 评测:白盒编码 20% 训练数据 precision 0.83–0.97,测试精度与基线基本持平;黑盒略低。编码对输入遮蔽、剪枝、微调鲁棒,对抗剪枝在剪除 70% 参数时仍保留编码。
局限与可以继续做的
论文未专门讨论局限。实验覆盖 4 个数据集、4 种模型架构,编码比例为训练集的 20%(部分实验增至 50%),未报告防御对策与重复次数。
实验设置MLP (Purchase)、MLP (Texas) 等 · Purchase、Texas Hospital 等 · test accuracy、encoding precision 等
威胁模型
MLaaS/算法市场场景:第三方攻击者提供训练代码,代码可访问客户数据但无法外传,唯一产出是模型;训练时把选定子集的 1-bit 成员身份按密钥编码进模型,模型发布后经白盒(访问参数)或黑盒(预测 API)解码。水印场景中模型所有者本地训练,服务商持密钥验证所有权。
被测模型
MLP (Purchase)MLP (Texas)MLP (MNIST)CNN (MNIST)VGG (CIFAR10)ResNet (CIFAR10)
基准
PurchaseTexas HospitalMNISTCIFAR10STL-10
指标
test accuracyencoding precisionencoding recallAUC
AI 导读论文提出一种面向深度神经网络的成员关系编码方法,可把训练数据子集的成员关系信息编码进模型。该方法可用于模型版权保护的鲁棒水印,也可用于分析隐蔽数据嵌入隐私攻击的风险。作者称,编码后的模型能判断经过大幅删改的数据点是否属于训练集,并对模型压缩和微调保持鲁棒,同时编码较大部分训练集带来的预测准确率下降可忽略。

论文提出一种面向深度神经网络的成员关系编码方法,可把训练数据子集的成员关系信息编码进模型。该方法可用于模型版权保护的鲁棒水印,也可用于分析隐蔽数据嵌入隐私攻击的风险。作者称,编码后的模型能判断经过大幅删改的数据点是否属于训练集,并对模型压缩和微调保持鲁棒,同时编码较大部分训练集带来的预测准确率下降可忽略。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    在 MLaaS 场景下把训练集子集的成员身份鲁棒地编码进模型,用于隐私攻击风险分析和版权水印。

    核心问题:如何在训练深度神经网络时,把训练数据子集的成员身份(1 bit:是否用于训练)秘密、鲁棒地编码进模型,且只有持密钥者能解码。

    • 场景与重要性:MLaaS 和算法市场兴起,数据持有者用第三方训练代码训练模型。作者认为这带来两个担忧:模型版权需要保护;恶意训练代码可能把训练数据的秘密信息嵌入模型,部署后可被提取(covert channel)。
    • 现有方法的不足:作者称已有嵌入算法利用网络冗余容量、靠过拟合或直接写参数来嵌入秘密,需要约 4,000 条投毒数据、修改大量参数,可扩展性差,且对模型改动(剪枝等)脆弱。
    • 核心观察:深度网络有记忆随机数据的能力;可以让模型对目标子集学到可区分的表示(隐藏层或输出),同时不损害主任务精度。
    • 论文提出:membership encoding 算法——训练时用 membership discriminator 联合优化,把选定子集的成员身份按密钥编码进模型;可用于水印验证所有权,也可用于分析模型对 covert channel 攻击的易感性。
    • 威胁模型:
      • 攻击者目标:把选定训练子集(如某类敏感属性的记录)的成员身份编码进模型,模型发布后解码,做成员推断或重构攻击。
      • 知识与能力:攻击者提供训练代码,代码训练时可访问客户数据但不能外传(平台安全隔离),唯一产出是模型;攻击者持有秘密种子 s。
      • 受害系统与访问:客户拥有并发布的模型;白盒(可访问参数)或黑盒(仅预测 API)两种发布方式。
      • 水印场景:模型所有者本地训练,第三方服务商持密钥 s 验证所有权;攻击者想伪造水印通过验证,作者认为其在不知 s 时不太可能成功。
  2. 有哪些相关研究?

    相关工作分四组:成员推断攻击、ML 中的记忆与数据嵌入、模型水印、其他针对 ML 的隐私攻击。

    成员推断攻击

    • Shokri et al. [28]——黑盒成员推断,用 shadow model 训练判别器,模型过拟合时攻击效果最好;Yeom et al. [34] 从理论上把成员推断与泛化/过拟合联系起来。
    • 后续工作把攻击扩展到差分隐私模型 [25]、生成模型与语言模型 [15, 31]、协作学习 [23, 24];Long et al. [22] 显示泛化良好的模型也会泄露成员信息,但论文指出其需先识别少数易受影响记录。
    • 论文定位:membership encoding 让泛化良好的模型在白盒和黑盒下都泄露成员信息,且覆盖训练集的大比例子集,而非少数记录。

    ML 中的记忆与数据嵌入

    • Zhang et al. [35]——深度网络可在随机数据上取得完美训练表现(记忆能力)。
    • Song et al. [30]——恶意训练算法把训练数据编码进模型供日后提取;论文指出其白盒攻击直接写入参数、黑盒攻击编码一张 CIFAR10 有损图像需 4,096 条随机数据,只能编码少量输入,而本文编码在隐藏激活或输出中。
    • Carlini et al. [6]——生成式序列模型无意中记忆训练文本,可在已知输入格式时提取特定输入。

    模型水印

    • 一组工作把水印嵌入模型参数 [32]、触发集上的预测输出 [1] 或中间激活 [7, 26],嵌入的是所有者特有的秘密二进制串。
    • 论文定位:本文嵌入的是训练子集的成员身份,对验证方约束更强——需知道正确的编码训练记录才能声明所有权。

    其他针对 ML 的隐私攻击

    • 属性推断 [3, 23]、模型反演(Fredrikson et al.)、协作学习中用 GAN 推断类代表 [17]、窃取超参数 [33]。
    • 论文定位:与上述推断某类或某子群属性的攻击不同,membership encoding 针对训练集子集的精确成员身份。

    基线与基准:实验基线是未做 membership encoding 正常训练的模型(baseline accuracy);基准为 Purchase、Texas Hospital、MNIST、CIFAR10,迁移实验用 STL-10。

  3. 论文如何解决这个问题?

    训练时增设 membership discriminator 与主模型交替优化,把目标子集表示推向密钥生成的合成数据分布,实现可解码的成员编码。

    整体思路:在训练分类模型 fθ 的同时训练一个 membership discriminator dϕ,让模型对目标子集 DC-m 学到与合成参考数据 DA-m 相似、与其余训练数据可区分的表示;推理阶段用秘密种子重新生成合成数据、重建判别器来解码。方法见 Algorithm 1 与 Figure 1。

    问题设定与符号

    • 客户训练集 DC 被分为编码为 member 的子集 DC-m 和其余 DC-nm;攻击者另生成两组分布不同的合成数据 DA-m、DA-nm;Dm = DC-m ∪ DA-m,Dnm = DC-nm ∪ DA-nm。
    • 编码目标:联合最小化主任务损失与编码损失,即 minθ Lce 与 minθ,ϕ Lenc,其中 Lenc(h,z) = z · log dϕ(h) + (1−z)·log(1−dϕ(h)),h 为模型表示、z 为成员标签,含义是训练判别器区分 member 与 nonmember 表示。

    合成数据生成(GenSyntheticData)

    • 用秘密整数 s 作伪随机数种子,保证编码与推理两阶段生成完全相同的数据。
    • 从均匀分布采样两个均值向量,再从两个单位协方差的多元高斯各采 n 条,形成天然分离的 DA-m 与 DA-nm。

    编码阶段

    • 判别器输入:白盒取隐藏层激活(实验中对所选激活加 tanh),黑盒取输出概率的对数 hθ = log(fθ);作者称直接用 [0,1] 概率会损害主任务精度,log 值不受约束、编码更灵活。
    • 交替优化:每个迭代先在 Dm ∪ Dnm 的 mini-batch 上更新 θ 与 ϕ 优化 Lenc(k 步),再在 DC 的 mini-batch 上优化 Lce;作者称这样两个目标不冲突。

    推理阶段

    • 用种子 s 重新生成 DA-m、DA-nm,查询目标模型得到表示,训练新判别器 dϕ′(实验用 128 隐层的一层 MLP,训练 80 epoch)。
    • 对任意记录 x,成员概率为 dϕ′(hθ(x)),用于隐私攻击或水印验证。

    关键参数与变体

    • 默认编码训练集的 20%,合成数据 1,000 条(500 member、500 nonmember);白盒随机选 50%(CIFAR10 为 20%)隐层单元编码。
    • 对抗剪枝:先剪掉 p% 最小参数,再挂新判别器用客户数据与合成数据微调,被剪参数梯度置零保持稀疏。
    • 混合攻击:与 [30] 的大容量嵌入组合,用成员编码排除压缩非敏感属性的碰撞,论文未给出该组合的实验数字。
  4. 论文做了哪些实验?

    在 4 个数据集、4 种架构上评测白盒/黑盒编码精度与主任务精度,并测试输入遮蔽、剪枝、微调的鲁棒性。

    实验设置

    • 被测模型:Purchase 与 Texas 用两层 MLP;MNIST 用 MLP 与 CNN;CIFAR10 用 9 层 VGG 与 32 层 ResNet。
    • 数据集:Purchase(训练 150,000 / 测试 30,000,600 维二值特征,5 类)、Texas Hospital(50,000 / 10,000,6,170 维,10 类)、MNIST(50,000 / 20,000)、CIFAR10(50,000 / 10,000);迁移实验用 STL-10(5,000 训练 / 800 测试)。
    • 基线:不做 membership encoding 正常训练的模型(baseline accuracy)。
    • 指标:test accuracy;encoding precision、recall、AUC(在选定训练数据与测试数据上评测)。
    • 默认设置:编码 20% 训练数据;合成数据 1,000 条;推理判别器训练 80 epoch;论文未报告重复次数与方差。

    主结果

    白盒编码(Table 2,编码 20% 训练数据):

    表格较宽,可左右滑动

    数据集模型Baseline accTest accEnc preEnc recEnc AUC
    PurchaseMLP98.50%98.12%0.850.960.93
    TexasMLP97.85%97.82%0.970.750.98
    MNISTMLP97.80%97.75%0.830.880.93
    MNISTCNN99.03%99.04%0.870.940.95
    CIFAR10VGG90.16%89.67%0.920.980.98
    CIFAR10ResNet92.10%91.85%0.830.980.96

    黑盒编码(Table 4,编码 20%):MNIST MLP 测试精度 95.38%、precision 0.70、recall 1.00、AUC 0.95;MNIST CNN 97.94%、0.85、1.00、0.98;CIFAR10 VGG 85.92%、0.93、0.70、0.94。

    • 作者称编码模型主任务精度与基线基本持平,同时以较高 precision/recall/AUC 泄露 20% 训练数据。
    • Figure 2(CIFAR10 白盒)显示 Lce 与 Lenc 同时收敛,member 与 nonmember 分类损失收敛到同一点,作者称编码未造成对 member 集的过拟合;Figure 4(黑盒)中 nonmember 损失低于 member,作者称黑盒编码使 member 输出产生偏置。
    • Figure 5、6 的 PCA 与 T-SNE 投影(CIFAR10 VGG)中 member(DA-m、DC-m)与 nonmember(DA-nm、DC-nm)簇分开,DC-m、DC-nm 在 T-SNE 中仍各自聚成 10 个类簇。

    容量与编码数量

    • 模型容量(Figure 3,Purchase MLP 与 MNIST CNN,编码 20%):测试精度不受参数量影响;作者称编码性能随容量上升,Purchase 上略升、CIFAR10 上升更多(注:正文此处写 CIFAR10,图注写 Purchase 与 MNIST)。
    • 编码数量(Table 3):Purchase 上 |DC-m| 从 30K 增至 55K,precision 从 0.85 降到 0.64、AUC 从 0.94 降到 0.50;CIFAR10 VGG 上从 10K 增至 35K(50% 训练集),precision 从 0.92 降到 0.83、AUC 从 0.98 降到 0.77,测试精度与基线持平。作者称 Purchase 下降更快可能因 MLP 容量与表示灵活性不如 VGG。

    鲁棒性:输入遮蔽、剪枝、微调

    • 输入遮蔽(Table 5,CIFAR10 VGG,遮蔽宽度 w=4/8/12/16):白盒中心遮蔽 w=8 时 precision 0.88、recall 0.67;w=16 时 recall 降到 0.12。黑盒 recall 下降更多(w=8 中心遮蔽 recall 0.20)。Table 6(16 个 8×8 区域)显示 precision 稳定在 0.87–0.91,遮蔽区域靠近中心时 recall 更低(最低 0.67)。
    • 剪枝(Figure 7,CIFAR10 VGG/ResNet):普通剪枝 30% 时 precision 约 0.70,剪枝比例升高后编码与测试精度均下降;对抗剪枝(VGG,微调 20 epoch)在剪除 70% 参数时测试精度几乎无损、编码性能小幅下降。
    • 迁移微调(Figure 8,CIFAR10 → STL-10,60 epoch):两个模型的编码性能随微调 epoch 保持稳定,作者称编码对跨任务微调鲁棒。

    其他消融与分析

    • 黑盒 vs 白盒(MNIST CNN):precision 0.85 vs 0.87,测试精度 97.94% vs 99.04%(Table 2、4)。
    • 遮蔽位置:中心遮蔽比边界遮蔽保留更高 precision(Table 5,如 w=8 白盒 0.88 vs 0.77)。
    • 负面结果:Purchase 编码 55K 条时 AUC 降至 0.50(Table 3);黑盒遮蔽 w≥12 时 recall 降至 0.01–0.02(Table 5);论文未给出解释。
  5. 有什么可以进一步探索的点?

    论文未专门讨论局限;实验覆盖 4 个数据集与 4 种架构,未报告防御与重复次数。

    作者指出的局限与后续方向

    • 论文未专门讨论局限,没有 Limitations 小节,结论(第 8 节)与讨论中未明确列出不足或未来工作。

    实验覆盖范围

    • 被测模型为 MLP、CNN、VGG、ResNet 共 4 种架构,均为论文自行训练的分类模型(第 5.2 节)。
    • 数据集为 Purchase、Texas Hospital、MNIST、CIFAR10,迁移实验另用 STL-10(第 5.1、6 节)。
    • 默认编码比例为训练集的 20%;编码数量实验在 Purchase 上增至 55K、CIFAR10 上增至 35K(50% 训练集)(Table 3)。
    • 鲁棒性评测包括输入遮蔽(CIFAR10,w=4–16)、参数剪枝(10%–90%)、对抗剪枝与跨任务微调(第 6 节)。
    • 论文未报告实验重复次数与置信区间,未评测针对编码的防御方法;混合攻击(第 3.1 节)只给出设计,无论文内实验数字。
  6. 总结一下论文的主要内容

    提出 membership encoding,把训练子集成员身份鲁棒编码进模型,白盒精度最高 0.97 且主任务精度几乎不降。

    一篇关于 MLaaS 与算法市场场景下训练数据信息嵌入的攻击论文,编码机制同时可用于版权水印。

    • 问题:第三方训练代码可在训练时把训练数据子集的成员身份秘密嵌入模型,发布后供持密钥者提取;已有嵌入方法容量小、改动大、对模型改动脆弱。
    • 方法:训练时增设 membership discriminator 与主模型交替优化,把目标子集表示推向由秘密种子生成的合成数据分布;白盒编码在隐藏激活(tanh),黑盒编码在输出对数概率;推理时用同一种子重建判别器解码。
    • 主结果(Table 2,编码 20% 训练数据):白盒 precision 0.83–0.97,Texas 上 0.97 而测试精度 97.82%(基线 97.85%);CIFAR10 ResNet AUC 0.96、测试精度 91.85%(降 0.25 个百分点)。
    • 黑盒(Table 4):MNIST CNN precision 0.85、recall 1.00;CIFAR10 VGG precision 0.93 但 recall 0.70。
    • 鲁棒性:CIFAR10 中心 8×8 遮蔽下白盒 precision 0.88(Table 5);对抗剪枝在剪除 70% 参数时编码基本保留(Figure 7);跨任务微调 60 epoch 编码性能稳定(Figure 8)。
    • 作者结论:深度网络能在不影响主任务的情况下同时学会泄露训练数据成员信息;该机制可用于水印验证所有权,也可用于分析模型对 covert channel 攻击的易感性。

相关论文

共同使用 Purchase
再看 3 篇
共同使用 STL-10
共同使用 MNIST
阅读原文arxiv.org