跳到正文
原文

StolenEncoder:窃取自监督学习中预训练编码器的攻击

StolenEncoder: Stealing Pre-trained Encoders in Self-supervised Learning

arXiv· arXiv:2201.05889· CCS 2022· Yupei Liu, Jinyuan Jia, Hongbin Liu, Neil Zhenqiang GongDuke University本站收录· 23 天前· 原文发表入选 攻击精选关注度39

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 StolenEncoder,通过查询 EaaS 窃取预训练图像编码器;作者称在三个真实编码器上 SA/TA 至少 93%,三种防御均不足。

威胁模型攻击者目标:窃取部署为 EaaS 的目标编码器,保持其功能(Goal I)且查询次数少(Goal II)。

问题
自监督预训练图像编码器正作为 EaaS 部署,编码器因训练成本和滥用风险需要保密。作者称现有模型窃取攻击多针对分类器,直接扩展到编码器效果不佳。
方法
StolenEncoder 用少量无标注 surrogate 图像查询 EaaS 获取特征向量,最小化 L1(原图特征距离)与 L2(用原图特征近似增强图特征)的加权和,查询次数等于 surrogate 数据集大小。
实验与结果
在 STL10/Food101/CIFAR10 自训编码器上 SA/TA 不低于 0.98;在 Google ImageNet、OpenAI CLIP、Clarifai 三个真实编码器上 SA/TA 至少 93%。作者称 top-k features、feature rounding、feature poisoning 三种防御均不足。
局限与可以继续做的
作者称未来工作包括窃取目标编码器的超参数(如架构)和开发新防御机制。实验限于图像编码器与四个图像分类下游任务;Clarifai 实验用 5,000 张 surrogate 图像;论文未报告多次重复的方差。
实验设置ResNet18、ResNet34 等 · STL10、Food101 等 · TA、SA 等
威胁模型
攻击者目标:窃取部署为 EaaS 的目标编码器,保持其功能(Goal I)且查询次数少(Goal II)。知识:持有小规模无标注 surrogate dataset(可与预训练数据不同分布),无需知道目标编码器架构和预训练算法。能力:可查询 EaaS API 获取输入图像的特征向量。受害系统:部署为付费 EaaS 的对比学习预训练图像编码器。
被测模型
ResNet18ResNet34VGG19_bnVGG19DenseNet121MobileNetV2ShuffleNetV2x1ImageNet encoder (Google)CLIP encoder (OpenAI)Clarifai's General Embedding encoder
基准
STL10Food101CIFAR10MNISTFashionMNISTSVHNGTSRBImageNet (surrogate dataset)
指标
TASASA/TA#Queries
AI 导读和推荐理由论文提出针对自监督学习预训练图像编码器的窃取攻击 StolenEncoder,作者称这是首个此类攻击。攻击者只需少量无标注图片作为替代数据集,无需知道预训练数据分布,查询 EaaS API 获取特征向量后用 SGD 训练出功能相近的窃取编码器,查询次数只需等于替代数据集大小。在 Google 的 ImageNet 编码器、OpenAI 的 CLIP 编码器和 Clarifai 付费 EaaS 上,窃取编码器训练的下游分类器准确率至少达到目标编码器的 93%;窃取 CLIP 仅用 113,000 张 STL10 图片(不足其 4 亿图文对的 0.03%)和单卡 53.9 小时,而原编码器在 592 块 V100 GPU 上训练 432 小时;窃取 Clarifai 编码器花费 16 美元,而正常调用 API 训练测试下游分类器需 931.6 美元。作者已向 Clarifai 通报该漏洞。

论文提出针对自监督学习预训练图像编码器的窃取攻击 StolenEncoder,作者称这是首个此类攻击。攻击者只需少量无标注图片作为替代数据集,无需知道预训练数据分布,查询 EaaS API 获取特征向量后用 SGD 训练出功能相近的窃取编码器,查询次数只需等于替代数据集大小。在 Google 的 ImageNet 编码器、OpenAI 的 CLIP 编码器和 Clarifai 付费 EaaS 上,窃取编码器训练的下游分类器准确率至少达到目标编码器的 93%;窃取 CLIP 仅用 113,000 张 STL10 图片(不足其 4 亿图文对的 0.03%)和单卡 53.9 小时,而原编码器在 592 块 V100 GPU 上训练 432 小时;窃取 Clarifai 编码器花费 16 美元,而正常调用 API 训练测试下游分类器需 931.6 美元。作者已向 Clarifai 通报该漏洞。

推荐理由论文量化了窃取成本与功能保留度,显示仅把编码器部署为付费 API 不足以保护机密性,三类扰动防御也未能缓解。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何通过查询 EaaS API 窃取保密的预训练图像编码器,且查询少、成本低。

    核心问题:攻击者能否仅通过查询 EaaS API,用少量无标注图像窃取一个保密的自监督预训练图像编码器,使其功能与目标编码器相当。

    • 问题场景:自监督学习催生出 Encoder as a Service(EaaS)模式,服务商(如 Google、OpenAI、Clarifai)部署预训练编码器并按查询收费。作者称编码器因训练数据与算力成本高、且可能被滥用(如生成 deepfakes)而需要保密,仅以云服务形式部署不足以保护其机密性。
    • 现有方法不足:作者称大多数模型窃取攻击针对分类器,分类器返回标签或置信度向量而编码器返回特征向量,用于分类器的损失函数不适合度量特征向量;论文实验显示将分类器窃取攻击扩展到编码器效果次优(Table 8 中 StolenEncoder-w/o-aug 的 SA 明显更低)。
    • 核心观察:对比学习预训练的目标编码器对一张图像及其增强版本产生相似的特征向量,因此可用原图的特征向量近似增强图的特征向量,省去对增强图的查询。
    • 论文提出:作者称提出 StolenEncoder,将其形式化为优化问题并用 SGD 求解;在自训编码器和三个真实编码器(Google ImageNet、OpenAI CLIP、Clarifai)上评测,并探索三种防御。
    • 威胁模型:
      • 目标:Goal I 保持目标编码器功能(下游分类器精度相当);Goal II 查询次数少(经济成本低)。
      • 知识:持有小规模无标注 surrogate dataset,分三种情形(预训练数据子集、同分布不重叠、不同分布);不需要知道目标编码器架构(不知时选用 ResNet34)和预训练用的对比学习算法。
      • 能力:可查询 EaaS API 获得输入图像的特征向量。
      • 受害系统:部署为付费 EaaS 的对比学习预训练图像编码器。
  2. 有哪些相关研究?

    相关工作分四类:窃取分类器、窃取超参数与训练数据、分类器窃取防御、预训练编码器的其他安全问题。

    窃取分类器

    • Tramèr et al. [50]——通过查询 MLaaS 上部署的目标分类器,窃取逻辑回归、决策树、SVM 和简单神经网络。Orekondy et al. [43]——用基于强化学习的方法减少窃取分类器的查询次数。Chandrasekaran et al. [13]——探讨主动学习与分类器窃取攻击的联系。Zhu et al. [59]——基于硬件侧信道窃取分类器,假设攻击者进程与目标分类器同机运行。
    • 并发工作 [16]——提出窃取编码器参数的攻击,让窃取编码器与目标编码器在 surrogate 数据集上输出相似特征向量;论文指出该攻击是 StolenEncoder 在 λ=0 时的特例,且其使用 cosine similarity 作为距离度量,论文称 Table 8 和 Table 6 分别显示这两点次优。
    • Krishna et al. [34] 与 Zanella et al. [55]——窃取基于公开预训练语言编码器(如 BERT)微调的语言模型;论文指出区别在于 StolenEncoder 窃取的是保密预训练编码器本身,而非基于公开编码器微调的模型。

    窃取超参数与训练数据

    • Wang and Gong [51]——黑盒窃取训练模型的超参数;Oh et al. [42]——通过查询窃取神经网络架构与优化器超参数;Yan et al. [53]——基于 CPU cache 侧信道窃取网络架构。He et al. [22]——通过查询图神经网络窃取训练图结构。Jia et al. [30]——假设不可信训练库在模型中嵌入训练数据或超参数供事后窃取。

    分类器窃取防御

    • 检测异常查询:Juuti et al. [31](PRADA)、Zhang et al. [58](SEAT)。论文指出这类防御难以用于编码器窃取:编码器本就接受不同下游任务的查询,难以定义"异常";且攻击者可注册多账号分散查询。
    • 扰动置信度向量:Kariyappa and Qureshi [33]、Orekondy et al. [43, 44]、Tramèr et al. [50]。本文将其中三种推广到特征向量(top-k features、feature rounding、feature poisoning)并评测。水印 [5, 26, 39, 57] 与指纹 [9, 40] 用于事后验证模型所有权,不阻止窃取。

    预训练编码器的其他安全问题

    • 数据投毒 [37]、后门攻击 [11, 28]、成员推理攻击 [12, 23, 38] 等。

    基线与基准:对比方法为 Pre-training-encoder(在 surrogate 数据集上用 SimCLR 自训)、StolenEncoder-w/o-aug(仅用 L1,等价于推广分类器窃取攻击)、StolenEncoder-query-aug(用 L2′ 高查询变体)及知识蒸馏 [24];预训练数据集为 STL10、Food101、CIFAR10,下游数据集为 MNIST、FashionMNIST、SVHN、GTSRB。作者定位本文为首个窃取自监督预训练编码器的攻击(作者称)。

  3. 论文如何解决这个问题?

    将窃取形式化为最小化 L1+λ·L2 的优化问题,用原图特征近似增强图特征,查询次数等于 surrogate 数据集大小。

    整体思路:把编码器窃取形式化为一个优化问题,使窃取编码器在 surrogate 图像及其增强版本上输出与目标编码器相似的特征向量,用标准 SGD 求解得到窃取编码器 StolenEncoder。

    问题形式化(Goal I)

    • L1 项:L1 = 1/(|D|) ∑x ∈ D d(ft(x), fs(x)),即目标编码器与窃取编码器在 surrogate 数据集图像上特征向量的平均距离(默认 ℓ2 距离)。L1 小表示两编码器输出相似。
    • L2′ 项:由于 surrogate 数据集小,仅用 L1 会导致功能次优;对每张图用数据增强组合 A(默认 RandomHorizontalFlip、ColorJitter、RandomGrayScale)生成增强图,要求两编码器在增强图上也输出相似特征,即 L2′ 为增强图上特征距离的平均。
    • 联合目标:min L′ = L1 + λ·L2′,λ 为平衡超参数(默认 20)。

    降低查询成本(Goal II)

    • 关键观察:对比学习预训练的目标编码器对图像及其增强版本产生相似特征向量,即 f_t(A(x)) ≈ f_t(x)。
    • 近似:定义 L2 = 1/(|D|) ∑x ∈ D d(ft(x), fs(A(x))),用已缓存的原图特征 f_t(x) 近似增强图特征,替代 L2′。
    • 查询量:最终目标 min L = L1 + λ·L2 的总查询次数仅为 |D|(surrogate 数据集大小);若直接优化 L2′ 则需 (e+1)·|D| 次查询(e 为训练 epoch 数)。

    求解算法(Algorithm 1)

    1. 对 surrogate 数据集每张图查询一次 EaaS API,缓存特征向量。
    2. 随机初始化窃取编码器参数。
    3. 逐 epoch、逐 mini-batch 计算 L1 与 L2,用梯度下降更新参数;每个 epoch 重新随机生成增强图。
    • 默认参数:λ=20,e=100,lr=0.001,batch size 64,距离度量 ℓ2;窃取编码器架构 ResNet34(假设攻击者不知目标架构)。

    功能评估方式

    • 下游分类器:在目标/窃取编码器之上训练全连接网络(两个隐藏层 512/256 神经元,ReLU,Softmax 输出),Adam 初始学习率 0.0001、batch size 256、训练 500 epochs。
    • 指标:TA(目标编码器下游分类器测试精度)、SA(窃取编码器下游分类器测试精度)、#Queries(窃取所需查询数,等于 surrogate 数据集大小)。

    防御评估设计

    • 将三种分类器窃取防御推广到特征向量:top-k features(绝对值非 top-k 的特征置 0)、feature rounding(特征保留 m 位小数)、feature poisoning(求解 max 扰动优化问题,使扰动后特征成为对窃取训练的"数据投毒",扰动 ℓ_p 范数受 ε 约束)。
    • 强防御者假设:feature poisoning 中假设防御方可用与攻击者完全相同的参数设置、以自身预训练数据集为 surrogate 训练一个窃取编码器来构造扰动。
  4. 论文做了哪些实验?

    自训编码器上 SA/TA≥0.98,三个真实编码器上 SA/TA≥93%,三种防御均被作者认为不足。

    实验设置

    • 目标编码器:自训三个(STL10/Food101/CIFAR10 上以 SimCLR 预训练的 ResNet18,1,000 epochs、batch 256、Adam、lr 0.001;另测 MoCo 及 7 种架构变体);真实三个:Google 的 ImageNet 编码器(SimCLR,ResNet50,2048 维)、OpenAI 的 CLIP 编码器(modified ResNet50,1024 维)、Clarifai General Embedding(付费 EaaS,$3.2/1,000 查询,技术细节未公开)。
    • surrogate 数据集:默认从 ImageNet 采样(与预训练数据不同分布),大小为预训练数据集的 5%(STL10/Food101/CIFAR10 分别 5,250/4,545/2,500 张);真实编码器实验改用 STL10(ImageNet 编码器 64,058 张,CLIP 用全部 113,000 张,Clarifai 5,000 张)。
    • 下游数据集:MNIST、FashionMNIST、SVHN、GTSRB(默认 GTSRB,论文称其为最具挑战的一个);图像统一 resize 到 32×32(真实编码器实验为 224×224)。
    • 基线与变体:Pre-training-encoder、StolenEncoder-w/o-aug、StolenEncoder-query-aug、知识蒸馏(温度 1)。
    • 指标:TA、SA、SA/TA、#Queries;论文未报告多次重复或方差,实验在 1 块 Quadro-RTX-6000 GPU 上完成。

    主结果

    据 Table 2(默认设置,下游数据集逐行):

    表格较宽,可左右滑动

    预训练数据集下游数据集TA (%)SA (%)SA/TA×100%
    STL10MNIST97.6397.74100
    STL10SVHN56.9773.50129
    STL10GTSRB74.9774.5799
    Food101SVHN62.2277.50125
    Food101GTSRB79.6978.1298
    CIFAR10SVHN59.6377.04129
    CIFAR10GTSRB80.6779.4398

    (Table 2 共 12 行,此处省略 FashionMNIST 三行,其 SA/TA 为 100–101;完整表中所有 SA/TA 不低于 0.98。)

    • 作者解读:作者称 StolenEncoder 保持了目标编码器的功能;SVHN 上比值超过 1,作者推测原因是 SVHN 与 surrogate 数据集(ImageNet)比三个预训练数据集更相似。
    • 资源对比:据 Table 3,窃取训练耗时 0.12–0.28 小时,而从头预训练目标编码器需 12.50–26.27 小时,作者称窃取高效两个数量级。

    真实编码器案例研究(Section 6,Table 9、Table 10)

    • 功能:三个真实编码器上 SA/TA 至少 93%;最低为 CLIP+GTSRB(TA 80.46%、SA 74.50%,比值 93)和 Clarifai+GTSRB(TA 61.00%、SA 58.16%,比值 95)。
    • 资源:据 Table 10,CLIP 目标编码器预训练用 592 块 V100 跑 432 小时(255,744 GPU 小时)、4 亿图文对;窃取仅用 1 块 Quadro-RTX-6000 跑 53.9 小时、113,000 张 STL10 图像(不足预训练数据量的 0.03%)。
    • 经济成本:用 Clarifai EaaS 训练测试四个下游分类器花费 $931.6,而 5,000 次查询窃取该编码器仅花费 $16。

    防御评测(Section 7,Tables 11–13,下游数据集 GTSRB)

    • top-k features:k 从 512 降到 1 时 SA 与 TA 同时下降(如 STL10 上 k=10 时 TA 48.67%、SA 63.44%),作者称减小 k 降低 SA 的同时以相同或更大程度降低 TA,防御不足。
    • feature rounding:m=1,2,3 时 SA 均接近甚至高于 TA(如 Food101 上 m=1 时 TA 70.13%、SA 78.73%),作者称该防御无效。
    • feature poisoning:ε 增大时 SA 与 TA 同步下降(ℓ2 范数、CIFAR10 上 ε=10 时 TA 66.91%、SA 57.56%),作者称其通过损害目标编码器功能来降低窃取编码器功能,仍不足。

    其他消融与分析

    • λ 影响(Figure 2):SA 随 λ 增大先升后饱和,作者称 λ 取较大值(如 20)即可。
    • surrogate 大小(Figure 3):SA 先升后饱和,作者称 3% 时 SA 已接近 TA。
    • surrogate 分布(Table 4):三种分布情形下 SA 相近(如 CIFAR10 上 78.81/78.84/79.43)。
    • 目标架构(Table 5):窃取编码器固定 ResNet34 时,对 7 种目标架构 SA 接近或高于 TA;作者称若窃取架构表达能力弱于目标(如 MobileNetV2)则 SA 低于 TA。
    • 距离度量(Table 6):ℓ2 的 SA 高于 ℓ1,ℓ1 高于 cosine(如 CIFAR10 上 79.43/74.52/61.07)。
    • 变体对比(Table 8,CIFAR10+GTSRB,5%):StolenEncoder SA 79.17%(2,500 查询),Pre-training-encoder 71.40%(0 查询),StolenEncoder-w/o-aug 51.50%,StolenEncoder-query-aug 79.11%(252,500 查询);知识蒸馏 SA 仅 0.0954。数据增强组合(Table 14):16 种组合 SA 均较高(71.47–79.94),无增强时 51.50。
  5. 有什么可以进一步探索的点?

    作者称未来可窃取编码器超参数并开发新防御;实验限于图像编码器与分类下游任务。

    作者指出的局限与后续方向

    • 窃取超参数:Conclusion and Future Work(Section 9)称未来工作包括开发窃取目标编码器超参数(如架构)的攻击。
    • 新防御机制:Section 9 称未来工作包括开发新的防御机制以缓解 StolenEncoder;贡献列表也称实验结果凸显了对新防御机制的需求。
    • 窃取公开编码器的现实意义:Section 6 承认窃取 ImageNet 与 CLIP 编码器"not practically relevant",因为二者已公开;作者以 GPT-3 仅提供 API 为例,称未来图像编码器可能转为私有。
    • 论文未设专门 Limitations 章节,以上为作者明确写出的不足与方向。

    实验覆盖范围

    • 被测对象:图像编码器共 3 个自训(ResNet18,SimCLR/MoCo)加 3 个真实编码器(ImageNet、CLIP、Clarifai);下游任务为 4 个图像分类数据集。
    • 防御评测:仅覆盖由分类器窃取防御推广的三种(top-k features、feature rounding、feature poisoning),在自训编码器与 GTSRB 上评测;异常查询检测类防御未做实验,论文称其对编码器场景难以适用(Section 8)。
    • 查询规模:自训实验 surrogate 为预训练数据集的 5%(2,500–5,250 张);Clarifai 实验为 5,000 张。
    • 训练配置:目标编码器预训练 1,000 epochs、窃取训练 100 epochs;论文未报告多次重复运行的均值或方差。
    • 披露:论文称已通知 Clarifai 其 EaaS 存在被窃取的风险(Section 6)。
  6. 总结一下论文的主要内容

    StolenEncoder 用少量无标注图像查询 EaaS 即可窃取图像编码器,作者称三种现有防御推广均不足。

    一篇关于模型窃取攻击的论文:针对以 EaaS 形式部署的自监督预训练图像编码器,作者提出 StolenEncoder,作者称其为首个此类攻击。

    • 要解决的问题:编码器因训练成本高和滥用风险需要保密,但作者称仅部署为云服务不足以保护机密性;现有窃取攻击多针对分类器,直接扩展到编码器效果次优。
    • 方法要点:攻击者用少量无标注 surrogate 图像(可与预训练数据不同分布)查询 EaaS 获取特征向量,最小化 L1(原图特征距离)与 L2(用原图特征近似增强图特征)的加权和训练窃取编码器;总查询次数等于 surrogate 数据集大小。
    • 主要结果:
      • 自训编码器(STL10/Food101/CIFAR10)上 SA/TA 不低于 0.98,SVHN 上甚至超过 1(Table 2)。
      • 三个真实编码器(Google ImageNet、OpenAI CLIP、Clarifai)上 SA/TA 至少 93%(Table 9)。
      • 窃取 CLIP 仅用 113,000 张图像(不足预训练数据量 0.03%)、1 块 GPU 53.9 小时,而原训练用 592 块 V100 跑 432 小时;窃取 Clarifai 花费 $16,正常用其 API 训练测试下游分类器需 $931.6。
      • 默认设置下知识蒸馏基线 SA 仅 0.0954,StolenEncoder 为 0.7943。
    • 防御:top-k features 与 feature poisoning 降低 SA 的同时以相似或更大程度降低 TA,feature rounding 基本无效;作者称三种防御均不足。
    • 作者结论:作者称窃取预训练图像编码器所需数据与算力远小于从头预训练,未来需开发窃取编码器超参数的攻击和新的防御机制。

相关论文

共同使用 SVHN
共同使用 FashionMNIST
再看 3 篇
共同使用 ImageNet
  • TranScope

    TranScope:利用 CPU 性能计数器对 Transformer 做成员推断攻击

    攻击arXiv
共同使用 CIFAR10
共同使用 Food101
阅读原文CCS 2022