跳到正文
原文

Pareto-Secure 机器学习(PSML):推理服务系统的指纹识别与安全防护

Pareto-Secure Machine Learning (PSML): Fingerprinting and Securing Inference Serving Systems

arXiv· arXiv:2307.01292· Debopam Sanyal, Jui-Tse Hung, Manav Agrawal, Prahlad Jasti, Shahab Nikkhoo, Somesh Jha, Tianhao Wang, Sibin Mohan, Alexey TumanovGeorgia Institute of Technology; University of California, Riverside; University of Wisconsin–Madison; University of Virginia; George Washington University本站收录· 23 天前· 原文发表防御

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出指纹算法让模型抽取攻击适配 model-less 推理服务系统,CIFAR-10 上 4000 查询内抽取精度接近单模型设定,并提出加噪防御。

威胁模型端到端黑盒攻击:攻击者伪装成普通客户端,通过 cross-hair 接口查询 model-less 推理服务系统;不知道模型库中任何模型的精度、延迟或模型数量;目标是在给定延迟预算内抽取库中精度最高的模型的功能(不窃取权重或训练数据);信息泄露来自每次查询返回的精度、延迟和预测结果。

问题
现有黑盒模型抽取攻击假设攻击者能反复指定同一个受害模型,而现代 model-less 推理服务系统把模型藏在抽象层后,攻击者无法确定自己在和哪个模型交互,旧攻击难以直接适用。
方法
先用二分搜索式指纹算法探出模型库 Pareto 前沿上每个模型的精度和延迟,再按延迟预算锁定受害模型并持续触发它,从而复用单模型抽取攻击(MixMatch);防御则对查询的精度与延迟规格加 Laplace 噪声,扰乱指纹过程。
实验与结果
CIFAR-10 上 4000 查询预算内,指纹攻击在三种模型规模下抽取精度与 fidelity 均接近单模型设定(差距在 1% 内);加噪防御在中、小模型上把精度最多降 9.8%、fidelity 最多降 4.8%,但大模型上效果有限,且噪声越大系统 goodput 越低。
局限与可以继续做的
作者指出防御对大模型保护较弱并给出 fidelity 下界证明(附录 B);实验仅在 CIFAR-10 与 SVHN 图像分类模型库、MixMatch 一种攻击、4000 查询预算下进行,防御只测了四个 ϵ 值。
实验设置DenseNet-161、ResNet-101 等 · CIFAR-10、SVHN · accuracy、fidelity 等
被测模型
DenseNet-161ResNet-101MobileNetV3-small
基准
CIFAR-10SVHN
指标
accuracyfidelitygoodput
AI 导读论文针对推理服务系统提出一套先指纹识别再实施模型提取的攻击方法,并给出相应的加噪防御。作者称现有黑盒提取攻击假设可以反复选中同一个模型,而现代推理服务系统提供的抽象层打破了这一假设;他们的指纹算法能让攻击者稳定触发指定模型,提取的保真度与准确率与直接攻击单一指定模型相差 1% 以内,相比朴素攻击准确率最高提升 14.6%、保真度最高提升 7.7%。防御方案通过给指定的性能指标加噪来阻断指纹识别,在中等规模的模型提取上使攻击准确率与保真度分别最多下降 9.8% 和 4.8%,并在保持 80% 以上 goodput 的同时形成防护强度与吞吐之间可配置的取舍,作者称已在真实系统中实现并计划开源。

论文针对推理服务系统提出一套先指纹识别再实施模型提取的攻击方法,并给出相应的加噪防御。作者称现有黑盒提取攻击假设可以反复选中同一个模型,而现代推理服务系统提供的抽象层打破了这一假设;他们的指纹算法能让攻击者稳定触发指定模型,提取的保真度与准确率与直接攻击单一指定模型相差 1% 以内,相比朴素攻击准确率最高提升 14.6%、保真度最高提升 7.7%。防御方案通过给指定的性能指标加噪来阻断指纹识别,在中等规模的模型提取上使攻击准确率与保真度分别最多下降 9.8% 和 4.8%,并在保持 80% 以上 goodput 的同时形成防护强度与吞吐之间可配置的取舍,作者称已在真实系统中实现并计划开源。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    让依赖反复指定同一受害模型的黑盒抽取攻击适配 model-less 推理服务系统,并给出对应防御。

    核心问题:现代 model-less 推理服务系统打破了黑盒模型抽取攻击"可反复指定同一受害模型"的假设,使现有攻击无法直接应用。

    • 问题场景:推理服务系统(如 INFaaS、Clockwork)把模型库(model zoo)藏在 model-less 接口后,用户只提交精度与延迟要求,由系统选模型。作者认为模型库中的模型是高价值知识产权,面临抽取威胁。
    • 现有方法的不足:作者称现有黑盒抽取攻击假设攻击者能把所有查询路由到同一个显式指定的受害模型,这一假设对 model-less 系统已过时;论文的 naive 实验(Table 1)显示,直接把 MixMatch 用于模型库时精度从 92.00 降到 81.04、fidelity 从 87.13 降到 79.84。
    • 核心观察:系统只从 Pareto 前沿上选模型,且每次查询会泄露所选模型的精度与延迟,攻击者可借此逐步还原整个前沿并锁定目标。
    • 论文的贡献:提出查询高效的指纹算法(fingerprinting)使攻击者能持续触发受害模型;提出对查询精度/延迟规格加 Laplace 噪声的防御;在基于 Clockwork 的真实系统 PSML 上实现两者。作者称这是其所知首个在无需用户显式指定模型的推理服务系统上展示黑盒攻击可行性的工作。
    • 威胁模型:
      • 目标:在给定延迟预算 L 内,抽取模型库中满足预算的精度最高模型的功能(不窃取权重或训练数据)。
      • 知识:黑盒;不知道任何模型的精度、延迟,也不知道模型库中模型的数量。
      • 能力:伪装成普通客户端,通过 cross-hair 接口提交带精度/延迟规格的查询;总查询预算 4000 次。
      • 受害系统:model-less、延迟感知、实时推理服务系统(论文基于 Clockwork 实现)。
  2. 有哪些相关研究?

    相关工作分三类:推理服务系统、黑盒模型抽取攻击、针对抽取的防御;作者称本文是首个面向 model-less 系统的攻击研究。

    推理服务系统

    • TensorFlow Serving、Clipper、Amazon Sagemaker、NVIDIA Triton——早期或商用推理服务系统,都要求用户显式指定模型。
    • InferLine、INFaaS——INFaaS 是 model-less 系统,用户只给延迟与精度界限,由系统在模型库中导航选模型;本文的系统模型即参照 INFaaS 的接口。
    • Clockwork、iGniter——利用推理延迟可预测性提供确定性服务;本文基于 Clockwork 构建 PSML,但论文指出 Clockwork 仍要求客户端指定模型。

    黑盒模型抽取攻击

    • Tramèr 等、Papernot 等、Knockoff Nets、Copycat CNN 等——通过查询受害模型、用输出训练抽取模型来复制其功能;论文统称这类为 single-model 攻击,因为它们假设所有输出都来自同一受害模型。
    • MixMatch 抽取攻击(Jagielski et al., 2020)——用半监督学习以无标注任务数据改进抽取,攻击者只能拿到输出标签;本文直接把它当作黑盒攻击模块使用。
    • Muse(Lehmkuhl et al., 2021)——论文指出其虽针对推理服务系统,但假设攻击者能反复访问模型库中的受害模型。

    针对模型抽取的防御

    • 输出扰动类(如 Prediction Poisoning 等)——论文认为不可行,因为合法客户端也会收到被扰动的输出。
    • 水印类(如 Entangled Watermarks、DAWN)——论文指出其需要事后分析且模型拥有者要能拿到抽取出的模型。
    • 恶意客户端检测类(如 PRADA、Pal et al.)——论文指出其假设对抗查询之间 l2 距离小且混合自然与合成查询,该假设在 MixMatch 攻击下不成立。

    基线与基准:攻击基线是 single-model 设定(所有查询由受害模型回答)和 naive 的 mzoo no-FP 设定(不做指纹直接抽取);基准为 CIFAR-10 与 SVHN 上训练的图像分类模型库。

    作者定位:作者称据其所知,本文是首个展示在无需用户显式指定模型的推理服务系统上黑盒攻击可行性的工作,并提出与之对应的噪声防御。

  3. 论文如何解决这个问题?

    用二分搜索式指纹算法还原 Pareto 前沿以锁定并持续触发受害模型,再用对查询规格加 Laplace 噪声的防御扰乱指纹。

    整体思路分两步:先用指纹算法(fingerprinting)探出模型库 Pareto 前沿上每个模型的精度与延迟,让攻击者能把查询稳定路由到受害模型,从而把单模型抽取攻击(MixMatch)适配到 model-less 系统;防御方则对查询的精度/延迟规格加噪,使指纹结果失真。

    问题设定与形式化

    • Pareto 前沿:模型库中不存在精度更高且延迟更低的其他模型的模型集合,系统只从前沿上选模型;前沿是指纹算法的遍历路径。
    • 可行性集:F = {(ai, li) ∈ P ∣ (ai ≥ acc) ∧ (li ≤ lat)},即满足查询精度下限 acc 与延迟上限 lat 的前沿模型集合;系统按策略(论文用随机选择)从中挑一个模型服务。
    • 粒度与界限:系统对精度和延迟有最小可区分粒度 accg 与 latg(如精度 0.1%、延迟 1 毫秒),延迟有上界 lup;未提供精度规格时默认 0。

    指纹算法(Algorithm 1)

    • 二分搜索:先以 (areq, lreq) = (0.5, ∞) 起步二分搜索前沿上最精确模型的精度 amax,再二分其延迟 lmax;随后缩小边界逐个找出次优模型,直到还原整个前沿。
    • 查询复杂度:最坏情况为 O(n(log(1/accg) + log(lup/latg))),n 为前沿模型数;作者基于随机模拟实验称平均查询复杂度为线性 O(n)(Figure 2a),且在不同 accg、latg 下保持线性(Figure 2b、2c)。
    • 锁定受害模型:攻击者在前沿矩阵中选延迟低于预算 L 的最大延迟行 k,以其 (ak, lk) 作为后续所有查询的规格,从而持续触发受害模型。

    噪声防御(Algorithm 2)

    • 加噪位置:对每条查询的精度与延迟规格加 Laplace 噪声,噪声强度由单一参数 ϵ 控制(ϵ 越小噪声越大);系统按扰动后的规格确定可行性集,但永不服务延迟超过原始规格的模型。
    • 设计理由:作者称对模型画像值加噪不可行,因为系统无法区分指纹阶段与收集标注阶段,攻击者仍可用噪声后的规格稳定触发受害模型;直接对每条查询加噪则让指纹后的查询过程也不确定。
    • 代价与度量:噪声会改变可行性集,导致部分查询违反精度或延迟规格;论文用 goodput(同时满足精度与延迟规格的查询比例)衡量系统性能损失。

    攻击流程与成功判定

    • 攻击流程:指纹(消耗部分查询预算)→ 按预算 L 选定受害模型规格 → 用剩余预算查询并用返回标签训练 MixMatch 抽取模型(ResNet-50),训练 1024 个 epoch。
    • 成功判定:抽取模型在测试集上的 accuracy(任务精度)与 fidelity(与受害模型输出一致的比例),与单模型设定及无指纹设定对比;防御有效性以精度/fidelity 降幅与 goodput 权衡衡量。
  4. 论文做了哪些实验?

    在 CIFAR-10/SVHN 模型库上以 4000 查询预算测试:指纹攻击精度接近单模型设定,噪声防御对中小模型有效但牺牲 goodput。

    实验设置

    • 受害模型:CIFAR-10 与 SVHN 模型库各 12 个模型(ResNet、WideResNet、DenseNet、MobileNet 系列,Figure 4、Figure 9);按攻击者延迟预算分三档:大模型 DenseNet-161(21 ms)、中模型 ResNet-101(13 ms)、小模型 MobileNetV3-small(5 ms)。
    • 抽取模型:ResNet-50(攻击者初始模型),MixMatch 训练 1024 个 epoch。
    • 数据集:CIFAR-10 与 SVHN(SVHN 结果在附录 A);模型未训练到满精度以构造真实感 Pareto 前沿。
    • 基线:single model(4000 查询全由受害模型回答)与 mzoo no-FP(不做指纹直接攻击模型库)。
    • 指标:accuracy、fidelity(相对受害模型在测试集上输出一致比例)、goodput;防御灵敏度 ∆facc = 1、∆flat = 18.271(CIFAR-10)。
    • 预算与重复:总查询预算 4000(含指纹与标注);防御实验每个设定做 3 次试验取平均(Table 4)。

    主结果

    CIFAR-10,4000 查询预算,MixMatch 训练 1024 epoch(据 Table 2、Table 3):

    表格较宽,可左右滑动

    设定小模型 acc中模型 acc大模型 acc小模型 fid中模型 fid大模型 fid
    single model67.2988.9892.0064.6378.4887.13
    mzoo no-FP60.0872.9681.0456.5470.3079.84
    mzoo FP66.2987.5291.3564.278.0187.13
    Defense ϵ=100068.2187.2791.2463.2978.1686.74
    Defense ϵ=10066.8387.1790.7761.1377.7686.51
    Defense ϵ=5065.1985.0590.8160.9477.0086.85
    Defense ϵ=1062.9877.7090.8858.6673.1986.74
    • 作者称指纹攻击在三种规模上精度与 fidelity 均接近单模型设定(差距在 1% 内),并归因于指纹消耗了部分查询预算,单模型设定仍略优。
    • 作者称防御在 ϵ=10 时中模型设定精度最多降 9.8%、fidelity 最多降 4.8%(相对无防御的指纹攻击),且 ϵ 越小保护越强。
    • 例外:大模型设定下防御效果弱,ϵ=10 时精度仍有 90.88;作者解释为大模型场景中即使加噪仍常由高准确度模型服务,标注质量下降有限。

    指纹查询开销

    • 测了什么:指纹算法在真实系统上的查询消耗。结果:CIFAR-10 模型库指纹用 411 次查询(7.2.1 节);无防御时指纹查询数恒定(算法确定性)。
    • 防御下的变化(Table 4,中模型):ϵ=1000 时指纹平均 901.33 次,ϵ=10 时降至 406.00 次;ϵ=50 时失败查询达 1125.67 次。作者称噪声使指纹查询复杂度随 ϵ 减小而降低,但失败查询增多。

    防御与 goodput 的权衡

    • 测了什么:不同 ϵ 下中模型(CIFAR-10)的 goodput 与攻击成功率关系(Figure 8)。结果:goodput 随 ϵ 减小而下降;作者称 ϵ=50 时 goodput 高于 0.8,同时精度与 fidelity 明显下降,是所测 ϵ 值中中模型设定下的最佳折中。
    • 作者解读:goodput ≥ 80% 被论文视为可接受;系统设计者可通过配置 ϵ 在保护与性能间取平衡。

    大模型 fidelity 下界(附录 B)

    • 测了什么:理论分析防御下抽取模型 fidelity 的下界。结果:作者证明当受害模型与抽取模型精度均 ≥ 0.9 时,fidelity 下界为 0.8。
    • 作者解读:攻击高准确度(大)模型即使在有防御时 fidelity 仍较高,要获得明显的 fidelity 降幅需针对低准确度(小)模型。

    其他消融与分析

    • 查询预算影响(Figure 5,CIFAR-10 大模型):精度与 fidelity 总体随查询预算增加而上升;no-FP 设定中 2000 查询时精度反而更高,作者解释为更多标注点不代表更高标注质量。
    • 触发概率分布(Figure 7,中模型):noFP 下受害模型 ResNet-101 很少被触发,FP 下被高概率触发,加噪防御后概率质量被分散到模型库其他模型上。
    • SVHN 结果(附录 A,Table 5、6):趋势与 CIFAR-10 一致,如大模型 single model 精度 95.66、no-FP 87.61、FP 95.69。
    • 粒度影响(Figure 2b、2c):作者称不同 accg、latg 下指纹查询复杂度保持 O(n)。
  5. 有什么可以进一步探索的点?

    作者指出防御对大模型保护较弱并给出理论解释;实验限于两个图像数据集、一种攻击和四个 ϵ 值。

    作者指出的局限与后续方向

    • 大模型保护较弱(7.3.1 节):作者称防御在所测 ϵ 值下对中、小模型更有效,对大模型效果有限,因为大模型场景下即使加噪仍常由高准确度模型服务;ϵ 可按系统设计者需要配置。
    • fidelity 下界(附录 B):作者证明攻击高准确度模型时,即使防御生效 fidelity 仍 ≥ 0.8,因此要获得明显的保护效果需针对低准确度模型。
    • 开源计划(第 6、8 节):作者计划将 PSML 系统开源,论文写作时尚未发布。

    实验覆盖范围

    • 被测模型库为 CIFAR-10 与 SVHN 上各 12 个图像分类模型(ResNet、WideResNet、DenseNet、MobileNet 系列),模型未训练到满精度。
    • 攻击实验只用 MixMatch 一种抽取攻击;论文称防御对任意单模型攻击有效,但实验仅验证 MixMatch。
    • 查询预算固定为 4000;防御实验测试了 ϵ = 1000、100、50、10 四个值,每设定 3 次试验取平均。
    • 系统模型假设系统只从 Pareto 前沿选模型、选模型策略为均匀随机;论文提到可改为最低成本策略但未实验。
    • 论文未报告指纹算法在更大规模模型库(如数百模型)上的实测,仅有随机模拟的复杂度分析(Figure 2)。
  6. 总结一下论文的主要内容

    针对 model-less 推理服务系统的模型抽取攻击与噪声防御:指纹算法还原 Pareto 前沿,加噪防御在中小模型上有效。

    一篇关于推理服务系统安全的攻击与防御论文,面向 model-less 模型库服务场景。

    • 问题:黑盒模型抽取攻击假设能反复指定同一受害模型,而 INFaaS、Clockwork 这类现代系统把模型藏在抽象层后,作者称该假设已过时;naive 直接攻击模型库时精度从 92.00 降到 81.04(Table 1)。
    • 方法:提出二分搜索式指纹算法,利用每次查询泄露的精度与延迟还原 Pareto 前沿(CIFAR-10 模型库实测 411 次查询),使攻击者持续触发受害模型并复用 MixMatch 抽取;防御对每条查询的精度/延迟规格加 Laplace 噪声(ϵ 控制强度),扰乱指纹且永不违反延迟规格。
    • 结果一:CIFAR-10、4000 查询预算下,指纹攻击在小/中/大模型上精度达 66.29/87.52/91.35,与单模型设定(67.29/88.98/92.00)差距在 1% 内(Table 2)。
    • 结果二:ϵ=10 时防御使中模型精度最多降 9.8%、fidelity 最多降 4.8%;但大模型设定下防御效果弱,ϵ=10 时精度仍为 90.88(Table 2、3)。
    • 结果三:保护与系统性能存在权衡,ϵ=50 时中模型设定 goodput 高于 0.8 且攻击成功率下降,作者称其为所测值中的最佳折中(Figure 8)。
    • 作者结论:作者称这是其已知首个在 model-less 推理服务系统上展示黑盒抽取可行性的工作,噪声防御可在维持可接受 goodput 的同时提供可配置保护,并计划开源 PSML 系统。

相关论文

共同使用 SVHN
再看 3 篇
共同使用 CIFAR-10
共同使用 SVHN
阅读原文arxiv.org