跳到正文
原文

理解像素离散化抵御对抗攻击的局限性

Towards Understanding Limitations of Pixel Discretization Against Adversarial Attacks

arXiv· arXiv:1805.07816· EuroS&P 2019· Jiefeng Chen, Xi Wu, Vaibhav Rastogi, Yingyu Liang, Somesh JhaUniversity of Wisconsin-Madison; Google本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者分析像素离散化防御,称其在 MNIST 上有效并可认证,但在 CIFAR-10 等复杂数据集上难以抵御 BPDA 白盒攻击。

威胁模型测试时攻击:攻击者目标是在 ℓ∞ 预算 ε 内构造 z 使 F(T(z)) ≠ F(T(x))。

问题
像素离散化等预处理防御简单实用,在 MNIST 上有效,但在 BPDA 强白盒攻击下于复杂数据集上失效;为什么会失效、能否改进仍不清楚。
方法
作者把离散化看作对像素的聚类,提出密度估计和 k-medoids 两种数据相关码字构造算法,并建立理论框架:理想生成模型下证明可提升鲁棒性,另给出可计算的认证下界和等价类、可分性分析。
实验与结果
在 MNIST 上离散化把对抗训练模型鲁棒性提到 97.32%(2-bin,Table I),并给出 ε=0.1 时 96.43% 的认证下界;在 CIFAR-10、GTSRB、ImageNet 上相对无防御基线提升很小,作者称复杂数据缺乏可分离聚类是原因。
局限与可以继续做的
作者称分析限于像素级离散化,把直觉推广到更一般的预处理防御留作未来工作(Section VI);实验只覆盖 ℓ∞ 攻击、五个图像数据集和两种码字构造算法,认证只在 MNIST 上计算。
实验设置Naturally Trained Model (MNIST)、Adversarially Trained Model (MNIST) 等 · MNIST、Fashion-MNIST 等 · Accuracy、Robustness (accuracy under attack) 等
威胁模型
测试时攻击:攻击者目标是在 ℓ∞ 预算 ε 内构造 z 使 F(T(z)) ≠ F(T(x))。论文考虑最强的 White Box Attack:攻击者同时知道基模型 F 和预处理 T,用 BPDA(需要梯度近似时)或 PGD 攻击;受害系统是预处理加预训练图像分类器 F(T(·))。
被测模型
Naturally Trained Model (MNIST)Adversarially Trained Model (MNIST)Naturally Trained Model (Fashion-MNIST)Adversarially Trained Model (Fashion-MNIST)Naturally Trained Model (CIFAR-10)Adversarially Trained Model (CIFAR-10)Naturally Trained Model (GTSRB)Adversarially Trained Model (GTSRB)InceptionResNet-V2 (naturally pre-trained, ImageNet)InceptionResNet-V2 (adversarially pre-trained, ImageNet)
基准
MNISTFashion-MNISTCIFAR-10GTSRBImageNet (NIPS Adversarial Attacks & Defenses Challenge subset)
指标
AccuracyRobustness (accuracy under attack)certificate ŝ / ŝ*
AI 导读研究者分析了像素离散化这一对抗攻击预处理防御,以及考虑数据集特性的更复杂变体,结果显示它们对强白盒攻击的抵抗力依然很差。这类方法因简单、计算开销低且适用于多种系统而在实践中颇具吸引力,此前已被观察到在 MNIST 等简单数据集上有效,但在 ImageNet 等复杂数据集上会被新提出的强白盒攻击攻破。作者在理论框架中分析这些结果,给出有力证据表明像素离散化除最简单的数据集外不太可能有效,其论证还提示了部分其他预处理防御可能不安全的原因。

研究者分析了像素离散化这一对抗攻击预处理防御,以及考虑数据集特性的更复杂变体,结果显示它们对强白盒攻击的抵抗力依然很差。这类方法因简单、计算开销低且适用于多种系统而在实践中颇具吸引力,此前已被观察到在 MNIST 等简单数据集上有效,但在 ImageNet 等复杂数据集上会被新提出的强白盒攻击攻破。作者在理论框架中分析这些结果,给出有力证据表明像素离散化除最简单的数据集外不太可能有效,其论证还提示了部分其他预处理防御可能不安全的原因。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    像素离散化防御为何在 MNIST 上有效、在复杂数据集上被 BPDA 击破,能否改进?

    核心问题:像素离散化这类预处理防御在什么条件下能抵御强白盒攻击,为什么在复杂数据集上失效。

    • 背景与动机:预处理防御简单、开销低、可直接套用在已有系统上,在 MNIST 等简单数据集上对 Carlini-Wagner 等攻击效果良好,但作者转述 Athalye 等人的观察:在典型数据集上它们挡不住更强的 BPDA 攻击,而失效原因 largely open。
    • 现有方法的不足:作者指出 Xu 等人的 color-depth reduction 和 Buckman 等人的 thermometer encoding 都使用与数据分布完全无关的简单码字,在 CIFAR-10 等中等复杂度数据集上对 BPDA 表现差。
    • 核心观察:作者把码字离散化看作对像素的聚类,提出准确率与鲁棒性之间存在 tradeoff——保持准确率需要小而密的簇,但簇边界上的像素容易被扰动到其他簇,基模型本身不鲁棒时鲁棒性就难以提升。
    • 论文的贡献:作者提出考虑数据分布的离散化方法(密度估计与 k-medoids 构造码字),建立理论框架给出可证明有效的条件与可计算的认证下界,并用等价类和可分性分析解释复杂数据集上的失败。
    • 威胁模型:
      • 攻击者目标:在 ℓ∞ 预算 ε 内找到 z,使 F(T(z)) ≠ F(T(x))。
      • 攻击者知识:论文考虑 White Box Attack(攻击者同时知道 F 和 T),称这是最强的攻击模型;文中也定义了 Black Box 和 Gray Box。
      • 攻击者能力:测试时攻击,用 BPDA(需要梯度近似时)或 PGD 构造扰动;假设分类器 F 训练时未受攻击者干扰。
      • 受害系统:预处理函数 T 加预训练 DNN 图像分类器 F,端到端预测为 F(T(·))。
  2. 有哪些相关研究?

    相关工作分对抗攻击、对抗训练与预处理防御三类,本文聚焦被 BPDA 击破的预处理防御。

    对抗攻击

    • Szegedy 等人 [14]、[1]:发现 DNN 对微小对抗扰动敏感,此后发展出多种攻击技术 [33]、[34]、[35]、[12]、[15]。
    • Carlini-Wagner [12]:强攻击,Xu 等人的防御在 MNIST 上对其有效。
    • BPDA(Athalye 等人 [10]):针对不可微或随机预处理造成的梯度混淆,前向用 F(T(·))、反向用 T 的可微近似计算梯度;本文用它攻击像素离散化,因为离散化不可微。

    对抗训练

    • Madry 等人 [15]:在对抗样本上训练模型,作者称其为该方向 state-of-the-art;本文的 MNIST/CIFAR-10 预训练模型即取自该工作。
    • Schmidt 等人 [22]:报告了对抗泛化差距(adversarial generalization gap),即训练与测试鲁棒准确率差距大;本文在 CIFAR-10 上确认了该现象。

    预处理防御

    • Xu 等人 [5](feature squeezing / color-depth reduction)与 Buckman 等人 [6](thermometer encoding):把像素取整到邻近码字;作者指出二者码字与数据分布无关,在 CIFAR-10 等数据集上对 BPDA 表现差,这是本文的出发点。
    • 其他预处理技术:JPEG 压缩 [2]、total variance minimization 与 image quilting [3]、image re-scaling [7]、基于神经网络的重构 [8]、[9]、[4];作者称这些技术大多已被 BPDA 显式击破,其余也被认为在 BPDA 下失效。

    其他对抗场景(仅简述,非本文重点):训练时投毒 [27]、模型反演 [28]–[30]、成员推断 [31]、模型窃取 [32],作者说明这些与本文关注的测试时扰动场景不同。

    基线与基准:本文的基线是未离散化(k=256 或 256³,即使用全部码字)的同一预训练模型;基准为 MNIST、Fashion-MNIST、CIFAR-10、GTSRB、ImageNet(NIPS 挑战赛子集)。

    作者将本文定位为对预处理防御的解析性理解:作者相信自己的直觉可推广到其他预处理技术,并论证它们在强对抗设定下也难以奏效。

  3. 论文如何解决这个问题?

    把离散化看作像素聚类:构造数据相关码字,再用理论框架给出成功条件、认证下界和失败解释。

    整体思路:把像素离散化视为对像素聚类,先构造码字(codebook),测试时把每个像素替换为最近码字;再建立理论框架分析何时有效,并用认证和可视化解释失败。方法包括数据相关像素离散化与理论分析框架两部分。

    预处理框架与码字构造

    • 两步框架:训练时构造码字集合 C = {c1, …, ck} 并固定;测试时 T 把每个像素替换为距离最近的码字。
    • 好码字的两个性质:Separability(码字两两距离足够大,类似纠错码)与 Representativity(存在分类器在离散化数据上保持好准确率)。
    • Algorithm 1(密度估计):迭代 k 次,每次用核函数估计所有像素值的密度,取密度最高者为新码字,并移除其 r 邻域内的像素;实例化用 identity kernel(即计数频率),k 和 r 为可调超参数。
    • Algorithm 2(k-medoids):随机初始化 k 个 medoid,迭代地用其他数据点替换 medoid 以降低总代价;实验用 ℓ1 距离,作者报告 ℓ2、ℓ∞ 结果相近故只报 ℓ1;k-means 因对离群点敏感、效果更差而未纳入结果。

    攻击与评测方式

    • 可微近似:BPDA 前向计算 F(T(x)),反向把 T 换成软加权的 g(x);α→∞ 时 g(x)=T(x),MNIST/Fashion-MNIST 设 α=10,其余数据集 α=0.1;不需要近似时用 PGD。
    • 攻击参数:MNIST ε=0.3、100 步;Fashion-MNIST ε=0.1、100 步;CIFAR-10 自然模型 ε=2、对抗模型 ε=8,均 40 步;GTSRB ε=8、40 步;ImageNet 自然模型 ε=1、1 步,对抗模型 ε=4、10 步。
    • 指标:Accuracy(干净数据准确率)与 Robustness(攻击下准确率,作为鲁棒准确率的下界估计);全部结果用 ℓ∞ 范数。

    理论框架:理想生成模型

    • 生成模型:图像先生成"骨架" u(每个像素是某个 ground-truth 码字,各码字边际概率均为 1/k),再加离散噪声 ζi,满足 kζi k ≤ Γ/8 且 Pr[kζi k = t] = α exp(−t²/σ²);码字两两距离至少 Γ。
    • 主结果(Proposition 1):设 ν = σ√(log1/(1/k − 2γ/α)),当 Γ > 16ν 且 Algorithm 1 取 r = 2ν 时,对任意 ε ≤ 5ν,F(T(·)) 抵御 ε 预算攻击的概率不低于 F 抵御所有 ν-code 扰动 G 的最差概率。含义:只要基模型对 ν 级结构化扰动鲁棒,离散化可把鲁棒性提升到 5ν 预算,作者称之为 5 倍提升。

    认证(certificate)

    • 局部认证:对像素 x[i] 定义 C(x[i]) = {c : |x[i]−c| < |c∗(x[i])−x[i]| + 2ε},即扰动后可能被离散化到的码字集合;若对 S(x) 中所有 z 都有 F(z)=y,则该点在 ε 预算下保证鲁棒。
    • 全局认证:s = E[I_F(x,y)] 是鲁棒准确率的下界;用 m 个验证样本的估计 ŝ 经 Hoeffding 不等式得到高概率下界 ŝ*(Proposition 2)。像素聚类好时 |C(x[i])|=1,认证可高效计算,MNIST 即属此情形。

    失败分析工具

    • 等价类论证:T 把输入划成等价类,ℓ∞ 下 N∞(x,ε) 的等价类数为各维度 |Ci| 的乘积;该乘积大意味着邻域内很可能存在不同标签的小球落在别的等价类,攻击容易成功。
    • 可分性可视化:用像素邻域大小着色可视化 CIFAR-10 像素分布、用直方图展示 MNIST 像素分布,检验数据集是否具备可分离聚类。
  4. 论文做了哪些实验?

    五个数据集上评测色深缩减与两种数据相关离散化,MNIST 有效并可认证,复杂数据集提升很小。

    实验设置

    • 被测模型:MNIST/CIFAR-10 用 [15] 的自然训练与对抗训练预训练模型(论文未写架构名);ImageNet 用自然预训练 InceptionResNet-V2 [20] 与对抗预训练 InceptionResNet-V2 [21];Fashion-MNIST、GTSRB 模型按论文所述超参数训练。
    • 数据集:MNIST、Fashion-MNIST(各 5,000 训练/1,000 测试每类)、CIFAR-10(每类 5,000/1,000)、GTSRB(约 39,000 训练、12,000 测试,剔除平均亮度低于 50 的图)、ImageNet NIPS 挑战赛子集(1,000 开发图、5,000 测试图,1001 类)。
    • 基线:不离散化(k=256 或 256³)的同一模型,即 nat_pre / adv_pre 设置。
    • 指标:Accuracy 与 Robustness(攻击下准确率);认证实验报告 ŝ 与 ŝ*。
    • 攻击:BPDA(α:MNIST/Fashion-MNIST 为 10,其余 0.1)或 PGD;各数据集 ε 与步数见第 3 问。
    • 重复次数:论文未报告。

    主结果

    据 Table I(色深缩减,预训练模型列):

    表格较宽,可左右滑动

    数据集基模型kAccuracyRobustness
    MNIST自然训练298.76%75.39%
    MNIST自然训练256(无防御)99.17%0.00%
    MNIST对抗训练298.18%97.32%
    MNIST对抗训练256(无防御)98.40%92.72%
    CIFAR-10对抗训练3287.20%47.20%
    CIFAR-10对抗训练256(无防御)87.25%45.50%
    ImageNet对抗训练3296.40%8.40%
    ImageNet对抗训练256(无防御)96.40%5.20%
    • 作者称在 MNIST 上 2-bin 色深缩减对自然与对抗训练模型都有明显提升,Fashion-MNIST 上不如 MNIST,说明色深缩减并非总在这类数据集上有效。
    • 在 CIFAR-10、GTSRB、ImageNet 上,作者称色深缩减相对无防御基线没有实质提升;表中 CIFAR-10 对抗训练模型 32-bin 与无防御的鲁棒性几乎相同。
    • 作者把 MNIST 与其他数据集的差异归因于数据集复杂度,并在 Section V 进一步分析。

    数据相关离散化(Table II、III,Figure 1–3)

    • 密度估计码字(Table II):CIFAR-10 对抗训练预训练模型 k=300 时鲁棒性 46.90%,无防御为 45.50%;ImageNet 自然训练模型 k=300 时 34.80%,无防御为 27.50%;作者称对复杂数据集提升仍然很小。
    • k-medoids 码字(Table III):除 Fashion-MNIST 外与密度估计结果相当;Fashion-MNIST 对抗训练重训模型鲁棒性 74.32%(无防御 71.53%),作者称这支持离散化应考虑数据性质。
    • 对抗泛化差距(Figure 3b):CIFAR-10 上在离散化图像对抗重训时训练鲁棒性接近 100%、测试不高于 50%,作者称这确认了 [22] 的现象,说明数据不足。

    认证实验(Table IV、Figure 4)

    • MNIST 认证:在 10,000 张测试图上计算,δ=0.01;ε=0.1 时 ŝ=96.43%、ŝ*=94.97%;ε=0.3 时 ŝ 降至 4.31%,Unable 占 95.67%(设阈值 b,|S(x)|>2^b 记为 Unable)。
    • 与已有认证比较:作者称 [25] 在 MNIST、ℓ∞、ε=0.1 上的估计认证鲁棒率为 94.18%,本文更简单的方法给出 96.43%,作者认为这验证了理想模型分析。

    失败机理分析(Figure 5–7)

    • 等价类数量(Figure 5):MNIST 中位数约 0.06(每张图 784 像素中约 47 个可被扰动到别的等价类);CIFAR-10 中位数约 0.27,对应等价类数 300^276,作者据此认为 CIFAR-10 难以用像素离散化防御。
    • CIFAR-10 像素可视化(Figure 6):40 万采样像素按邻域大小着色(最大邻域 1,567,080),未见清晰可分离聚类;灰度线 x=y=z 上邻域较大,密度估计算法选的码字沿此线分布。
    • MNIST 直方图(Figure 7):像素集中在近黑或近白,中间值很少,作者称这带来很好的可分性。

    其他消融与分析

    • 码字数量 k(Table II):自然训练模型上 k 越小鲁棒性越高(CIFAR-10 k=2 重训 46.70%,k=500 重训 19.81%);对抗训练模型上趋势相反(k=2 重训 33.20%,k=500 重训 46.84%)。
    • 重训 vs 预训练:在离散化数据上重训普遍提高准确率,如 CIFAR-10 自然模型 k=2 时准确率从 24.20% 升至 68.50%(Table II)。
    • 距离度量:作者报告 k-medoids 用 ℓ2、ℓ∞ 与 ℓ1 表现相近,只报 ℓ1。
    • k-means:作者称其效果更差,未纳入结果(论文未给数字)。
  5. 有什么可以进一步探索的点?

    作者称把直觉推广到更一般预处理防御留作未来工作;实验限于 ℓ∞ 攻击与五个图像数据集。

    作者指出的局限与后续方向

    • 推广到一般预处理防御:作者写道,把这一直觉形式化到更广泛的预处理防御方法留作 future work(Section VI)。
    • 适用范围的限定:作者结论是若基模型对抗鲁棒性差,像素离散化本身 unlikely 在除最简单数据集之外的数据上提升鲁棒性(Section VIII)。
    • 认证计算的条件:作者指出认证只有在像素聚类良好时才容易计算,对结构较差的数据集可能无法高效计算或给不出有用下界(Section V)。

    实验覆盖范围

    • 被测模型:MNIST/CIFAR-10 各一个自然训练和一个对抗训练模型(取自 [15]),ImageNet 两个 InceptionResNet-V2;Fashion-MNIST、GTSRB 用论文所述超参数训练的模型。
    • 数据集:MNIST、Fashion-MNIST、CIFAR-10、GTSRB、ImageNet NIPS 子集,共五个图像分类数据集。
    • 攻击:仅 ℓ∞ 范数下的 BPDA 与 PGD,各数据集 ε 与步数固定(Section II-F);论文未报告对每数据集多次重复实验或方差。
    • 码字构造算法:密度估计(identity kernel)与 k-medoids(ℓ1);k-means 被排除且未给数字。
    • 认证实验:只在 MNIST 上计算(10,000 张测试图,δ=0.01),其他数据集未给出认证数值。
    • 论文未报告:训练/评测的随机种子与重复次数、Figure 1–3 曲线的具体数值(正文只给出趋势描述)。
  6. 总结一下论文的主要内容

    作者系统分析像素离散化防御:MNIST 上有效且可认证,复杂数据集上因像素不可分而难以奏效。

    一篇分析预处理防御的论文,研究像素离散化在强白盒攻击(BPDA/PGD,ℓ∞)下何时有效、为何失效。

    • 问题:色深缩减等离散化防御在 MNIST 上有效、在 CIFAR-10 等复杂数据集上被 BPDA 击破,作者要解释原因并检验数据相关的改进是否有效。
    • 方法:把离散化看作像素聚类,提出密度估计与 k-medoids 两种数据相关码字构造;理论上给出理想生成模型下"基模型对 ν 级结构化扰动鲁棒 ⇒ 防御抵御 5ν 预算攻击"的命题,以及可在验证集上估计的认证下界 ŝ*。
    • MNIST 结果:2-bin 色深缩减使对抗训练模型鲁棒性达 97.32%(无防御 92.72%,Table I);ε=0.1 时认证下界 ŝ=96.43%,作者称优于 [25] 的 94.18%。
    • 复杂数据集结果:CIFAR-10 对抗训练模型 32-bin 色深缩减鲁棒性 47.20%,与无防御的 45.50% 几乎相同;ImageNet 自然训练模型 300 码字离散化鲁棒性 34.80%(无防御 27.50%);作者称提升很小。
    • 机理证据:CIFAR-10 像素无清晰可分离聚类、等价类数达 300^276,MNIST 像素集中于近黑近白、每图中位数仅约 47 个像素可被扰动出等价类;CIFAR-10 上还确认训练鲁棒性近 100%、测试不高于 50% 的对抗泛化差距。
    • 作者结论:若基模型本身不鲁棒,像素离散化 unlikely 在最简单数据集之外提升鲁棒性;作者认为其等价类直觉可推广到其他预处理防御,把形式化推广留作未来工作。

相关论文

共同使用 GTSRB
再看 3 篇
共同使用 GTSRB
阅读原文EuroS&P 2019