基于随机平滑的防御对数据投毒有多鲁棒？

1. 01这篇论文试图解决什么问题？

   作者研究数据投毒能否削弱随机平滑认证防御的鲁棒性保证，并提出针对整个目标类的干净标签投毒攻击。

   核心问题：认证鲁棒的分类器是否经得起训练数据投毒——训练数据质量对认证鲁棒性的影响此前基本未被研究。

   • 场景与动机：随机平滑（RS）类认证方法可扩展到深度网络，受害者会采用 GA、MACER、SmoothAdv 等鲁棒训练方法获得认证保证；但作者认为数据饥渴的训练流程容易被投毒（如网上抓取、众包数据）。
   • 现有攻击的不足：作者报告，针对标准训练优化的传统投毒在受害者改用认证鲁棒训练后失效（Table 1：CIFAR10 标准训练准确率从 92.71% 降到 0.36%，但 GA/MACER 下几乎不变），作者称这会造成虚假的安全感。
   • 核心观察：作者的理论分析（线性分类器情形）认为，投毒通过移动平滑分类器的决策边界使其更靠近目标类点，从而降低认证半径。
   • 论文贡献：提出 PACD（Poisoning Against Certified Defenses），一个基于约束双层优化的干净标签投毒攻击，目标是降低整个目标类的平均认证半径（ACR），而非少数目标点的准确率。
   • 威胁模型：
     • 目标：降低受害模型在整个目标类上的认证鲁棒性（ACR），附带降低认证准确率。
     • 知识：论文设定攻击者知道受害者使用的鲁棒训练方法与认证流程（攻击针对具体方法优化）；另评测了训练方法不同时的迁移性。
     • 能力：只能修改目标类样本的特征，添加不可感知的小扰动（l∞ 范数，MNIST ε=0.1、CIFAR10 ε=0.03），不改标签（clean-label）。
     • 受害系统：用 GA、MACER 或 SmoothAdv 从头训练、并用随机平滑认证的深度分类器。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三类：随机平滑认证与鲁棒训练、针对标准训练的数据投毒、双层优化求解方法。

   随机平滑认证与鲁棒训练

   • Cohen 等 [8] 提出随机平滑（RS）认证及 Gaussian data augmentation（GA）训练，使认证可扩展到深度网络；Lecuyer 等 [20]、Li 等 [21] 为早期基于噪声的认证方法。
   • Salman 等 [29]（SmoothAdv）用针对平滑分类器的对抗训练提升认证半径；Zhai 等 [36]（MACER）直接最大化认证半径，训练更快。本文的投毒对象正是这三种方法。
   • Raghunathan 等 [28]、Gowal 等 [13]、Huang 等 [15]、Xu 等 [35] 等其他认证方法被论文认为难以扩展到深度网络或大数据集。

   数据投毒

   • Biggio 等 [3]、Jagielski 等 [17]、Steinhardt 等 [32]、Zhu 等 [37] 等投毒工作以降低模型准确率为目标；Shafahi 等 [31]（Poison Frogs）和 Huang 等 [16]（MetaPoison）为干净标签投毒，针对少数目标点。
   • Ghiasi 等 [11] 提出测试时用大 lp 扰动欺骗鲁棒分类器并给出错误证书的攻击；论文指出本文不同之处在于做训练时投毒且扰动不可感知。

   双层优化

   • Domke [9]、Pedregosa [27]、Franceschi 等 [10]、Maclaurin 等 [22]、Shaban 等 [30]、Mehra 和 Hamm [24] 等提出求解双层优化的梯度方法；本文采用近似解线性系统的 ApproxGrad。
   • Mei 和 Zhu [25]、Muñoz-González 等 [26]、Carnerero-Cano 等 [6] 等用双层优化做针对标准训练的投毒；本文把这一框架用于攻击 RS 认证防御。

   基线与基准：对比基线为 watermarking（Shafahi 等 [31] 用于干净标签攻击的水印法，opacity 0.1 并裁剪到相同 l∞ 失真）以及针对标准训练优化的传统投毒（Table 1）；基准为 MNIST 和 CIFAR10。

   作者定位：作者称，据其所知这是第一个能降低认证鲁棒性保证的干净标签投毒攻击，且针对的是提升认证鲁棒性的训练方法而非标准训练。

   收起这一问

3. 03论文如何解决这个问题？

   PACD 把投毒写成约束双层优化：上层最小化软平滑分类器的认证半径，下层模拟受害者的鲁棒训练，用 ApproxGrad 求解。

   整体思路：把投毒建模为约束双层优化问题，上层优化投毒点使目标类的认证半径最小，下层是受害者的鲁棒训练过程；用可微的"软"平滑分类器近似不可微的认证半径，再用 ApproxGrad 求近似超梯度。

   问题形式化

   • 攻击者在干净数据 Dclean 上加入投毒集 Dpoison，每个投毒点由目标类基准点加扰动得到，约束 kδi k∞ ≤ ε 且标签不变（clean-label）。
   • 双层问题：min_{u∈ U} R(D_val; θ^∗)，s.t. θ^∗ = argmin_θ L_robust(D_clean ∪ D_poison; θ)；上层 R 为认证鲁棒性度量，下层 L_robust 为受害者的鲁棒训练损失。
   • 作者称该公式通用：替换下层损失和上层认证流程即可适配其他训练方法与认证方法。

   可微的上层目标

   • 硬平滑分类器的认证半径不可微，作者用软平滑分类器 g̃ 近似（类似 [29, 36] 的做法），其软认证半径 r̃ 可微。
   • 上层目标取目标类验证集 Dval 上的平均软认证半径 R̃（ACR 的可微版本）。

   针对三种训练方法的下层

   • GA [8]：下层用高斯增广交叉熵损失 L_GaussAug；完整攻击流程见 Algorithm 1。
   • MACER [36]：下层换为 L_macer（分类损失加软平滑分类器的鲁棒损失）；投毒生成时用 k=2 个噪声样本。
   • SmoothAdv [29]：下层是 minimax 对抗训练目标；作者用近似——先对当前模型用 PGD 生成对抗样本，再以其为训练数据做 GA 式训练，每个双层步重新生成对抗样本。

   求解与生成

   • 用 ApproxGrad（附录 B Algorithm 2）求解：内层近似训练 T1 步、近似解线性系统 T2 步，超梯度用投影满足 l∞ 约束；超参数 P=50、T1=T2=10（SmoothAdv 用 T1=1）。
   • 投毒点初始化为目标类的干净点；为防止过拟合某个局部极小，每隔若干上层迭代重新初始化下层变量，作者称这使投毒对重新训练的模型仍有效。
   • 线性分类器情形下作者给出解析解（Theorem 1）：最优投毒是把目标类点按最大扰动 ε 整体平移，从而移动决策边界；Corollary 2 给出投毒 α 比例点与全量投毒 ε=αε̃ 等效。

   成功判定

   • 主指标：目标类干净测试点上的 ACR 与近似认证准确率（ACA，认证 l2 半径大于 0 的比例），与干净数据和水印基线对比；另用 PGD 对平滑分类器的平均 l2 失真衡量经验鲁棒性。

   收起这一问

4. 04论文做了哪些实验？

   在 MNIST 和 CIFAR10 上对 GA、MACER、SmoothAdv 投毒，目标类 ACR 均下降，作者称降幅超 30%，且投毒可跨训练方法和架构迁移。

   实验设置

   • 被测模型：MNIST 上用卷积网络（两层卷积加全连接）；CIFAR10 上用 Resnet-20；附录 D.4 另测 Resnet-56、Resnet-110；附录 D.1/D.2 用 logistic regression 做玩具实验。
   • 数据集：MNIST（55000 训练、5000 验证、10000 测试）和 CIFAR10（45000 训练、5000 验证、10000 测试）；主实验目标类分别为数字 8 和类 "Ship"，附录 D.3 覆盖全部 10 个类。
   • 基线：干净数据训练；watermarking 投毒（opacity 0.1 叠加其他类图像并裁剪到相同 l∞ 失真）。
   • 指标：ACR（正确分类点的平均认证半径，误分类和弃权记 0）与 ACA；认证用 [8] 的 CERTIFY 流程（n0=100、n=100000、α=0.001）。
   • 设置：攻击、重训练、评测用同一个 σ（0.25/0.5/0.75）；ε=0.1（MNIST）、0.03（CIFAR10）；结果在 500 个随机抽样的目标类测试点上报告，5 次随机初始化取平均（附录部分实验为 3 次）。
   • 评审方式：无人工或 LLM 评审，全部为指标计算。

   主结果

   三种鲁棒训练方法下，投毒后目标类的认证鲁棒性均下降（据 Table 2、3、4，Clean→Poisoned）：

   表格较宽，可左右滑动

   训练方法	数据集	σ	ACR Clean→Poisoned	ACA(%) Clean→Poisoned
   GA（Table 2）	CIFAR10	0.25	0.521→0.059	85.76→26.84
   GA（Table 2）	CIFAR10	0.5	0.634→0.221	75.04→42.28
   GA（Table 2）	MNIST	0.25	0.896→0.325	98.92→71.96
   MACER（Table 3）	CIFAR10	0.25	0.593→0.379	83.84→72.41
   MACER（Table 3）	MNIST	0.25	0.915→0.431	99.64→79.81
   SmoothAdv（Table 4）	CIFAR10	0.25	0.504→0.271	78.76→55.78
   SmoothAdv（Table 4）	MNIST	0.25	0.896→0.672	99.16→93.21

   • 作者称投毒把 GA 在 CIFAR10 上的目标类 ACR 从 0.52 降到 0.06，认为这显示了 GA 对投毒的脆弱性；对 MACER 作者称 ACR 降幅超过 30%，且重训练用 k=16 而投毒生成只用 k=2，增大噪声样本数不能消除攻击效果。
   • 水印基线在多数设置下 ACR 与干净数据接近（如 Table 2 中 CIFAR10 σ=0.25 时 Watermarked 为 0.470），作者据此称双层优化投毒比水印更有效。
   • 作者指出 ACR 与 ACA 相关，攻击虽以认证半径为目标，也连带降低了认证准确率。

   迁移性实验

   • 跨训练方法：用一种方法优化的投毒数据，在另两种方法重训练下仍降低认证鲁棒性（Figure 4，MNIST σ=0.5、CIFAR10 σ=0.25；图注给出各方法的 k 设置，柱状图具体数值未在文中标出）。作者称针对 GA 生成的投毒对其他方法也有效。
   • 跨架构：针对 Resnet-20 生成的投毒在 Resnet-56、Resnet-110 上仍降低目标类 ACR（Figure 7，CIFAR10 "Ship"，GA σ=0.5，3 次初始化）。
   • 作者称投毒对训练方法、模型架构和评测度量（RS 认证或经验鲁棒性）都表现稳健。

   机理与经验鲁棒性分析

   • 决策边界移动：Table 5 报告 PGD 对平滑分类器生成对抗样本所需的平均 l2 失真，CIFAR10 σ=0.25 时从 1.754 降到 0.132，MNIST σ=0.25 时从 3.271 降到 1.339；作者称这支持了"投毒使决策边界更靠近目标类点"的假设。
   • 玩具验证：附录 D.2 在二维各向同性高斯数据上用 logistic regression 验证，数值解与解析解吻合（Table 6：σ=0.25 时 ACR 从 0.4047 降到 0.3585，解析预测从 0.4243 降到 0.3546）。

   其他消融与分析

   • 扰动预算 ε（Figure 3，GA、σ=0.25）：ε 越大目标类 ACR 越低，但投毒点越容易被肉眼检查发现；作者在主实验取 ε=0.1。
   • 权重正则化（Table 7，MNIST 数字 8、ε=0.1、3 次初始化）：不用 GA 时大正则（1E-1）使投毒后 ACR 为 0.68（无正则为 0.01），但干净准确率从 99% 降到 92%；用 GA 时大正则使干净模型 ACR 从 1.48 降到 0.85，作者称大正则与 GA 同用不可取。
   • 单点投毒（附录 D.6）：投毒 1% 的 CIFAR10 数据（500 张 bird 图、ε=0.06），5 个目标点的认证半径平均从 0.63 降到 0.26。
   • 其他目标类（附录 D.3，Figure 6）：对 MNIST 和 CIFAR10 全部 10 个类分别生成投毒，作者称所有类的 ACR 均下降。
   • 负面结果：Table 1 显示针对标准训练优化的投毒对 GA/MACER/SmoothAdv 训练基本无效（如 CIFAR10 GA 下准确率为 88.38%，干净为 88.84%），这是本文要解决的起点而非本文攻击的失败。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者明确指出双层优化计算成本高、将 ImageNet 投毒留作未来工作；实验仅覆盖两个数据集和随机平滑认证。

   作者指出的局限与后续方向

   • 计算可扩展性（第 4 节）：ApproxGrad 的时间复杂度为 O(V T)，对 ImageNet 这类需要在大量 batch 上优化的数据集，求解双层问题在计算上困难，作者明确将 ImageNet 上的投毒留作未来工作。
   • 非线性情形缺乏解析分析（第 3.4 节）：作者称对非线性分类器直接解析分析不可行，只给出了线性分类器的理论结果，非线性情形仅有决策边界移动的经验观察。
   • 论文未设专门的 Limitations 章节，以上为正文和结论中明确写出的局限与后续方向。

   实验覆盖范围

   • 被测模型为 MNIST 卷积网络、Resnet-20，以及附录中的 Resnet-56、Resnet-110 和 logistic regression，共 5 种（第 4 节、附录 D、E.2）。
   • 数据集为 MNIST 和 CIFAR10，另有二维高斯玩具数据；主实验目标类各一个（数字 8、"Ship"），附录 D.3 覆盖两个数据集的全部 10 个类（Figure 6）。
   • 受害训练方法覆盖 GA、MACER、SmoothAdv 三种；认证方法只有随机平滑（CERTIFY，n0=100、n=100000、α=0.001）（第 4 节、附录 E.3）。
   • 主结果为 5 次随机初始化的平均、500 个目标类测试点；附录 D.4–D.6 部分实验为 3 次初始化；经验鲁棒性用 200（MNIST）/100（CIFAR10）个测试点（第 4 节、4.6 节）。
   • 防御侧只评测了权重正则化和增大噪声样本数 k 两种缓解因素（第 4.2 节、附录 D.5）；论文未报告针对投毒检测类防御的评测。

   收起这一问

6. 06总结一下论文的主要内容

   作者提出针对随机平滑认证防御的干净标签投毒攻击 PACD，在 MNIST/CIFAR10 上使目标类 ACR 下降超 30% 并可迁移。

   一篇关于认证鲁棒性训练数据投毒的攻击论文。作者关注的问题是：随机平滑（RS）认证防御能保证测试时鲁棒性，但训练数据被投毒时这些保证是否还有效。

   • 方法：PACD 把投毒建模为约束双层优化——上层最小化软平滑分类器在目标类上的认证半径，下层模拟受害者用 GA、MACER 或 SmoothAdv 的训练；用 ApproxGrad 求近似超梯度，投毒点为干净标签、l∞ 扰动受限（MNIST ε=0.1、CIFAR10 ε=0.03）。线性情形下作者给出解析解：最优投毒是整体平移目标类点以移动决策边界。
   • 动机实验：作者报告针对标准训练优化的传统投毒在认证鲁棒训练下失效（Table 1），说明需要专门针对认证防御的投毒。
   • 主结果：在 CIFAR10 上，GA 训练的目标类 ACR 从 0.521 降到 0.059、ACA 从 85.76% 降到 26.84%（σ=0.25，Table 2）；MACER 下 ACR 从 0.593 降到 0.379（Table 3）；SmoothAdv 下从 0.504 降到 0.271（Table 4）。作者称三种方法下 ACR 降幅均超过 30%。
   • 迁移与机理：投毒数据可迁移到其他训练方法（Figure 4）和更深架构 Resnet-56/110（Figure 7）；PGD 经验鲁棒性同步下降（CIFAR10 σ=0.25 时平均 l2 失真从 1.754 降到 0.132，Table 5），作者称这支持决策边界被推移的假设。
   • 作者结论：作者认为数据质量是获得认证鲁棒性的关键因素，但被当前认证防御研究忽视；权重正则化等简单手段不能消除该威胁。局限方面，作者指出双层优化计算成本高，将 ImageNet 上的投毒留作未来工作。

   收起这一问

相关论文