对抗鲁棒性在知识蒸馏中如何以及何时迁移？

1. 01这篇论文试图解决什么问题？

   标准知识蒸馏保不住教师的对抗鲁棒性，作者提出输入梯度对齐（KDIGA）来迁移鲁棒性。

   核心问题：知识蒸馏（KD）中教师的对抗鲁棒性无法传给学生模型，如何在蒸馏时保住鲁棒性。

   • 场景与重要性：KD 广泛用于模型压缩和资源受限部署，但现有工作主要关注保住教师的准确率。作者认为学生若丢失鲁棒性，会造成“蒸馏成功”的假象，影响安全部署。
   • 现有方法不足：作者称标准 KD 不能保留对抗鲁棒性（Figure 1）；对抗鲁棒蒸馏 ARD（Goldblum et al., 2020）需要对全部训练数据计算对抗扰动，在大规模数据集（如 ImageNet）上计算代价高。
   • 核心观察：仅对齐 logits 不够，学生损失面在邻域内可与教师不同；对齐师生关于输入的梯度（input gradient alignment）是保住鲁棒性的关键。
   • 论文提出：KDIGA——在 KD 目标中加入输入梯度对齐项；两个与 ARD 结合的变体 KDIGA-ARDC / KDIGA-ARDA；并给出认证鲁棒性保持的理论证明与基于局部线性度（LLM）的通用界。
   • 威胁模型（评测侧）：
     • 攻击者目标：使蒸馏后的学生模型在测试时误分类。
     • 知识：白盒攻击——PGD（Madry et al., 2017）与 AutoAttack（Croce & Hein, 2020），论文称 AutoAttack 是当时最强白盒攻击。
     • 能力：ℓ∞ 范数有界扰动，像素值缩放到 0–1，半径取多个值（ImageNet 0.001–0.01，CIFAR-10 1/255–8/255）。
     • 受害系统：蒸馏得到的学生模型（ResNet、MobileNetV2、ViT 等图像分类器）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：其他设定下的鲁棒性迁移、知识蒸馏、对抗训练与攻击；本文定位是 KD 设定下免对抗训练的鲁棒性迁移。

   其他机器学习设定中的鲁棒性迁移

   • Hendrycks et al. (2019)、Chen et al. (2020)、Shafahi et al. (2019)——研究迁移学习中的对抗鲁棒性；Chan et al. (2020)——表示学习中鲁棒性通过输入梯度迁移；Wang et al. (2021a)——MAML 中的鲁棒性适配。论文指出本文与它们的区别在于聚焦知识蒸馏设定。

   知识蒸馏

   • Hinton et al. (2015) 与 Gou et al. (2021)——KD 的基本形式与综述：用 CE 损失加温度 T 的 KL 散度让学生模仿教师 logits。
   • Zagoruyko & Komodakis (2016b)、Passban et al. (2020)、Mirzadeh et al. (2020)——以保住教师准确率为目标的蒸馏改进。论文指出这些工作忽略了对抗鲁棒性等其他性质。

   对抗训练与攻击

   • Madry et al. (2017)、Zhang et al. (2019)、Engstrom et al. (2019)——对抗训练，通过在训练中加入对抗扰动获得鲁棒模型；本文教师模型即来自 Engstrom et al. (2019) 的 ResNet50 checkpoint 和 TRADES 训练的 WideResNet。
   • Goldblum et al. (2020)——ARD，把对抗训练嵌入蒸馏目标。论文指出两点区别：KDIGA 不用对抗训练、计算更省；且可与 ARD 叠加进一步提升学生鲁棒准确率。
   • PGD（Madry et al., 2017）与 AutoAttack（Croce & Hein, 2020）——本文用作鲁棒性评测攻击，论文称 AutoAttack 为当时最强白盒攻击。

   基线与基准：对比方法为标准训练（ST）、标准 KD、ARD，以及本文的 KDIGA、KDIGA-ARDC、KDIGA-ARDA；数据集为 ImageNet 与 CIFAR-10。

   作者将本文定位为：在 KD 设定下研究鲁棒性“如何、何时”迁移，方法上不需要对抗训练，且可与 ARD 类方法结合。

   收起这一问

3. 03论文如何解决这个问题？

   在 KD 损失中加入师生输入梯度对齐项（KDIGA），并在两条假设下证明学生至少继承教师的认证鲁棒半径。

   整体思路：标准 KD 只对齐师生 logits，KDIGA（Knowledge Distillation with Input Gradient Alignment）额外对齐两者交叉熵损失关于输入的梯度，使学生的损失面在教师认证半径内与教师一致，从而保住对抗鲁棒性；不使用对抗样本。

   问题设定与目标

   • 学生 f s、教师 f t 均为 R^D→R^N 分类器。KDIGA 目标为 L_IGA=λ_CEL_CE(f^s(x),y)+λ_KLT²L_KL(f^s(x)/T,f^t(x)/T)+λ_IGA|∇_x L_CE(f^s(x),y)−∇_x L_CE(f^t(x),y)|₂，即在标准 KD 上加输入梯度差的 ℓ2 范数项。
   • 训练流程见 Algorithm 1：每步同时前向师生、各自算 CE 对输入的梯度，三项加权后反向传播。

   与 ARD 结合的两个变体

   • KDIGA-ARDC：ARD 原目标（学生在扰动样本上对教师干净样本做 KL）加干净样本上的 IGA 正则。
   • KDIGA-ARDA：在扰动样本上同时对齐预测与输入梯度。两者内层扰动 δ 由 Eq. 3 的最大化算出。作者称还试过其他变体，未观察到明显差异。

   理论结果

   • Definition 1（δ-robust）：扰动不超过 δ 时 argmax 预测不变。两条假设：完美学生（蒸馏损失处处为 0）；局部线性（分段线性激活网络在认证区域内局部线性）。
   • Proposition 1：教师 δ-robust 且学生为 KDIGA 完美学生时，学生至少 δ-robust；证明在附录 A，并说明无梯度对齐的 KD 因邻域内一阶导不受约束而无法保证鲁棒性。
   • Proposition 2（通用界，无需假设）：|L_CE(f^s(x+ϵ),y)−L_CE(f^t(x+ϵ),y)|≤γ^s+γ^t+ϕ，其中 γ 为师生各自的局部线性度 LLM（Definition 2，CE 与其一阶泰勒展开在 δ 邻域内的最大偏差），φ 含师生 CE 损失与 δ 倍输入梯度差范数。含义：学生鲁棒性受师生 LLM、干净损失和梯度对齐程度共同约束。

   评测方式

   • 指标：clean accuracy 与对 PGD、AutoAttack 的 robust accuracy，ℓ∞ 威胁模型，多档攻击半径。
   • 关键超参数：ImageNet 蒸馏 50 epoch、batch 128；CIFAR-10 200 epoch、batch 125；温度 T=1，λCE=λKL=0.5，λIGA=10/B（B 为 batch size）。

   收起这一问

4. 04论文做了哪些实验？

   ImageNet 与 CIFAR-10 上 KDIGA 学生的鲁棒准确率高于 KD/ST；CIFAR-10 上与 ARD 结合的变体最高，LLM 界与经验趋势一致。

   实验设置

   • 教师模型：ImageNet 用对抗训练的 ResNet50（Engstrom et al., 2019 checkpoint，半径 4/255）和标准训练的 ViT-S/16、ViT-B/16、ViT-L/16、DEIT-S/16；CIFAR-10 用 TRADES 训练的 WideResNet。
   • 学生模型：ImageNet 主要为 ResNet18，另测 ResNet34/50/101 及预训练 ViT-S/16（微调方式，表中记 *）；CIFAR-10 为 MobileNetV2，均从头训练。
   • 基线：标准训练（ST）、标准 KD、ARD（仅 CIFAR-10；作者称 ARD 在 ImageNet 设置下不收敛且训练很慢）。
   • 攻击与指标：ℓ∞ 扰动；ImageNet 用 40 步 PGD 与 AutoAttack 评 1000 个测试样本，半径 0.001–0.01；CIFAR-10 用 20 步 PGD 与 AutoAttack 评全部测试样本，半径 1/255–8/255。指标为 clean accuracy 与 robust accuracy。
   • 训练量：ImageNet 全部蒸馏 50 epoch；CIFAR-10 200 epoch。论文未报告重复次数与方差。

   主结果

   据 Table 1（ImageNet，40 步 PGD，括号内为教师鲁棒准确率）：

   表格较宽，可左右滑动

   模型（方法）	Clean	0.001	0.003	0.005	0.01
   ResNet18 (ST)	68.7	24.9	2.0	0.6	0.0
   ViT-S/16(ST)→ResNet18 (KD)	69.0	30.1	2.9	0.6	0.0
   ViT-S/16(ST)→ResNet18 (KDIGA)	60.0	51.0	32.7	18.0	3.3
   ResNet50(AT)→ResNet18 (KD)	66.3	25.7	1.5	0.0	0.0
   ResNet50(AT)→ResNet18 (KDIGA)	54.2	48.2	37.5	26.5	9.2
   ResNet50(AT)→ResNet101 (KDIGA)	60.3	55.3	44.7	33.1	12.7
   ResNet50(AT)→ViT-S/16* (KDIGA)	77.7	65.3	50.4	33.5	11.1

   • 作者称标准 KD 不保留鲁棒性：半径 0.003 时 KD 学生仅 1.5%（ResNet50(AT) 师）与 2.9%（ViT-S/16 师），教师分别为 59.4% 与 24.6%。
   • 作者称 KDIGA 起关键作用，且鲁棒性可在 CNN 与 ViT 间双向迁移；对预训练 ViT-S/16 微调后 clean accuracy 77.7%，不低于原预训练的 77.6%。
   • 代价：KDIGA 学生的 clean accuracy 低于 KD（如 54.2 对 66.3），论文未就此展开讨论。

   CIFAR-10 结果

   据 Table 3（WideResNet(TRADES)→MobileNetV2，20 步 PGD）：

   表格较宽，可左右滑动

   方法	Clean	2/255	4/255	8/255
   ST	91.82	1.11	0.00	0.00
   KD	92.56	24.63	12.55	5.97
   ARD	91.65	68.34	49.49	20.73
   KDIGA	93.03	44.49	30.16	17.81
   KDIGA-ARDC	92.22	71.76	53.46	25.85
   KDIGA-ARDA	90.67	70.57	52.58	27.50

   • 作者称 KDIGA 的 clean accuracy 在所有方法中最高（93.03），鲁棒准确率与 ARD 相当但无需生成对抗样本、更省计算；论文未报告具体耗时。
   • 两个组合变体鲁棒准确率高于单独 ARD，作者称说明 KDIGA 可与现有方法叠加。
   • 作者指出 ARD 在 λCE=0、λKL=1 时鲁棒准确率更高但 clean accuracy 会下降很多，故统一用 0.5/0.5 的公平设置。

   局部线性界与理论一致性

   • 测了什么：Table 4 在 CIFAR-10 随机 1000 个测试样本上计算各模型的 LLM（半径 4/255 与 8/255）、CE 损失和梯度对齐范数 ‖g s − g t ‖2。
   • 结果：ST 各项最大（llm4/255=12.413，‖g s − g t ‖2=4.099）；KD 的 CE 最低（0.218）但其余项高；KDIGA 的界与 ARD 接近（llm4/255 分别为 2.561 与 1.326）；KDIGA-ARDC 最小（1.081、0.339）。
   • 作者解读：界的大小顺序与 Table 3 的经验鲁棒性一致；KD 只优化干净准确率可解释其鲁棒性迁移失败。

   其他消融与分析

   • 学生容量（Table 1）：ResNet50(AT) 为教师、半径 0.01 时，ResNet18/34/50/101 学生鲁棒准确率分别为 9.2/12.1/12.4/12.7，作者称容量越大结果越好。
   • 非鲁棒教师（Table 2）：DEIT-S/16 教师在 AutoAttack 半径 0.001/0.003/0.005 下为 0.4/0.0/0.0，其 KDIGA 学生 ResNet18 为 50.0/23.7/7.8，作者称学生可超过教师。
   • AutoAttack 补充（Table 2）：趋势与 PGD 一致，如 ResNet50(AT)→ResNet18 在半径 0.003 下为 31.9（教师 42.5）。
   • ViT 教师变体（Table 1）：ViT-B/16、ViT-L/16、DEIT-S/16 蒸馏到 ResNet18 在半径 0.003 下分别为 26.6、28.6、31.5。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未设专门局限章节；实验覆盖 ImageNet 与 CIFAR-10 的图像分类蒸馏，部分设置样本量或 epoch 数有限。

   作者指出的局限与后续方向

   • 论文未专门讨论局限，无 Limitations 或 Future Work 小节。正文明确写出的不足只有两处：ARD 在 ImageNet 设置下不收敛且训练速度很慢，故只在 CIFAR-10 与之对比（Section 4.2）；ImageNet 实验为节省成本只跑 50 epoch，作者称 100 epoch 可能更好（Section 4.2）。

   实验覆盖范围

   • 任务与数据：仅图像分类，数据集为 ImageNet 与 CIFAR-10（Section 4）。
   • 架构：教师与学生覆盖 ResNet、WideResNet、MobileNetV2、ViT/DEIT 共 9 种模型；学生含从头训练与预训练微调两种情形（Section 4.1）。
   • 评测样本：ImageNet 鲁棒准确率基于 1000 个测试样本，CIFAR-10 基于全部测试样本；Table 4 的界用随机 1000 个测试样本计算（Section 4.1、4.4）。
   • 攻击：ℓ∞ 威胁模型下的 PGD（40 步/20 步）与 AutoAttack，多档半径；未使用其他范数或其他攻击。
   • 论文未报告每次实验的重复次数、方差或统计检验，也未报告 KDIGA 相对 KD 的具体训练耗时。

   收起这一问

6. 06总结一下论文的主要内容

   KDIGA 通过对齐师生输入梯度把对抗鲁棒性迁入学生模型，在两个图像数据集上验证了效果并给出理论保证。

   一篇关于知识蒸馏中对抗鲁棒性迁移的方法与理论论文。

   • 问题：作者称标准 KD 只保准确率、保不住教师的对抗鲁棒性；现有 ARD 方法需对全部训练数据生成对抗样本，大规模数据集上代价高。
   • 方法：在 KD 目标中加入师生 CE 损失关于输入的梯度对齐项（KDIGA），不使用对抗样本；另给出与 ARD 结合的 KDIGA-ARDC / KDIGA-ARDA 两个变体。理论上，在完美学生与局部线性假设下证明学生至少继承教师的认证鲁棒半径（Proposition 1），并给出基于局部线性度（LLM）的通用界（Proposition 2）。
   • 结果：ImageNet 上 ResNet50(AT)→ResNet18，PGD 半径 0.003 下鲁棒准确率从 KD 的 1.5% 升至 37.5%（Table 1）；CIFAR-10 上 WideResNet(TRADES)→MobileNetV2，半径 8/255 下从 5.97% 升至 17.81%，KDIGA-ARDA 达 27.50%（Table 3）。
   • 迁移性：作者称鲁棒性可在 CNN 与 ViT 间双向迁移；对预训练 ViT-S/16 微调后鲁棒准确率升至 50.4%（半径 0.003）且 clean accuracy 77.7% 不降；学生容量越大结果越好。
   • 理论验证：CIFAR-10 上各方法的 LLM 界大小顺序与经验鲁棒准确率一致（Table 3、Table 4）。
   • 作者结论：KDIGA 能在保持 clean accuracy 的同时把对抗鲁棒性从教师传给学生，并可与对抗训练类方法叠加；代价是部分设置下 clean accuracy 低于标准 KD。

   收起这一问

相关论文