CARD：为对抗鲁棒性蒸馏闭合师生回路

1. 01这篇论文试图解决什么问题？

   单向蒸馏丢掉学生反馈，弱到强又可能传错；CARD用闭环精炼教师再训同一学生。

   对抗鲁棒蒸馏把教师固定为知识源，蒸馏结束后学生反馈被丢弃；无差别的弱到强对齐又可能把学生错误传给教师。

   • 部署场景：作者称轻量网络因计算和存储成本被用在移动、边缘和嵌入式设备上，但容量有限，难以同时维持干净准确率与对抗鲁棒性。对抗训练可提高鲁棒性，作者称其效果常依赖较大容量和计算成本。
   • 现有不足：作者称现有对抗蒸馏主要改进教师到学生的单向传递，教师全程固定，学生成为传递终点。学生整体仍弱于教师，但其预测以及双方分歧仍可能提供互补信息。
   • 核心难点：把强教师对齐到弱学生预测可能传播错误并损害教师，因此要提高反馈质量，并把精炼集中到更有信息的输入区域。
   • 提出方法：提出闭环框架 CARD。强到弱蒸馏后，用逆对抗反馈和差异最大化精炼教师，再以不变的基础目标把增益转回同一学生；并给出弱到强反馈的样本级充分条件与教师风险上界。
   • 威胁模型：
     • 评测范围：实验考察 white-box 与 transfer-based black-box 鲁棒性。
     • White-box：FGSM、PGD-20、基于 CW margin loss 的 20 步攻击和 AutoAttack 直接对被评模型生成，约束为 ℓ∞、ε=8/255。
     • Black-box：对抗样本在独立训练的 surrogate 上以 PGD-100 或 CW-100 生成，再直接迁到目标学生；生成阶段不访问目标参数或梯度。
     • 判定：报告干净准确率及各攻击下的鲁棒准确率。论文未使用 ASR 这一名称。

   收起这一问

2. 02有哪些相关研究？

   相关工作分对抗训练、对抗鲁棒蒸馏和教师适应与弱到强学习；作者将CARD定位为蒸馏后的闭环。

   对抗训练

   • PGD-AT（Madry et al., 2018）：把对抗训练写成最小最大优化。作者称它已成为广泛采用的基线。
   • 后续工作从调整攻击难度、缓解干净准确率与鲁棒性的权衡、重设计训练目标，以及利用有信息样本和局部邻域结构等方向改进对抗训练。作者称紧凑网络仍难以取得对抗鲁棒性，因而把高容量教师的鲁棒知识蒸馏到轻量学生。

   对抗鲁棒蒸馏

   • ARD（Goldblum et al., 2020）：把鲁棒教师监督纳入学生的对抗训练。
   • 后续方法用鲁棒软标签或自适应引导改进监督，或对齐特征、梯度或对抗轨迹。PeerAiD 与学生联合训练在线 peer tutor；AdaAD 用教师—学生差异，为学生训练生成自适应对抗样本。
   • 作者称这些方法仍主要把学生当作知识接收者，而不是蒸馏后精炼教师的反馈源。AdaAD 与 CARD 都用差异，但作者称用途不同：AdaAD 用它生成学生训练样本，CARD 在单独的弱到强阶段用差异最大化定位扰动输入，再以冻结学生的预测精炼教师。

   教师适应与弱到强学习

   • PeerAiD 与 CIARD（Lu et al., 2025）不再把监督模型严格固定。作者称 CIARD 采用含干净教师与鲁棒教师的多教师循环，并在学生训练期间迭代更新鲁棒教师；这类方法让监督模型与学生学习同时适应。
   • 弱到强学习（Burns et al., 2024 等）：研究较弱模型的监督能否改进更强模型。作者称已有工作通常以改进强模型本身为目标。
   • 作者把 CARD 与上述设定分开：精炼发生在学生完成初始对抗蒸馏之后；冻结学生以提供稳定反馈，并与仍在变化的学生训练动态解耦。改进教师只是中间步骤，最终仍是提高紧凑学生的鲁棒性。

   基线与基准

   • 对抗训练对照为 PGD-AT、TRADES、ST；蒸馏对照为 ARD、RSLAD、IAD、AdaAD、PeerAiD、AdaAD+IGDM。数据集为 CIFAR-10、CIFAR-100 和固定十类子集 TinyImageNet-10。

   作者将 CARD 定位为：保留原有学生蒸馏目标，把单向鲁棒性传递扩展为蒸馏之后的教师—学生反馈闭环。

   收起这一问

3. 03论文如何解决这个问题？

   CARD先强到弱蒸馏，再以逆对抗反馈和差异最大化精炼教师，最后用原目标把增益转回同一学生。

   CARD 把单向对抗鲁棒蒸馏改成三阶段闭环：强到弱蒸馏、弱到强教师精炼、再把教师增益转回同一学生。学生侧始终使用所选基础方法的目标，记为 L_base；主实例取 AdaAD。其他对抗蒸馏目标可替换，且不改变后续流程。Figure 1 用雪花和火焰分别表示冻结与可训练网络。

   问题设定与三阶段

   • 输入为训练集、预训练鲁棒教师 T^(0) 和初始化的紧凑学生 S^(0)。允许扰动是以干净输入为中心的 ℓ∞ 球，预算为 ε，扰动后输入仍须落在合法范围内。
   • 阶段 1：冻结 T^(0)，按基础方法的目标与对抗样本生成过程训练 E1 个 epoch，得到 S^(1)。作者称这一阶段还要产出已吸收教师鲁棒知识、可作反馈源的学生。
   • 阶段 2：冻结 S^(1)，教师从 T^(0) 开始可训练，精炼 E_T 个 epoch，得到 T^(1)。只更新教师参数。
   • 阶段 3：冻结 T^(1)，从 S^(1) 的检查点而不是新初始化继续训练 E2 个 epoch，基础目标不变，得到最终学生 S^(2)。流程见 Algorithm 1 与 Figure 2。

   弱到强教师精炼

   • 逆对抗反馈：在扰动集内最小化学生相对真实标签的交叉熵，得到 x_inv，再用该预测通过 KL 散度监督教师在对应干净输入上的输出。这与增大分类损失的标准对抗样本相反。零扰动可行，故精确内层最小化保证该交叉熵不高于干净输入上的值。作者写明这不保证每条预测都正确。
   • 差异最大化：在扰动集内最大化“学生干净预测”与“扰动输入上教师预测”的 KL，得到 x_adv。鲁棒分支把教师在 x_adv 上的预测对齐到学生的干净预测。
   • 精炼目标为 L_refine=L_rob+λ L_nat（λ≥0）。L_rob 是 S^(1)(x) 与 T^(1)(x_adv) 的 KL，L_nat 是 S^(1)(x_inv) 与 T^(1)(x) 的 KL。
   • 实验实例：教师精炼 20 个 epoch，SGD，动量 0.9，权重衰减 2×10−4，批大小 128。学习率初值 0.02，第 10 个 epoch 后为 0.01，第 18 个 epoch 后为 0.001。KL 温度 τ=1.0。两类内层优化均为 10 步、步长 2/255、ε=8/255。按验证表现，第一轮 λ=0.2，第二轮 λ=0.7。

   增益回传

   • 精炼教师不是最终目标。阶段 3 用 T^(1) 替换 T^(0)，从 S^(1) 继续训练，以保留初始蒸馏已学到的知识。
   • 学生侧沿用基础方法的蒸馏目标与对抗样本生成过程；除非另有说明，方法相关超参数保持不变。主实验中增益回传再训练 30 个 epoch。
   • Once 是一整轮精炼加回传。Twice 从上一次得到的教师和学生再跑一轮。论文把 E1 列为算法参数，但实验设置未给出具体轮数，只写初始阶段遵循对应基础方法。

   弱到强反馈的可靠性

   • 对真实类 y，反馈边际 m(q, y) 是 q 在 y 上的概率减去其余类的最大概率。正边际表示该反馈预测为 y。
   • Theorem 1：若边际为正，且 D_KL(q|p)<m(q,y)²/2，则对齐后的教师输出仍把 y 预测为最大类。作者称该条件与双方容量无关，也不表示学生整体优于教师。
   • 自然分支取 q 为学生在 x_inv 上的预测、p 为教师在干净输入上的输出；鲁棒分支取 q 为学生的干净预测、p 为教师在 x_adv 上的输出。
   • Theorem 2 给出分布级上界：精炼后教师风险不超过学生反馈风险，加上“边际为正但 KL 仍不小于边际平方之一半”的概率，并可用一个期望项控制，上界不超过 1。作者写明该上界本身不保证风险一定下降；是否低于精炼前教师风险，要在同一输入分布上比较。鲁棒分支刻画的是差异选出的扰动输入，不是整个扰动集上的最坏情况鲁棒性。

   收起这一问

4. 04论文做了哪些实验？

   多数白盒与迁移设置鲁棒准确率上升且干净准确率多保持，但PGD-20等有下降，二次循环不总更好。

   实验设置

   • 模型：预训练鲁棒教师为 WideResNet-28-10 与 WideResNet-34-10。学生为 ResNet-18 与 MobileNet-V2；TinyImageNet-10 主表学生仅为 ResNet-18。结果表中的教师行方法为 ST。
   • 数据：CIFAR-10 与 CIFAR-100 各 50000 张训练、10000 张测试、32×32，类别数为 10 与 100，用原始划分，不另加训练数据。TinyImageNet-10 是 TinyImageNet 的固定 10 类，每类 500 张训练图和 50 张验证图，共 5000/500，分辨率 64×64，全部实验用同一子集。训练用 padding 为 4 的随机裁剪和随机水平翻转；评估不做增强。
   • 对照：PGD-AT、TRADES、ST、ARD、RSLAD、IAD、AdaAD、PeerAiD、AdaAD+IGDM，按已发表协议复现。CARD 主实例接在 AdaAD 与 AdaAD+IGDM 上；TinyImageNet-10 另有 Ours-ARD (Once)。CARD 从初始蒸馏的学生检查点直接开始精炼。
   • CARD 训练：教师精炼 20 epoch；增益回传再训练学生 30 epoch。内层优化 10 步、步长 2/255、ε=8/255。主实验第一轮 λ=0.2，第二轮 λ=0.7。
   • White-box：干净准确率，以及 FGSM、PGD-20、CW-20、AutoAttack（含 APGD-CE、APGD-DLR、FAB、Square Attack）。攻击直接针对被评模型，ℓ∞、ε=8/255；PGD-20 与 CW-20 步长 2/255。对照与对应 CARD 使用同一攻击配置。
   • 迁移：surrogate 上生成 PGD-100 与 CW-100（ε=8/255、步长 2/255）再迁到目标学生。鲁棒 surrogate 为 ResNet-18、VGG-19、MobileNet-V2；自然训练 surrogate 为 ResNet-18、MobileNet-V2、VGG-19、ResNet-50、DenseNet-169、WRN-34-10。同一配置下各方法共用同一批迁移样本。论文未报告重复次数。

   主结果

   教师为 WRN-34-10 时，基础方法与 CARD 一次循环的 AutoAttack 准确率（%）：

   表格较宽，可左右滑动

   数据 / 学生	AdaAD	CARD-AdaAD	AdaAD+IGDM	CARD-IGDM
   CIFAR-10 / ResNet-18	52.02	52.22	52.65	53.10
   CIFAR-10 / MobileNet-V2	49.95	50.02	50.34	50.37
   CIFAR-100 / ResNet-18	27.80	28.19	28.17	29.00
   CIFAR-100 / MobileNet-V2	25.55	26.40	27.44	27.74
   TinyImageNet-10 / ResNet-18	59.40	59.40	59.80	60.80

   据 Table 2、Table 3、Table 4。CARD-AdaAD、CARD-IGDM 即 Ours-AdaAD (Once)、Ours-AdaAD+IGDM (Once)。

   • 作者称 CARD 在多数评测设置中提高对抗鲁棒性，并通常保持干净准确率。在 CIFAR-100 上，作者称一次循环相对 AdaAD 与 AdaAD+IGDM，两种学生的干净准确率和各鲁棒指标都提高。
   • Table 2 中，作者称 ResNet-18 的 IGDM 版 CARD 在该组学生方法里 FGSM、PGD-20、CW-20、AA 最高，分别为 61.89%、56.73%、54.50%、53.10%。Table 4 中，作者称该变体在四种攻击下的学生鲁棒准确率最高，AA 为 60.80%，干净准确率为 78.80%，对应基线为 77.40%。
   • 作者同时报告例外。CIFAR-10、WRN-34-10、ResNet-18 上，CARD-AdaAD 一次的 PGD-20 相对 AdaAD 下降 0.49 个百分点（表中 55.68% 与 56.17%），二次循环再降 0.29 个百分点。Table 1（WRN-28-10，MobileNet-V2）中，IGDM 版干净准确率 79.71%，作者称下降 1.68 个百分点；AdaAD 版 PGD-20 为 53.89%，作者称下降 0.14 个百分点。TinyImageNet-10 上，Ours-ARD 的 AA 为 55.40%，作者称相对 ARD 下降 1.00 个百分点，干净准确率则为 82.80%。

   迁移黑盒

   • 测了什么：CIFAR-100，教师 WRN-34-10，目标学生 ResNet-18。Table 5 为三个鲁棒 surrogate；Table 6–7 为六个自然训练 surrogate。攻击为 PGD-100 与 CW-100。
   • 结果：作者报告，相对 AdaAD，CARD 两次在 Table 5 全部 6 个 surrogate–攻击组合上提高 0.52–1.02 个百分点；IGDM 版一次相对 AdaAD+IGDM 在这 6 组上提高 0.17–0.47 个百分点。相对 AdaAD，一次循环在 Table 6–7 全部 12 组上提高 0.59–0.82 个百分点，两次为 0.57–1.03 个百分点。Table 5 中，IGDM 版一次在鲁棒 ResNet-18 代理的 PGD-100 上为 40.20%。
   • 作者解读：作者称面对多种鲁棒与自然训练 surrogate，迁移鲁棒性有一致提高。Table 6–7 未列出 IGDM 版 CARD。

   组件与监督信号

   • 循环组件（Table 8，CIFAR-100，WRN-34-10，MobileNet-V2，AdaAD）：S2W Only 的干净 / CW-20 / AA 为 57.09% / 27.55% / 26.15%；完整 CARD 为 58.24% / 28.11% / 26.40%；AdaAD 为 57.95% / 27.00% / 25.55%。作者称不能只归因于额外学生训练。作者给出的差值：S2W Only 相对 AdaAD，CW-20、AA 提高 0.55、0.60 个百分点，干净准确率下降 0.86 个百分点；再加上弱到强精炼后，相对 S2W Only 再提高 1.15、0.56、0.25 个百分点。
   • 监督信号（Table 10，同一数据与教师，学生为 ResNet-18，数字是回传后的学生）：作者称完整 CARD 在 PGD-20、CW-20、AA 上最高，为 33.03% / 29.75% / 28.19%，干净准确率 59.66%。GT Only 干净准确率 61.85%，PGD-20 与 AA 为 26.30%、23.64%；作者称相对 AdaAD 的 32.57%、27.80% 分别下降 6.27 和 4.16 个百分点。作者称其余替代信号都没有在全部报告指标上超过原 AdaAD。
   • 混淆矩阵（Figure 5，CIFAR-10，WRN-28-10，ResNet-18；两类扰动输入均为 10 步）：作者称各模型在逆对抗输入上准确率超过 96%，预测集中在主对角线。精炼把教师的干净与对抗准确率从 84.57%、58.32% 提高到 84.63%、59.10%。最终学生相对 AdaAD，干净输入从 84.05% 到 84.15%，对抗输入从 56.57% 到 56.74%。论文未写明此处对抗准确率对应哪一种攻击。作者认为，逆对抗收益下降而对抗准确率提高，对应于对输入扰动不那么敏感，并称这与 Theorem 1、2 一致。

   其他消融与分析

   • 分离相对联合优化（Table 9，CIFAR-100，WRN-34-10，MobileNet-V2，30 epoch）：干净 / PGD-20 / CW-20 / AA 为 58.24% / 31.30% / 28.11% / 26.40%，联合为 56.93% / 31.23% / 28.00% / 26.30%；作者称差值分别为 1.31、0.07、0.11、0.10 个百分点。
   • λ（Figure 3，CIFAR-10，WRN-28-10，ResNet-18）：作者称增大 λ 通常提高精炼教师的自然准确率、降低其鲁棒准确率，回传后的学生变化较小；文本未给曲线端点。验证取第一轮 0.2、第二轮 0.7。
   • CIFAR-100、ResNet-18、AdaAD 的 Twice 相对 Once：干净与 FGSM 各升 0.02 个百分点，PGD-20、CW-20 降 0.08、0.13 个百分点，AA 仍为 28.19%（Table 3）。作者称额外循环不一定各项都更好。
   • Table 2 中 ResNet-18、AdaAD 的二次循环相对一次：作者称干净、FGSM、CW-20、AA 增加 0.04、0.42、0.32、0.12 个百分点。Table 1 中作者称 AdaAD 版二次循环相对一次略降 PGD-20 与 AA，表中为 55.62%、52.22%，一次为 55.89%、52.26%。
   • Table 10 的 AA：Student Clean 27.96%，Student Inverse 27.73%，Teacher Inverse 26.74%，w/o Refinement 27.92%，均低于 Ours-AdaAD (Once) 的 28.19%。Grad-CAM（Figure 4）仅有作者表述：CARD 学生在可视化样例上更集中于物体相关区域，且与鲁棒教师更相似；文本转换看不到热图。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出评测限于较小规模图像分类和ℓ∞攻击，额外阶段增加成本，提升也不一致。

   作者指出的局限与后续方向

   • 当前评测限于相对小规模的图像分类基准（第 5 节）。
   • 主要考虑 ℓ∞ 有界攻击（第 5 节）。
   • 额外的精炼与增益回传阶段带来额外训练成本（第 5 节）。
   • 提升在不同攻击和基础蒸馏方法上并不一致（第 5 节）。
   • 作者计划研究开销更低的精炼策略、更大规模的模型与数据集、更广的威胁模型，以及能更好决定何时、如何用学生知识精炼教师的自适应反馈（第 5 节）。

   实验覆盖范围

   • 数据集为 CIFAR-10、CIFAR-100（各 50000 训练 / 10000 测试，32×32）和 TinyImageNet-10（10 个固定类，5000 训练 / 500 评估，64×64），划分见第 4.1.1 节。
   • 教师为 WRN-28-10（CIFAR-10，Table 1）和 WRN-34-10（Table 2–7）；学生为 ResNet-18 与 MobileNet-V2，TinyImageNet-10 主表学生为 ResNet-18。
   • 主实验把 CARD 接在 AdaAD 与 AdaAD+IGDM 上，并含 Once；ResNet-18 的 AdaAD 版另有 Twice。TinyImageNet-10 另有 Ours-ARD (Once)（Table 4）。
   • White-box 为 FGSM、PGD-20、CW-20、AutoAttack，ε=8/255。迁移黑盒在 CIFAR-100、目标学生 ResNet-18 上，使用第 4.1.4 节的鲁棒与自然训练 surrogate，攻击为 PGD-100 与 CW-100。
   • 组件、监督信号和联合/分离优化在 CIFAR-100（Table 8–10），λ 分析在 CIFAR-10（Figure 3）。论文未报告阶段 1 的具体轮数 E1，也未报告重复次数。

   收起这一问

6. 06总结一下论文的主要内容

   CARD以闭环用学生反馈精炼教师再训学生；作者称多数设置提高对抗鲁棒性并通常保持干净准确率。

   CARD 把对抗鲁棒蒸馏从固定教师的单向传递，改成蒸馏后的闭环：学生反馈精炼教师，再把增益转回同一紧凑学生。

   • 问题：轻量模型难以兼得干净准确率与对抗鲁棒性。现有蒸馏多把鲁棒教师固定为知识源；直接用弱学生监督强教师又可能传播错误。
   • 做法：先用既有目标（主实例为 AdaAD）做强到弱蒸馏。再冻结学生，以逆对抗预测监督教师的干净输入，并把教师对齐到差异最大扰动上的学生干净预测。最后冻结精炼教师，从原学生检查点用同一基础目标继续训练。Theorem 1 给出保持正确预测的样本级充分条件；Theorem 2 给出教师风险上界。作者写明该上界不保证风险一定下降。
   • 主结果：WRN-34-10 教师下，IGDM 版一次的 AA 在 CIFAR-10 / ResNet-18 为 53.10%（Table 2），CIFAR-100 / ResNet-18 为 29.00%（Table 3），TinyImageNet-10 / ResNet-18 为 60.80%（Table 4）。作者称 CIFAR-100 上一次循环对两种学生、相对 AdaAD 与 AdaAD+IGDM，干净和鲁棒指标都提高。迁移实验中，作者报告两次循环相对 AdaAD，在鲁棒 surrogate 的 6 组上提高 0.52–1.02 个百分点（Table 5）。
   • 例外与作者结论：部分设置的 PGD-20 下降；TinyImageNet-10 的 AdaAD 版与 ARD 版有指标取舍，Ours-ARD 的 AA 为 55.40%。二次循环不总是更好。作者称蒸馏后的学生可以向教师提供有用反馈，使鲁棒性传递超出单向范式；同时写明评测规模、ℓ∞ 攻击、额外训练成本和提升一致性仍是限制。

   收起这一问

相关论文