桥接损失景观中的模式连接与对抗鲁棒性

1. 01这篇论文试图解决什么问题？

   用 mode connectivity 修复被后门/错误注入篡改的模型，并分析 evasion 攻击下的鲁棒性损失景观。

   核心问题：用户拿到可能被篡改的预训练模型且只有少量干净数据，如何消除后门或注入错误同时保住模型精度；以及常规模型与对抗鲁棒模型在损失景观上是否连通。

   • 问题场景：训练 DNN 成本高，用户常直接使用公开预训练模型再做微调，但这些模型可能被攻击者篡改；以后门攻击为例，被篡改模型在没有触发器时表现正常，难以检测（Section 1）。
   • 现有方法不足：作者称多数后门防御研究集中在检测后门或过滤异常训练样本后重训，而非直接修复模型（Section 2.2）；mode connectivity 研究主要关注泛化分析和模型集成，其对对抗鲁棒性的含义" largely unexplored"（Section 2.1）。
   • 核心观察：mode connectivity 能在两个独立训练的模型间找到高精度低损失路径，路径上存在大量表现相近的模型；作者假设这条路径上存在既保持干净数据精度又不受篡改影响的模型。
   • 论文提出：用少量 bonafide 数据训练连接两个被篡改模型的路径，取路径上的模型作为修复模型；并用同一框架分析 evasion 攻击下标准损失与鲁棒性损失景观，及鲁棒性损失与 input Hessian 最大特征值的相关性。
   • 威胁模型：
     • 攻击者目标：训练阶段植入后门（10% 训练数据投毒，单目标或全目标标签）使触发样本误分类；或推理阶段向模型权重注入错误（fault sneaking attack），使 4 个目标样本误分类。
     • 攻击者知识（自适应设置）：知道防御使用 path connection，可使用与防御方相同的路径训练损失，但无法破坏用户私有的 bonafide 数据（Section 3.2、附录 J）。
     • 受害系统：用户持有的两个（或一个）可能被篡改的预训练模型，用户另有少量 bonafide 数据。
     • evasion 攻击为推理阶段威胁：PGD 生成对抗样本，ε=8/255、10 次迭代。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：mode connectivity、三类对抗攻击及其防御、对抗鲁棒性的几何与"no free lunch"研究。

   Mode connectivity 与损失景观

   • Garipov et al. (2018)、Gotmare et al. (2018)、Draxler et al. (2018)——提出并发展了 mode connectivity：两个独立训练的同架构模型可用简单曲线（polygonal chain、Bezier 曲线）连接成高精度低损失路径；Garipov et al. (2018) 还用它设计了快速模型集成方法。本文的路径训练目标（公式 1、2）和曲线参数化（公式 3、4）直接沿用这一系列工作。
   • Yu et al. (2018)——从输入空间决策面的角度解释对抗鲁棒性。论文指出该工作"scratched the surface"，只考虑 evasion 攻击，而本文覆盖训练阶段攻击并提出修复方法。

   后门、evasion 与错误注入攻击及防御

   • 后门攻击：Gu et al. (2019)（BadNets，本文后门攻击的实现依据）、Liu et al. (2018)；防御方面 Chen et al. (2018)、Wang et al. (2019)、Tran et al. (2018) 主要做后门检测或过滤异常样本重训，论文指出本文目标是直接修复被后门化的模型。
   • evasion 攻击：Goodfellow et al. (2015)、Carlini & Wagner (2017)、Madry et al. (2018)（PGD，本文 evasion 攻击与对抗训练的实现依据）；黑盒与迁移攻击 Papernot et al. (2017)、Chen et al. (2017)、Zhao et al. (2020)。
   • 错误注入攻击：Liu et al. (2017)、Zhao et al. (2019b)（fault sneaking attack，本文错误注入的实现依据），硬件层面可由 laser beam（Barenghi et al., 2012）和 row hammer（Van Der Veen et al., 2016）实现。

   对抗鲁棒性的几何与理论

   • Fawzi et al. (2017; 2018)、Wang et al. (2018b)、Yu et al. (2018)——从几何角度研究 DNN 对抗鲁棒性。
   • Tsipras et al. (2019)、Dohmatob (2018)、Bubeck et al. (2019)——"no free lunch"假说：对抗鲁棒模型不可能不付出额外代价获得；本文称鲁棒性损失屏障为这一假说提供了几何证据。
   • Moosavi-Dezfooli et al. (2019)——经验验证了输入梯度与 input Hessian 最大特征向量高度对齐，支撑本文 Proposition 1 中 c 通常很大的假设。

   基线与基准：对比基线为 fine-tune、train from scratch、prune（Li et al., 2017 的 filter pruning）和 random Gaussian perturbation（noisy model）；数据集为 CIFAR-10、SVHN（附录 N 另有 CIFAR-100），架构为 VGG16 和 26 层 Preactivation-ResNet。

   作者定位：据其所知这是"the first work"提出用 mode connectivity 方法研究对抗鲁棒性（Section 1，作者称）。

   收起这一问

3. 03论文如何解决这个问题？

   用少量 bonafide 数据训练连接两个被篡改模型的 Bezier 曲线路径，取路径上的模型作为修复模型；同一框架用于分析鲁棒性损失景观。

   整体思路：把 mode connectivity 当作"模型修复"工具——两个被同样方式篡改的模型虽然端点有毒，但用干净数据训练出的连接路径中段模型可以既保持干净精度又摆脱篡改影响；同一框架也用于刻画 evasion 攻击下的鲁棒性损失景观。方法沿用 Garipov et al. (2018) 的 mode connectivity 框架。

   路径连接的形式化

   • 设 w1、w2 为两个独立训练的模型权重，ϕ_θ(t)（t∈[0,1]）为两端分别等于 w1、w2 的参数曲线。训练目标是 L(θ) = E_{t∼ U(0,1)}[l(ϕ_θ(t))]，即在曲线上均匀采样的模型的期望损失，l 为交叉熵损失。
   • 曲线采用二次 Bezier 曲线：ϕ_θ(t) = (1−t)² w₁ + 2t(1−t)θ + t² w₂，θ 为唯一可训练参数（公式 4）。

   修复被篡改模型的问题设定

   • 两个被篡改模型：用户持有两个以同样方式被篡改（同一份投毒数据或同一组目标样本）的模型和少量 bonafide 数据，用 bonafide 数据训练路径，选取路径上某个 t 的模型作为修复模型。
   • 只有一个被篡改模型的扩展：先用 bonafide 数据（2000 张图、100 epochs）微调该模型，再连接原模型与微调模型（附录 G）。
   • t 的选择策略（附录 Q）：用户观测不到攻击错误率，建议选测试精度不低于端点模型精度减去阈值 ∆a 的模型；能访问完整测试集时建议 ∆a=6%，只能用 bonafide 数据时用 5-fold 交叉验证估计并建议 ∆a=10%。

   攻击实现

   • 后门攻击：按 Gu et al. (2019)（BadNets）实现，随机选 10% 训练图像在右下角加白色方块触发器并改标签；单目标攻击目标标签固定为 class 1，全目标攻击目标标签为原标签加 1 模 9（Section 3.2、附录 C）。
   • 错误注入攻击：采用 fault sneaking attack（Zhao et al., 2019b），从测试集选 1000 张图，其中 4 张为目标样本，通过修改模型权重使这 4 张被误分类到指定目标标签、其余 996 张分类保持不变（附录 C）。
   • evasion 攻击：对路径上 t={0.1,…,0.9} 的 9 个模型用 PGD（l∞ 范数，ε=8/255，10 次迭代）在整个测试集上生成非目标对抗样本；鲁棒性损失定义为对抗样本预测与原始标签的交叉熵（Section 3.4）。

   鲁棒性损失景观与相关性分析

   • 用整个训练集以标准交叉熵损失训练路径，比较三类模型对：常规-常规、常规-对抗训练、对抗训练-对抗训练（对抗训练用 PGD，ε=8/255、10 次迭代）。
   • 计算路径上各模型的 input Hessian（损失对输入的二阶导）最大特征值 λmax(t)，用 power iteration 计算，收敛到相对误差 1E-4（附录 K）。
   • Proposition 1：在标准损失在路径上为常数、损失可被二阶 Taylor 展开近似、且输入梯度与最大特征向量归一化内积为 c 的假设下，oracle 鲁棒性损失 max l(w(t), x+δ) 在 c→1 时与 λmax(t) 成正比；证明见附录 L。

   技术解释与自适应攻击

   • 权重空间探索：对被篡改模型加高斯噪声生成 1000 个噪声模型，检验好模型是否可能随机得到（附录 H）。
   • 输入梯度相似度：比较路径上模型与端点模型在干净数据和被篡改数据上的输入梯度余弦相似度，解释路径为何能中和后门效果（附录 I）。
   • 自适应攻击：攻击者用投毒数据训练一条全路径皆被篡改的"坏路径"并释放其端点模型，防御方再用 bonafide 数据连接这两个模型（附录 J）。

   收起这一问

4. 04论文做了哪些实验？

   在 CIFAR-10/SVHN、VGG/ResNet 上评测路径连接对后门、错误注入的修复效果和 evasion 下的损失景观，含自适应攻击与多组消融。

   实验设置

   • 被测模型：VGG16（13 卷积层+3 全连接层）和 26 层 Preactivation-ResNet；未篡改模型干净测试精度见 Table A1（如 CIFAR-10 上 VGG 为 88%/86%，SVHN 上 ResNet 为 97%/99%）。
   • 数据集：CIFAR-10、SVHN；附录 N 补充 CIFAR-100（VGG）。
   • 攻击设置：后门攻击投毒 10% 训练数据（单目标/全目标）；错误注入攻击注入 4 个目标样本错误；evasion 用 PGD（ε=8/255，10 次迭代）。
   • 基线：fine-tune、train from scratch、prune（VGG 剪约 60% 参数、ResNet 约 20%）、noisy model（对两个端点模型加零均值高斯噪声，重复 50 次取平均）。
   • 指标：clean accuracy（标准测试精度）、backdoor/injection accuracy（即攻击成功率）、鲁棒性损失、input Hessian 最大特征值及 PCC。
   • 样本量与训练：路径连接与基线均训练 100 epochs；bonafide 数据量为 2500/1000/500/250/50；后门与错误注入的评测用 5000 张不重叠的干净/触发测试图（Table 1 注）；稳定性实验为 10 次重复（附录 P）。

   主结果

   单目标后门攻击下的修复效果（据 Table 2，路径连接取 t=0.1（CIFAR-10）/t=0.2（SVHN））：

   表格较宽，可左右滑动

   数据集(架构)	指标	方法	2500	250	50
   CIFAR-10 (VGG)	clean acc	路径连接	88%	77%	63%
   CIFAR-10 (VGG)	clean acc	fine-tune	84%	74%	46%
   CIFAR-10 (VGG)	backdoor acc	路径连接	1.1%	3.3%	2.5%
   CIFAR-10 (VGG)	backdoor acc	fine-tune	1.5%	1.9%	2.8%
   CIFAR-10 (VGG)	backdoor acc	prune	43%	79%	82%
   SVHN (ResNet)	clean acc	路径连接	96%	89%	82%
   SVHN (ResNet)	backdoor acc	路径连接	2.5%	4.3%	16%
   SVHN (ResNet)	backdoor acc	fine-tune	14%	63%	60%

   • 作者称路径连接在各架构和数据集上一致地保持干净精度并把攻击成功率降到接近 0%；Figure 2 显示 t∈[0.1,0.9] 的大多数模型对后门攻击有韧性。
   • fine-tune 是最好基线：CIFAR-10 上干净精度低于路径连接（50 条数据时低 17 个百分点）；SVHN 上干净精度可持平但 backdoor accuracy 更高（250 条数据时高 58.7 个百分点）。
   • noisy model 基线无效（backdoor accuracy 91%–97%），prune 干净精度高但几乎不能降低 backdoor accuracy（Table 2）。

   错误注入攻击的清除

   • 测了什么：同样设置下连接两个被注入 4 个错误的模型。结果：路径连接在所有数据量下 injection accuracy 为 0%，且 clean accuracy 最高（CIFAR-10 VGG 上 2500 条数据时 92%，50 条时 88%，Table 3）。
   • 基线中只有 train from scratch 同样达到 0% 攻击成功率，但干净精度低（50 条数据时 10%）；fine-tune 和 prune 在部分设置下残留 25% 攻击成功率（Table 3）。
   • 作者称这展示了 mode connectivity 用于寻找精确且对抗鲁棒模型的新应用。

   evasion 攻击下的鲁棒性损失景观

   • 测了什么：CIFAR-10 (VGG) 上用标准损失训练路径，连接常规-常规、常规-对抗训练、对抗训练-对抗训练三对模型，测标准损失、鲁棒性损失、PGD 攻击成功率和 λmax(t)（Figure 4）。
   • 结果：三种情况下标准损失均无屏障；鲁棒性损失在常规与对抗训练模型之间出现屏障（hill），双对抗训练模型路径中段模型鲁棒性也不及两端。λmax(t) 与鲁棒性损失的 PCC 分别为 0.71、0.88、0.86（Figure 4 标题）。
   • 作者解读：屏障为"no free lunch"假说提供几何证据；标准损失训练的路径上"essentially no better adversarially robust models"。附录 M 的 robust connection（对抗训练路径）下常规-鲁棒模型对之间仍有屏障，PCC 为 0.98/0.98/0.94（Figure A14）。

   自适应攻击

   • 测了什么：攻击者用投毒数据训练整条"坏路径"并释放端点模型，防御方再用干净数据连接（附录 J，CIFAR-10 VGG，单目标后门）。
   • 结果：被释放路径上攻击错误率低于 5%（10000 测试样本，Figure A12(a)）；防御方重连后 t∈[0.25,0.75] 的模型可被修复，路径连接（t=0.27）在 2500 条数据时 clean accuracy 90%、backdoor accuracy 3.8%，优于各基线（Table A4）。作者称自适应攻击减少了路径上鲁棒模型的比例但未打破防御。错误注入的 path-aware 版本同样可被清除（Figure A13）。

   其他消融与分析

   • 单模型扩展：只有一个被篡改模型时，先微调再连接，250 条数据时触发样本错误率在 t=0.25 即达 100%（附录 G，Figure A7）。
   • 不同投毒比例（30% 与 10%）的两个后门模型连接仍有效（附录 G，Figure A9）。
   • 权重空间探索：1000 个高斯噪声模型干净精度低、攻击成功率高，作者称好模型不太可能随机得到（附录 H，Figure A10）。
   • 输入梯度相似度：路径中段模型在触发/注入数据上的梯度相似度低于干净数据，作者称这说明路径连接中和了后门效果（附录 I，Figure A11）。
   • 模型集成：路径上随机取模型做集成，PGD 攻击成功率从 85% 降到 79%，作者称提升不大，可能因对抗样本可迁移性（附录 M）。
   • 稳定性：CIFAR-10 (ResNet) 后门设置下 10 次重复，t=0.2、2500 条数据时 clean accuracy 87±0.21%、backdoor accuracy 1.2±0.47%（附录 P，Table A5）。
   • CIFAR-100 (VGG)：后门与错误注入修复结论一致；evasion 下常规-常规与常规-对抗训练连接的 PCC 为 0.74/0.98（附录 N，Figure A16）。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未设专门局限章节；实验覆盖三种攻击、两个架构和三个数据集，自适应攻击与稳定性各有专门验证。

   作者指出的局限与后续方向

   • 论文未专门讨论局限（无 Limitations 小节）。与覆盖范围相关、作者明确写出的两处：附录 N 称 CIFAR-100 上对抗训练的效果"not as significant as that on CIFAR-10"，因此未研究 CIFAR-100 上两个对抗训练模型的连接；附录 Q 指出 50 张图的 bonafide 数据在 5-fold 交叉验证下偏差较大，建议使用更大的 bonafide 数据量。

   实验覆盖范围

   • 被测模型为 VGG16 和 26 层 Preactivation-ResNet 共 2 个架构；数据集为 CIFAR-10、SVHN，附录 N 补充 CIFAR-100（仅 VGG）（Section 3、附录 A、N）。
   • 后门攻击为 BadNets 式触发器（10% 投毒、单目标/全目标两种）；错误注入攻击仅注入 4 个目标样本；evasion 攻击仅 PGD（ε=8/255、10 次迭代）（Section 3.2–3.4）。
   • 对比基线为 fine-tune、train from scratch、prune、noisy model 共 4 个；自适应攻击评测覆盖后门与错误注入两类，设定为攻击者知道防御且可用相同路径训练损失（Section 3.2、附录 J）。
   • 重复次数：noisy model 基线重复 50 次取平均；路径连接的稳定性仅在 CIFAR-10 (ResNet) 后门一个设置下做 10 次重复并报告标准差，附录 P 称对所有设置做稳定性分析成本高，故只跑了一个代表性设置。
   • 论文未报告路径连接的训练耗时或计算开销（仅附录 A 说明使用 6 块 GTX 1080Ti GPU）。

   收起这一问

6. 06总结一下论文的主要内容

   作者称 mode connectivity 可用少量干净数据修复被篡改模型，并揭示常规与鲁棒模型间的鲁棒性损失屏障。

   一篇 ICLR 2020 论文，把 mode connectivity 从泛化分析工具转为对抗鲁棒性的评估与修复手段，作者称这是首个将 mode connectivity 用于对抗鲁棒性的工作。

   • 要解决的问题：公开预训练模型可能被植入后门或注入错误且难以检测，用户只有少量 bonafide 数据，需要既能保住干净精度又能消除对抗影响的修复工具；同时对抗鲁棒性在损失景观上的几何结构尚不清楚。
   • 方法要点：用二次 Bezier 曲线连接两个被同样篡改的模型，仅以少量 bonafide 数据（50–2500 条）最小化路径上均匀采样模型的交叉熵损失，取路径中段模型作为修复模型；同一框架用于分析 evasion 攻击下的标准/鲁棒性损失景观。
   • 后门修复：CIFAR-10 (VGG) 单目标后门下，50 条 bonafide 数据时路径连接保持 63% clean accuracy、backdoor accuracy 仅 2.5%，而 prune 基线 backdoor accuracy 达 82%（Table 2）；SVHN (ResNet) 250 条数据时 fine-tune 的 backdoor accuracy 比路径连接高 58.7 个百分点。
   • 错误注入清除：路径连接在所有数据量下把 4 个注入错误的攻击成功率降到 0%，且 clean accuracy 高于其他有效基线（Table 3）。
   • 鲁棒性损失景观：常规与对抗训练模型之间的路径上标准损失平坦但鲁棒性损失存在屏障，作者称其为"no free lunch"假说的几何证据；鲁棒性损失与 input Hessian 最大特征值的 PCC 达 0.71–0.88（Figure 4），并给出 Proposition 1 的理论解释。
   • 作者的结论：路径连接对知道防御机制的自适应攻击仍有韧性（附录 J），在两种架构和多个数据集上结论一致；作者认为 mode connectivity 是评估和提升对抗鲁棒性的"holistic tool"。模型集成对 evasion 攻击收益有限（攻击成功率仅从 85% 降到 79%，附录 M）。

   收起这一问

相关论文