跳到正文
原文

表征几何作为对抗鲁棒性的诊断工具

Representational Geometry as a Diagnostic for Adversarial Robustness

arXiv:其他 AI 安全论文· arXiv:2611.17684· Brandon Ismalej, Alex Cloninger, Gal MishneDepartment of Computer Science, California State University, Northridge; Department of Mathematics, Halıcıoğlu Data Science Institute, University of California San Diego; Halıcıoğlu Data Science Institute, University of California San Diego本站收录· 4 天前· 原文发表攻击· 扫描记录里的位置 →

论文速读

可解释性

据论文 PDF 整理(AI 生成),以原文为准

作者用 M-PHATE 嵌入和几何指标分析 48 个 MNIST MLP,称对抗训练重塑表示几何,且几何稳定性与鲁棒准确率对防御的排名相反。

问题
鲁棒性通常只用受攻击准确率这一个标量报告,无法反映网络内部表示结构如何被对抗训练改变;多个网络准确率相近时,其表示几何可能完全不同。
方法
在 MNIST 上训练 48 个三层 MLP(vanilla 加三种单步对抗训练目标、五档扰动预算),用 M-PHATE 把测试样本的倒数第二层表示嵌入低维空间,测量干净与扰动点的归一化位移、MMD 置换检验和 kNN 恢复率。
实验与结果
作者报告:按威胁模型匹配攻击的准确率排名,l∞ 训练网络最鲁棒;但几何指标把它排在最后(Extreme High 下位移 0.233、kNN 恢复 0.30),FGSM 训练网络几何最稳,且分歧随预算增大而扩大。
局限与可以继续做的
作者承认结果来自 MNIST 上的小型 MLP、单步攻击,且主要基于倒数第二层表示;预算按名义 ε 匹配而非实际扰动幅度。未来计划扩展到卷积和 Transformer 架构及 CIFAR-10、ImageNet。
实验设置Vanilla MLP、FGSM-trained MLP 等 · MNIST · clean accuracy、accuracy gap (clean − attacked) 等
威胁模型
分析对象是单步白盒攻击:攻击用被评估网络自身的输入梯度构造(FGSM、l2、l∞ 三种归一化),扰动预算分五档(Extreme Low 至 Extreme High),受害系统为 MNIST 上的三层 MLP;论文用这些攻击扰动测试样本以测量表示几何变化。
被测模型
Vanilla MLPFGSM-trained MLPl2-trained MLPl∞-trained MLP
基准
MNIST
指标
clean accuracyaccuracy gap (clean − attacked)normalized displacementMMD² permutation test p-valuekNN recovery (k=10)
AI 导读该论文在 MNIST 上用 M-PHATE 比较三种对抗训练方案与普通网络的多层感知机表征几何,发现对抗训练会改变内部表征的组织结构。他们在倒数第二层表征上测量干净与扰动样本的位移、最大均值差异和最近邻恢复。鲁棒准确率与表征稳定性可能对同一组防御给出相反排序,作者据此提出把潜在表征及训练轨迹作为鲁棒性审计的诊断依据。

该论文在 MNIST 上用 M-PHATE 比较三种对抗训练方案与普通网络的多层感知机表征几何,发现对抗训练会改变内部表征的组织结构。他们在倒数第二层表征上测量干净与扰动样本的位移、最大均值差异和最近邻恢复。鲁棒准确率与表征稳定性可能对同一组防御给出相反排序,作者据此提出把潜在表征及训练轨迹作为鲁棒性审计的诊断依据。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    鲁棒性只报准确率会丢失表示结构信息,作者用几何指标重新审视对抗训练防御。

    核心问题:鲁棒性被压缩成单一标量(受攻击准确率),无法报告网络内部表示结构如何组织、如何在训练中形成。

    • 场景与动机:作者指出,多个网络在扰动样本上可以达到相近准确率,但内部表示在结构上可能完全不同;准确率作为标量无法区分这种情况。
    • 现有方法的不足:作者称,已有工作用 CKA、SVCCA 等相似度指标比较标准与鲁棒表示,但这些方法限于静态的事后(post-hoc)分析,忽略了训练动态以及不同扰动强度下网络群体之间的变化。
    • 核心观察:作者认为鲁棒性在很大程度上是一种表示现象(representational phenomenon),对抗训练会牺牲干净准确率并改变网络学到的输入特征,因此防御评估应把潜在表示及其训练轨迹当作诊断材料。
    • 论文提出的做法:对 45 个对抗训练网络加 3 个 vanilla 网络(三种对抗目标、五档扰动预算),用 M-PHATE 嵌入测试样本在训练各 epoch 的表示,并在倒数第二层测量归一化位移、MMD 和 kNN 恢复率,比较几何排名与准确率排名。
    • 分析中的攻击设定(非攻击论文,按论文术语):
      • 攻击为单步、白盒:用被评估网络自身的输入梯度构造,分 FGSM、l2、l∞ 三种归一化方式。
      • 扰动预算五档(Extreme Low 至 Extreme High),FGSM 与 l∞ 共用像素尺度 ε,l2 用单独尺度(Table 2)。
      • 受害系统为 MNIST 上的三层全连接 MLP(784→128→64→10)。
  2. 有哪些相关研究?

    相关工作分三组:对抗训练与表示、表示相似度指标、把网络本身当数据分析;本文转向动态几何。

    对抗训练及其对表示的影响

    • Madry 等(2019)——提出对抗训练这一标准防御,用扰动样本训练网络以正确分类攻击样本。
    • Tsipras 等(2019)、Zhang 等(2019)——论文引用其结论:对抗训练以牺牲干净准确率为代价改变表示结构;Ilyas 等(2019)——对抗训练增加对鲁棒特征的依赖;Engstrom 等(2019)——对抗训练重组潜在结构。

    表示相似度与动态可视化

    • CKA(Kornblith 等,2019)——通过比较中心化核矩阵做静态、成对的事后表示比较;SVCCA(Raghu 等,2017)——结合奇异值分解与典型相关分析比较表示。论文指出这类方法限于静态 post-hoc 分析,看不到训练动态。
    • M-PHATE(Gigante 等,2019)——把激活张量作为单一对象嵌入低维空间,追踪训练中的单元动态;本文改用同一样本跨 epoch 的视角,追踪测试样本而非隐藏单元。

    把训练好的网络本身当作数据

    • 论文提到这一方向包括从权重预测模型性质(Unterthiner 等,2021;Eilertsen 等,2020)、构建网络群体数据集 Model Zoos(Schürholt 等,2022)、在权重空间上操作的架构(Navon 等,2023)。
    • 论文说明:权重没有良好序结构,而激活有,因此干净/扰动配对样本之间的位移可以被直接测量。

    对比基线与基准:本文不是提出新防御,没有方法学基线;对照是同一架构的 vanilla 网络,所有网络在 MNIST 固定子样本上训练,攻击为 FGSM、l2、l∞ 三种单步白盒攻击。

    作者对本文的定位:作者称本文把网络群体在统一攻击目标和扰动预算下的表示几何作为分析对象,属于把训练好的网络当作可直接分析的数据这一方向,但关注几何与训练轨迹而非权重。

  3. 论文如何解决这个问题?

    用 M-PHATE 把测试样本的跨 epoch 表示嵌入低维空间,以三个几何指标度量干净与扰动表示的差异。

    整体思路:把每个网络在固定测试批次上的倒数第二层表示当作几何对象,用 M-PHATE 联合嵌入干净与扰动样本,在同一低维空间里测量扰动引起的位移、分布差异和邻域保持,从而跨网络、跨攻击直接比较。

    模型与训练设定

    • 架构与数据:三层全连接 MLP(784→128→64→10,ReLU),MNIST 固定 1,000 张训练图、2,000 张测试图,几何测量用索引固定的 1,000 张测试图(Table 1)。作者说明选 MLP 是为了让表示不含池化或卷积结构,使测得的几何直接来自训练目标而非架构先验;同理只用单步攻击。
    • 训练制度:四种 regime——vanilla(干净数据)加三种对抗训练(FGSM、l2、l∞,每个 batch 每个 epoch 都施加对应单步攻击);五档扰动预算(Extreme Low 至 Extreme High,Table 2);每种设置 3 个种子,共 48 个网络。
    • 训练配置:Adam、学习率 0.001、batch 64、50 epoch、交叉熵损失(Table 1)。

    轨迹与联合嵌入

    • M-PHATE 改造:原方法追踪隐藏单元跨 epoch 的动态;本文改为追踪测试样本,每个嵌入点是"某张图在某个 epoch",即嵌入激活张量的 样本×epoch 模式。训练动态张量形状为 (50 epochs × 1,000 samples × 128 units)(h1)和 (50 × 1,000 × 64)(h2)。
    • 干净/扰动联合嵌入:把倒数第二层表示堆成 (2 × 1,000 × 64) 的双切片张量,每个干净点与其扰动点之间连一条匹配边,权重为 exp{−(di/σ)²},di 为配对距离,σ 取所有配对距离的均值。
    • 测量空间:三个几何量都在联合嵌入得到的 3 维 M-PHATE 坐标上计算;原始 h2 空间的结果在附录 B(Table 5)报告。

    三个几何指标

    • 归一化位移 dnorm:扰动前后匹配点的平均距离,除以该网络自身干净表示两两距离的中位数,得到跨网络可比的无量纲量:dnorm = (1/n∑i |hiclean − hiadv|2)/(mediani,j|hiclean − hjclean|2)。
    • 分布差异(MMD):用高斯核 MMD 检验干净与扰动表示是否来自同一分布,带宽按 median heuristic 逐配置选取,用 N=1,000 次置换的置换检验给出 p 值。
    • kNN 恢复率:扰动点的干净对应点落在其 k=10 个最近干净邻居内的比例,该量对表示空间的缩放不变。

    评估方式

    • 每个网络都在干净批次和三种攻击(对该网络白盒生成)下评估,形成跨攻击网格;准确率侧报告 clean accuracy 与 accuracy gap(clean − attacked),几何侧报告上述三个指标,均为 3 个种子的均值±标准差。
  4. 论文做了哪些实验?

    48 个 MNIST MLP 的跨攻击网格显示:准确率排名与几何排名相反,l∞ 网络准确率最好但几何漂移最大。

    实验设置

    • 被测对象:48 个三层 MLP(784→128→64→10),四种训练 regime(vanilla、FGSM 训练、l2 训练、l∞ 训练)× 五档扰动预算 × 3 个种子(seeds 0/1/2)。
    • 数据:MNIST,固定 1,000 张训练图;评估用固定的 1,000 张测试图(Table 1)。
    • 攻击:FGSM、l2、l∞ 三种单步白盒攻击,对每个被评估网络分别生成;预算见 Table 2(如 Extreme High:FGSM/l∞ ε=32/255≈0.125490,l2 ε=2.0)。
    • 指标:clean accuracy、accuracy gap(clean − attacked);几何指标为归一化位移、MMD² 及置换检验 p 值(N=1,000)、kNN 恢复率(k=10),均在 3 维 M-PHATE 嵌入上计算(正文),原始 h2 空间结果在 Table 5。
    • 报告形式:均值±标准差,跨 3 个种子。

    主结果

    威胁模型匹配(训练攻击=评估攻击)下,Extreme High 预算的准确率 gap 与几何指标(据 Table 4、Table 6):

    表格较宽,可左右滑动

    训练 regimeFGSM 攻击 gapl2 攻击 gapl∞ 攻击 gap匹配攻击下归一化位移匹配攻击下 kNN 恢复
    Vanilla0.8560.8010.3800.4140 (FGSM)0.108 (FGSM)
    FGSM 训练0.3260.4700.1020.20560.371
    l2 训练0.4120.3980.1390.21020.252
    l∞ 训练0.7210.6660.1730.1333 (l∞)0.597 (l∞)
    • 作者称:按威胁模型匹配评估,l∞ 训练网络在自身攻击下的准确率 gap 最小(各预算下均如此,Figure 1),按标准衡量是群体中最鲁棒的;但几何指标把它排在最后——在 Medium、High、Extreme High 下平均位移最大(0.095、0.153、0.233,Figure 2),kNN 恢复率最低(0.77、0.55、0.30,Figure 3a),MMD 模式类似(Figure 3b);FGSM 训练网络位移最小、恢复率最高,l2 居中。
    • 作者称:vanilla 网络在相同名义 ε 下,FGSM 攻击损失 0.232 准确率而 l∞ 只损失 0.055(Medium 预算,Table 4),说明威胁模型匹配评估让各网络面对难度不同的测试,引入比较偏差。
    • 作者报告:Figure 2 的 45 个格子中,没有任何对抗训练网络的位移大于 vanilla 网络。

    准确率与几何收益不成比例

    • 测了什么:Extreme High FGSM 攻击下,跨攻击比较各防御网络的准确率 gap 与位移。
    • 结果:l∞ 训练网络把 vanilla 的 gap 从 0.856 降到 0.721,而 FGSM 训练网络降到 0.326;但几何上 l∞ 网络把位移从 0.414 降到 0.300,FGSM 网络为 0.206(Table 4、Table 6)。
    • 作者的解读:防御的几何收益与准确率收益不成比例,两种指标不可互换。

    训练动态可视化

    • 测了什么:四个 regime 在 High 预算下 h1 与 h2 各 50 epoch 的 2 维 M-PHATE 轨迹(Figure 4),全部预算的嵌入在附录 C(Figure 5)。
    • 结果(图注与正文描述):与 vanilla 相比,所有对抗训练网络在单层或两层都出现学习稳定性在更早 epoch 开始瓦解的模式;h1 在 50 epoch 内比 h2 更稳定,h2 的表示移动难以追踪;FGSM regime 是防御网络中最不杂乱的,与 vanilla 动态最接近。
    • 作者的解读:最终 epoch 表示无法区分"早期重组"与"持续漂移"两种学习过程,因此需要轨迹级分析。

    其他消融与分析

    • 联合嵌入的类别结构(Figure 6–9):随预算增大,扰动点簇相对干净点的偏移增大,数字 0、2、6 类尤其明显;l∞ 攻击产生的可见分离在各预算下最小。
    • 原始 h2 空间对照(Table 5):原始 64 维空间的几何指标与嵌入空间同向,如 Extreme High FGSM 下 vanilla 归一化位移 0.5661、FGSM 训练 0.2364、l∞ 训练 0.3543。
    • 计算开销(附录 D):五档预算共 101.9 分钟墙钟时间,其中训练 26.2 分钟、嵌入 35.0 分钟、置换检验 39.4 分钟;50 切片轨迹嵌入平均 489±60 秒,2 切片联合嵌入 124±30 秒。
    • 例外:FGSM 训练网络在大预算下干净准确率出现已知的不稳定(Extreme High 下 clean accuracy 0.859,低于其他 regime 的 0.897–0.914,Table 4),作者引用文献说明这是单步对抗训练大预算时的已知现象。
  5. 有什么可以进一步探索的点?

    作者承认限于 MNIST 小 MLP、单步攻击和倒数第二层,计划扩展到卷积/Transformer 与更大数据集。

    作者指出的局限与后续方向

    • 结果反映的是 MNIST 上的小型 MLP、单步攻击,且主要来自倒数第二层表示(Section 5)。
    • 扰动预算按领域惯例取名义 ε 匹配,作者提出后续可以按实际施加的扰动幅度匹配预算(Section 5)。
    • 未来工作将把分析扩展到卷积和 Transformer 架构,并在 CIFAR-10 和 ImageNet 上进行(Section 5)。
    • 作者表示结果还提示可以利用表示几何的偏移做对抗样本检测,即以几何变化作为识别扰动输入的依据(Section 5)。

    实验覆盖范围

    • 被测网络为同一 MLP 架构(784→128→64→10)的 48 个实例:4 种训练 regime × 5 档预算 × 3 个种子(Section 3.1)。
    • 数据集只有 MNIST,训练用固定 1,000 张图,评估用固定 1,000 张测试图(Table 1)。
    • 攻击仅三种单步白盒攻击(FGSM、l2、l∞);论文提到存在多步攻击套件,但为让几何直接反映训练目标而选用单步攻击(Section 3.1)。
    • 几何测量在倒数第二层 h2 上进行,训练轨迹可视化同时覆盖 h1 与 h2(Section 3.1、Figure 4)。
    • 每个条件为 3 个种子,报告均值±标准差;论文未报告几何排名差异的统计显著性检验(MMD 的置换检验是针对单个网络干净/扰动分布差异的)。
  6. 总结一下论文的主要内容

    作者用表示几何重新审计对抗训练:准确率最高的防御恰是表示漂移最大的防御。

    一篇分析型论文:把对抗训练网络的潜在表示及其训练轨迹当作诊断材料,检验"准确率=鲁棒性"这一惯例。

    • 问题:鲁棒性通常只报受攻击准确率,但多个网络准确率相近时内部表示结构可能完全不同;作者认为已有相似度指标(CKA、SVCCA)限于静态事后分析,看不到训练动态。
    • 方法:在 MNIST 上训练 48 个三层 MLP(vanilla + FGSM/l2/l∞ 三种单步对抗训练 × 五档扰动预算 × 3 种子),用 M-PHATE 把固定测试批次的倒数第二层表示嵌入 3 维空间,测量干净/扰动匹配点的归一化位移、MMD 置换检验和 kNN 恢复率(k=10)。
    • 结果一:威胁模型匹配评估下 l∞ 训练网络准确率 gap 最小(如 Extreme High 下 l∞ 攻击 gap 0.173),按标准衡量最鲁棒;但它在 Medium/High/Extreme High 下位移最大(0.095/0.153/0.233)、kNN 恢复最低(0.77/0.55/0.30),几何排名垫底(Figure 2、3)。
    • 结果二:vanilla 网络在相同名义 ε 下 FGSM 攻击损失 0.232、l∞ 只损失 0.055(Medium 预算),作者称这说明匹配评估让各网络面对难度不等的测试。
    • 结果三:Extreme High FGSM 攻击下,l∞ 训练网络准确率收益小(gap 0.721 vs FGSM 训练的 0.326)但保留部分几何收益(位移 0.300 vs 0.206),作者称两种收益不成比例。
    • 结果四:训练轨迹可视化显示对抗训练网络的学习稳定性在更早 epoch 开始瓦解,h1 比 h2 稳定,FGSM regime 最接近 vanilla 动态(Figure 4)。
    • 作者的结论:几何与准确率刻画鲁棒性的不同侧面,二者应同时报告,以区分"稳定了表示的防御"和"只在对它有利的攻击上得分高的防御";作者承认结果限于 MNIST 小 MLP 与单步攻击,计划扩展到卷积/Transformer 架构和 CIFAR-10、ImageNet,并探索用几何偏移做对抗检测。
阅读原文arxiv.org