超越基于攻击的准确率:通过结构梯度对齐重新思考对抗鲁棒性评估
Beyond Attack-Based Accuracy: Rethinking Adversarial Robustness Evaluation Through Structural Gradient Alignment
作者提出 SGA,用少量无标注公开探针和一次输入梯度计算评估视觉模型鲁棒性排序;作者称 Uncalibrated SGA 在 8 个公开探针条件下平均 PA 达 83.72%。
- 现有视觉鲁棒性评估常依赖指定攻击、同分布标注数据、大量探测或分类器特定输出,难以用于外部审计 DNN、VLM 和 LVLM。作者希望在不生成对抗样本的条件下给出可比较的鲁棒性信号。
- 作者提出 Structural Gradient Alignment (SGA):把探针图像和目标条件化输入梯度都映射到共同空间结构域,再比较二者结构对齐。每个模型–探针对只需一次输入梯度计算,并提供 Transfer、Uncalibrated、Calibrated 三种协议。
- 在 38 个不同系统、4 个同质模型池和 8 个公开探针条件下,作者报告 Uncalibrated SGA 平均 PA 为 83.72%,比最强总体基线高 9.38 个百分点;Calibrated SGA 达 85.36%,Oracle 上界为 0.9782。
- 作者称 SGA 与对抗鲁棒性的一般理论联系仍未建立,且比较限于同质模型池,不主张跨池比较。实验覆盖 4 个池、2 个公开图像源、K∈{1,2,5,10},配置选择仍有改进空间。
- 威胁模型
- post-hoc robustness auditing:评估者可查询输出并计算输入梯度,但不修改模型、不生成对抗样本;无需标注测试集、训练或威胁模型元数据、目标模型参考鲁棒性,只用少量无标注、任务无关的公开探针和协议特定参考。
- 被测模型
- Amini2024MeanSparse_Swin-LViT-L-14_TeCoA4
- 基准
- NIPS development set (ImageNet-1K)VQAv2COCOCelebA-HQPlaces365RobustBench
- 指标
- pairwise agreement (PA)PGD-50 robust accuracyAutoAttack robust accuracyruntime
研究者提出不依赖特定攻击的视觉对抗鲁棒性评测指标 SGA(结构梯度对齐),在 38 个 DNN、VLM 和 LVLM 上的排序与基于攻击的参考一致。SGA 衡量输入内容与目标条件下的局部模型敏感性之间的结构对齐,只需少量随机采样、无需符合下游任务分布的无标注公开探针,每对模型与探针仅需一次输入梯度计算。未校准时,SGA 在八种公开探针条件下的平均成对一致率为 83.72%,在全部八种条件下均优于最强基线,平均高出 9.38 个百分点;用锚点模型的已知鲁棒性顺序校准后升至 85.36%。针对现有评测常依赖预设攻击、同分布数据、大量探测或分类器特定公式而限制外部审计的问题,该方法提供攻击无关、计算高效的鲁棒性信号,覆盖不同下游任务、威胁范式、探针分布与评估者知识设定,代码开源于 https://github.com/azrealwang/SGA。
深度解读
这篇论文试图解决什么问题?
作者要解决在缺少攻击协议、标注测试集和模型内部信息时,如何审计多代视觉模型鲁棒性的问题。
核心问题:如何在不依赖指定攻击、同分布标注测试集和分类器特定输出的情况下,对 DNN、VLM 和 LVLM 做外部鲁棒性审计。
- 问题场景:作者认为视觉输入在分类器、VLM 和 LVLM 各代模型中仍是攻击面,因此鲁棒性评估需要跟随模型形态演进。
- 现有方法不足:作者指出现有评估通常依赖攻击规格、威胁范数、同分布测试集、大量计算或分类器输出结构,限制了对外部多样模型的审计。
- 核心观察:作者提出结构敏感性假设:较鲁棒的模型更倾向于把局部输入敏感性组织在稳定空间结构附近,而较弱鲁棒性更常对应偶然或碎片化的敏感性。
- 论文方案:提出 Structural Gradient Alignment (SGA),把输入内容和目标条件化局部敏感性映射到共同空间结构域并测量对齐;每个模型–探针对只需一次输入梯度计算。
- 威胁模型:论文研究 post-hoc robustness auditing,评估者知识受限。
- 目标:给模型连续分数,并可诱导池内排序。
- 能力:可查询输出并计算输入梯度,但不修改模型、不生成对抗样本。
- 信息约束:不需要标注测试集、训练或威胁模型元数据、目标模型参考鲁棒性;只用少量无标注、任务无关公开探针和协议特定参考。
- 对抗范围:评估者随机选择公开探针,攻击者不控制探针或评分;作者称要影响 SGA 分数需改变被评模型的结构敏感性。
有哪些相关研究?
相关工作分为攻击型评估、边界或置信度估计、生成式或架构代理、梯度对齐分析四类;作者把 SGA 定位为攻击无关的互补信号。
攻击型鲁棒性评估
- FGSM、PGD、AutoAttack:通过生成对抗样本报告特定威胁模型下的鲁棒准确率;作者用 PGD-50 和 AutoAttack 诱导的顺序作为协议相关参考。
- RobustBench:标准化攻击型评估;论文采用其 DNN ℓ∞ 在 ϵ=4/255 下的标准 AutoAttack 结果。
- 作者对比:作者称这些方法需要攻击规格、测试数据和对抗样本生成,SGA 提供互补的攻击无关信号。
边界距离与局部估计
- CLEVER:通过邻域采样和极值估计局部 cross-Lipschitz 常数来估计边界距离。
- Linearized Robustness:用预测类与竞争类间隔除以输入梯度范数,做一阶边界距离估计。
- 作者对比:作者称二者仍需要类别间隔和扰动范数定义,且分类器特定假设不利于迁移到开放式 LVLM 输出。
生成式、基础模型与架构代理
- GREAT:用生成模型估计分布级鲁棒性;论文在 LVLM 适配中为其构造共享代理间隔。
- FMR:面向基础模型的鲁棒性评估;作者因无公开实现而排除。
- Zero-cost robust NAS:做架构选择而非事后模型级鲁棒性评估。
梯度对齐与敏感性分析
- Gradient-alignment analyses:分析自然输入梯度与鲁棒性的关系,为作者的结构敏感性假设提供背景。
- AdvSMs:提出共享脆弱性相关的敏感性表示;SGA 借用其 ternary sensitivity representation 作为中间表示。
- 基线与基准:实验基线为 FGSM、GREAT、CLEVER、Linearized Robustness;数据来源包括 NIPS development set、VQAv2/COCO、CelebA-HQ、Places365,参考来自 PGD-50 与 RobustBench AutoAttack。
作者定位:SGA 不替代攻击型评估或认证,而是作为可扩展的第一阶段鲁棒性评估信号,覆盖分类器、VLM 和自回归 LVLM。
论文如何解决这个问题?
SGA 把探针图像和目标条件化梯度都变成二值结构图,用相似度衡量对齐,并按不同知识设置选择配置。
整体思路是提出 Structural Gradient Alignment (SGA):不生成对抗样本,而是比较输入结构与目标条件化局部敏感性在空间结构域中的对应关系。每个模型–探针对只计算一次输入梯度,结构后处理复用缓存梯度。
问题设定与形式化
- 同质模型池:模型池 M = {f1, ..., fM} 内模型可在相同任务、威胁模型、攻击配置、输入、评分规则和接口下被公平排序;作者明确不主张跨池比较。
- 参考顺序:参考评估 A 给模型分数 Ri,并诱导关系
f_i \succeq_A f_j \iff R_i \ge R_j;论文用 PGD-50 或 RobustBench AutoAttack 实例化 A,但不把它当作普遍真值。 - 探针设置:探针批 DK = {xn};LVLM 中每个探针图像还配 VQA 问题 qn。测试集探针带真值,公开探针无标注且不必服从下游任务分布。
- 指标:用 pairwise agreement (PA) 衡量 SGA 分数顺序与参考顺序的一致程度;参考并列算一致,SGA 并列算不一致。
目标构造与梯度提取
- 分类目标:DNN/VLM 在 ImageNet-1K 分类上,测试探针用真实类别,公开探针用模型自身最高 logit 预测作为伪目标,损失为交叉熵。
- VQA 目标:LVLM 在 VQA 上,测试探针用真实答案序列,公开探针用模型贪心解码答案;损失为 teacher-forced 平均负对数似然。
- 梯度计算:对输入 x、条件输出 τ 和可微目标 Lf(x; τ),局部敏感性场为 gf(x;τ)=∇x Lf(x;τ);每个模型–探针对一次反向传播。
结构表示与 SGA 分数
- 梯度保留:ρ ∈ {abs(τg), top(p), all},分别做绝对阈值、保留最大 p% 坐标或保留全部坐标;top(p) 与 all 对正缩放不变。
- 三元表示:保留坐标按梯度符号映射为 +1、−1,其余为 0,再映射到灰度 255、0、128,并用亮度权重合并 RGB 通道。
- 结构图提取:输入图像和敏感性表示都经灰度化、平滑 ψ、中心差分边缘 e,再按非零边缘幅值的第 e 百分位二值化。
- 相似度:µ 可为 Dice、SSIM 或二者算术平均;模型分数是 K 个探针上结构图相似度的均值,分数越高表示结构敏感性对齐越强。
配置选择协议
- 候选空间:配置 c = (ρ, ψ, e, µ),候选空间共 4,608 个;所有协议共享同一评分管线,只在配置选择知识上不同。
- 选择级联:按 PA → Std → Gap → seeded random 的顺序逐层筛选;无参考顺序时不使用 PA。
- Transfer SGA:在不重叠的开发模型集上选一次配置并冻结,再用于目标池;不访问目标池分数或参考顺序。
- Uncalibrated SGA:无参考鲁棒性,在目标池上按分数标准差和最小相邻间隔选配置;配置和分数依赖目标池组成。
- Calibrated SGA:用已知顺序的同池锚点模型选配置,再用于其余目标;评估时排除锚点–锚点对。
- Oracle SGA:用完整目标池和参考顺序选配置,是经验上界而非可部署协议。
理论性质与复杂度
- 有限探针集中:作者给出成对 SGA 顺序随探针数 K 和总体分数间隔增大而更可靠恢复的界。
- 跨探针分布保持:当总体分数间隔超过两倍分布差异 Discc(P, Q; M) 时,作者给出顺序保持的充分条件;证明在附录 B。
- 计算量:模型加载、推理和梯度计算主导运行时间;所有候选配置复用缓存梯度,结构评分至多为 O(CMKP),配置选择额外受 O(CM²) 和 O(CM log M) 限制。
论文做了哪些实验?
作者在 4 个同质池、38 个系统和多种探针来源上比较 SGA 与 4 个基线,并做协议、参考、架构和空间结构消融。
实验设置
- 被测系统:4 个威胁同质池共 39 个条目、38 个不同系统:DNN ℓ2 13 个、DNN ℓ∞ 14 个、VLM ℓ∞ 7 个、LVLM ℓ∞ 5 个;完整标识符、架构和参考值见 Table 14。
- 数据来源:分类测试探针为 1,000 张 NIPS development set 图像;VQA 测试探针为前 1,000 个 VQAv2 validation 问题及对应 COCO 图像;公开图像源为各 1,000 张 CelebA-HQ 和 Places365。
- 参考协议:PGD-50 是主要参考;DNN ℓ2 用 ϵ=2、步长 0.1,三个 ℓ∞ 池用 ϵ=8/255、步长 1/255,均一次重启、seed 0;DNN ℓ∞ 另用 RobustBench 标准 AutoAttack(ϵ=4/255)。
- 基线:FGSM、GREAT、CLEVER、Linearized Robustness;FGSM 和 CLEVER 需要对应 ℓ2 或 ℓ∞ 范数,LVLM 适配使用共享条件答案和 teacher-forced 平均 NLL。
- 指标与报告:主指标是 PA;K ∈ {1, 2, 5, 10},主比较用 K=10,报告跨探针批的均值 ± 标准差;运行时间在一台 94 GB NVIDIA H100 上测完整模型池和一个 K=10 批。
- SGA 协议:Transfer、Uncalibrated、Calibrated、Oracle 共享 4,608 个候选配置;除锚点数消融外,Calibrated 每批 H=M−1 个锚点。
主结果
据 Table 3 和 Table 4,K=10、无标注公开探针下各方法平均 PA:
表格较宽,可左右滑动
方法 探针源 DNN ℓ2 DNN ℓ∞ VLM ℓ∞ LVLM ℓ∞ GREAT CelebA-HQ 0.4326 0.4881 0.7586 0.4600 FGSM CelebA-HQ 0.5113 0.3830 0.5714 0.5360 CLEVER CelebA-HQ 0.8691 0.7977 0.7407 0.4060 Linearized CelebA-HQ 0.8649 0.7170 0.7800 0.6250 SGA (Uncalibrated) CelebA-HQ 0.9694 0.8651 0.8010 0.7620 SGA (Uncalibrated) Places365 0.9581 0.8745 0.7686 0.6990 - 总体结论:作者报告 Uncalibrated SGA 在 8 个公开探针条件平均 PA 为 0.8372,比最强总体基线高 9.38 个百分点,并在 8 个条件都领先。
- 基线例外:CLEVER 与 Linearized 在 6 个分类条件平均 PA 分别为 0.8130 和 0.7940,但在 LVLM 上降到 0.4295 和 0.5915;SGA 在 LVLM 条件为 0.7305。
- 图 3:作者称 Uncalibrated SGA 的分数曲线比基线更贴近 PGD-50 顺序,并接近 Oracle SGA;图中分数按方法和池内 min–max 归一化。
SGA 协议比较
- 协议结果:据 Table 6,Transfer 平均 PA 为 0.8348,比 Uncalibrated 低 0.0024,且只在 8 个条件中的 3 个超过它;Calibrated 在 5 个条件超过 Uncalibrated,把平均 PA 从 0.8372 提高到 0.8536。
- Oracle 上界:Oracle 平均 PA 为 0.9782;作者认为这说明配置选择仍有较大改进空间。
- 参考敏感性:据 Table 7,DNN ℓ∞ 参考从 PGD-50 换成 AutoAttack 时,三个可部署协议和两个公开探针源上的 PA 平均只变化 0.0211;PGD-50 与 AutoAttack 的参考间 PA 为 0.9670。
少样本、运行时间与参考分歧
- 少样本表现:据 Table 5,Uncalibrated SGA 平均 PA 从 K=10 的 0.8372 降到 K=1 的 0.7829;K=10 时 8 个条件的平均批级标准差为 0.0550。
- 运行时间:据 Table 9,Transfer SGA 在公开探针下为 DNN ℓ2 7.4 秒、DNN ℓ∞ 18.2 秒、VLM ℓ∞ 20.4 秒、LVLM ℓ∞ 103.8 秒;其他协议相对 Transfer 最多增加 0.032 秒。
- 分歧模型对:据 Table 8,PGD-50 与 AutoAttack 只在 3 个模型对上不一致;Uncalibrated SGA 在 CelebA-HQ 上 99.0% 的成对–批比较支持 AutoAttack 顺序,而 PGD-50 调出的 Oracle 84.7% 支持 PGD-50。作者称这不证明任一参考唯一正确。
其他消融与分析
- 空间结构破坏:据 Table 10,对敏感性场做空间置换后,8 个池–探针条件 PA 平均下降 0.2165;作者称这支持空间组织提供超出非空间梯度统计的排序信息,但置换后仍有残余一致性。
- 锚点数量:Figure 4 显示更多随机锚点通常提高 PA,但收益随锚点增加变小,且不同模型池变化不同。
- 架构依赖:据 Table 11,在每组单独选配置时,ResNet、ConvNeXt、Swin 组在多个来源达到 1.0000 PA,ViT 与 XCiT 组较低;Figure 5 中作者称前者敏感性模式更连续,后者更碎片化。
- 配置组件:Figure 6 显示边缘百分位从 60 增至 95 时,平均 PA 从 0.7905 升至 0.8483;d=2 平滑在所有条件优于无平滑,梯度保留和相似度选择更依赖模型池。
- 单个探针:据 Table 12,五个最好探针相对五个最差探针在 CelebA-HQ 平均高 0.1083、在 Places365 高 0.0518;但 VLM 条件顺序反转或持平,Figure 7 也未显示可靠的视觉区分规则。
- 持续分歧案例:据 Table 13,ViT-L-14_TeCoA4 在 VLM 池中被 PGD 排第 1,而 Uncalibrated SGA 在三种探针源最常排第 5;作者把它作为攻击型评估与结构敏感性捕捉不同性质的案例。
有什么可以进一步探索的点?
作者明确留下的方向是建立结构对齐与鲁棒性的更一般理论联系,并改进配置选择;实验覆盖有明确边界。
作者指出的局限与后续方向
- 理论联系未建立:作者在引言和结论中称,结构对齐与对抗鲁棒性之间的一般理论联系仍是 open challenge。
- 跨架构与跨威胁模型:作者在结论中称,把理论联系扩展到 SGA 的结构对齐、不同架构和威胁模型仍待解决。
- 仅限同质池:第 3.2 节明确把比较限制在同质模型池,不主张跨池比较,包括跨扰动范数或跨下游任务。
- 配置选择可改进:第 5.2.3 节中 Oracle 平均 PA 高于所有可部署协议,作者称实际配置选择仍是开放挑战。
- 参考真值问题:第 5.2.4 节称 PGD-50 与 AutoAttack 都不是普遍鲁棒性真值;第 6.2 节称对抗鲁棒性没有协议无关的 ground truth。
- 探针选择规则未出现:第 5.3.5 节称没有可靠的视觉探针选择规则;作者认为 CelebA-HQ 与 Places365 的差异可能来自人脸构图更标准化与场景布局更复杂。
实验覆盖范围
- 被测对象:4 个同质池共 39 个条目、38 个不同系统;DNN ℓ2、DNN ℓ∞、VLM ℓ∞、LVLM ℓ∞ 分别为 13、14、7、5 个。
- 数据与任务:分类使用 NIPS development set;VQA 使用 VQAv2/COCO;公开探针来自 CelebA-HQ 与 Places365,各 1,000 张。
- 参考与基线:参考为 PGD-50 和 DNN ℓ∞ 的 RobustBench AutoAttack;比较方法为 FGSM、GREAT、CLEVER、Linearized Robustness。
- 样本预算:K ∈ {1, 2, 5, 10};主比较为 K=10,报告跨批均值和标准差,不衡量模型训练随机性。
- 运行环境:运行时间在一台 94 GB NVIDIA H100 上测量;论文未报告多次训练或不同硬件上的重复实验。
总结一下论文的主要内容
SGA 用输入结构与目标条件化梯度结构的对齐做攻击无关鲁棒性审计,在池内排序上与攻击参考较一致。
这篇论文提出 Structural Gradient Alignment (SGA),用于在缺少攻击协议、标注测试集和模型参考鲁棒性时审计视觉模型。作者把鲁棒模型更可能具有稳定空间敏感性组织作为可测假设,而不是把 SGA 当作认证保证。
- 问题:传统鲁棒准确率依赖攻击、威胁范数、同分布数据和分类器接口;作者认为这不适合跨 DNN、VLM、LVLM 的外部审计。
- 方法:SGA 为每个探针构造条件目标,计算一次输入梯度,把图像和梯度都转成二值结构图,再用 Dice、SSIM 或二者均值评分。
- 协议:Transfer 用开发集预设,Uncalibrated 不用参考顺序,Calibrated 用有序锚点;Oracle 只作为使用目标参考顺序的经验上界。
- 主结果:在 8 个公开探针条件下,Uncalibrated SGA 平均 PA 为 0.8372,比最强总体基线高 9.38 个百分点;Calibrated 达 0.8536,Oracle 达 0.9782。
- 效率与少样本:K=1 时平均 PA 仍为 0.7829;Transfer SGA 用 10 个公开探针排序 5 个 LVLM 需 103.8 秒,其他协议最多多 0.032 秒。
- 作者结论:作者认为结构敏感性是鲁棒性的一个有用审计维度,适合作为全面攻击评估或认证前的第一阶段;同时强调 SGA 分数不是安全保证,跨架构和威胁模型的一般理论联系仍待建立。