基于 Lipschitz 边界分析与认证的预训练分类器对抗检测
Adversarial Detection for Pre-trained Classifiers via Lipschitz-Margin Analysis with Certification
作者用Lipschitz边际把ℓ2认证鲁棒性归约为认证检测;ViT-B/16、ε=0.1时Dlc的TPR为100%、FPR为3.6%。
white-box攻击者可访问分类器架构与参数,在防御方宣布的ℓ2预算ε内翻转预测;防御方同样white-box,采用detection-then-refuse。
- 安全关键视觉分类器会被小的ℓ2对抗扰动翻转预测。作者称RS查询多、Lipschitz网络要改架构并损失干净准确率。目标是不改预训练分类器,认证预算内对抗输入会被拒绝。
- 作者用Lipschitz连续性把对抗边际上界与干净边际、扰动预算联系起来,把认证ℓ2鲁棒性归约为认证检测。全局L不可得时,DAdv用防御方扰动对估计局部常数,Dlc再加入边际函数的局部质心。
- ViT-B/16在ε=0.1时Dlc的TPR为100%、FPR为3.6%(Table IVb)。SortNet上Lemma IV.1的TPR为100%(Table I)。ResNet-50上Dlc在ε=0.1的cert%为63.8%(Table IV)。
- 作者将收紧ℓ∞证书,以及扩展到检测、分割和多模态,留作后续。FPR受干净边际分布和半径ε约束。实验含MNIST、CIFAR-10、ImageNet-1k(Table IV为500张)。论文未报告人工评估。
- 威胁模型
- white-box攻击者可访问分类器架构与参数,在防御方宣布的ℓ2预算ε内翻转预测;防御方同样white-box,采用detection-then-refuse。作者称证书attack-agnostic,与扰动如何生成无关。
- 被测模型
- LeNet-5VGG16ResNet-50ViT-B/16ResNet-18VGG-style CNNSortNet
- 基准
- MNISTCIFAR-10ImageNet-1k
- 指标
- TPRFPRcert%ASRclsASRjoint
一篇 arXiv 论文提出基于 Lipschitz 边界分析的对抗检测方法,将 ℓ2 认证鲁棒性归约为可认证检测,无需重训练即可部署于任意预训练分类器。在 CIFAR-10 配 1-Lipschitz SortNet 时,该方法取得 100% 认证检出率与最低 FPR;标准 CIFAR-10 VGG16 上拒绝全部评估的预算内对抗样本,62-82% 同时被拒并获认证。
相关热点
1 个事件 · 0 条新闻提到
深度解读
这篇论文试图解决什么问题?
不改预训练分类器,把认证ℓ2鲁棒性变成对预算内对抗输入的检测证书。
要解决的是:不重训练、不改架构,如何认证预训练分类器会拒绝预算内的对抗输入。
- 场景:作者认为自动驾驶感知、内容审核、生物特征认证与访问控制中,漏检攻击比误拒干净输入更贵;分类器部署后固定,推理还要满足实时延迟。
- 现有不足:作者称 randomized smoothing 每次预测需要数百到数千次前向;Lipschitz networks 用架构约束换可证的小 Lipschitz 常数,牺牲干净准确率,且不能直接用标准预训练分类器。经验检测器无形式保证;作者认为 Tramer 的归约贵到难以部署。
- 观察:作者认为有界预算的对抗样本在边际空间里必须靠近决策边界;若分类器是 L-Lipschitz,边际变化受 cL∥δ∥ 约束,检测可归结为处理单个 L。
- 做法:作者给出 Lipschitz-margin 归约(Lemma IV.1、Theorem IV.2),并给出无需重训练的 DAdv 与 Dlc。有效全局界下,该半径内的成功对抗样本都被拒绝;只有局部估计 L′ 时,证书是逐样本的。
- 威胁模型:
- 目标:对分类正确的干净输入 x,寻找 ∥δ∥2≤ε 且翻转预测的扰动。ε 由防御方选定并宣布为部署保护级别。
- 知识:攻击者为 white-box,可访问 f 的架构与参数;防御方同样 white-box。对外服务可以仍是 black-box。
- 能力:攻击程序不限,包括 FGSM、BIM、PGD、C&W 及知晓检测器的自适应变体。作者称证书 attack-agnostic,与 δ 如何生成无关。
- 受害系统:固定分类器 f 加检测器 D,即 detection-then-refuse。D=1 时硬拒绝,不返回类别、不恢复干净输入,并交给人工复核、二次验证或安全停车等回退。作者称不对超出所宣布 ℓ2 预算的攻击作鲁棒性声明。
有哪些相关研究?
作者将工作放在召回侧认证检测,并称其与CTT的特异性侧证书互补。
经验对抗检测
- 辅助网络检测器:ContraNet(Yang 等,2022)训练类条件生成器,用重构误差作检测信号;作者称它不扩展到 ImageNet-1k。U-CAN 在中间特征中加入投影层并做无监督异常检测。
- 统计量检测器:PASA 把对噪声的预测敏感性和特征归因敏感性合成两个经阈值校准的分数。
- 以攻击为检测器:A2D(Zhao 等,2024)测量跨过决策边界所需的扰动预算。作者称它是少数在完整 ImageNet-1k 上评过的经验检测器,并将其作为最强经验基线。作者称这三类都只有经验保证,且面临自适应攻击批评:知晓检测器的对手可避开统计量或辅助网络,同时仍翻转分类器。
认证鲁棒性
- 随机平滑:Cohen 等(2019)用高斯平滑给出 ℓ2 半径;作者在引言中称每次预测需要数百到数千次前向。相关工作还提到 Laplacian 平滑用于 ℓ1,以及把 ℓ2 保证转成 ℓp 界。
- Lipschitz 网络:早期工作计算全局 Lipschitz 常数并改架构或训练;SortNet(Zhang 等,2022)与后续工作直接构造 1-Lipschitz 网络。CRM(Fazlyab 等,2023)在正则化 Lipschitz 常数的同时最大化动态边际。Delattre 等(2024)把 Lipschitz 网络与随机平滑混合。
- 松弛方法:作者把认证鲁棒分成松弛、Lipschitz 网络和随机平滑三族,并称后两族在 ℓ2 上达到当时的高水平,因此本文集中于这两族。
边际与认证检测
- 边际:Tsuzuku 等(2018)把点 x 的边际 q(x) 与半径 q(x)/L 联系起来。Xu 等讨论决策边界动力学;Lyu 等给出齐次网络上梯度下降与边际最大化的结果。作者把对抗训练视为扩大干净边际的手段。
- 认证检测:CTT(Shumailov 等,2020)给出特异性侧的单边证书:被标为对抗的样本被认证为对抗,但对真实对抗输入允许非零假阴性。CrossCert(FSE 2024)把单边认证检测扩到补丁攻击。Tramer(2022)给出从鲁棒分类到鲁棒检测的理论归约;作者认为该构造贵到难以部署。
- 基线与数据:实验基线为 CTT、SortNet、CRM、ContraNet、A2D,以及由 Cohen 等随机平滑改成的检测规则。数据为 MNIST、CIFAR-10、ImageNet-1k。
作者认为自己与扩大干净边际的工作方向相反:不是把干净边际向外推,而是论证有界对抗样本必须落在决策边界附近,从而得到从认证鲁棒性到认证检测的定量归约。作者认为这与 CTT 互补,分别覆盖召回侧和特异性侧,部署时取决于误拒和漏检哪个更贵。
论文如何解决这个问题?
用边际的Lipschitz上界构造DAdv与Dlc,只在L或L′满足条件时给证书。
整体做法是保持预训练分类器不变,用 Lipschitz-margin 归约 把“预算内预测不变”改成“预算内成功对抗样本被拒绝”,再以两个近似检测器处理未知的干净原像和未知的全局 Lipschitz 常数。
问题设定与单边证书
- 检测器定义:Definition III.1 要求,对每个干净 x 和每个满足 ∥δ∥p≤ε 且翻转预测的 x̂,都有 D(x̂)=1。作者称这是单边证书,允许非零 FPR;恒拒绝检测器满足定义但 FPR=1,所以同时报告 TPR 与 FPR。
- 边际:对参考类 k,类 k 边际为 q(u;k)=fk(u)−maxj≠ kfj(u)。q(u) 是 u 自身预测类上的边际,按构造非负。检测步骤中参考类固定为伪标签时,若防御方扰动翻转预测,q(z′;ŷ) 可以变负。
- 设计目标:给定预训练 f 和预算 ε,检测器还应在实用 ε 上有低 FPR、不重训练、不改架构,且推理开销落在实时流水线内。作者主要考虑 ℓ2,并在 Section VI-D 讨论其他 ℓp。
Lipschitz-margin 归约
- 核心不等式:Lemma IV.1 写,对 ℓp 下 Lipschitz 常数为 L 的网络,成功对抗样本与其干净原像满足 q(x̂)≤ cL|δ|−q(x),其中 c=2^{(p-1)/p}。作者称 q(x̂) 在 x̂ 的预测类上计算。正文在局部估计处对 ℓ2 取 c 为 √2。
- 与鲁棒证书的关系:作者称 q(x̂) 按定义非负,故当 ∥δ∥ 低于 q(x)/(cL) 时右端为负,引理不能成立,等价于不存在预算内对抗样本,从而回到标准鲁棒半径。
- 局部质心形式:局部质心是边际函数的局部最大值点。Theorem IV.2 把同一想法写成质心距离下界:(对抗样本质心处边际 + 干净边际)除以 cL,再减去 ∥δ∥。作者称凡满足引理的配对也满足该定理,因为质心边际不低于原对抗边际。
- 质心计算的依据:作者引用 Lemma A.4:在冻结伪标签上对边际做梯度上升时,梯度流极限下边际单调不减,因而保持预测类。对无偏置项的齐次 ReLU 网络,作者称该上升还收敛到相应约束问题的 KKT 点,并称这是 Lyu 等参数空间结果的输入空间对应。
两个近似检测器
- DAdv:干净原像在推理时不可见。Claim 1 用防御方扰动 z′=z+σ 代替它。伪标签 ŷ 固定后,若 z 确是对抗样本,则 q(z;ŷ)+q(z′;ŷ)≤cL′∥δ∥。L′ 由这一对的边际差,除以 c 乘 max(∥z−z′∥,∥δ∥) 得到。Algorithm 1 在 ℓ2 球内做带符号梯度的上升并投影;翻转则停止。Algorithm 2 在上述和式不超过 L′·c·∥δ∥ 时拒绝。
- Dlc:Claim 2 再引入局部质心 z̃。拒绝条件是质心距离不低于(质心边际 + q(z′;ŷ))除以 cL′,再减去 ∥δ∥。这里的 L′ 改由 z̃ 与 z′ 的边际差估计。作者称质心提供高边际锚点,z′ 仍负责局部 Lipschitz 估计,从而分开 Claim 1 里同一对点的两种用途。
- 实现参数:正文写 z′ 由半径 ∥δ∥ 的 ℓ2 球内 T=10、步长 α=ε/T 的 BIM 生成;质心为 Tcent=10 步、步长 0.1、裁剪到 [0,1]^d 的梯度上升。两者都接在预训练分类器上,不重训练、不微调。
- 更保守的估计:为扩大满足 L′≥L∗ 的子集,作者把单次估计换成多探针 L′strong=max_k L′_k。作者称这会抬高 L′,使认证条件更容易满足,但同一更大的 L′ 也放宽拒绝阈值,从而提高 FPR 和运行时间。
偏差、认证条件与三档保证
- 偏差:作者用 Lemma IV.4 界定 DAdv 的 L′ 相对理想成对常数的偏差,用 Theorem IV.5 给 Dlc 的阈值间隙一个可由 ∥δ∥、L′、全局上界和边际算出的确定上界。假设包括边际自身 Lipschitz,以及局部估计不超过可计算的全局上界。
- 何时正式成立:Proposition IV.6 定义成对常数 L∗(x,x̂) 与 L∗(质心,x)。Proposition IV.7 称:L′≥L∗(x,x̂) 时 DAdv 的界成立;L′≥L∗(质心,x) 且 q(z′;ŷ)≤0 时 Dlc 的界成立。翻转性质由 Algorithm 1 在 T 步内成功翻转时保证。
- cert%:它是全部成功且预算内的对抗样本中,既被拒绝又满足上述逐检测器条件的比例。作者称在其全部实验里,被拒绝且 L′≥L∗ 的对抗样本上都有 q(z′;ŷ)≤0,因此联合条件在实验中退化为 L′≥L∗。
- 三档:Lglob 对全部输入有效时为完全认证,代价是保守全局界可能带来高 FPR。预训练模型上用 L′ 时为条件认证,只有满足逐样本条件的子集有形式证书。实验中被拒绝但不满足该条件的样本,作者只称为经验保护,不称为认证检测。
论文做了哪些实验?
主结果同时报告TPR、FPR与cert%;后一项才是形式认证子集。
实验设置
- 被测分类器:MNIST 上 LeNet-5,CIFAR-10 上 VGG16,ImageNet-1k 上 PyTorch 预训练 ResNet-50 与 ViT-B/16。附录 Table XIV 另有 CIFAR-10 ResNet-18 和 MNIST 的 VGG-style CNN。Table I 的完全认证路径用 CIFAR-10 上的 1-Lipschitz SortNet。
- 攻击:ℓ2 下的 FGSM、BIM、PGD(40 steps、10 restarts)和 CW(40 steps)。附录写 BIM 为 10 steps。自适应攻击使用 100 个 Adam steps、ℓ2 投影和 [0,1]^d 裁剪。
- 基线:CTT 的 loose 与 strict、SortNet 与 CRM 的认证半径规则(认证半径 r<ε 则拒绝)、ContraNet、A2D,以及 Cohen 等的 RS(n0=64,n=512,σ=0.25)和 conservative RS。
- 指标:TPR 是成功翻转预测的对抗样本中被拒绝的比例;FPR 是干净样本被拒绝的比例;cert% 只对依赖 L′ 的 DAdv、Dlc 报告。自适应实验另报分类攻击成功率 ASRcls,以及检测后的 ASRjoint=ASRcls·(1−TPR)。
- 规模与重复:Table III 的 TPR 在每个 ε 约 500 个成功对抗样本上,FPR 用完整 CIFAR-10 测试集;Table IV 为 ImageNet-1k 的 500 images;Table V 为 500 个输入;Table XIV 为 nadv=500、nclean=1000。除非另注,单张 NVIDIA V100 上对 5 个随机种子取平均。检测器不重训练。
- 检测器参数:z′ 为 T=10、α=ε/T 的 BIM;质心为 10 步、步长 0.1。论文未在 Table I、Table II 标题中写明样本量。
主结果
下表只列 Dlc,且只填对应表里能对上攻击或表注的格子。Table I 标题未写攻击算法。Table XIV 的 VGG-style CNN 未报告 ε=0.1,故该行用表中的 ε=0.5。
表格较宽,可左右滑动
设置 ε TPR FPR cert% 出处 LeNet-5,MNIST,BIM 0.1 100.0% 1.0% 90.0% Table II VGG16,CIFAR-10,BIM 0.1 100.0% 29.9% 75.0% Table III ResNet-50,ImageNet-1k,BIM 0.1 99.7% 9.4% 63.8% Table IV ViT-B/16,ImageNet-1k,BIM 0.1 100.0% 3.6% 63.0% Table IVb SortNet,CIFAR-10 0.1 100.0% 10.1% 36.5% Table I ResNet-18,CIFAR-10,BIM 0.1 100.0% 29.7% 85.3% Table XIV VGG-style CNN,MNIST,BIM 0.5 100.0% 3.6% 100.0% Table XIV - 作者把保证分成三档:Lglob 已知时为完全认证;预训练模型上只有满足 L′≥L∗ 的拒绝计入 cert%;TPR 高于 cert% 的部分是实验中被拒绝、但作者不称为形式认证的样本。
- Table I 中 Lemma IV.1 在 ε=0.1/0.3/0.5/1.0 的 TPR 均为 100.0%,FPR 为 10.5%、31.5%、58.5%、95.0%。同表 SortNet 认证半径规则的 FPR 为 22.0%、59.0%、86.0%、100.0%,CRM 为 25.2%、68.0%、96.0%、100.0%。DAdv 的 TPR 为 99.0%、100.0%、99.5%、100.0%,不是每行都是 100%。
- 作者称 Dlc 在小预算上 FPR 低于 A2D,且每个 ε 的 TPR 更高。Table IVb 中 ε=0.5 与 1.0 时 Dlc 的 FPR 为 15.4% 与 26.6%,A2D 均为 11.2%;A2D 在 ε=1.0 的 TPR 为 93.1%,高于该表 ε=0.1 的 89.5%。摘要写 CIFAR-10 VGG16 上 62–82% 既被拒绝又被认证;Table III 中 Dlc 在 ε=0.05 的 cert% 为 62.4%,DAdv 在 ε=0.3 为 83.4%。
基线、RS 与运行时间
- RS 与 ContraNet:Table III 中 Cohen RS 在 ε=0.05 的 TPR/FPR 为 38.5%/46.0%,ε=0.5 为 100.0%/100.0%。conservative RS 的 TPR 为 93.5% 到 100.0%,FPR 为 93.2% 到 100.0%。ContraNet 的 FPR 均为 9.0%,TPR 在 ε=0.3 为 74.6%,低于其 ε=0.05 的 87.0% 和 ε=0.5 的 85.0%。
- CTT:Table XI 中 CIFAR-10、PGD、ε=0.01 时,Dlc 的 TPR/FPR 为 100.0%/3.0%,CTT-strict 为 16.6%/3.0%,CTT-loose 为 24.3%/6.4%。同表 FGSM、ε=0.04 时 DAdv 的 TPR 为 93.0%,CTT-strict 为 93.1%。
- 时间:Table V 在 ImageNet-1k 上,DAdv 为 0.190±0.073 秒,Dlc 为 0.421±0.074 秒,RS 为 3.757±0.502 秒。作者称检测比 ImageNet 上的 RS 快 9–20×;strong 版本为 0.451±0.084 与 0.765±0.087 秒,作者称仍约快 8.3× 与 4.9×。
自适应攻击与多探针 L′
- 自适应:Table VII 中 CIFAR-10 所列 ε 上,DAdv 与 Dlc 的 ASRjoint 均为 0。ImageNet 上作者称 ASRjoint 至多为 2.8%(DAdv)和 0.9%(Dlc);这两个数出现在 ε=0.3 与 0.5。ε=0.1 时 DAdv 的 TPR 为 87.4%、ASRjoint 为 1.8%,Dlc 的 TPR 为 99.0%、ASRjoint 为 0.1%。
- 证书覆盖:同一自适应表里,CIFAR-10、ε=0.05 的 cert% 在加强 L′ 前为 3.0%(DAdv)和 5.0%(Dlc),之后为 96.5% 与 67.5%。这与 Table III 的 BIM cert% 不是同一行。
- 多探针:作者称 CIFAR-10 上 cert% 提高 14.5–34.8 个百分点,ImageNet 上最多 66.3 个百分点,FPR 最多增加 7.3 个百分点。Table VI 中 CIFAR-10、DAdv、ε=0.05 为 63.2→98.0;ImageNet、DAdv、ε=0.10 为 20.2→86.5;CIFAR-10、Dlc、ε=0.30 的 ΔFPR 为 +7.3。Table VI 的 ImageNet 基数与 Table IV 的 20.4%、63.8% 不完全相同。
鲁棒训练、检测器差异与 ℓ∞
- 对抗训练:Table VIII 中,ℓ2 PGD(半径 0.5)训练后的 VGG16 上,Dlc 在 ε=0.5 的 TPR/FPR 为 99.6%/32.2%;Table III 标准训练对应 FPR 为 93.6%。DAdv 在对抗训练后、ε=0.05 的 TPR 为 92.0%,不是 99% 以上。高斯增强(σ=0.25)后,Dlc 在 ε=0.5 的 FPR 为 51.5%,Cohen RS 为 65.0%。
- 哪个检测器 cert% 更高:Table I 的 SortNet 上 DAdv 的 cert% 为 58.1%、59.0%、65.3%、71.5%,Dlc 为 36.5%、41.0%、50.0%、57.5%。Table IV 的 ResNet-50 上顺序相反,ε=0.1 时 DAdv 为 20.4%、Dlc 为 63.8%,ε=0.5 时为 38.1% 与 80.4%。作者称这与干净边际尺度有关,而不是只由数据集复杂度决定。
- ℓ∞:Section VI-D 写,标准 CIFAR-10 VGG16 上 Dlc 在 ε=1.5/255 的 TPR 为 99.5%、FPR 为 80%,在 ε=2/255 的 TPR 为 100%、FPR 为 90.5%。作者认为 TPR 说明归约可转移,FPR 更高的原因是范数几何:网络的 ℓ∞ Lipschitz 常数大于其 ℓ2 对应量。
其他消融与分析
- Table X:SortNet 上 ΔT 中位数,DAdv 在 ε=0.3/0.5/1.0 为 0.31(74%)、0.51(72%)、1.02(63%);Dlc 为 0.20(16%)、0.29(19%)、0.85(44%)。
- Table XV:CIFAR-10 VGG16、DAdv、ε=0.1,baseline 的 cert% 为 76.4、22 ms/样本;K=1、T=6 为 93.5、201 ms;K=2、T=12 为 95.4、563 ms。
- Table XVI:CIFAR-10 VGG16、BIM、n=500,DAdv 在 ε=0.05 的 cert% 为 62.6%、违反比例 37.4%;Dlc 为 62.0% 与 38.0%。
- Table XII:CIFAR-10、CW、ε=0.05,DAdv 的 TPR 为 98.8%,Dlc 为 99.8%;MNIST 上四类攻击所列 ε 的 TPR 均为 100.0%。
- Table XVII:ResNet-50 上 Dlc 在 ε=0.6 的 TPR 为 98.8%、FPR 为 37.2%;RS 从 ε=0.6 到 1.0 的 FPR 均为 100.0%。
- 作者称 Figure 3 中干净与对抗的检测统计分布分开;图注写 RHS<dz 的负值表示被标为对抗。曲线端点的具体读数在转换文本中无法核对。
有什么可以进一步探索的点?
作者将收紧ℓ∞证书和跨任务扩展留作后续,并写明FPR受干净边际约束。
作者指出的局限与后续方向
- 干净边际:Section VI-E 写,检测器的 FPR 由分类器的干净边际分布支配;更大的归一化边际与鲁棒性相联系,对抗训练可在不改检测器时降低 FPR。
- 单对估计:Section VI-E 写,L′ 由一对 (z, z′) 计算,Theorem IV.5 界定由此产生的阈值间隙。作者同时写 hybrid pairwise 或 layer-wise 估计器与该框架兼容。
- 范数范围:Section VI-D 与 VI-E 写主要关注 ℓ2。作者把收紧 ℓ∞ 证书留作未来工作,并举例可用范数特定的 Lipschitz 估计或逐维界。
- 注意力架构:Section VI-E 写,softmax attention 在有界输入区域之外的全局 Lipschitz 界可能松或无界;作者称其证书只需要有界球上的成对常数,因此与其他无约束预训练分类器一样,以 L′≥L∗ 为条件。
- 任务范围:Section VI-E 写,归约需要标量分数边际和范数有界扰动,不依赖图像专用架构;把同一证书扩到检测、分割或多模态流水线,作者留作未来工作。
- 大预算与误拒:附录 A 承认,对手的扰动预算很大时存在 false negatives;框架针对有限 ℓ2 扰动,干净样本也可能被检出。作者写服务方对拒绝输入已有回退。
实验覆盖范围
- 分类器包括 LeNet-5、VGG16、ResNet-50、ViT-B/16,附录 Table XIV 的 ResNet-18 与 VGG-style CNN,以及 Table I 的 1-Lipschitz SortNet;CRM 以其认证半径规则出现在 Table I。
- 数据集为 MNIST、CIFAR-10、ImageNet-1k。Table IV 写 ImageNet-1k 为 500 images;Table III 的 TPR 在每个 ε 约 500 个成功对抗样本上,FPR 用完整 CIFAR-10 测试集。论文未报告 Table I 与 Table II 的样本量。
- 攻击包括 ℓ2 的 FGSM、BIM、PGD(40 steps、10 restarts)、CW(40 steps);Table VII 的自适应结果写在 CIFAR-10 与 ImageNet。Section VI-D 另报告 ℓ∞ 实例。
- 对照包括 CTT、SortNet、CRM、ContraNet、A2D 和 Cohen 等人的 RS。作者称 ContraNet 不扩展到 ImageNet-1k。主设置在单张 NVIDIA V100 上对 5 个随机种子取平均。
- 论文未报告人工评估。RS 主实验使用 n0=64、n=512、σ=0.25;多探针表默认写 K=1、T=6,除非另注。
总结一下论文的主要内容
不改分类器,用Lipschitz边际做认证检测,并分开完全认证、条件认证和经验拒识。
这篇工作把预训练图像分类器上的认证 ℓ2 鲁棒性,转成对预算内对抗输入的检测证书,分类器本身不重训练、不改架构。
- 问题:作者针对自动驾驶感知、内容审核和生物特征门禁。攻击者是 white-box,在防御方宣布的 ℓ2 半径内翻转预测;防御方 detection-then-refuse,漏检比误拒更贵。RS 需要大量带噪查询,Lipschitz 网络则约束架构。
- 方法:Lemma IV.1 用 Lipschitz 常数和边际给出成功对抗样本的边际上界;Theorem IV.2 改用局部质心距离。DAdv 用一次防御方扰动估计局部 L′,Dlc 再加质心。全局界有效时完全认证;否则只有 L′ 达到成对门槛的样本被记入 cert%。
- 完全认证:CIFAR-10 的 1-Lipschitz SortNet 上,Lemma IV.1 在 ε=0.1 的 TPR 为 100.0%、FPR 为 10.5%;ε=0.3 的 FPR 为 31.5%,同表 SortNet 与 CRM 认证半径规则为 59.0% 与 68.0%(Table I)。该表标题未写攻击算法。
- 预训练模型:Table III 中 CIFAR-10 VGG16 对 BIM 的 TPR 为 100.0%;ε=0.05 时 Dlc 的 FPR 为 15.6%、cert% 为 62.4%,ε=0.5 时 FPR 为 93.6%、cert% 为 78.8%。Table XII 的 CW、ε=0.05 上 DAdv TPR 为 98.8%,不是 100%。
- ImageNet 与训练:ViT-B/16、ε=0.1 时 Dlc 的 TPR 为 100.0%、FPR 为 3.6%、cert% 为 63.0%,A2D 为 89.5% 与 11.2%(Table IVb)。ResNet-50、ε=0.1 时 Dlc 的 cert% 为 63.8%(Table IV)。ℓ2 PGD 对抗训练后,Dlc 在 ε=0.5 的 FPR 为 32.2%(Table VIII)。Table VII 中 CIFAR-10 自适应攻击的 ASRjoint 为 0;ImageNet 上 DAdv 在 ε=0.1 的 TPR 为 87.4%。
- 作者的结论:作者认为,在所述 Lipschitz 条件成立时,可以认证对抗输入被检出,而不是认证预测不变;扩大干净边际的鲁棒训练可以在同一检测器下改善工作点。形式保证不覆盖超出宣布预算的攻击,局部估计下也不自动覆盖每一个被拒绝的样本。