ATLAS：用自适应信任域与主动学习搜索潜在对抗样本集

黑盒学习系统的安全评估需要在有限查询下恢复能诱发失败的输入集合，而不是只找到个别成功样本。

• 场景：作者认为，部署到安全关键场景后，只拿固定的已知攻击做测试不够；评估者要能自适应地发现多样失败输入，尤其当失败机制未知时（第1节）。
• 现有不足：已有黑盒攻击被设计成发现一个或少数成功点。输入高维，穷举不可行；对抗区域可能只占搜索空间的一小部分，无引导探索很难碰到。
• 核心观察：作者把问题改成区域恢复。只在零水平集附近采样可以做“安全/对抗”分类，但超水平集内部会采样不足，审计还需要该区域本身的代表性样本（第3节）。
• 本文提出：ATLAS（Adaptive Trust-Regions for Latent Adversarial Searches）。它把攻击生成写成主动学习水平集估计，用残差校准和边界/饱和双信任域，同时得到对抗值函数和对抗集。
• 威胁模型：
  • 受害系统：有界图像空间上的 black box 分类器 T，输出为类别概率。
  • 知识：可观察输出概率。论文写的是 black box 与有限查询，未写权重或训练数据可见。
  • 能力：对 T 的查询次数有限。实验里的预算是 650，这是实验设置，不是第3节给出的固定上限。
  • 目标：构造集合 A，使其中输入的对抗分数达到成功标准。第3节把成功攻击写成 ι>ϕ，把要恢复的集合写成 fadv(x)≥ϕ，其中 fadv=T∘O。

梯度式图像攻击

• Goodfellow et al. (2014)、Carlini and Wagner (2017)、Croce and Hein (2020) 等：用梯度构造对抗输入。论文把它们列为图像攻击的一类，没有逐篇和 ATLAS 对比。

生成模型攻击

• Xiao et al. (2018)、Song et al. (2018)、Poursaeed et al. (2018) 等：用生成模型产生对抗图像。第6节的图像实验沿用 Song et al. (2018) 的 generator-constrained 设定。

查询式黑盒攻击

• NES（Ilyas et al., 2018）、SignHunter（Al-Dujaili and O’Reilly, 2020）、SquareAttack（Andriushchenko et al., 2020），以及 Shukla et al. (2019)、Cheng et al. (2024)、Zhang et al. (2024)、Ru et al. (2019) 的贝叶斯优化攻击。
• 作者称 BayesOpt（Ru et al., 2019）与本文最接近：同样用自适应采样找 L∞ 扰动，但把搜索空间拆成更低维子空间，并为每个子空间配局部模型，目标是优化出一次攻击。ATLAS 是在同维局部区域上学习全局对抗映射，采样准则是减小模型误差，而不是一般的对抗最大化。
• Nasr et al. (2025)、Zhan et al. (2025) 的 LM-evolutionary 方法，以及 Gibson et al. (2024) 的 try-and-check。论文只点名，未展开对比。

水平集估计与信任域

• TRLSE（Ngo et al., 2026）、AP2L（Deglurkar et al., 2026）、Eriksson et al. (2019) 的局部贝叶斯优化，以及 Paccagnan et al. (2023)。作者称这些方法不是为生成多样对抗集而设计的。第4.2节又写，ATLAS 的全局-局部采样骨架沿用 Ngo et al. (2026) 与 Eriksson et al. (2019)。先前水平集工作在零水平集附近采样；作者称 AP2L 校准的是采集函数，而不是模型预测。

基线与基准：toy 对照是 AP2L 与 TRLSE，函数是 Ackley、Rastrigin、Rosenbrock（10D/50D/100D）。图像对照是 NES、SignHunter、BayesOpt 和均匀随机，数据是 MNIST、CIFAR-10、ImageNet 的标准与对抗训练分类器。

作者把本文定位成：把对抗生成写成主动水平集估计，用覆盖整个输入空间的残差模型校准代理，并用饱和信任域恢复对抗集内部，而不是只找边界或单点。

ATLAS 不把预算花在优化单个对抗点上，而是学习对抗值函数，再在其预测的超水平集里查询，得到对抗集。

问题设定

• 分数与集合：O 按对抗标准给分类器输出打分，fadv=T∘O。要恢复的集合是 A := {x ∈ X : f_adv(x) ≥ ϕ}。第3节同时把成功攻击写成 ι>ϕ，把代理的超零水平集写成 S={x:V(x)≥0}。
• 为何要内部样本：作者认为，只靠近零水平集采样足以判断点是否对抗，但审计还要 S 本身的代表性样本。内部候选只能来自代理自己对 S 的预测，预测错就会查到 S 外，或查到已经很熟的区域。
• toy 阈值：ϕ 取为分位数，使超水平集体积与全域体积之比等于 hratio=0.05。图像实验把定向成功对齐到下面目标的非负超水平集，没有另给数值 ϕ。

残差校准

• 全局：在已查询数据上拟合 hg。用预算中均匀抽出的保留集训练残差模型 hr，拟合 hg 相对 oracle 的误差，校准预测为 hg 减去 hr。
• 作者给出的理由：校准模型预测本身，一次修正会传到所有基于该模型的采集函数；若只校准采集分数，每个采集函数都要重做，而且不改正底层模型。
• 局部：每个信任域有自己的临时局部模型。作者称，若每个新区域都再抽一份保留集，会耗尽预算，因此局部校准用训练集上的 LOO-CV（Williams and Rasmussen, 2006），不再另花查询。

边界与饱和信任域

• 区域：外层先放信任域中心，内层再在域内选点。论文把信任域写成以 c 为中心、边长 l 的超立方体，并写 ∥x−c∥∞<2l；l=V 的 1/d 次方，体积 V 固定（Table 5）。中心选择在采集分数上加距离惩罚，使种子分开。
• 两套采集：边界采集偏向零水平集且不确定性高的候选，用来划定区域；饱和采集偏向预测落在超水平集内部的候选，用来充实对抗集。P 是后验下该点属于超水平集的概率。边界放置借鉴 Bryan et al. (2005)。论文给出式(2)–(6)。
• 作者给出的理由：只做分类会偏向高误差的边界点；只收集对抗点又会回到已经知道的区域。两套排序共用同一个校准代理，用来同时照顾分类和集合多样性。

迭代与图像搜索

• 循环：Algorithm 1 为五步：拟合全局代理、拟合残差并校准、选择边界中心与饱和中心、在每个域内 LocalSample、并入新查询后重拟合，直到已用查询达到预算。空的信任域先查询其中心。返回校准代理，以及已查询点中 fadv(x)≥ϕ 的集合。
• 图像目标：不在像素空间搜索，而在固定类条件生成器 G(z,s) 的潜变量上学习 V。s 是源类。定向目标取 Carlini and Wagner (2017) 的 logits 差，并取负号以便和非负超水平集对齐：

O(x′; t) = Ẑ_t(x′) − max_{i ≠ t} Ẑ_i(x′) Z-hat 是 softmax 前的 logits，t 是指定目标类。潜空间限制在先验均值附近、以 zscore 个标准差为界的有界区域；论文未给出 zscore 的数值。

实验设置

• 图像分类器：MNIST 用 LeNet5，准确率 99%。CIFAR-10 标准目标是 ResNet50，准确率 93.65%；对抗训练目标是 WRN-28-10 AT（DDPM），准确率 60.75%。ImageNet 标准目标是 ResNet50，准确率 76.13%；对抗训练目标是 ResNet50 AT（Linf），准确率 54.53%（附录 D）。
• 生成器：MNIST 用 conditional DCGAN，CIFAR-10 用 BIGGAN，ImageNet 用 BIGGAN-256。前两者被重训为接收 32 维潜变量和源类；BIGGAN-256 的权重来自 StudioGAN。每个目标评 20 个源类–目标类对。
• toy 目标：Ackley、Rastrigin、Rosenbrock，维度 10D、50D、100D。hratio=0.05。测试集 S 为 5 万个超水平集点，Mix 为 100 万混合点。30 个 seed。
• 预算：图像与 toy 的 oracle 预算都是 650。toy 中 ATLAS 用 112 次做校准、538 次采样；AP2L 的 112 次校准不计入其 650（Table 5）。图像实验的标准差是跨 20 个对计算的。论文未报告同一源–目标对的重复次数。
• 基线：图像为 NES、SignHunter、BayesOpt、均匀随机。BayesOpt 按其发表配置在第一个对抗点停止，Count 按构造为 1，只比较 ASR 与 Qfirst。toy 基线为 AP2L、TRLSE。toy 的共享设置包括 Matérn-5/2 GP、2 个边界域加 2 个饱和域、β=1.96、ρ=0.5、候选池 2 万（基线为 10 万），见 Table 5。
• 指标与判定：ASR 是至少成功一次的对的比例；Qfirst 只在成功的对上计算。Margin J 在第5节定义为 K=20 个箱上的归一化熵；图像实验报告同一指标，未重申 K。Spread 是集合内平均成对距离相对参照集的比值。Spacing 近 1 表示铺得更匀，近 0 表示聚成少数团。图像成功由目标分类器的 logits 目标判定，没有单独评审模型。

主结果

下表为 Table 9 的均值。每个方法、每个目标的预算都是 650，对 20 个源类–目标类对取平均。SignHunter 的 Spacing 与 BayesOpt 的 Qfirst 是对照列。

表格较宽，可左右滑动

目标	ATLAS ASR	ATLAS Margin J	ATLAS Spread	SignHunter Spacing	BayesOpt Qfirst
MNIST LeNet5	95%	0.859	1.94	0.27	36
CIFAR-10 ResNet50	95%	0.818	1.51	0.27	57
CIFAR-10 WRN-28-10 AT	100%	0.823	1.88	0.24	44
ImageNet ResNet50	85%	0.609	3.33	0.31	130
ImageNet ResNet50 AT	100%	0.745	3.82	0.26	102

• 分布：作者称 ATLAS 是唯一在 5 个目标中的 4 个上 Margin J 最高、同时空间散布和间距也较好的方法。例外是 ImageNet 标准 ResNet50：NES 的 Margin J 为 0.720，高于表中 ATLAS（Table 9）。
• 点数与聚集：Table 9 中五个目标上，SignHunter 与 NES 的 Adv. Count 都高于 ATLAS。作者称 SignHunter 更聚成团，其 Spacing 为 0.24–0.31，ATLAS 为 0.55–0.65；NES 的 Spread 为 1.14–2.43，ATLAS 为 1.51–3.82（第6节，与 Table 9 一致）。均匀采样的 Spacing 为 0.88–0.93，作者称平均只找到 1–19 个对抗点。
• 成功率与首次成功：Table 4 标题称 ATLAS 的成功率与最高者相当。表中并非每个目标都如此：MNIST 上 SignHunter 与 BayesOpt 为 100%；ImageNet 标准模型上 SignHunter 为 95%、NES 为 90%。作者称首次成功略慢于 BayesOpt，并给出 Qfirst 为 83–229 对 36–102。Table 9 里 ImageNet 标准模型的 BayesOpt Qfirst 为 130，不在 36–102 内。对抗训练的 CIFAR-10 与 ImageNet 上，ATLAS 的 ASR 为 100%。

toy 上的区域恢复

• 对照：Table 3 比较 ATLAS（校准 112，采样预算 538，边界与饱和 1:1）和预算 650 的 AP2L、TRLSE。作者称 recall 在 9 个设定都最高，F1(Mix) 在 8 个设定最高，单位预算超水平集点数在 8 个设定最高，Margin J 与深度在每个实验最高。
• 例外：Ackley 10D 的 F1 是 TRLSE 0.681、ATLAS 0.664。Rosenbrock 100D 的 nSuper/B 是 TRLSE 66.3%、ATLAS 47.6%。同一格里 TRLSE 的 F1 为 0.000，精度未定义；ATLAS 的 F1 为 0.461、recall 为 41.0%。100D Rastrigin 上 TRLSE 的 F1 也是 0.000，ATLAS 为 0.273、recall 为 18.7%。
• 作者的解读：作者称 ATLAS 用 recall 换 precision，因而更少漏掉对抗输入；深入内部会使平均成对距离变小，所以 Spread 常低于基线。Table 3 脚注称，在 50D 与 100D 上，ATLAS 恢复到高于超水平集测试集中每一个样本的对抗分数。Conclusion 另写，函数景观之间仍有性能差异。

校准与双采样消融

• 校准样本数：总预算 650、30 个 seed（Table 1、Table 6）。100D 上，0 个校准样本时 Ackley、Rastrigin、Rosenbrock 的 F1 为 0.163、0.003、0.100；50 个（8%）时为 0.322、0.288、0.457。作者称无校准会靠少预测超水平集点来得到高 precision、低 recall。把 58% 预算用于校准时变差，100D Ackley 的 F1 为 0.029。主实验取 NC=112（17%）。
• 只边界或只饱和：采样预算同为 538，信任域同为 4 个（Table 2）。100D 上只饱和时，nSuper/B 为 85.7%、90.9%、90.9%，但 Rastrigin 与 Rosenbrock 的 F1 为 0.011 与 0.015。只边界时，Rastrigin 100D 的 nSuper/B 为 1.5%。
• 作者的解读：作者称单模式各自按设计工作，但各有失败处；只有 1:1 的 ATLAS 在三个景观上同时保住分类指标和集合指标。

其他消融与分析

• 默认权重 c=2、w=40 共用到全部 toy 基准（Table 8）：作者称 recall 仍在 8/9 最高、F1 在 7/9 最高、mV 在 9/9 最高。Rastrigin 100D 的 F1 为 0.066、recall 为 3.5%，低于 Table 3 分函数权重下的 0.273 与 18.7%。
• Table 5：ATLAS 候选池为 2 万，基线为 10 万。作者称这若有影响，也是不利于 ATLAS。Rastrigin 100D 的 c 在分函数设置中为 16，其余为 2；w 按函数和维度分开设置。
• Table 9 脚注：ImageNet 标准模型上，BayesOpt 的 20 组中有 2 组在约 12 小时、完成约 490 与约 585/650 次查询后被终止，记为失败。最慢的 ATLAS 批次为 37 分钟；NES 与 SignHunter 没有批次超过 2 分钟。
• Figure 3 与附录 E：作者解读若干源类到目标类的样例。例如 stingray 到 great white shark 的恢复图像都含开阔海面；goldfish 目标的图像含花瓣和羽毛。这是作者对样例的解读，不是另一次定量实验。
• 附录 F：作者用已有结果按 NIST AI RMF 与 MITRE ATLAS 写审计摘要，并称对抗训练没有消除定向失败区域。该附录没有新的结果表。

作者指出的局限与后续方向

• 论文未单列 Limitations。Conclusion 与 Ethical Considerations、Open Science 写了后续事项。
• Conclusion：未来工作包括在更多目标上研究，以及用 ATLAS 生成的对抗集训练目标模型。
• Ethical Considerations：未来工作包括分析该系统的局限，即找出哪些功能特性（防御）会使同类算法无法有效地把输入映射到对抗分数。
• Ethical Considerations：其他可能的缓解包括限制对外部系统的查询。
• Open Science：作者计划在发表后公开全部源代码、配置和复现脚本。

实验覆盖范围

• toy 实验覆盖 Ackley、Rastrigin、Rosenbrock，维度为 10D、50D、100D；每设定 30 个 seed，查询预算 650，hratio=0.05；对照为 AP2L 与 TRLSE（第5节、Table 3、附录 A）。
• 图像实验覆盖 LeNet5、CIFAR-10 标准 ResNet50、CIFAR-10 的 WRN-28-10 AT、ImageNet 标准 ResNet50、ImageNet 的 ResNet50 AT；每目标 20 个源类–目标类对，每实验 650 次 oracle 查询；对照为 NES、SignHunter、BayesOpt 与均匀采样（第6节、Table 9、附录 D）。
• 图像候选限制在固定生成器的潜空间：conditional DCGAN、BIGGAN、BIGGAN-256。成功由目标分类器 logits 判定，论文未使用单独的评审模型（第6节）。论文未给出 zscore 的数值。
• 消融包括校准样本数（Table 6）、边界与饱和信任域（Table 7），以及全部 toy 基准共用 c=2、w=40（Table 8）。Table 5 给出 toy 的 GP、信任域数量和候选池大小。
• BayesOpt 按其发表配置在第一个对抗点停止，集合分布指标不与跑满预算的方法并列。论文写明 ImageNet 标准模型上有 2/20 个 BayesOpt 批次因墙钟上限被终止（Table 9 脚注）。

ATLAS 是一个查询式 black-box 框架，用来构造诱发失败的对抗输入集合，供鲁棒性审计使用。

• 问题：作者认为固定攻击清单不够。目标是在高维、查询有限时恢复对抗区域，并抽出能代表失败状态的样本，而不是优化出单个对抗点。
• 方法：把发现过程写成主动学习水平集估计。残差模型校准代理预测；边界信任域探零水平集，饱和信任域在预测的超水平集内部取样。图像实验不直接搜像素，而在固定类条件生成器的潜空间里做定向误分类。
• toy：Ackley、Rastrigin、Rosenbrock，至 100D，30 个 seed，预算 650。作者称 recall 在 9 个设定都最高，F1 在 8 个设定最高。100D 上 TRLSE 对 Rastrigin 与 Rosenbrock 的 F1 为 0.000，ATLAS 为 0.273 与 0.461（Table 3）。加 50 个校准样本后，100D Ackley 的 F1 从 0.163 升到 0.322（Table 1）。
• 图像：五个分类器、各 20 个源–目标对、预算 650。作者称 ATLAS 的集合分布更具代表性，Margin J 在 4/5 个目标上最高。MNIST 标准模型上该值为 0.859。例外是 ImageNet 标准 ResNet50：ATLAS 的 Margin J 为 0.609，低于 NES 的 0.720；ASR 为 85%，低于 SignHunter 的 95%（Table 9）。CIFAR-10 与 ImageNet 的对抗训练目标上，ATLAS 的 ASR 为 100%。SignHunter 与 NES 找到的对抗点更多，作者称其分布更紧或更局部。
• 作者结论：作者认为这为自动红队提供了可用基础。Conclusion 计划研究更多目标，并用这些对抗集训练模型。作者计划在发表后公开代码。