通过系统性对抗鲁棒性揭示脆弱性单一化

现有评测给不出攻破一个模型池需要多少个不同攻击，因而分不清共享弱点与分散失败。

• 场景：作者称基础模型共享训练流程、蒸馏与数据，可能形成脆弱性单一化（vulnerability monoculture）。能力增强会放大相关错误，应用已进入医疗、自动驾驶和金融。
• 现有不足：个体攻击成功率假定逐模型攻击，迁移率假定只用一个输入。作者认为二者无法区分共享可利用缺陷与失败分散在不同模型。
• 核心问题：作者认为真实对手处在二者之间，会利用共享脆弱性扩大攻击面。要问的是：预算内多少个不同攻击能攻破池中给定比例的模型。
• 本文提出：定义系统性对抗鲁棒性（Systemic Adversarial Robustness, SAR），写成部分集合覆盖，并用联合攻击上的贪心估计。作者在视觉模型和LLM池上比较蒸馏前后的集体脆弱性曲线。
• 攻击设定：
  • 目标：使输出离开安全区域 Sy；SAR要求用尽可能少的不同合法输入，集体攻破至少1−δ比例的模型。
  • 知识：正文把攻击放在 permissive white-box，并对目标模型或模型池有 oracle 访问。
  • 能力：扰动须落在合法集。连续输入为ℓ∞球；token攻击用 Levenshtein 距离限制插入、删除和替换次数。
  • 受害系统：M个确定性模型组成的池；其中子集可能蒸馏自同一教师。

对抗攻击

• 白盒攻击：Goodfellow et al.（2015）的FGSM、Madry et al.（2019）的PGD、Dong et al.（2018）的MI-FGSM、Carlini and Wagner（2017）、Chen et al.（2018）的elastic-net，以及Croce and Hein（2020a）的fast adaptive boundary。论文只作列举。
• 黑盒攻击：Andriushchenko et al.（2020）的Square Attack、Chen et al.（2020）的HopSkipJumpAttack。作者称黑盒攻击通常依赖白盒攻击的迁移性。
• AutoAttack：Croce and Hein（2020b）同时使用白盒与黑盒攻击来自动寻找对抗样本。

对抗场景中的集成

• 降低成员间可迁移性：ADP（Pang et al., 2019）用Shannon熵正则；TRS（Yang et al., 2021）压低损失梯度相似度；Cui et al.（2022）训练成员以减少脆弱性重叠。
• 多样性训练：GAL（Kariyappa and Qureshi, 2019）降低对抗样本所在子空间的维度；DVERGE（Yang et al., 2020）用多样性指标减少共享脆弱性。
• 理论工作：Li et al.（2025）给出理论刻画并提出iGAT。论文未把这些集成方法写成本文的对照系统。

攻击迁移

• 早期工作：Szegedy et al.（2014）观察到迁移，Papernot et al.（2016）加以利用，Liu et al.（2017）扩展到更大模型，Demontis et al.（2019）做理论分析。
• 平坦样本：Fan et al.（2024）、Zheng et al.（2026）、Ge et al.（2023）讨论更平坦的对抗样本与迁移的关系。
• 基础模型：Wei et al.（2022）研究视觉Transformer上的可迁移攻击。论文称Zou et al.（2023）与Liao and Sun（2024）报告攻击可在对齐后的LLM之间迁移，并称Ma et al.（2024）进一步报告对齐本身可以提高迁移性。

单一化、同质化与蒸馏

• 算法单一化：Kleinberg and Raghavan（2021）讨论许多决策者收敛到同一算法时，集体可能更差。
• 结果同质化：Bommasani et al.（2021）、Toups et al.（2023）、Li et al.（2025）讨论共同数据与方法下的相关错误；Goel et al.（2025）、Kim et al.（2025）讨论能力增强后的相关错误。
• 蒸馏：Xu et al.（2024）综述LLM知识蒸馏。Cloud et al.（2025）称蒸馏可传递训练数据中看不见的行为性状。引言举例：开发者把DeepSeek-R1蒸馏进Qwen与Llama；五个开发者的开源检查点曾在被归于Claude Opus 4.5的输出上做后训练。

比较设置：论文没有把上述攻击或集成方法当作SAR的对照算法。经验比较是蒸馏前的parent池与蒸馏后的descendant池，并对照个体ASR。估计用的攻击是PGD、AmpleGCG+BEAST、AdvLLM+联合GCG和AutoDAN。数据为MNIST、EMNIST-digits与HarmBench；Table 2另写AdvBench。

作者把SAR放在单输入迁移与逐模型独立鲁棒性之间：SAR小表示少量攻击即可覆盖给定比例，SAR大表示失败分散在不同模型。

作者用系统性对抗鲁棒性（SAR）衡量模型池要被集体攻破最少需要多少个不同输入，而不是模型构造上有多不同。估计程序是联合攻击上的自顶向下贪心，并被写成部分集合覆盖。

设定与定义

• 模型池：F含M个确定性模型。生成模型固定解码规则，文中举例为贪心解码，使每个模型成为确定性函数。
• 扰动：连续输入的合法集是ℓ∞球。token序列用Levenshtein距离，ε限制单token插入、删除和替换的次数。
• 覆盖：C(x′)是被该输入攻破的模型下标，即输出不在安全区域Sy。一个模型只要被集合V中至少一个输入攻破，就计入覆盖。
• 定义：若没有任何输入集合能达到覆盖，SAR定义为1。否则，SAR_{1-\delta}(F;x,y)=\frac{1}{M}\min\{|V|:\frac{1}{M}|\bigcup_{x'\in V}C(x')|\ge 1-\delta}。它是达到1−δ覆盖的最少不同合法输入数，再除以池大小。作者称SAR小表示共享风险高；它不评论单个模型是否鲁棒。

与ASR和迁移覆盖的差别

• ASR：式(1)是一个攻击算法攻破单个模型的比例。
• tASC与jASC：式(2)的tASC(j)是模型j造出的攻击迁到池中各模型的覆盖。jASC(I)是用一组模型I造出一个输入后的联合覆盖，且tASC(j)=jASC({j})。
• 差别：作者认为这些量要么看单个模型，要么看单个对抗输入能碰到池中多少模型。SAR问的是达到目标覆盖需要多少个不同输入。

自顶向下贪心

• Algorithm 1：维护未覆盖下标I和已覆盖集合R。每轮用联合攻击在未覆盖模型上找一个合法输入；若至少攻破一个，就记下该输入并移出这些模型。
• 回退：联合攻击若一个都没攻破，就对I中某一个模型做单模型攻击；仍失败则将该模型视为在该攻击下不可攻破并移出。直到覆盖数达到τ=⌈(1−δ)M⌉，或I为空。
• 返回值：达到覆盖时返回k̂/M，k̂为选用的输入个数；否则返回1。作者称该估计是真实SAR的上界。第一次攻击针对整个池，之后每次针对当时仍未覆盖的模型。

部分集合覆盖与近似

• 问题(4)：在宇宙[M]上做单位代价的部分集合覆盖，集合是各合法输入的覆盖。δ=0时回到经典集合覆盖，精确计算一般是NP-hard。集合只由攻击逐个暴露，攻击返回的也不一定是边际覆盖最大的输入。
• α近似联合攻击：对任意非空未覆盖集，返回的输入至少攻破该集合上最优输入所能攻破数量的α比例。α=1是精确贪心预言机。问题可行且攻击满足该定义时，作者称白盒回退不会执行；回退只在攻击达不到定义时保证终止。
• Theorem 1：在问题可行且联合攻击为α近似时，k^⋆≤k̂≤(1+(lnτ)/α)k^⋆，其中τ=⌈(1−δ)M⌉。同一比值适用于除以M后的SAR，并因对实例一致而适用于对数据分布D的平均。贡献列表把该因子写成1+α的倒数乘以ln⌈(1−δ)M⌉，并称这一对数依赖一般不能再改进。
• 作者对界的用法：作者认为定理不是性能保证，而是说明程序误差在何时有界。它只约束贪心相对于攻击误差多出来的部分；攻击误差一般给不出界，因为对单模型而言，任何有保证的α>0的高效攻击都会判定神经网络验证，而该问题是NP-hard（Katz et al., 2017）。作者称平均α不可观察，故定理是分解而不是证书，只当作经验指引。贡献列表另称，该过程能达到k次攻击所能达到的最大覆盖的(1−e的−α次方)比例；附录写出的是Theorem 1。

用来估计SAR的联合攻击

• 图像，联合PGD：无目标白盒，最大化未覆盖模型相对各自干净预测的平均交叉熵，做ℓ∞投影梯度上升。Table 1：40步，步长ε/16，3次随机重启，返回目标值最高的那次。MNIST上Sy取该模型自己的干净预测，预测改变即算攻破。
• LLM，联合BEAST：在有害请求后附加后缀，最小化未覆盖模型对目标答复的平均逐token负对数似然，用梯度自由的beam search。Table 2：beam宽10，种子20 token，后缀30 token，温度1，每次调用查询预算15,000，最多4次调用；种子生成器为AmpleGCG-llama2-sourced-llama2-7b-chat。
• 联合GCG与AutoDAN：GCG最大化对一条固定拒答的平均负对数似然，提议模型在池内轮换，后缀以文本而不是token id交换。Table 3：每轮20步、64个候选、top 256，25个HarmBench行为。AutoDAN由攻击模型改写整段请求，把目标模型当作black box，只用文本响应；按攻破数量、平均置信度、置信度20%下分位数做词典序排序。Table 4：攻击模型写为Qwen3.8-27B，温度0.8，top-p 0.95，每个锚点4个提案，15个HarmBench行为。
• LLM成功判定：解码确定。HarmBench Llama-2-13B分类器把回复标为有害，则该模型算被攻破。对未修改请求就已经失败的模型，不使用攻击也记为已攻破。

实验设置

• 视觉池：低、中、高三档多样性，各M=20。低档只改初始化，中档再改数据增强、划分、优化与正则，高档再改架构。平均测试准确率分别为98.0%、98.3%、99.2%。训练用Adam和早停，细节在附录A.3.1。
• 视觉攻击与蒸馏：攻击为PGD，Table 1为40步、步长ε/16、3次重启。教师是ResNet-18，MNIST测试准确率99.5%，用来标注240,000张EMNIST-digits；学生是高多样性池的20个模型。Figure 3标题写1,000张随机MNIST测试图，覆盖目标为1−δ=0.85。
• LLM池：§4写小池参数量为135M到5B，Figure 5为十个小LLM，名字未列出。中等池是五个Qwen加一个Llama（M=6）；大池是五个提供者的八个模型（M=8）。附录A.3.2另列Opus池八个模型与DeepSeek池六个模型及参数范围，论文未写明它们是否就是medium/large。摘要、§4与Table 6写Claude Opus 4.6；引言、附录A.3.2与Figure 8写Claude Opus 4.5。
• 主攻击与判定：主文用AmpleGCG热启动，再用BEAST优化。有害请求取自HarmBench的standard category，解码确定。攻破由HarmBench Llama-2-13B分类器判定。Table 6是100个HarmBench行为、thinking off。未改请求已失败的模型不计攻击也算攻破。
• 附录攻击：Figure 6为AdvLLM+BEAST，Figure 7为联合GCG，Figure 8为AutoDAN-RR。Table 3写25个HarmBench行为；Table 4写15个，攻击模型为Qwen3.8-27B。Table 2把BEAST样本写成25个AdvBench行为，与Table 6不是同一处记载。
• 指标：主报估计的系统性鲁棒性k̂/M及其相对原池的变化，并对照个体ASR或1−ASR。覆盖要求达不到时SAR=1。论文未报告重复次数，只写实验设了种子。

主结果

论文未报告逐模型SAR，下表只列Table 6的池级均值k̂/M。括号内是相对原池的变化，不是相对上一列。表中省略大池δ=3/8：原池0.340，DeepSeek-R1为0.238（−30.1%），R1→Opus 4.6为0.225（−33.8%）。

| 池与阈值 | 原池 | DeepSeek-R1 | R1→Opus 4.6 | | 中等，δ=0 | 0.543 | 0.512（−5.8%） | 0.288（−46.9%） | | 中等，δ=1/6 | 0.385 | 0.363（−5.6%） | 0.208（−45.9%） | | 中等，δ=1/3 | 0.270 | 0.267（−1.2%） | 0.180（−33.3%） | | 中等，δ=1/2 | 0.203 | 0.202（−0.8%） | 0.168（−17.2%） | | 大，δ=0 | 0.676 | 0.509（−24.8%） | 0.478（−29.4%） | | 大，δ=1/4 | 0.438 | 0.303（−30.9%） | 0.279（−36.3%） | | 大，δ=1/2 | 0.255 | 0.186（−27.0%） | 0.175（−31.4%） |

• R1阶段：作者称DeepSeek-R1蒸馏降低AmpleGCG+BEAST下的系统性鲁棒性。中等池作者称最大下降大约为6%，大池作者称最高达31%。Table 6里仅R1、相对原池的降幅，中等池在δ=1/2为−0.8%，在δ=1/3为−1.2%；大池在δ=1/4为−30.9%。
• 再蒸馏：作者称再经Opus 4.6后均值k̂继续下降，而且幅度对调：中等池再损失约44%的系统性鲁棒性，大池只再降低约6%。δ=0时平均攻击向量数，中等池从3.072到1.728，大池从4.072到3.824。仅R1阶段，这两个数分别从3.258到3.072、从5.408到4.072。
• 作者的比较：作者称没有哪个教师始终更有害：R1对大池影响更大，随后的Opus 4.6对中等池影响更大。作者称在LLM上SAR比个体鲁棒性更能反映池级风险。Figure 4的图注称数值更低表示更少后缀即可覆盖池，虚线为均值；正文未给出图上其他端点。

MNIST多样性与蒸馏

• 多样性：作者称在ε=0.05时，高多样性池的SAR高于另外两池，加大扰动预算后这一差距仍在。正文未给出Figure 2的具体SAR数值。
• 蒸馏与ASR：教师标注后，作者称在1−δ=0.85时，所需不同攻击数下降，而个体攻击成功没有明显下降，并称SAR与个体ASR可以分开变化、这起初反直觉。Figure 3图例写EMNIST测试准确率从96.3%到98.8%，并标注+2.6%、−6.6%、−22.9%；文本转换后无法确定左图各数对应哪条曲线。右图标题为SAR 0.85的分布，文字含mean −22.9%。
• 右图文字：Figure 3右图还标有med 0.45、SAR=1: 39%，以及mean −6.1%、−12.4%、−16.5%、−22.9%和SAR=1从30%到20%等摘要。步数与这些摘要的逐行对应在纯文本中可能错位，这里不把每个百分比绑到特定步。横轴刻度写到6.4k步。

小LLM池的蒸馏过程

• 降幅：Figure 5为十个小LLM在DeepSeek-R1轨迹上的微调，攻击为AmpleGCG+BEAST、thinking off。作者称SAR0.85下降15.0%，个体鲁棒性1−ASR下降5.3%，SAR下降得更快、更多。
• 时间：作者称SAR在仅0.05个epoch后就下降，个体鲁棒性要到0.15个epoch才下降，正文使用了significantly；论文未报告显著性检验。Figure 5左图另标注significant drop from step 16与from step 47。论文未把epoch和step对应起来。
• 图中其他标注：图例写留出的R1轨迹token准确率从71.5%到75.8%，左图另有+5.9%，正文未说明它对应哪条曲线。右图文字含med 0.30到0.20、SAR=9/10为1%或0%等摘要；步数或epoch与这些摘要的对齐不可靠，不逐条绑定。作者称最终蒸馏池在每个δ上都更不具系统性鲁棒，该句对应Figure 5右侧，正文未给出各δ的数值。

其他消融与分析

• 作者称附录里用AdvLLM热启动再加BEAST、联合GCG，以及非插入式的AutoDAN，也看到同一趋势；Figure 6–7的图注给出方向，正文未给出这些图的数值。
• Figure 7左图为六条parent–descendant谱系，右图是singleton-completed的k̂/6；图注未给数值。
• Figure 8是被归于Claude Opus 4.5的谱系，右图为AutoDAN-RR下的singleton-completed系统性风险；parent与descendant的worst-case集合分开选取，分别为25个与22个行为。
• 附录Table 7：Opus池参数4.0–31.2（中位数11.5）B，parent为instruction-或reasoning-tuned；DeepSeek parent为6个未做安全对齐的base模型，参数1.5–32.8（中位数8.1）B，descendant为1.8–32.8（中位数8.1）B。
• 三个LLM池上，作者称在共享教师轨迹上微调会降低AmpleGCG+BEAST下的系统性鲁棒性；该句指向附录A.3.2的更细分析，正文未再给另一组总表。

作者指出的局限与后续方向

• 结论：作者称，尽管给出了一个有原则的度量，刻画共享脆弱性仍然是重要且尚未被充分研究的问题（Conclusion）。
• 论文没有Limits专节。方法节里关于定理不是证书、攻击误差一般不可界的讨论，没有写成局限或后续工作，这里不计入。

实验覆盖范围

• 视觉：三档MNIST池各20个模型，测试准确率98.0%、98.3%、99.2%；PGD为40步、3次重启；正文点名的预算为ε=0.05。蒸馏教师ResNet-18准确率99.5%，标注240,000张EMNIST-digits；Figure 3标题为1,000张随机MNIST测试图，覆盖目标1−δ=0.85，横轴刻度到6.4k步。
• LLM池：§4写小池135M–5B、Figure 5为十个模型；中等池M=6，大池M=8。附录A.3.2列出Opus池与DeepSeek池的模型名和Table 7的参数范围，论文未写明与medium/large是否同一批。摘要与Table 6写Opus 4.6，引言、附录和Figure 8写Opus 4.5。
• 攻击与判定：主结果是AmpleGCG+BEAST、thinking off、Table 6的100个HarmBench行为，分类器为HarmBench Llama-2-13B，解码确定。附录另有AdvLLM+BEAST、联合GCG（Table 3写25个HarmBench行为）和AutoDAN（Table 4写15个行为）。Table 2另写25个AdvBench行为。主估计用white-box联合攻击；AutoDAN把目标模型当作black box，只用文本响应。
• 论文未报告：分类器与人工判定的一致性、逐模型SAR、十个小LLM的名字、重复次数。Figure 2以及Figure 6–8的曲线数值也未在正文给出。
• 复现声明：Reproducibility Statement写明实验设了种子、作图数据已保留；作者计划在评审期结束后发布代码，并且不打算公开所用攻击向量。

SAR把“攻破模型池里给定比例的模型，最少要几个不同攻击”做成池级指标，用来看共享脆弱性，而不是再报一个单模型ASR。

• 问题：个体ASR对应逐模型攻击，单输入迁移对应一个输入打全池。作者认为真实对手介乎二者之间，而共享后训练和蒸馏可能把缺陷传到学生模型。
• 做法：SAR1−δ是达到1−δ覆盖的最少合法输入数除以M；没有任何集合能覆盖时记为1。Algorithm 1用联合攻击做贪心，返回上界k̂/M。在α近似预言机下，Theorem 1把程序误差界写成不超过1加上ln τ除以α的倍数。
• 视觉：三档MNIST池各20个模型。作者称ε=0.05时高多样性池的SAR更高，加大预算后差距仍在。共享ResNet-18教师标注240,000张EMNIST后，作者称达到0.85覆盖所需的不同攻击数下降，个体攻击成功则没有明显下降。
• LLM：请求来自HarmBench，判定用Llama-2-13B分类器，解码确定。Table 6（100个行为，thinking off，AmpleGCG+BEAST）中，中等池δ=0的均值k̂/M从0.543到0.512（−5.8%），再蒸馏Opus 4.6后为0.288（−46.9%）；大池δ=0从0.676到0.509（−24.8%），再到0.478（−29.4%）。十个小LLM上，作者称SAR0.85下降15.0%，个体鲁棒性下降5.3%。
• 作者的结论：作者报告，从DeepSeek-R1以及Claude Opus 4.6蒸馏出的池，其估计的系统性鲁棒性低于对应parent池，并认为这可能是前沿模型蒸馏的系统性代价。哪个教师更有害并不固定。作者称共享脆弱性的刻画仍然重要，而且尚未被充分研究。摘要与Table 6写Opus 4.6，附录另有写Opus 4.5的谱系。