StyleAT：用对抗训练防御人脸识别的语义攻击

人脸识别在轻微语义编辑下仍会被误分类，而现有一般语义攻击难以既强又快，因而缺少可落地的对抗训练防御。

• 场景与风险：作者指出 FR 已用于监控与门禁。假阴性可能让人避开监控，假阳性可能让人获得未授权访问。与其他 ML 模型一样，FR 可被推理时对抗样本规避；一般语义攻击通过轻微语义改变（配饰、姿态、表情或年龄）误导模型，同时对人眼保持身份。
• 现有方法不足：作者称 StyleAdv 成功率有限，AMT-GAN 视觉保真度低，DiffPrivate 要很高运行时间才能达到高成功率。对有界 ℓp 扰动已有对抗训练与随机平滑等防御，但作者称据其所知尚无针对一般语义攻击的成熟防御；现有攻击的耗时或成功率使对抗训练不可行。
• 核心观察：作者认为 DiffPrivate 在可见语义编辑之外还引入不可察觉扰动（附录 D）；若用于对抗训练，模型可能学到抵抗像素噪声而不是语义变化。这促使 BoundStyle 只在 StyleGAN 的语义潜空间中操作。作者称 §6.2 汇总的证据没有显示 BoundStyle 产生语义以外的编辑。
• 提出的方法：作者提出一般语义攻击 BoundStyle，以及基于其低预算变体的对抗训练方案 StyleAT。BoundStyle 要高保真、可调节编辑幅度与运行时间，并达到高成功率；作者称其大约比 DiffPrivate 快 ×9.5。StyleAT 用训练时未见过的更强语义攻击来检验泛化。
• 威胁模型：
  • 目标：对手追求任意的非定向误分类，主要是假阴性，而不是冒充（定向攻击）。防御方要在攻击下保持高的鲁棒真正例率（robust TPR），并保持干净输入上的良性准确率。系统工作点按惯例把 FPR 调到目标阈值以下，例如 0.01 FPR。
  • 知识：主要考虑对 FR 模型与防御都有 white-box 访问的强对手；也考虑无法访问模型或防御、从代理模型迁移攻击的 black-box 对手，以及能访问未防御模型但不能访问防御的 gray-box 对手。
  • 能力与受害系统：完全数字化设定：对手修改数字图像并电子提交。受害系统是人脸识别（特征提取与验证）。物理重采集（如在相机前佩戴对抗配饰）不在范围内，与 DiffPrivate 的数字优先设定一致。
  • 与物理世界的关系：作者称该模型覆盖图像可被数字或物理方式操纵以误导 FR 的情形，例如社交上传或电子 KYC。在无采样噪声的理想设定下，语义编辑涵盖可能以物理方式施加的改变（如化妆或姿态），并作为物理域攻击成功率的上界。

论文把相关工作分成 FR 上的攻击、FR 防御，以及与深度伪造检测的关系。

有界范数与临时语义攻击

• FGSM [11] 与 PGD [28]：分别用一次梯度方向扰动和多次迭代投影，构造有界 ℓp 范数的不可察觉对抗扰动。作者指出这类攻击在真实场景中可能难实现，原因包括范数受限噪声难以落地以及相机采样误差 [38]。
• 临时（ad hoc）语义攻击：通过对抗眼镜或帽子 [20, 38]、对抗化妆或空间变换 [14, 45, 47] 等易于实现的局部改变误导模型。

一般语义攻击

• StyleAdv [23] 与 Adv-Attribute [17]：在 GAN 潜空间中搜索对抗编辑方向以产生误分类。作者在引言中称 StyleAdv 攻击成功率有限，AMT-GAN [23] 编辑的视觉保真度低。
• Adv-Diffusion [26] 与 DiffPrivate [24]：用潜扩散模型寻找对抗语义编辑。作者称 DiffPrivate 是最新且最强的一般语义攻击，并把它作为评测基线；同时指出它计算很重。

防御

• 检测、滤波、平滑、验证与对抗训练：作者列举检测攻击 [31]、滤除对抗扰动 [46]、平滑决策边界 [4, 6]、针对特定对手验证鲁棒性 [19]，以及把正确标注的对抗样本注入训练的对抗训练 [21, 28]。对抗训练不增加推理时间，但生成攻击的开销可能使训练不可行；高效变体见 [37, 41]。作者受 Wong 等 [41] 启发：用高效的 FGSM 训练，以在测试时抵抗更强攻击。
• 针对临时语义攻击的对策：DOA [42] 用精心放置的对抗补丁训练，以对抗眼镜攻击；DiffPure [33] 先正向扩散再恢复图像，以去除空间对抗修改。先前工作还表明，当攻击不知道滤波时，JPEG、模糊和高斯噪声等输入滤波能在一定程度上阻碍一般语义攻击 [24]。Laidlaw 等 [22] 用生成模型产生的不可察觉扰动做对抗训练，但只评测了对不可察觉扰动和空间操纵的鲁棒性。

与深度伪造检测的关系

• 检测与鲁棒识别：作者认为检测回答图像是否合成或被编辑，FR 必须判断身份是否与注册对象匹配。即便检测器完美，身份决策仍开放；编辑也可能是良性的（如美颜），拒绝所有被标记图像会给合法用户带来高假阳性负担。作者还称检测器往往难以泛化到未见生成模型 [7, 34]，并可被本文这类白盒对手规避 [3]。因此把检测视为互补层，StyleAT 加固的是做身份选择的组件。

基线方法为 DiffPrivate [24]（攻击）、DOA、DiffPure，以及高斯模糊、全变分去噪、JPEG 压缩、feature squeezing、空间平滑和随机噪声注入。基准/数据集为从 MS-Celeb-1M-v1c 构建的训练集，以及评测用的 LFW 与 VGG-Face。

作者将本文定位为：聚焦一般语义攻击，提出可调节且更快的 BoundStyle，并给出据其所知此前没有成熟方案的对抗训练防御 StyleAT；与只评测不可察觉扰动和空间操纵的生成式对抗训练相区别。

BoundStyle 在 StyleGAN3 潜空间内做有界、可调的语义编辑以误导 FR；StyleAT 用其低迭代变体和像素空间快速 PGD，以三项三元组损失微调预训练特征提取器。

问题设定与攻击目标

• 符号：F 为 FR 特征提取器，C 为裁剪与对齐，G 为生成模型，x 为待改图像及其反演潜码 l，xe 为图库中同一人的注册脸。相似度 sim 通常为余弦相似度。
• 目标：对潜码施加扰动 δ，使编辑后的脸与注册脸的相似度变小。损失为 L_atk = sim(F(C(G(l+δ))), F(C(x_e)))，即最小化该相似度。
• 优化：以 PGD 的方式迭代。主要输入是迭代次数 T 和扰动的 ℓ2 范数上界 β。δ0 在 β 球内随机初始化，作者称随机初始化对对抗训练中的规避攻击很关键 [41]。每步 δi = δi − α · g / ∥g∥∞，其中 g = ∇δi Latk；若范数超过 β，则投影回 β 球：δi = β · δi / ∥δi∥2。
• 可调性：减小 T 可能降低成功率，但更快，便于对抗训练。β 要大到足以产生有效编辑，又小到使人眼仍认为身份未变。

高保真编辑

• 生成器：采用 StyleGAN3 [18]，作者称其潜空间编辑方向多样、输出质量高。
• 反演：用编码器投影到潜空间 [1]，再做基于梯度的直接优化以精确重建 [48]，使 l 几乎映射回 x，从而保持身份。
• Pivotal tuning：微调生成器 G，以便更好编辑同时保持身份 [36]。

StyleAT 的三项损失

• 三个目标：保持干净图像上的良性准确率、提高对一般语义攻击的鲁棒准确率、抵抗某些已有语义攻击附带的不可察觉扰动。对应最小化三元组损失 LCln、LAdvSem、LAdvPix，权重非负且和为 1：λCln + λAdvSem + λAdvPix = 1。LCln 按常规做法 [40]。附录 A 的 Alg. 1 给出伪代码，本段未附该附录全文。
• 三分支（Figure 1）：对身份对小批量 {(xi, xi+)}，干净分支提取原图特征；潜空间分支用 BoundStyle 生成语义对抗样本 xiadv；像素分支在已语义编辑的批次上再加不可察觉扰动。批处理用于硬负样本挖掘。
• LAdvSem：训练时不用最强 BoundStyle，而用小 T 的快速变体，类比用 FGSM 做快速对抗训练 [41]。作者按资源约束调节 T 与步长 α，使训练可在数日内完成，同时攻击仍足够有规避性。
• LAdvPix：作者根据滤波实验认为，若 JPEG 等主要影响不可察觉、非语义扰动的滤波明显改变攻击成功率，则误分类可能来自像素级不可察觉变化而不是语义编辑。因此用少迭代、随机初始化的快速 PGD（ℓ∞ 有界），并施加在已经过 BoundStyle 编辑的图像上，以同时对抗语义编辑与不可察觉扰动的组合。作者称这样做不会损害对看起来不引入不可察觉扰动的攻击（即 BoundStyle）的鲁棒性（附录 C）。

三元组与训练设定

• 硬负样本：对正样本对 p 与锚点 a，在批内选身份不同且在特征空间中与 a 最相似的负样本 n。损失为 (sim(F(C(n)), F(C(a))) − sim(F(C(p)), F(C(a))) + μ)+，μ 为小的非负常数。计算 LAdvSem 与 LAdvPix 时对抗扰动锚点 a，并在扰动之后再选最难负样本 [25]。
• 训练用攻击参数：BoundStyle 取 T=3、β=3（StyleGAN3 潜空间 ℓ2）、α=3；像素 PGD 为 2 次迭代、ε=24/255（ℓ∞）、步长 α=ε/2。权重经搜索后：ResNet 为 λCln=0.35、λAdvSem=0.45、λAdvPix=0.2；RepVGG 为 λCln=0.1、λAdvSem=0.8、λAdvPix=0.1。优化器与三元组间隔沿用 FaceX-Zoo。8 块 NVIDIA RTX A5000、每卡 batch size 4（全局 32），训练 8 个 epoch，约 4 天。
• 评测攻击参数：BoundStyle 的 β ∈ {1.0, 1.5, 2.0, 3.0}，α=β，T=30；更大扰动因身份保持而不用（附录 B），更多迭代不再提高成功率（附录 C）。DiffPrivate 采用有界变体，∥Δz∥2 ∈ {1, 2, 3, 4, 5, 6}，优化上限 70 次迭代。

成功判定

• 指标：扰动正样本对中的一张后报告准确率，即攻击下的 TPR；越高表示越鲁棒。验证阈值在 LFW 完整干净验证集（含正负对）上校准到 FPR=0.01。
• 身份保持：β 与 ∥Δz∥ 的上限用于使人眼仍能识别主体；具体人工判定细节在附录 B，本段文本未给出该附录的判定数字。

实验设置

• 被测模型：七个骨干，既作攻击目标也作可迁移攻击的代理：MobileFaceNet（MobileFace）、ResNet（ResNet-152, IR-SE）、RepVGG、LightCNN、Swin Transformer（SwinT）、以及以 MobileFace 为骨干的 ArcFace 与 MagFace。StyleAT 只微调 ResNet 与 RepVGG，初始权重来自 FaceX-Zoo。
• 数据：训练对来自 MS-Celeb-1M-v1c，经预处理并丢弃人脸或关键点检测失败的对，得到 52,269 个正样本对；负样本在每个 batch 内独立选硬负样本。评测为 LFW 的 216 对与 VGG-Face 的 156 对正样本对，身份与训练及预训练集无重叠：去掉与任意训练样本相似度高于原 ResNet 骨干 FPR=10−4 阈值的图像。这两个评测集在训练中未见。
• 攻击：白盒 BoundStyle（β∈{1.0, 1.5, 2.0, 3.0}，T=30，α=β）与有界 DiffPrivate（∥Δz∥∈{1,…,6}，最多 70 次迭代）。Black-box 为模型间迁移（Fig. 2，最高预算）。Gray-box 为对未防御 ResNet/RepVGG 生成攻击、不针对防御。
• 防御基线：DOA；DiffPure；高斯模糊、全变分最小化去噪、JPEG、feature squeezing、空间平滑、随机噪声。StyleAT 训练参数见第 3 问。
• 指标与校准：良性准确率与攻击下鲁棒准确率（TPR）。阈值在 LFW 完整干净验证集上校准到 FPR=0.01。Table 1–2 的 95% bootstrap 置信区间在附录 H，正文未给出区间数值。
• 算力：预处理与训练用 8 块 RTX A5000。GAN 反演每图 150 步、约 4.7 GPU 天；StyleGAN 的 PTI 微调 125 步、约 4.3 GPU 天（100 步可降至约 3.4 GPU 天），为训练集一次性成本。每个 FR 骨干对抗训练约 4 天。运行时间基准在 RTX A6000 上、batch size 1、每种攻击执行 100 次取平均。

主结果

白盒下，未防御模型干净准确率多在 97.4%–100%，预算增大后鲁棒准确率下降。作者称 β=3 时 BoundStyle 把平均鲁棒准确率降到 LFW 约 46%、VGG-Face 约 37%；∥Δz∥=6 时 DiffPrivate 降到 LFW 约 35.5%、VGG-Face 约 16%。下表取各表最高预算列（据 Table 1、Table 2）。

表格较宽，可左右滑动

模型	LFW BoundStyle β=3	LFW DiffPrivate ∥Δz∥=6	VGG BoundStyle β=3	VGG DiffPrivate ∥Δz∥=6
SwinT	52.6%	49.1%	45.5%	19.4%
LightCNN	40.5%	28.7%	34.0%	14.8%
MobileFace	50.2%	38.0%	38.5%	16.1%
RepVGG	40.5%	38.0%	32.0%	17.4%
ResNet	39.5%	33.8%	34.6%	17.4%
MagFace	52.2%	28.7%	40.8%	14.8%
ArcFace	45.0%	31.5%	34.4%	14.2%

• 速度：A6000、batch=1、各跑 100 次平均，BoundStyle 每图 8,302 ms，DiffPrivate 79,094 ms，作者称约 ×9.5 加速。
• 相同时限（Table 3，LFW、ResNet、6 秒）：DiffPrivate 在取消 ∥Δz∥ 与迭代上限后鲁棒准确率为 98.6%；BoundStyle 在 β=1.5、2.0、3.0 时分别为 85.2%、75.0%、50.9%。6 秒约对应 BoundStyle 的 30 次迭代。
• 迁移（Fig. 2）：作者称 BoundStyle 热图近乎均匀，非对角线通常距对角线 5–15 个百分点；DiffPrivate 非对角线常比对角线高 20–60 个百分点。例如 LFW 上 SwinT 白盒为 49%，从卷积网络迁入时为 90–97%。迁移分数 T（黑盒与白盒攻击成功率之比的平均，T=1 为完全迁移）：BoundStyle 为 0.76（LFW）、0.86（VGG-Face）；DiffPrivate 为 0.43（LFW）、0.68（VGG-Face）。作者称减少 DiffPrivate 迭代次数并不能提高其迁移性（附录 G）。

防御：白盒（Table 4）

• 测了什么：对未防御、DOA 与 StyleAT 的 ResNet、RepVGG，在 LFW 与 VGG-Face 上扫 BoundStyle 的 β 与 DiffPrivate 的 ∥Δz∥。DiffPrivate 在训练中未见。
• 结果：作者称相对未防御模型，StyleAT 在各预算上的鲁棒准确率提高 0.4–20.9 个百分点。引言另称相对未防御模型，对 BoundStyle 最高提高 28.6 个百分点，对未见的 DiffPrivate 最高高 46.3 个百分点；非专门防御的方法提高不超过 6.0 个百分点。DOA 在少数 DiffPrivate 预算上比 StyleAT 高 0.4–0.7 个百分点，其余对 DiffPrivate 低 0.4–9.6 个百分点；对 BoundStyle，DOA 在多数预算上反而不如未防御模型，最多低 6 个百分点。
• 作者的解读：作者称 StyleAT 稳定提高对一般语义攻击的鲁棒准确率，并能泛化到训练中未见的攻击，同时干净准确率与未防御模型持平或大致提高。LFW 上 ResNet：未防御干净 99.1%、β=3 为 39.5%、∥Δz∥=6 为 33.8%；StyleAT 为 99.5%、50.7%、47.2%。RepVGG：未防御 99.1%、40.5%、38.0%；StyleAT 为 99.5%、54.3%、50.0%。VGG-Face 上 ResNet StyleAT 在 β=3 为 35.3%（未防御 34.6%），∥Δz∥=6 为 18.1%（未防御 17.4%）；RepVGG StyleAT 为 35.7% 与 20.6%（未防御 32.0% 与 17.4%）。

Gray-box 与滤波（Fig. 3、Fig. 4）

• 测了什么：攻击在未防御 ResNet/RepVGG 上生成，不针对防御。Fig. 3 为 ResNet 上 BoundStyle，β∈{1, 2, 3} 及干净（β=1.5 见附录 E）。Fig. 4 为 DiffPrivate 的 ∥Δz∥=4–6，全文范数范围在附录 E。图中文字因版式转换无法逐格读出，以下数字来自正文。
• 结果：对 BoundStyle，滤波最好情况下比未防御模型提高鲁棒准确率 6.0 个百分点；DiffPure 在所有预算与数据集上最多比未防御基线低 6.0 个百分点。StyleAT 最多提高 33.3 个百分点。对 DiffPrivate，滤波最多提高 31.5 个百分点；DiffPure 在中高扰动范数上超过所有滤波，最多比未防御模型高 36.6 个百分点。
• 作者的解读：作者认为这种不对称说明，当对抗结构与潜扩散动力学一致时（如 DiffPrivate），DiffPure 的净化有效，但对风格空间操纵会起反作用。噪声去除滤波对 BoundStyle 的鲁棒准确率提高不超过 6%，却使 DiffPrivate 最多变弱 36.6%（§6.2）。

语义编辑来源与其他消融

作者给出四项，用以说明 BoundStyle 的成功来自语义变化：输出是 ℓ2 有界潜编辑的 StyleGAN3 解码，不能注入无约束像素噪声。

• 频域（附录 D）：超过 90% 的扰动能量位于傅里叶半径 r≈15 以下，DiffPrivate 为 r≈30。
• 滤波：见上，BoundStyle 的鲁棒准确率提高 ≤6%，DiffPrivate 最多被削弱 36.6%。
• 只做像素对抗训练（附录 C）：对 BoundStyle 的鲁棒性变化约 ±1%，对 DiffPrivate 最多 +9.3%。
• 主方向（附录 F）：BoundStyle 的主要攻击方向解码为老化、姿态、光照等语义因素。
• 训练成本：GAN 反演约 4.7 GPU 天，PTI 约 4.3 GPU 天（100 步约 3.4），各骨干训练约 4 天，超参搜索需要多次运行。

正文在 Fig. 4 附近之后的图表数值因文本提取中断，未纳入上表；Table 4 已列出的白盒防御数字以上文为准。

作者指出的局限与后续方向

所附正文在 §6.2 中断，未见独立的 Limitations、Discussion 或 Conclusion 全文，因此不把实验结果中的现象解释写成局限。能直接对应到作者原话的只有下面几条。

• 检测不是身份决策：作者在 Related Work 中写明，即使检测器完美，身份是否匹配仍未解决；拒绝所有被标记图像会给合法用户带来高假阳性负担，并把检测定位为与 StyleAT 互补的一层（§2）。
• 检测器泛化与白盒规避：作者称检测器往往难以泛化到未见生成模型，并可被本文这类白盒对手规避（§2，引用 [7, 34, 3]）。
• 物理重采集不在范围内：作者在威胁模型中写明，相机前的对抗配饰等物理重采集不在本文范围内（§3）。
• 对抗训练的计算开销：作者在相关工作中指出，生成攻击的开销可能使对抗训练不可行（§2）；本文用低迭代变体应对，并报告训练约 4 天及一次性反演、PTI 成本（§5）。
• DiffPrivate 若用于训练可能学到像素噪声：作者认为若用 DiffPrivate 做对抗训练，模型可能抵抗像素噪声而非语义变化（§1），这是设计动机，不是作者列出的 StyleAT 局限。
• 后续：所附正文没有写出“计划开源”或明确的 future work 条目。§7 的结论未包含在所附文本的可读部分中。

实验覆盖范围

• 模型：攻击评测覆盖七个骨干（MobileFace、ResNet-152 IR-SE、RepVGG、LightCNN、SwinT、ArcFace、MagFace）；StyleAT 与 DOA 的对抗训练变体只对 ResNet 与 RepVGG 从 FaceX-Zoo 权重微调（§5、Table 4）。
• 数据与工作点：训练集 52,269 个正对（MS-Celeb-1M-v1c）；评测为训练中未见的 LFW 216 对与 VGG-Face 156 对；阈值在 LFW 完整干净验证集上校准到 FPR=0.01（§5）。
• 攻击知识：白盒（Table 1、2、4）、模型间 black-box 迁移（Fig. 2）和 gray-box（攻击不针对防御，Fig. 3、Fig. 4）。目标为非定向误分类。论文未在所附正文报告定向冒充的数字。
• 防御对比：StyleAT、DOA、DiffPure，以及高斯模糊、全变分去噪、JPEG、feature squeezing、空间平滑、随机噪声（§5–6）。
• 重复与区间：攻击耗时每种执行 100 次取平均（§6.1）。Table 1–2 注明 95% bootstrap 置信区间在附录 H；所附正文未给出这些区间的数值，也未报告人工身份判定的样本量。

StyleAT 用可调的 StyleGAN3 潜空间攻击 BoundStyle 对人脸识别做对抗训练，以抵抗一般语义编辑，并在评测中面对训练时未见的 DiffPrivate。

• 问题：FR 用于监控与门禁，却会被轻微的年龄、姿态、表情或配饰类语义编辑误导。作者认为已有一般语义攻击或成功率有限、或保真度低、或太慢，使对抗训练不可行，因而缺少针对这类攻击的成熟防御。
• 攻击：BoundStyle 把图像反演到 StyleGAN3，在 ℓ2 球内用类 PGD 的迭代减小与注册脸的特征相似度，并用 pivotal tuning 保持可编辑性与身份。评测用 T=30、α=β，β 最高为 3；训练用 T=3、β=3、α=3。
• 防御：StyleAT 微调预训练特征提取器，并行优化干净三元组损失、BoundStyle 语义损失，以及加在语义编辑图上的少步 ℓ∞ PGD 损失。权重和为 1；ResNet 与 RepVGG 的三项权重不同。硬负样本在扰动后从 batch 中选取。
• 攻击结果：七个未防御骨干上，β=3 的 BoundStyle 白盒鲁棒准确率在 LFW 为 39.5%–52.6%，VGG-Face 为 32.0%–45.5%（Table 1）。A6000 上它平均 8,302 ms/图，DiffPrivate 为 79,094 ms。LFW、ResNet、6 秒限制下，BoundStyle（β=3）鲁棒准确率 50.9%，不设范数上限的 DiffPrivate 为 98.6%（Table 3）。迁移分数 T：BoundStyle 在 LFW/VGG-Face 为 0.76/0.86，DiffPrivate 为 0.43/0.68（Fig. 2）。
• 防御结果：Table 4 中，LFW 上 StyleAT 把 ResNet 在 β=3 的鲁棒准确率从 39.5% 提到 50.7%，把 ∥Δz∥=6 的 DiffPrivate 从 33.8% 提到 47.2%；RepVGG 分别从 40.5% 到 54.3%、从 38.0% 到 50.0%。干净准确率保持在 99.5% 左右。作者称 gray-box 下 StyleAT 对 BoundStyle 最多提高 33.3 个百分点，而 DiffPure 对 BoundStyle 最多降低 6.0 个百分点、对 DiffPrivate 最多提高 36.6 个百分点。
• 作者的结论：作者认为 BoundStyle 的成功来自语义因素（老化、姿态、光照等），而不是无约束像素噪声；StyleAT 能提高对一般语义攻击的鲁棒准确率，并泛化到训练中未见的 DiffPrivate，同时不牺牲干净准确率。检测被定位为互补层，不能代替身份匹配。