用对抗捷径干扰模型训练
Disrupting Model Training with Adversarial Shortcuts
作者提出 adversarial shortcuts 数据集修改方法，使 CIFAR-10 上 ResNet18 的干净测试准确率从 70% 以上降至 40% 以下。
数据发布者修改公开训练集 Dtrain 得到 Dtrain'，图像语义保留、标签不变；在 Dtrain' 上训练的 DNN 应在未修改的 Dtest 上准确率低。
- 公开发布的数据可能被未经授权地用于训练 ML 模型（如人脸识别、deepfakes），作者称反爬和法律协议近年已被证明不足以保护用户数据。
- 提出 adversarial shortcuts：给每类图像加入类特有的非鲁棒信号（稀疏像素模式、可见水印、亮度调制），诱导 DNN 走捷径拟合训练集而无法泛化到干净数据。
- CIFAR-10 上 ResNet18 干净测试准确率从 70% 以上降至 40% 以下（µ=0.01 仅改 22/3,072 像素）；ImageNet 上 pixel-based 与 watermark 保护使最佳验证准确率低于 30%；作者称优于 Fowl et al. (2021a) 的 60%。
- 作者称仅覆盖多类图像分类，未来方向包括更有效的修改、撤销保护的尝试和扩展到其他任务。实验中 brightness modulation（γ=0.9）可被激进数据增强 undo；ImageNet 仅用默认超参训练。
- 威胁模型
- 数据发布者修改公开训练集 Dtrain 得到 Dtrain'，图像语义保留、标签不变；在 Dtrain' 上训练的 DNN 应在未修改的 Dtest 上准确率低。防御方不控制模型优化过程。
- 被测模型
- ResNet18DenseNet201VGG11SqueezeNet
- 基准
- CIFAR-10ImageNet
- 指标
- best achievable validation accuracy on clean test set
研究者提出一种基于对抗捷径的数据集修改方法，用于阻止公开发布的数据被未经授权地用于模型训练。该方法鼓励模型依赖非鲁棒信号而非语义特征，论文称实验表明这些措施能阻止深度学习模型在真实、未修改的样本上取得高准确率。相关结果目前为图像分类场景的概念验证。
深度解读
这篇论文试图解决什么问题？
如何修改公开数据集使其无法被用于训练 ML 模型，同时保留数据原有语义。
核心问题：公开发布的数据如何防止被未经授权地用于机器学习训练。
- 场景与动机：数据公开发布时用途多样（分享给朋友、推广摄影作品），但并非所有利益相关方都同意其被用于 ML；作者提到版权、deepfakes、人脸识别等潜在有害用途。
- 现有方法的不足：作者称反爬技术和法律协议等传统隐私保护途径近年来已被证明不足以保护用户数据（引用 Hill et al., 2020）。
- 核心观察：DNN 常依赖非鲁棒、局部、纹理化的特征和捷径（shortcut）；作者提出故意在数据中植入捷径，诱导模型"懒惰地"依赖虚假信号而非语义特征。
- 论文提出什么：三种基于 adversarial shortcuts 的数据集修改技术（稀疏像素模式、可见水印、亮度调制），在多类图像分类设定下做概念验证，并与并行工作 Fowl et al. (2021a) 比较。
- 威胁模型（防御视角，第 3 节）：
- 防御方目标：发布修改后的训练集 Dtrain'，使在其上训练的 DNN 在未修改的 Dtest 上准确率低。
- 约束：修改后的图像应与原图差异最小、语义（物体、形状、颜色）保留；标签 yi 不修改，且作者假设获取数据的一方即使无标签也能重建 yi。
- 能力边界：防御方只控制训练数据本身，不控制模型优化过程（作者称这比 Shumailov et al. (2021) 的设定更具挑战性）。
- 受害系统：在修改数据上从头训练的图像分类 DNN。
有哪些相关研究？
相关研究涵盖数据投毒、后门、DNN 捷径学习、instance hiding 与水印；作者称本文设定不控制优化过程。
同一问题的并行工作
- Fowl et al. (2021a)——提出基于二阶梯度的投毒方法，目标同为让数据集无法用于训练；作者在第 5 节与其做了实验对比，并称自己更简单的方法在扰乱训练上更有效。
- Shumailov et al. (2021)——用数据排序攻击扰乱训练；作者指出本文设定更具挑战性，因为不假设对模型优化过程的控制。
投毒与后门
- Trojaning/backdooring（Schwarzschild et al., 2020; Goldblum et al., 2020）——攻击者可在训练和推理时影响输入，有时还能影响训练过程。
- 数据投毒（Biggio et al., 2011; 2012）——通过修改少量训练样本改变决策边界；定向投毒针对特定推理样本，分迁移学习设定（Shafahi et al., 2018; Zhu et al., 2019; Aghakhani et al., 2020）和从头训练设定（Muñoz-González et al., 2017; 2019; Huang et al., 2020a; Geiping et al., 2020; Huang et al., 2021; Fowl et al., 2021b）。
DNN 的捷径学习倾向
- 多项研究（Zhang et al., 2016; Jo & Bengio, 2017; Madry et al., 2017; Geirhos et al., 2018; Ilyas et al., 2019）发现常规模型依赖非鲁棒、局部、纹理特征；Zech et al. (2018)、Badgeley et al. (2019)、DeGrave et al. (2021) 发现模型会利用混淆因子或捷径。作者称本文不是把失败归因于自然出现的捷径，而是故意引入捷径。
Instance hiding 与水印
- Instance hiding（Huang et al., 2020b; Carlini et al., 2020）——让数据对 ML 有用但对人不可解读，作者称本文目标正好相反。
- 图像水印（Podilchuk & Delp, 2001; Singh & Chadha, 2013; Dekel et al., 2017）——防止公开图像被未授权使用，作者称本文精神类似；其中 Dekel et al. (2017) 关于形状变化使水印更难去除的结论被用于设计可见水印。
基线与基准：对比基线为 Fowl et al. (2021a) 分享的受保护 CIFAR-10（参数 ε=8/255）；实验基准为 CIFAR-10 和 ImageNet。
作者将本文定位为：把捷径学习这一此前被视为危害的现象用作安全措施，且方法比 Fowl et al. (2021a) 更简单。
论文如何解决这个问题？
为每个类别生成特有的非鲁棒信号（像素模式、水印、亮度调制），诱导 DNN 走捷径而无法泛化。
整体思路：给每个类别 k 加入该类独有的修改，形成 adversarial shortcut，让 DNN 靠这个简单信号在训练集上快速达到高准确率，从而不学语义特征、在未修改数据上泛化失败。三种技术都可调节强度，在扰乱训练与保留视觉特征之间权衡。
问题形式化（第 3 节）
- 数据集 Dtrain = {(xi, yi)}，xi 为 w×h×c 的 RGB 图像，yi ∈ {1,...,K}；测试集 Dtest 与 Dtrain 独立同分布。
- 目标是构造修改数据集 Dtrain' = {(x'i, yi)}，满足两条性质：语义保留（修改最小、理想情况下视觉上不可区分，标签不变）；在 Dtrain' 上训练的模型在 Dtest 上准确率低。
稀疏像素模式（4.1 节）
- 为每类 k 生成随机二值掩码 ∆k ∈ {0,1}^(w×h×c)：每个值采样 δ ~ N(µ, σ)，δ 超过像素亮度范围中点（0-1 归一化时为 0.5）则置 1；σ 固定为 0.2，实验调 µ。
- 修改公式为
x'_i = (1 - \Delta_k) \odot x_i + \Delta_k \cdot x_{max}，即把掩码指示的像素设为最大亮度 xmax。
可见水印（4.2 节）
- 用 MNIST 数字拼出类别索引作为类特有水印：CIFAR-10 每类随机采一个对应数字，ImageNet 的 1000 类最多用三个随机数字；作者称形状变化使水印更难去除（引 Dekel et al., 2017）。
- 水印二值图 M 与原图按参数 α ∈ [0,1] 混合：
x'_i = \alpha \cdot M + (1-\alpha) \cdot M \odot x_i + (1-M) \odot x_i；α=0 无效果，α=1 完全覆盖。
亮度调制（4.3 节）
- 每类随机选正方形中心，等概率变亮或变暗：给定 γ ∈ [0.5,1]，变暗乘 γ、变亮乘 2−γ；重复 T 次、方块可重叠，形成棋盘状图案。
- 等价于采样类特有掩码 Bk，按 x'i = Bk ⊙ xi 修改；ImageNet 实验 T=600，CIFAR-10 用 T=32。作者称此设计比前两种更难用基本对策绕过。
评测方式（第 5 节、附录 A）
- 只修改训练集，验证集保持不变；以干净验证集上的最佳可达准确率衡量保护是否成功。
- CIFAR-10：训练 50 epoch、batch size 1024，遍历学习率 {0.1, 0.01, 0.001, 0.0001}、架构 {ResNet18, DenseNet201, VGG11, SqueezeNet} 和 4 个随机种子，报告所有运行中的最佳准确率。
- ImageNet：用 PyTorch 官方训练脚本和 ResNet18，作者称因算力限制只用默认超参。
- 对策测试：激进数据增强（随机裁剪 28×28、水平翻转、仿射变换、颜色抖动）和加高斯噪声（均值 0、σ=0.05）。
论文做了哪些实验？
CIFAR-10 与 ImageNet 上训练 ResNet18 等模型，三种修改均大幅降低干净测试准确率，并测了两类对策。
实验设置
- 被测模型：ResNet18、DenseNet201、VGG11、SqueezeNet（CIFAR-10，附录 A）；ImageNet 只用 ResNet18。均为 torchvision 实现、从头训练。
- 数据集：CIFAR-10 和 ImageNet；只修改训练集，验证集保持干净（附录 A）。
- 基线：未修改数据集；Fowl et al. (2021a) 分享的受保护 CIFAR-10（ε=8/255，作者注：其他参数可能更强）。
- 指标：干净验证集上的最佳可达准确率（best achievable accuracy），CIFAR-10 在 50 epoch 内对超参和种子取最优。
- 重复次数：CIFAR-10 遍历 4 个学习率 × 4 个架构 × 4 个种子；ImageNet 仅默认超参（作者称算力有限）。
- 样本量：论文未报告各数据集使用的样本数。
主结果
据 Figure 3（CIFAR-10，ResNet18，50 epoch 后最佳干净测试准确率）与 Figure 4（ImageNet，ResNet18）：
条件 CIFAR-10 ImageNet 未修改 70% 以上 50% 以上 Pixel-based µ=0.01 不超过 40% 低于 30% Visible watermark α=0.5 低于 40% 低于 30% Brightness mod. γ=0.9 低于 40% 未报告 Fowl et al. (2021a) 最高 60% 未报告 - 作者称 µ=0.01 的 pixel-based 修改平均每张图只改 3,072 个像素中的 22 个，就使准确率"几乎减半"。
- 作者称与 Fowl et al. (2021a) 相比，本文方法把准确率压得更低（60% vs 40% 以下，另见 Figure 9），并称自己更简单的方法在扰乱训练上更有效。
- 作者称所有修改即使在测试的最弱设置下也对模型性能有影响。
训练动态分析（Figure 1）
- 测了什么：ImageNet 上 pixel-based（µ=0.01）保护时训练与验证准确率曲线。
- 结果：模型在保护训练集上可达 90% 准确率，但验证准确率停滞；未修改数据上验证准确率可达 70%，且无此泛化鸿沟。
- 作者解读：模型拟合的是类特有的简单模式而非真实语义，说明扰乱训练的目标达成。
对策稳定性（5.1 节末，Figures 10–13）
- 测了什么：pixel-based 加高斯噪声（Figure 10）、pixel-based 与 watermark 加激进数据增强（Figures 11、12）、brightness modulation 加激进增强（Figure 13）。
- 结果：pixel-based 在两类对策下最佳可达准确率不变；brightness modulation（γ=0.9）可被激进增强 undo，模型恢复有效训练。
- 作者建议：brightness modulation 改用更强的 γ=0.70，使修改更明显。
其他消融与分析
- Figure 5：ImageNet 上不同 α 的可见水印保护下的验证准确率（正文称 α=0.5 时低于 30%）。
- Figures 6–8：CIFAR-10 上三种方法在不同强度参数（µ、α、γ）下的最佳可达准确率，µ=0、α=0、γ=1.0 对应未修改数据。
- Figure 9：Fowl et al. (2021a) 方法在不同设置下的最佳可达准确率。
- Figures 14–16：三种修改在不同参数下的 CIFAR-10 扰动样例图。
- 例外：作者承认 CIFAR-10 和 ImageNet 上均未达到 SOTA 训练准确率，归因于算力限制或超参调优不足，并称通过统一训练流程保证公平比较。
有什么可以进一步探索的点？
作者称仅覆盖多类图像分类，未来方向包括更强修改、撤销保护的尝试和扩展到其他任务。
作者指出的局限与后续方向
- 工作聚焦于多类图像分类这一窄设定（Discussion 节）。
- 未来方向：研究更有效的数据集修改方法（Discussion 节）。
- 未来方向：尝试撤销（undo）保护性修改（Discussion 节）。
- 未来方向：为其他 ML 任务开发新方法，例如防止未经授权的 deepfakes 或人脸识别系统开发（Discussion 节）。
- 作者称 CIFAR-10 和 ImageNet 上未达到 SOTA 训练准确率，可能是算力限制或超参调优不足（第 5 节）。
- 作者称因算力有限，ImageNet 实验只用默认超参训练（附录 A）。
实验覆盖范围
- 被测模型为 ResNet18、DenseNet201、VGG11、SqueezeNet 共 4 个（CIFAR-10），ImageNet 仅 ResNet18（附录 A）。
- 对策评测包括两类：激进训练集增强和加高斯噪声（σ=0.05），且仅对部分方法测试（第 5.1 节、Figures 10–13）。
- 对比的外部方法只有 Fowl et al. (2021a)，使用其分享的 ε=8/255 版本，作者注明其他参数可能实现更强的训练扰乱（第 5.1 节脚注）。
- 论文未报告各实验使用的数据集样本数。
- 论文未报告对修改后人眼可辨程度的定量或人工评估（仅有 Figure 2 和 Figures 14–16 的示例图）。
总结一下论文的主要内容
提出 adversarial shortcuts 数据保护方法，三种类特有修改使 DNN 走捷径、在干净数据上泛化失败。
一篇关于防止公开数据被未授权用于 ML 训练的概念验证工作，面向多类图像分类设定。
- 问题：公开发布的数据可能被用于训练未经同意的模型（如人脸识别、deepfakes）；作者称反爬和法律协议已被证明不足。
- 方法：提出 adversarial shortcuts——为每个类别加入独有的非鲁棒信号，诱导 DNN 依赖捷径而非语义特征。三种技术：稀疏像素模式（µ 控制，掩码像素置为最大亮度）、可见水印（MNIST 数字拼类索引，α 控制可见度）、亮度调制（γ 控制，棋盘状明暗方块）。
- 结果 1：CIFAR-10 上 ResNet18 的干净测试最佳准确率从 70% 以上降至 40% 以下；pixel-based µ=0.01 时平均每图仅改 22/3,072 像素（Figure 3）。
- 结果 2：ImageNet 上 pixel-based（µ=0.01）与可见水印（α=0.5）保护使最佳验证准确率低于 30%，未修改时超过 50%（Figure 4）。
- 结果 3：对比 Fowl et al. (2021a) 的受保护 CIFAR-10，其模型仍可达 60% 准确率，作者称本文更简单的方法扰乱效果更好。
- 结果 4：pixel-based 修改对激进数据增强和高斯噪声保持稳定；brightness modulation（γ=0.9）可被激进增强 undo，作者建议改用 γ=0.70。
- 作者结论：简单模式即可扰乱 DNN 训练且对图像语义影响小；未来可探索更有效的修改、撤销保护的尝试，以及扩展到 deepfakes、人脸识别等其他任务。
相关论文
共同使用 ImageNet