子群体数据投毒攻击

1. 01这篇论文试图解决什么问题？

   提出子群体投毒攻击：少量投毒点、不改测试样本，使模型在选定子群体上失效。

   核心问题：在大而多样的数据集上，攻击者能否只注入少量投毒点、不修改任何测试样本，就让模型在某个选定子群体上失效，同时保持其余数据的性能？

   • 场景与动机：现代深度学习依赖从不可信来源收集的大规模数据（论文举例：GPT-2 用 Reddit 链接抓取的网页、Google 用安卓手机数据训练），攻击者只需少量账号即可注入数据；论文引用行业调查称投毒被视为对 ML 基础设施最危险的威胁之一。
   • 现有攻击的不足（按论文说法）：availability 攻击和后门攻击需控制较大比例训练数据（如 10% 或 20%）；后门攻击还要在测试时修改样本加入触发模式；定向攻击假设攻击者训练时就知道确切目标点，且影响局限于单个或少数点。
   • 核心观察：作者认为算法公平性研究中发现的群体间性能差异，可能使分类器天然容易在特定子群体上被攻破；用模型表示空间定义的子群体比输入空间更贴合图像相似性。
   • 论文提出什么：子群体攻击的模块化框架（子群体选择 + 投毒生成），在表格、图像、文本四种数据集上验证，给出针对局部决策学习器的防御不可能性定理，并评测了四种现有防御。
   • 威胁模型（3.1 节）：
     • 目标：向训练数据注入少量投毒点，使学出的模型在目标子群体上错误率升高、其余数据不受影响。
     • 知识：不知道受害模型参数和确切训练数据；知道损失函数（交叉熵）和架构（5.5 节移除架构假设）；拥有与训练集同分布的辅助数据集 Daux。
     • 能力：只能向训练集添加新点，不能修改或删除；不能修改测试时提交给模型的任何数据；有训练与受害模型相当模型的算力。
     • 受害系统：用被污染训练集训练的多分类机器学习模型（端到端训练与迁移学习均被考虑）。

   收起这一问

2. 02有哪些相关研究？

   论文把投毒攻击分为 availability、targeted、backdoor 三类，并对比了四类防御。

   Availability 攻击与防御

   • Biggio et al. [BNL12]、Xiao et al. [XBB+15]、Jagielski et al. [JOB+18]——基于梯度下降的 availability 攻击，针对 SVM、线性回归等模型，目标是整体降低模型精度。
   • SEVER [DKK+19] 用 SVD 移除使梯度偏移的点；TRIM [JOB+18] 与 ILTM [SS19] 迭代移除高损失点；本文在第 8 节评测了这些防御对子群体攻击的效果。

   Backdoor 攻击与防御

   • Gu et al. [GLDGG19]（BadNets）——论文称它一般被视为首个针对现代神经网络的后门攻击，在训练数据中植入后门模式，使测试时带模式的样本被误分类；Turner et al. [TTM19] 提出 clean-label 后门攻击。
   • 防御方面：spectral signatures [TLM18] 对隐空间做 SVD 得到离群分数；fine-pruning [LDGG18] 结合剪枝与微调；Neural Cleanse [WYS+19] 通过最小扰动识别后门；activation clustering [CCB+18] 也在本文第 8 节被评测。

   Targeted 攻击

   • Shafahi et al. [SHN+18]（Poison Frogs）——clean-label、基于优化的定向攻击；Koh & Liang [KL17] 提出基于 influence function 的定向攻击，并展示了同时影响多个点的例子。
   • Witches' Brew [GFH+21]——用 gradient matching 的定向攻击，所需对受害设置的信息较少；本文第 6 节用 ClusterMatch 改进这两个攻击的目标点选择。

   与本文最接近的攻击（Table 1）

   • 论文在 Table 1 对比了 targeted poisoning [GFH+21, KL17]、federated backdoor [BVH+20]、reflection backdoor [LMBL20]、composite backdoor [LXLZ20]：作者称这些攻击或不需测试时修改但不能泛化到新点，或仍需测试时修改；作者称自己的攻击是唯一同时满足不需测试时修改、能泛化到未见点、适用多种数据模态、不需知道确切训练集的攻击。
   • 相关但设定不同的工作：Neural Trojans [LXS17]（MNIST 上控制其他数字的分类）；Kulynych et al. [KOTG20] 的 protective optimization technologies 是用户构造数据改善模型在特定群体上的表现，作者指出本文关注恶意数据，另有最小化附带损害、防御分析等额外问题；并发工作 [SBC20, CNM+20] 攻击满足公平性约束的模型。

   基线与基准：攻击生成以标签翻转为基线，优化攻击对比 influence functions [KL17]；第 6 节以随机选点为基线对比 ClusterMatch 选点；实验基准为 CIFAR-10、UTKFace、IMDB、UCI Adult，第 6.1 节另用 Kaggle Cats and Dogs。

   作者将本文定位为介于 targeted 与 availability 攻击之间的插值：比 availability 攻击更隐蔽、比 targeted 攻击影响面更大，且不要求测试时修改或确切训练集知识。

   收起这一问

3. 03论文如何解决这个问题？

   两步框架：FeatureMatch/ClusterMatch 选子群体，标签翻转/influence/梯度优化生成投毒点。

   整体思路是把攻击拆成子群体选择和投毒点生成两个可替换模块（Figure 1、Algorithm 3）：先在辅助数据上确定要攻击的子群体（用过滤函数 F 刻画），再生成加入训练集的投毒点，使模型在该子群体上错误率升高、其余数据不受影响。

   问题形式化

   • 子群体定义（Definition 3.1）：数据分布输入域的一个限制，其中的点按某种距离函数彼此接近；论文指出 2 距离、模型表示空间的 2 距离、以及公平性文献中的群体划分都可归入此定义。
   • 攻击目标（Definition 3.2）：攻击由投毒集 Dp 和过滤函数 F : X → {0, 1} 组成，目标是最小化附带损害、最大化目标损害：Collat(F, D_p) = E[1(A(D ∪ D_p)(x) ≠ y) − 1(A(D)(x) ≠ y) ∣ F(x)=0]，即投毒前后模型在子群体之外（F(x)=0）的错误率之差；Target 定义相同但条件为 F(x)=1。
   • 成功判定：在未见测试集 Dtest 上报告 collateral damage 与 target damage；成功攻击要求 collateral 小、target 大且投毒点少。作者指出该定义是 class-untargeted 的，可改为 class-targeted。

   子群体选择

   • FeatureMatch（Algorithm 1）：攻击者已有目标时，按人工标注（如 UTKFace 的种族与年龄段、UCI Adult 的教育-种族-性别组合）精确匹配划分子群体；作者指出这与群体公平性的标准定义相关。
   • ClusterMatch（Algorithm 2）：无需标注，在 Daux 上用训练于 Daux 的网络某表示层取特征，经 PCA 投影后用 KMeans 聚类（实验用 k=100），把样本归入最近中心作为过滤函数；作者称攻击者可挑选与自己目标对齐且易攻击的簇。

   投毒点生成

   • 标签翻转：子群体大小为 m、投毒率 α 时加入 αm 个点——从 Daux 中采样满足 F 的点，标签改为统一的 t ≠ c（选取使投毒点损失最大的标签）；作者称高 target 由标签翻转保证，低 collateral 由过滤函数的分离度保证。
   • Influence 攻击：沿用 [KL17] 的 influence function 更新（论文公式 3），从标签翻转的投毒点出发做梯度下降；作者指出 Hessian 计算昂贵、主导运行时间，且 [KL17] 只在图像数据上测试过。
   • Gradient Optimization（GO）：把 influence 的二次近似放松为线性近似（相当于取 Hθ = I），目标为最大化 Obj(X_p, Y_p) = −∇_θ L(X_a, Y_a, θ)^T (θ_new − θ_old)，即用单步梯度更新近似投毒后模型、使目标集损失上升最多；从标签翻转初始化，跑 50 步梯度下降。
   • 适用限制：优化型攻击假设特征可连续修改，作者只实现了图像数据集；作者认为把优化攻击扩展到文本或表格数据是未来工作。

   评测协议

   • 标准数据集被划分为互不重叠的 D、Daux、Dt；攻击者只接触 Daux，必要时在 Daux 上训练 surrogate 模型用于 ClusterMatch；模型在 D ∪ Dp 上训练，target damage 只在 Dt 中属于目标子群体的点上评估，以检验对未见点的泛化。

   收起这一问

4. 04论文做了哪些实验？

   四个数据集、五种模型上验证攻击；大模型上 target damage 最高 74.2%，防御效果不一致。

   实验设置

   • 被测模型：CIFAR-10 上用 Conv（小型卷积网络）和 VGG-FT（微调全部层，134M 参数）；UTKFace 上用 VGG-LL（只训最后层，8K 参数）和 VGG-FT；IMDB 上用 BERT-LL（只微调最后一个 transformer block 和分类层）和 BERT-FT（微调全部，110M 参数）；UCI Adult 上用一层 10 个 ReLU 单元的前馈网络。
   • 数据集与划分：CIFAR-10（D/Daux 各 25000）；UTKFace 去除 15 岁以下后 20054 张，D/Daux/Dt 为 7000/7000/6054；IMDB（D/Daux 各 12500）；UCI Adult 共 48843 行；第 6.1 节用 Kaggle Cats and Dogs 测试集的狗图像。
   • 攻击设置：投毒率 α ∈ {0.5, 1, 2}（相对于子群体大小）；ClusterMatch 用 KMeans、k=100、PCA 投影到 10 维；GO 跑 50 步，influence 在 Table 8 中跑 250 次迭代、第 6.1 节跑 2000 次。
   • 指标：target damage 与 collateral damage（投毒前后错误率之差），按 target damage 最差的 1/5/10 个子群体报告；另报告 clean accuracy 与子群体大小。
   • 评审方式：全部为分类错误率的自动计算，论文未使用人工或 LLM 评审。
   • 重复次数：第 6.1 节生成 10 组目标集；第 6.2 节每种选点方式跑 24 次攻击、每次 8 个模型取平均；其余实验论文未报告重复次数。

   主结果

   ClusterMatch + 标签翻转的 target damage（据 Table 5、Table 6；worst-N 表示按 target damage 最差的 N 个子群体取平均）：

   表格较宽，可左右滑动

   数据集 + 模型	worst	α=0.5	α=1	α=2
   CIFAR-10 + Conv	1	0.236	0.348	0.535
   CIFAR-10 + VGG-FT	1	0.426	0.738	0.742
   UTKFace + VGG-LL	1	0.222	0.222	0.556
   UTKFace + VGG-FT	1	0.286	0.500	0.455
   IMDB + BERT-LL	1	0.038	0.049	0.203
   IMDB + BERT-FT	1	0.051	0.204	0.506
   UCI Adult（前馈网络）	1	0.333	0.375	0.667

   • 大模型更易受攻击：作者称大模型上的攻击普遍比小模型更有效，认为这可能说明大模型学到了更多子群体特定的决策边界。
   • 附带损害低：Table 4 报告 α=1 时 worst-5 子群体的平均 collateral，CIFAR-10 两个模型为 1.4% 和 1.3%，UTKFace 上 VGG-LL 为 0.3%、VGG-FT 为 2.9%，IMDB 上 BERT-LL 为 -0.29%、BERT-FT 为 0.53%。
   • 例外：UTKFace + VGG-FT 在 α=2 时 target damage 从 α=1 的 0.500 降到 0.455（Table 6）；作者解释部分结果中增大 α 不单调提升效果，可能源于非凸损失优化的影响，并称凸损失下结果均单调。

   FeatureMatch 与 ClusterMatch 对比

   • 测了什么：UTKFace + VGG-LL 和 UCI Adult 上同时可用两种选择方式（Table 2、Table 5）。
   • 结果：UTKFace 上 FeatureMatch 在 α=2 时 worst-1 target damage 为 0.400、worst-5 为 0.192，ClusterMatch 分别为 0.556 和 0.335；UCI Adult 上 ClusterMatch 在 α=2 时 worst-1 达 0.667（48 个投毒点），FeatureMatch 为 0.250。
   • 作者解读：ClusterMatch 几乎总是比 FeatureMatch 更有效，作者认为利用数据构造子群体的能力让它产生更易攻击的子群体；但两者都有效。

   攻击点优化（Table 8，仅 UTKFace）

   • 测了什么：在 10 个子群体上比较标签翻转（LF）、GO、influence（INF，250 次迭代）的平均 target damage。
   • 结果：VGG-LL 上 α=1 时 LF 为 0.084、GO 为 0.155、INF 为 0.386；VGG-FT 上 α=1 时 LF 为 0.235、GO 降到 0.182。运行时间上，GO 在 VGG-LL 约 40 秒、VGG-FT 约 55 秒，INF 在 VGG-LL 平均 5.4 小时、在 VGG-FT 超时（单次迭代 5 分钟计时即超时，论文估算每次攻击超过 1 天）。
   • 作者解读：GO 在小模型上接近翻倍提升，但在大模型上不提升甚至下降；作者称这与 influence function 在深度模型上失效的近期结果一致，因为 GO 是 influence 的近似。

   用子群体改进定向攻击（第 6 节）

   • Influence 攻击（Table 9）：在 Kaggle Cats and Dogs 上选 30 个目标点，ClusterMatch 选点的 worst-5 攻击成功率为 0.6，随机选点为 0.24；成功时完全攻陷所需迭代数分别为 250 和 380（[KL17] 原实验为 2000）。作者称这使成功攻击的运行时间从原文约 4 小时降到约 30 分钟（随机选点约 45 分钟）。
   • Witches' Brew（Table 10）：CIFAR-10 上 30 个目标点、500 个投毒点（预算 1%）、8 次重启、ε=16；ClusterMatch 选点的整体误分类比例为 0.134，随机选点为 0.072，作者称平均效果提升 86%；worst-10 对比为 0.264 对 0.114，作者称提升 2.35 倍。

   防御评测（第 7、8 节）

   • 不可能性结果：Theorem 7.1 称对 k 子群体混合分布，存在不超过 n/k 大小的投毒攻击，使所有局部决策的 k 子群体混合学习器以大于 1/2 的概率返回与未投毒不同的模型；作者指出 k-NN、混合模型、过参数化线性模型属于此类，并推测神经网络也可能属于。
   • 可用性防御（Table 11）：UTKFace + VGG-LL 上，TRIM 对受损最重的两个子群体在 α=2 时把 target damage 从 0.48、0.31 降到 -0.02、0.06，但对其他子群体效果不一致（如 α=2 时第四受损子群体从 0.24 升到 0.26）；SEVER 同样不一致；IMDB 上 TRIM 在 BERT-LL 无降低、BERT-FT 仅降约 8%。
   • 后门防御（Table 12）：activation clustering 在 UTKFace 上找出了 100% 投毒点，但同时移除了 25.7% 的训练集，target damage 仅从 0.222 降到 0.188；spectral signatures 在 UTKFace 上只找出 45.0% 投毒点且 target damage 反从 0.222 升到 0.290，在 IMDB 上只找出 13.3%。
   • 合成示例（Figure 2）：三子群体各 20 点、30 个投毒点的逻辑回归示例中，作者称 TRIM 把真实数据误判为攻击，反而加重了投毒效果；作者称 SEVER 出现类似结果。

   其他消融与分析

   • 聚类层选择（Table 3）：CIFAR-10 + Conv 上，worst-5 target damage 从输入层的 0.187 单调升到第 4 层的 0.327；作者称对模型越有用的表示越易被攻击，后续实验均用最后一层。
   • 簇数量：在 {50, 100, 200, 400} 中差异不大；作者指出簇太少会影响整体精度、太多则子群体过小（400 时部分子群体不出现在测试集），故统一取 k=100。
   • 架构知识（Table 7）：用 ResNet-50 嵌入生成 ClusterMatch 子群体攻击 CIFAR-10 + VGG-FT，target damage 降到 0.155–0.166（各 α、各 worst-N），collateral 不超过 2%；作者称架构知识有帮助但非必需。
   • 公平性案例（5.4 节）：UCI Adult 上"黑人女性高中毕业生"子群体准确率从 91.4% 降到 76.7%（α=2）；UTKFace 上 60 岁以上 Latino/Middle Eastern 子群体从 100% 降到 60%。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出优化攻击跨模态、去除 Daux 假设等方向；实验只覆盖四个数据集与四种防御。

   作者指出的局限与后续方向

   • 优化攻击仅限图像（4.2.2 节）：influence 与 GO 攻击只在图像数据集上实现；作者认为把现有优化攻击扩展到文本或表格数据是未来工作。
   • Daux 假设的移除（3.1 节）：作者认为辅助数据集假设可能可以用好的生成模型移除，但把这一假设的探索留作未来工作。
   • 不可能性结果的适用边界（第 7 节）：作者指出该负面结果可能不反映实践——具体学习算法和数据集可能不做子群体级决策，且攻击结果也佐证了这一点（并非所有子群体都易攻击，α=2 时也没有子群体降到 0% 准确率）；该结果只适用于不涉及人工输入的纯算法防御。
   • 防御研究方向（第 9 节）：作者称现有防御并不普遍有效，表明需要针对该威胁的防御研究；未来方向包括调查不同场景下哪些子群体风险最高，以及应对保护 ML 免受该威胁的挑战。
   • 其他优化策略的适配（4.2.2 节）：作者指出其他基于优化的投毒方法（如 [BNL12, SHN+18, GFH+21]）在目标函数、威胁模型、初始化上不同，或许可以适配到子群体攻击。

   实验覆盖范围

   • 被测模型共 5 个：Conv、VGG-LL、VGG-FT、BERT-LL、BERT-FT，加 UCI Adult 的前馈网络；数据集为 CIFAR-10、UTKFace、IMDB、UCI Adult，第 6.1 节另用 Kaggle Cats and Dogs。
   • 优化型攻击（GO、influence）只在 UTKFace 上评测（Table 8）；FeatureMatch 只在有标注的 UTKFace 和 UCI Adult 上评测。
   • 防御评测覆盖 TRIM/ILTM、SEVER、activation clustering、spectral signatures 四种，在 UTKFace + VGG-LL 和 IMDB（BERT-LL、BERT-FT）上进行；防御实验设最大迭代数 T=5，并把攻击数量设为投毒点的确切数目以展示防御的最佳可能表现。
   • 论文未报告主实验（Table 2、5、6）的重复次数与方差；第 6.1 节用 10 组目标集，第 6.2 节每种设置 24 次攻击、每次 8 个模型取平均。
   • 投毒率只测了 α ∈ {0.5, 1, 2}；ClusterMatch 的簇数只比较了 {50, 100, 200, 400} 后固定为 k=100。

   收起这一问

6. 06总结一下论文的主要内容

   子群体投毒攻击框架：少量投毒点破坏选定子群体，作者称现有防御不可靠。

   一篇数据投毒攻击论文，提出介于 targeted 与 availability 攻击之间的子群体攻击：攻击者只向训练集添加少量投毒点，使模型在某个选定子群体上错误率升高，其余数据不受影响，且测试时不需要修改任何样本。

   • 要解决的问题：现有投毒攻击威胁模型假设较强——availability 与后门攻击需控制较大比例训练数据，后门攻击需修改测试样本，targeted 攻击需预知确切目标点且影响面小；作者关注大数据集场景下更现实的攻击者。
   • 方法要点：模块化框架分两步——FeatureMatch（按人工标注匹配）或 ClusterMatch（在辅助数据 Daux 的表示层上 KMeans 聚类）选定子群体；再用标签翻转、influence function 或梯度优化（GO，把 influence 的 Hessian 近似为单位阵）生成投毒点。攻击者不知道受害模型参数和训练数据，只假设有同分布辅助数据。
   • 主要结果：
     • CIFAR-10 + VGG-FT 上，α=1 时单个子群体 target damage 达 0.738，worst-5 平均 collateral 仅 1.3%（Table 6、Table 4）。
     • UTKFace + VGG-LL 上 ClusterMatch 在 α=2 时 worst-1 target damage 为 0.556，高于 FeatureMatch 的 0.400（Table 5、Table 2）。
     • 优化攻击在 UTKFace + VGG-LL 上 α=1 时 influence 达 0.386（标签翻转为 0.084），但在 VGG-FT 上 GO 反而低于标签翻转（Table 8）。
     • 用 ClusterMatch 为 Witches' Brew 选目标点，平均效果比随机选点提升 86%（Table 10）。
     • 防御方面：作者证明局部决策学习器（如 k-NN、混合模型）存在不可能性结果；实验中 TRIM、SEVER、activation clustering、spectral signatures 效果不一致，activation clustering 虽找出全部投毒点但误删 25.7% 训练集（Table 12）。
   • 作者结论：作者认为子群体攻击隐蔽、实用，与算法公平性存在关联（模型会自行学到人口统计特征），现有防御不足以应对，需要新的防御研究；作者承认优化攻击目前只适用于图像，且不可能性结果在实践中未必成立。

   收起这一问

相关论文