针对拜占庭鲁棒联邦学习的本地模型投毒攻击

1. 01这篇论文试图解决什么问题？

   作者研究本地模型投毒攻击能否攻破号称抗 Byzantine 故障的联邦学习聚合规则。

   核心问题：攻击者直接操纵被攻陷 worker devices 发送的本地模型参数，能否让 Byzantine-robust 联邦学习学出的全局模型测试错误率升高。

   • 场景与重要性：联邦学习中多个 worker devices 协作训练、master device 聚合本地模型；机器学习社区提出了 Krum、Bulyan、trimmed mean、median 等聚合规则，号称能容忍部分设备的 Byzantine 故障。作者认为这些规则的渐近误差保证用 Õ 记号表示、忽略常数，不能刻画实际错误率。
   • 现有方法不足：作者称已有投毒攻击主要是数据投毒，只污染训练数据、假定学习过程完整，对 Byzantine-robust 联邦学习成功有限（实验见 Section 4.4）；已有工作只在非鲁棒的 mean 聚合规则上展示过本地模型投毒。
   • 核心思路：把每轮迭代中伪造本地模型建模为优化问题，让全局模型朝着无攻击时变化方向的反方向偏离最大，多轮累积使学出的模型与无攻击时不同。
   • 论文贡献：作者称这是对 Byzantine-robust 联邦学习攻击的首次系统研究；提出本地模型投毒攻击并把 RONI、TRIM 两种数据投毒防御推广为 ERR、LFR 两种防御。
   • 威胁模型：
     • 目标：untargeted poisoning，使全局模型对测试样本无差别地产生高错误率，最终造成拒绝服务。
     • 能力：控制少于 50% 的 worker devices（可注入虚假设备或攻陷良性设备），可任意操纵这些设备发往 master device 的本地模型参数。
     • 知识：知道被控设备的代码、训练数据和本地模型；聚合规则分知道与不知道两种情形；对良性设备的训练数据和本地模型分 full knowledge 与 partial knowledge 两种情形。
     • 受害系统：使用 Krum、Bulyan、trimmed mean、median 聚合规则的联邦学习系统；作者假设服务方知道被攻陷设备数量并据此设置聚合规则参数。

   收起这一问

2. 02有哪些相关研究？

   相关工作分数据投毒攻击、数据投毒防御、Byzantine-robust 聚合规则及其他 ML 安全威胁四组。

   数据投毒攻击

   • Biggio et al. (2012)、Muñoz-González et al. (2017) 等——向训练数据注入恶意数据，针对集中式机器学习；作者指出这些攻击假定学习过程完整，与本文攻击学习过程不同。
   • Muñoz-González et al. (2017) 的 back-gradient optimization（BGA）——作者称其为多分类器上 state-of-the-art 的 untargeted 数据投毒攻击，本文在 MNIST 子集上与其对比。
   • Xie et al. (2019)——inner product manipulation 的 untargeted 投毒攻击，针对 Krum 和 median，作者注明是与本文并发的工作。

   数据投毒防御（集中式）

   • Barreno et al. (2010) 的 RONI——度量每个训练样本对模型错误率的影响，移除负面影响大的样本；Suciu et al. (2018) 的 tRONI 是其针对 targeted 攻击的变体。
   • Jagielski et al. (2018) 的 TRIM——联合求解训练子集与模型参数，不在子集内的样本视为恶意。
   • 作者指出这些防御不直接适用于本地模型投毒，因为本文攻击不注入恶意数据；本文将 RONI、TRIM 推广为 ERR、LFR。

   Byzantine-robust 聚合规则与联邦学习防御

   • Krum（Blanchard et al., 2017）、Bulyan（Mhamdi et al., 2018）、trimmed mean 与 median（Yin et al., 2018）——号称容忍部分 worker devices 的 Byzantine 故障，trimmed mean 和 median 在强凸目标上有 order-optimal 误差率；本文攻击的正是这些规则。
   • Fung et al. (2018)——按历史本地模型为设备加权平均；作者指出其只能防御 label flipping 攻击，而 label flipping 已能被现有 Byzantine-robust 聚合规则防御。

   其他安全与隐私威胁

   • 对抗样本（Szegedy et al., 2013 等）针对测试阶段；模型反演、成员推理、属性推理、模型窃取等针对机密性；作者称这些与本文针对训练阶段完整性的攻击不同，联邦学习中的隐私风险研究（如 Hitaj et al., 2017）与本文正交。

   基线与基准：对比攻击为 Gaussian attack、label flipping attack、BGA；数据集为 MNIST、Fashion-MNIST、CH-MNIST、Breast Cancer Wisconsin (Diagnostic)。作者将本文定位为：首个针对 Byzantine-robust 联邦学习、直接操纵本地模型参数的系统攻击研究（作者称）。

   收起这一问

3. 03论文如何解决这个问题？

   把伪造本地模型建模为每轮的优化问题，使全局模型反向偏离最大，并针对 Krum 与 trimmed mean/median 分别求解。

   整体思路：攻击者在每轮迭代中求解一个优化问题来伪造被控设备的本地模型，使聚合后的全局模型朝着无攻击时变化方向的反方向偏离最大；论文称该方法为本地模型投毒攻击（local model poisoning attacks）。

   问题形式化

   • 记 s 为无攻击时全局模型参数的变化方向向量（每个参数取 1 或 −1），w 为无攻击时的全局模型（before-attack global model），w0 为攻击后的全局模型。
   • 核心优化问题为 max_{w′1,⋯,w′c} s^T (w − w′)，约束为 w 与 w0 分别由聚合规则 A 作用于攻击前后的本地模型得到；含义是伪造 c 个被控本地模型，使全局模型的反向有向偏离最大。
   • 作者称还考虑过不考虑方向的 deviation goal，实验显示 directed deviation goal 在 trimmed mean 和 median 上更好（附录 B）。

   攻击 Krum

   • 两个近似：令 w′1 = wRe − λs（wRe 为本轮收到的全局模型，λ > 0），并让其余 c − 1 个被控本地模型与 w′1 距离不超过 ε 以"支持" w′1 被 Krum 选中；作者称近似得到的是次优解。
   • 求解 λ：Theorem 1 给出 λ 的上界，据此用二分搜索求解，找不到解直到 λ 小于阈值 1 × 10−5 为止。
   • partial knowledge：用被控设备的 before-attack 本地模型均值估计变化方向 s̃，把被控设备的 before-attack 模型当作良性模型处理；找不到解时迭代地增加伪造本地模型 w′2 等，作者称这使攻击在 partial knowledge 下对 Krum 更有效。

   攻击 trimmed mean 与 median

   • full knowledge：对每个参数维度 j，若 s j = −1 则取大于 wmax, j 的 c 个数、否则取小于 wmin, j 的 c 个数；实现时在 [wmax, j , b · wmax, j ] 或 [wmin, j /b, wmin, j ] 等区间随机采样，b = 2，作者称 b > 1 时攻击不依赖 b 的具体值；median 复用同一攻击。
   • partial knowledge：用被控设备参数的均值 µ j 和标准差 σ j 估计方向，并假设良性设备参数服从高斯分布，在 [µ j + 3σ j , µ j + 4σ j ] 或 [µ j − 4σ j , µ j − 3σ j ] 采样；作者称该假设下伪造参数以高概率（如 m = 100、c = 20 时 0.898–0.998）超过良性极值，实际分布不符高斯时攻击仍有效。

   防御：ERR、LFR 与 Union

   • 设置：master device 持有一个小的验证数据集，并知道被攻陷设备数上界 c；在每轮聚合前先移除疑似恶意的本地模型。
   • ERR：对每个本地模型，比较包含与排除它时全局模型在验证集上的错误率，移除错误率影响最大的 c 个（推广自 RONI）。
   • LFR：同样比较包含与排除，但用交叉熵损失，移除损失影响最大的 c 个（推广自 TRIM）；Union 移除被 ERR 或 LFR 任一移除的模型。
   • 作者指出这些防御会让全局模型学习和适应新数据变慢。

   收起这一问

4. 04论文做了哪些实验？

   在 4 个数据集、LR 与 DNN 上攻击 4 种聚合规则，错误率多上升，并评测了迁移、BGA 对比和 ERR/LFR 防御。

   实验设置

   • 数据集：MNIST 与 Fashion-MNIST（各 60,000 训练 / 10,000 测试，10 类）、CH-MNIST（5,000 张组织学图像，8 类，4,000 训练 / 1,000 测试）、Breast Cancer Wisconsin (Diagnostic)（569 例，30 特征，二分类，455 训练 / 114 测试）。
   • 分类器：多分类 logistic regression（LR，仅 MNIST）；DNN（MNIST、Fashion-MNIST、Breast Cancer 用 Table 7a 的架构，CH-MNIST 用 ResNet20）。
   • 默认参数（Table 1）：m = 100 个 worker devices，c = 20 个被攻陷，non-IID 程度 p = 0.5，Krum 攻击 ε = 0.01，trimmed mean 的 β = c，b = 2；LR 训练 500 轮、DNN 2,000 轮，batch size 32（Fashion-MNIST 为 64）。
   • 对比攻击：Gaussian attack、label flipping attack、BGA（在 6,000 样本的 MNIST 子集上单独对比）。
   • 指标与重复：测试错误率；每个实验重复 50 次取平均，作者称方差很小故省略。
   • 防御评测：验证集为随机抽取的 100 个测试样本，partial knowledge 攻击，MNIST + LR。

   主结果

   Table 2 为各攻击在四个数据集上的测试错误率（默认设置，Partial/Full 为本文攻击的两种知识情形）：

   表格较宽，可左右滑动

   设置	聚合规则	NoAttack	Gaussian	LabelFlip	Partial	Full
   LR, MNIST (2a)	Krum	0.14	0.13	0.13	0.72	0.80
   LR, MNIST (2a)	Trimmed mean	0.12	0.11	0.13	0.23	0.52
   LR, MNIST (2a)	Median	0.13	0.13	0.15	0.19	0.29
   DNN, MNIST (2b)	Krum	0.11	0.10	0.10	0.75	0.77
   DNN, MNIST (2b)	Trimmed mean	0.06	0.07	0.07	0.14	0.23
   DNN, MNIST (2b)	Median	0.06	0.06	0.16	0.28	0.32
   DNN, CH-MNIST (2d)	Krum	0.29	0.30	0.43	0.73	0.81
   DNN, Breast Cancer (2e)	Krum	0.03	0.04	0.14	0.17	0.17

   （省略 Fashion-MNIST 行及 trimmed mean/median 在 CH-MNIST、Breast Cancer 上的行；Fashion-MNIST 上 Krum 为 0.16→0.90/0.91，据 Table 2c。）

   • 作者称本文攻击有效且优于现有攻击；Krum 比 trimmed mean 和 median 更脆弱，但在 Breast Cancer 上 Krum 与 median 相当。
   • 作者认为 trimmed mean 和 median 更鲁棒的可能原因是它们聚合多个本地模型，而 Krum 只选一个。
   • 作者观察到错误率可能随数据维度变化：CH-MNIST（4096 维）多数情形错误率更高，Breast Cancer（30 维）多数情形更低。

   迁移与 Bulyan

   • 未知聚合规则（Table 4，MNIST、LR、partial knowledge）：基于 Krum 的攻击对 trimmed mean 使错误率从 0.12 升至 0.15、对 median 从 0.13 升至 0.18；基于 trimmed mean 的攻击不能迁移到 Krum（0.14），对 median 从 0.13 升至 0.20。
   • Bulyan（Table 7b，MNIST、LR、m = 100、c = 20、θ = m − 2c、γ = θ − 2c）：partial knowledge 攻击使错误率从 0.14 升至 0.36，full knowledge 升至 0.38；作者称对 Krum 的攻击可迁移到 Bulyan。

   与 BGA 数据投毒对比

   • 设置（Section 4.4）：MNIST 均匀抽样 6,000 训练样本、10 类 LR、100 设备、20 被攻陷；BGA 在 GTX 1080Ti GPU 上运行 10 天生成 240 个（4%）毒化样本，分 SingleWorker 与 Uniform 两种分配方式。
   • 结果（Table 5）：BGA 对 Byzantine-robust 规则效果有限（如 Krum 上 SingleWorker 0.24、Uniform 0.25，NoAttack 0.23），对 mean 规则 Uniform 时从 0.10 升至 0.15；本文 partial knowledge 攻击在 mean 上达 0.54、Krum 上达 0.85。
   • 作者称验证了 BGA 毒化数据在集中式环境有效（LR 错误率 0.10→0.16），但在联邦学习中只能注入被控设备，故对鲁棒规则成功有限。

   防御评测

   • 结果（Table 6，MNIST、LR、partial knowledge）：LFR 与 ERR 相当或更好，如攻击基于 trimmed mean 时 Trimmed mean + LFR 为 0.12、Trimmed mean + ERR 为 0.21；Union 多数情形与 LFR 相当。
   • 有效情形：Trimmed mean + LFR（或 + Union）在攻击基于 trimmed mean 时错误率与无攻击相同（0.12）。
   • 无效情形：攻击基于 Krum 时，Krum + LFR 下错误率仍从 0.14 升至 0.58；作者称需要新防御。
   • 负面结果：部分情形部署防御后错误率反而上升（如 Median + ERR 在基于 trimmed mean 的攻击下为 0.25，高于无防御的 0.19），作者解释是防御可能误删良性本地模型。

   其他消融与分析

   • 被攻陷设备比例（Figure 2，MNIST）：攻击错误率随比例上升；例外是 Krum 在 5%→10%（LR）和 10%→15%（DNN）时错误率下降，作者怀疑与 Krum 每轮只选一个模型有关。
   • non-IID 程度（Figure 3，MNIST）：各攻击错误率随 p 上升，但对 Krum 的攻击错误率波动。
   • SGD 轮数（Figure 4a，MNIST、LR、median、partial knowledge）：轮数增多错误率下降，10 轮时攻击仍使错误率上升超过 30%（作者称）。
   • 设备总数（Figure 4b）：设备越多攻击越有效；作者称 partial knowledge 对 trimmed mean（DNN、MNIST）的方向估计准确率从 50 设备的 72% 升至 100 设备的 76%。
   • 每轮抽样设备数（Figure 4c）：攻击在被攻陷比例 mc 超过 10%–15% 时有效。
   • trimmed mean 的 β（Figure 5a）：β 越大攻击越弱，无攻击错误率也略升。
   • Krum 攻击的 ε（Figure 5b）：ε 越小错误率越大。
   • 毒化迭代比例（Figure 5c）：毒化迭代越多错误率越高。
   • 备选训练策略（Table 3，DNN、MNIST）：选测试错误率最低的全局模型时，partial knowledge 攻击仍使 Krum 从 0.10 升至 0.69、median 从 0.06 升至 0.32。
   • deviation goal 对比（Table 8，MNIST、LR）：directed deviation goal 在 trimmed mean（0.52 vs 0.10）和 median（0.29 vs 0.12）上更高，Krum 上两者都高（0.80 vs 0.87）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称工作限于 untargeted 攻击且需要新防御；实验覆盖 4 个数据集、LR 与 DNN、4 种聚合规则。

   作者指出的局限与后续方向

   • 工作限于 untargeted poisoning attacks，研究针对联邦学习的 targeted poisoning attacks 是未来方向（Section 7）。
   • 设计新防御是有价值的未来工作，例如检测被攻陷本地模型的新方法和新的对抗鲁棒聚合规则（Section 7）。
   • 作者称推广的防御（LFR、Union）在部分情形有效、在另一些情形不够有效，例如对基于 Krum 的攻击无效，需要新防御机制（Section 5、Section 7）。
   • 作者指出 full knowledge 情形在实践中适用性有限，因为联邦学习的训练数据分散在众多设备上，该情形用于估计攻击威胁的上界（Section 2.3）。
   • 作者指出 ERR/LFR 防御会使全局模型学习和适应新数据变慢，因为新数据可能被识别为来自潜在恶意本地模型（Section 5）。

   实验覆盖范围

   • 被测聚合规则为 Krum、trimmed mean、median，Bulyan 仅在附录 A 用 MNIST + LR 一个设置评测；分类器为 LR（仅 MNIST）和 DNN（四个数据集，CH-MNIST 用 ResNet20）。
   • 数据集为 MNIST、Fashion-MNIST、CH-MNIST、Breast Cancer Wisconsin (Diagnostic) 共 4 个；默认 m = 100、c = 20、p = 0.5，每个实验重复 50 次取平均。
   • 与 BGA 的对比在 6,000 样本的 MNIST 子集、10 类 LR 上进行，作者称 BGA 无法扩展到完整 MNIST。
   • 防御评测仅 ERR、LFR、Union 三种，仅在 MNIST + LR、partial knowledge、100 个验证样本的设置下进行（Table 6）。
   • 论文未报告攻击的计算开销或查询次数；Figure 2–5 的参数影响实验只在 MNIST 上进行（Figure 4、5 用 LR + median 或相应规则）。

   收起这一问

6. 06总结一下论文的主要内容

   作者提出针对 Byzantine-robust 联邦学习的本地模型投毒攻击，四个数据集上错误率上升，推广的防御仅部分有效。

   一篇针对联邦学习的攻击论文（USENIX Security 2020）：作者研究攻击者操纵被攻陷 worker devices 发送的本地模型参数，能否攻破号称抗 Byzantine 故障的聚合规则。

   • 问题：已有数据投毒攻击只污染训练数据，对 Krum、trimmed mean、median 等 Byzantine-robust 聚合规则效果有限；作者称这些规则的渐近误差保证不能刻画实际错误率。
   • 方法：把每轮伪造本地模型建模为优化问题，使全局模型朝无攻击时变化方向的反方向偏离最大；对 Krum 用两个近似加二分搜索求解，对 trimmed mean/median 按维度在良性参数极值附近采样；分 full/partial knowledge 两种知识情形。防御方面把 RONI、TRIM 推广为 ERR、LFR 及其组合 Union。
   • 主结果：默认设置（m = 100、c = 20、p = 0.5）下，MNIST 上 DNN + Krum 错误率从 0.11 升至 0.75（partial knowledge，Table 2b）；Fashion-MNIST 上 Krum 从 0.16 升至 0.90（Table 2c）；CH-MNIST 上 Krum 从 0.29 升至 0.73（Table 2d）。
   • 对比与迁移：label flipping 与 Gaussian 攻击效果有限；BGA 在 MNIST 子集上对鲁棒规则效果有限而本文攻击在 Krum 上达 0.85（Table 5）；基于 Krum 的攻击可迁移到 trimmed mean、median 和 Bulyan（0.14→0.36，Table 7b）。
   • 防御：LFR 优于 ERR；Trimmed mean + LFR 能防住基于 trimmed mean 的攻击（0.12），但基于 Krum 的攻击在 Krum + LFR 下仍使错误率从 0.14 升至 0.58（Table 6）。
   • 作者结论：作者称这些号称鲁棒的联邦学习方法在实际中对本文攻击脆弱，需要新的防御机制；工作限于 untargeted 攻击，targeted 攻击与新防御留待未来。

   收起这一问

相关论文