跳到正文
原文

诅咒还是救赎？数据异构性如何影响联邦学习的鲁棒性

Curse or Redemption? How Data Heterogeneity Affects the Robustness of Federated Learning

arXiv· arXiv:2102.00655· Syed Zawad, Ahsan Ali, Pin-Yu Chen, Ali Anwar, Yi Zhou, Nathalie Baracaldo, Yuan Tian, Feng YanUniversity of Nevada, Reno; IBM Research; University of Virginia本站收录· 16 天前· 原文发表攻击
#后门与投毒

论文速读

分析与理论

据论文 PDF 整理（AI 生成），以原文为准

作者通过 LEAF 等基准实验研究联邦学习中数据异质性对后门攻击的影响，称其既降低攻击效果，也带来攻击时机、防御失效等新风险。

问题
联邦学习中数据异质性是固有特征，但现有后门攻击与防御研究大多假设 IID 数据或只做了简化的 non-IID 研究，缺乏对异质性如何影响后门攻击与防御的系统理解。
方法
作者定义 Heterogeneity Index 量化异质性，在 LEAF（FEMNIST、Sent140）和 CIFAR10 上用 (Xie et al. 2019) 的分布式后门攻击做大量实验，分析异质性、恶意数据分布、攻击时机的作用，并讨论对应防御方向。
实验与结果
作者报告：异质性升高时 ASR 中位数下降但更不稳定；恶意数据分布是主导因素；只在最后一个本地 batch 攻击时预算仅占总训练数据 0.2%；异质性使基于 cosine similarity 的偏斜特征防御失效；所提防御将 FEMNIST 上 ASR 从 0.96 降到 0.21（Table 2）。
局限与可以继续做的
作者指出：主动防御在 secure aggregation 下难以训练各客户端；防御实验为概念验证，更复杂的检测方法留作未来工作。被测为三个数据集上的 CNN/LSTM 模型，论文未报告多数实验的重复次数与置信区间。
实验设置2 conv 2 dense CNN (FEMNIST)、100 cell lstm 2 dense LSTM (Sent140) 等 · LEAF (FEMNIST)、LEAF (Sent140) 等 · ASR、ACC 等
威胁模型
攻击者（恶意客户端）可操纵其模型更新和本地训练过程的各个方面（训练数据、超参数、模型权重、本地隐私机制），可攻陷多方并串通；聚合算法和良性客户端的本地训练机制可信；采用 (Xie et al. 2019) 的分布式后门攻击，目标是在不影响主任务准确率的前提下造成定向误分类。
被测模型
2 conv 2 dense CNN (FEMNIST)100 cell lstm 2 dense LSTM (Sent140)4 conv 2 dense CNN (CIFAR10)
基准
LEAF (FEMNIST)LEAF (Sent140)CIFAR10
指标
ASRACCcosine similarityChiSq distance
AI 导读研究者通过合成数据与 LEAF 基准上的综合实验，刻画了联邦学习中数据异构性对后门攻击效果的影响。初步结果显示数据异构性是攻击有效性的主导因素，似乎不利于攻击者，攻击效率更低、设计有效策略更难、结果也更难预测。但进一步研究表明它更像诅咒，攻击者只需调整客户端投毒时机即可显著提升攻击效果；数据异构性还会导致良性客户端本地训练过拟合，攻击者可借此伪装并欺骗基于特征偏斜的防御，调整攻击数据分布同样能构造有效攻击。作者最后讨论了应对数据异构性带来问题的潜在防御方向。

研究者通过合成数据与 LEAF 基准上的综合实验，刻画了联邦学习中数据异构性对后门攻击效果的影响。初步结果显示数据异构性是攻击有效性的主导因素，似乎不利于攻击者，攻击效率更低、设计有效策略更难、结果也更难预测。但进一步研究表明它更像诅咒，攻击者只需调整客户端投毒时机即可显著提升攻击效果；数据异构性还会导致良性客户端本地训练过拟合，攻击者可借此伪装并欺骗基于特征偏斜的防御，调整攻击数据分布同样能构造有效攻击。作者最后讨论了应对数据异构性带来问题的潜在防御方向。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    数据异质性如何影响联邦学习后门攻击与防御，此前缺乏系统研究，本文做实证刻画。

    核心问题：联邦学习（FL）中固有的数据异质性如何影响后门攻击的有效性和防御，此前缺乏系统性研究。

    • 场景与重要性：FL 在客户端本地训练、由服务器聚合，训练数据天然异质且无法像集中式 ML 那样平衡或监控；作者称这种不可控的异质性是 FL 的关键挑战，但在后门攻击鲁棒性视角下基本被忽视。
    • 现有工作不足：作者指出，已有 FL 后门攻击要么假设 IID 数据分布，要么只对 non-IID 做简化研究（Bagdasaryan et al. 2018; Bhagoji et al. 2019; Xie et al. 2019）；已有防御（如 activation clustering、k-means）需要访问训练数据，不适用于 FL，且没有防御在不同异质程度下评估过有效性。
    • 核心观察：初步实验显示异质性升高使 ASR 中位数下降、攻击更难设计（作者称之为 redemption）；但进一步实验发现异质性带来更多 curse——攻击时机可提升攻击效果、偏斜特征防御失效、攻击者可利用分布距离优化攻击。
    • 论文贡献：定义 Heterogeneity Index 量化异质性；通过合成数据和 LEAF 基准的大量实验刻画异质性的影响；讨论针对三个 curse 的防御方向并做概念验证。
    • 威胁模型（照抄论文，与 Xie et al. 2019; Sun et al. 2019; Chen et al. 2018 相同）：
      • 目标：注入触发器造成定向误分类，不影响主任务准确率、不破坏收敛。
      • 知识与能力：恶意客户端可操纵其模型更新和本地训练过程的各个方面（训练数据、超参数、模型权重、本地隐私机制）。
      • 规模：可攻陷多个参与方，多个攻击者可串通；主实验默认每轮 50% 恶意客户端、每 batch 50% 数据被后门。
      • 受害系统与信任假设：聚合算法和良性客户端的本地训练机制可信；良性客户端不操纵数据或训练过程。

  2. 有哪些相关研究？

    相关工作分三组：FL 数据异质性、后门攻击、后门防御；作者称异质性视角下三者均有空白。

    FL 中的数据异质性

    • Li et al. (2019) 从理论上给出异质性导致的收敛界；Sattler et al. (2019) 实证研究改变异质性对模型性能的影响。
    • Li et al. (2020) 讨论异质性给 FL 带来的挑战；Zhao et al. (2018) 展示客户端本地模型权重因数据异质性而发散。

    后门攻击

    • Chen et al. (2017) 提出针对深度学习模型的后门攻击：在源类样本中植入触发图案并改标为目标类，造成定向误分类。
    • 面向 FL 的攻击：Bagdasaryan et al. (2018) 提出 model replacement；Bhagoji et al. (2019) 展示提升模型权重可帮助攻击者；Fung, Yoon, and Beschastnikh (2018) 引入 sybil 攻击；Zhang et al. (2019) 用 GAN 攻击全局模型；Xie et al. (2019) 提出分布式串通攻击（DBA）并设计触发图案。
    • 作者称自己的工作角度不同：聚焦数据异质性对攻击有效性的影响，这一主题很少被研究。

    后门防御

    • 面向集中式 ML 的防御：filtering（Steinhardt, Koh, and Liang 2017）、fine-pruning（Liu, Dolan-Gavitt, and Garg 2018）；作者指出它们需要训练数据知识，在 FL 中不可行。
    • 面向 FL 的防御：聚类类方法（Tran, Li, and Madry 2018; Chen et al. 2018; Shen, Tople, and Saxena 2016）；FoolsGold 用 cosine similarity 防御 sybil（Fung, Yoon, and Beschastnikh 2018）；Ma, Zhu, and Hsu (2019) 用差分隐私；Sun et al. (2019) 展示弱差分隐私和 norm-clipping 可缓解攻击。作者指出这些防御均未在不同数据异质程度下评估有效性。

    基线与基准：攻击方法采用 (Xie et al. 2019) 的分布式攻击，附录另用 (Sun et al. 2019) 和 (Chen et al. 2018) 的攻击（记为 Attack 1、Attack 2）验证结论稳健性；基准为 LEAF（FEMNIST、Sent140）和 CIFAR10。

    定位：作者称本文是从数据异质性视角对 FL 后门攻击与防御做的系统性实证研究，填补了攻击与防御两侧都未在多种异质程度下评估的空白。

  3. 论文如何解决这个问题？

    定义 Heterogeneity Index 量化异质性，在三个基准上系统变化攻击配置做实证分析，并讨论防御方向。

    整体思路：定义可量化的异质性指标，在 LEAF 和 CIFAR10 上系统变化异质程度、恶意数据分布、攻击规模/预算和本地攻击时机，用 ASR 和 cosine similarity 刻画影响，最后针对发现的三个 curse 讨论防御机制。

    异质性的控制与量化

    • Heterogeneity Index (HI)：HI(c) = 1 − 1/(Cmax−1) × (c−1)，其中 c 控制每个客户端的最大类别数，Cmax 为数据集总类别数；取值归一化到 0–1，1 表示异质性最高。
    • 异质性模拟：主实验按 (Zhao et al. 2018; Fung, Yoon, and Beschastnikh 2018) 的方式限制每客户端类别数；附录用 Gaussian sampling（方差越小异质性越高）和 Dirichlet 分布验证，作者称结果与 HI 一致。

    实验与攻击设置

    • 基准与模型：FEMNIST（62 类手写字符，2 conv 2 dense 的 CNN，49,644/4,964 训练/测试划分，179 客户端、每轮 17 个，共 2000 轮）；Sent140（推文二分类情感分析，100 cell lstm 2 dense，6,553/655，50 客户端、每轮 10 个，共 10 轮）；CIFAR10（4 conv 2 dense，50,000/10,000，划分到 200 客户端、每轮 20 个，共 500 轮）（Table 1）。
    • 攻击方法：采用 (Xie et al. 2019) 的分布式后门攻击；随机选取配置数量的恶意客户端，向其数据注入触发图案；恶意与良性客户端的学习超参数保持一致。
    • 成功判定：在 50% 的测试数据上施加触发器，若全局模型将其分类为目标类则记为攻击成功；ASR 为成功比例，计算时不计入原本就属于目标类的数据点。

    分析维度

    • Redemption 系列：固定其他参数（每轮 50% 恶意客户端、每 batch 50% 数据被后门），将 HI 从 0 变到 1，每个 HI 用不同恶意数据分布重复 10 次，以箱线图报告 ASR（Figure 2）；固定 HI（FEMNIST 0.2、Sent140 0.0、CIFAR10 0.5），比较 25 种恶意数据分布在 20 轮攻击上的平均 ASR（Figure 3）；变化（攻击规模、总攻击预算、恶意数据分布）三元组画热图（Figure 4）。
    • Curse 系列：比较四种本地攻击时机（10 个 batch 均匀分布、前 5、中间 5、后 5 个 batch），总预算相同（均匀策略每 batch 后门 10% 数据，其余 20%）；组合全局与本地攻击时机；计算各客户端最后一个 dense 层权重相对上一轮全局模型的 cosine similarity；用 Chi-squared 距离 χ2 = ∑i=1c ((Oi − Ei)2)/Ei 度量恶意数据分布与整体训练分布的距离（Ei 为类 i 在训练集中的频率，Oi 为在恶意数据集中的频率），并对 ASR–ChiSq 散点做线性回归。

    防御方向（概念验证）

    • Curse 1：聚合方假设所有客户端都是恶意的，维护一个小的全局 IID 数据集（大小为总数据的 10%），在聚合前用它训练所有参与客户端的更新权重，灵感来自 (Zhao et al. 2018)。
    • Curse 2：分散客户端选择，同一客户端需间隔至少若干轮（如 20 轮）才能再被选中，使后门随时间被遗忘。
    • Curse 3：避免泄露全局数据分布，或向攻击者披露伪造的分布；也可用 GAN 类数据匿名化。

  4. 论文做了哪些实验？

    三个基准上系统变化异质性与攻击配置；主结果多以图呈现，防御有定量表格。

    实验设置

    • 被测模型：FEMNIST 上用 2 conv 2 dense 的 CNN；Sent140 上用 100 cell lstm 2 dense 的 LSTM；CIFAR10 上用 4 conv 2 dense 的 CNN（Table 1）。
    • 数据集：LEAF 的 FEMNIST（62 类，49,644/4,964 训练/测试）和 Sent140（2 类，6,553/655），CIFAR10（50,000/10,000，划分到 200 客户端）（Table 1）。
    • 攻击方法：主文用 (Xie et al. 2019) 的分布式后门攻击；附录用 (Sun et al. 2019) 和 (Chen et al. 2018) 的攻击（Attack 1、Attack 2）做稳健性验证。
    • 指标：ASR（在 50% 测试数据上施加触发器后的定向误分类比例，不含原本目标类样本）；防御部分另有 ACC；cosine similarity 用于偏斜特征分析。
    • 重复次数：Redemption 1 中每个 HI 重复 10 次（不同恶意数据分布）；Redemption 2 为 25 种分布在 20 轮攻击上的平均 ASR；其余实验论文未逐一说明重复次数。
    • 默认攻击配置：每轮 50% 恶意客户端、每 batch 50% 数据被后门（Redemption 1）；攻击时机实验中为均匀策略每 batch 10%、其余策略 20%。

    主结果

    论文主结果主要以图（箱线图、柱状图、热图）呈现，正文未给出具体数值，下表汇总给出数值的结果：

    表格较宽，可左右滑动

    实验条件结果出处
    主动防御（Curse 1）CIFAR10 / FEMNIST / Sent140ASR 0.76→0.26 / 0.96→0.21 / 1.0→0.36Table 2
    客户端选择分散（Curse 2）separation factor 10→20→50FEMNIST 0.87→0.16→0.14；CIFAR10 0.83→0.23→0.11；Sent140 1.0→0.2→0.2Table 3
    伪造全局分布（Curse 3）ChiSq 0.0→0.5→0.7→0.9FEMNIST 0.91→0.45→0.33→0.24；CIFAR10 0.84→0.33→0.23→0.18；Sent140 1.0→0.2→0.1→0.1Table 4
    • 作者称，Figure 2 显示随 HI 升高 ASR 中位数下降，但箱须变宽，即攻击效果更不稳定。
    • 作者称，Figure 4 的热图在三个基准上都没有清晰规律，与"攻击规模和预算越大攻击越有效"的既有结论相反，恶意数据分布是主导因素。
    • 作者称，Table 2 的主动防御使 ASR 下降；Table 3、Table 4 显示两种防御方向均随参数增强而降低 ASR。

    本地攻击时机（Curse 1）

    • 测了什么：FEMNIST（HI=0.2）上比较四种本地攻击时机，并组合全局/本地时机（Figure 5）；在不同 HI 下比较均匀与 last 策略（Figure 6）。
    • 结果：作者称 last 5 策略 ASR 最高；本地时机决定 ASR 而全局时机影响很小；LATTER(last) 策略的总攻击预算仅占总训练数据的 0.2%，作者称比文献低一个数量级；last 策略在不同异质性下更稳健，且相对均匀策略的优势随异质性增大。
    • 作者解读：较晚攻击使后门特征更易被过拟合，较早攻击则更易被遗忘；作者称这是数据异质性下的新漏洞。

    偏斜特征防御失效（Curse 2）

    • 测了什么：用 last 攻击时机，在不同 HI 下比较良性与恶意客户端最后一个 dense 层权重（相对上一轮全局模型）的 cosine similarity（Figure 7）。
    • 结果：作者称 HI 越高，良性客户端间权重差异越大（cosine similarity 越低），甚至可能高于后门数据的差异，使恶意数据躲过基于偏斜特征的检测。
    • 作者解读：数据异质性使良性客户端也呈现过拟合特征，攻击者可借此伪装。

    恶意数据分布作为杠杆（Curse 3）

    • 测了什么：按 Redemption 2 的设置，对 ASR 与 ChiSq 距离做散点图和线性回归（Figure 8）；变化（预算、ChiSq）和（规模、ChiSq）画热图（Figure 9）。
    • 结果：作者称 ASR 与 ChiSq 相关性良好，ChiSq 越小点越聚集；低 ChiSq 的攻击整体 ASR 更好，甚至可超过预算更高但 ChiSq 也更高的攻击。
    • 作者解读：作者称这与 Figure 4 的发现相反，说明已有 FL 鲁棒性工作未在更强攻击下充分评估；KL、JS、Wasserstein、B-Distance 等散度指标同样可用。

    其他消融与分析

    • Gaussian sampling 异质性：附录 Figure 10、11 复现 Figure 2、7 的观察，作者称结论在不同异质性模拟方式下一致。
    • 权重缩放因子：缩放因子 1、5、10 下 ASR 仅略升而 ACC 下降（Figure 12）；作者称后门结论可推广到 model replacement，但缩放权重易被检测，主文聚焦因子为 1 的情形。
    • 其他攻击策略：Attack 1、Attack 2 在 Figure 13 的热图同样无清晰规律（Sent140 未包含，因两种策略面向图像应用）。
    • 客户端选择分散防御：作者报告该策略使各异质性水平的 ASR 均不超过 23%。
    • 伪造分布防御：正文报告平均 ASR 从 0.8 降到 0.46（伪造分布与真实分布的 ChiSq 约 0.8）。

  5. 有什么可以进一步探索的点？

    作者指出主动防御与 secure aggregation 的兼容性等限制，并计划研究更复杂的检测方法。

    作者指出的局限与后续方向

    • 主动防御的适用限制：Defending Curse 1 一节指出，若使用 secure aggregation，可能难以在 IID 数据集上训练单个客户端。
    • 更复杂的检测方法留作未来工作：Defending Curse 2 一节写道，作者计划在未来工作中研究 activation clustering、spectral signatures、gradient shaping 等更复杂的检测方法，并可能与客户端选择机制结合。
    • 保护全局分布的替代手段：Defending Curse 3 一节提出，在无法隐藏全局分布时，可尝试误导攻击者相信错误的分布，或通过 GAN 类数据匿名化设计更稳健的聚合方法（以方向性讨论为主）。
    • 论文没有单独的 Limitations 章节，以上为作者在防御讨论中明确写出的限制和计划。

    实验覆盖范围

    • 被测模型为三个：FEMNIST 上的 CNN（2 conv 2 dense）、Sent140 上的 LSTM（100 cell lstm 2 dense）、CIFAR10 上的 CNN（4 conv 2 dense）（Table 1）。
    • 攻击方法覆盖三种：(Xie et al. 2019) 为主，(Sun et al. 2019) 和 (Chen et al. 2018) 仅在附录 Figure 13 中验证，且不含 Sent140。
    • 异质性模拟方式覆盖三种：限制每客户端类别数（主文）、Gaussian sampling 和 Dirichlet 分布（附录）。
    • 防御评测为概念验证：主动防御（Table 2）、客户端选择分散（Table 3）、伪造全局分布（Table 4），论文未报告这些防御对主任务准确率的影响（ACC 仅在权重缩放实验 Figure 12 中出现）。
    • 论文未报告 Figure 2–9 各实验的具体数值（以图呈现），也未逐一说明除 Redemption 1（10 次）和 Redemption 2（25 种分布 × 20 轮）外各实验的重复次数。

  6. 总结一下论文的主要内容

    实证研究数据异质性对 FL 后门攻击的影响：既是 redemption 更是 curse，并给出防御方向。

    一篇关于联邦学习后门攻击的实证分析论文，研究数据异质性这一 FL 固有特征如何影响攻击有效性与防御。

    • 问题：已有 FL 后门攻击与防御研究大多假设 IID 或只做简化 non-IID 研究，作者称异质性在鲁棒性视角下被忽视。
    • 方法：定义 Heterogeneity Index 量化异质性，在 LEAF（FEMNIST、Sent140）和 CIFAR10 上用 (Xie et al. 2019) 的分布式后门攻击做大量实验，系统变化异质程度、恶意数据分布、攻击规模/预算和本地攻击时机。
    • Redemption：作者报告 HI 升高时 ASR 中位数下降但更不稳定（Figure 2）；恶意数据分布是主导因素，热图无清晰规律（Figure 4），攻击策略更难设计。
    • Curse：只在最后一个本地 batch 攻击时，预算仅占总训练数据 0.2% 且在不同异质性下稳健（Figure 5、6）；异质性使良性客户端权重差异增大，基于 cosine similarity 的偏斜特征防御失效（Figure 7）；ChiSq 距离与 ASR 相关，攻击者可借此优化分布（Figure 8、9）。
    • 防御（概念验证）：聚合方用小 IID 数据集重训练客户端更新，ASR 在 FEMNIST 上从 0.96 降到 0.21、Sent140 上从 1.0 降到 0.36（Table 2）；客户端选择间隔从 10 增到 50 轮时 FEMNIST 上 ASR 从 0.87 降到 0.14（Table 3）；伪造全局分布（ChiSq 0.9）使 FEMNIST 上 ASR 从 0.91 降到 0.24（Table 4）。
    • 作者结论：数据异质性的影响取决于其程度，后门攻击的效果可因此变化很大；这些经验可为设计 FL 防御提供新视角。

相关论文

共同使用 CIFAR10
再看 3 篇
共同使用 CIFAR10
阅读原文arxiv.org