跳到正文
原文

Robbing the Fed：通过修改模型在联邦学习中直接获取私有数据

Robbing the Fed: Directly Obtaining Private Data in Federated Learning with Modified Models

arXiv· arXiv:2110.13057· Liam Fowl, Jonas Geiping, Wojtek Czaja, Micah Goldblum, Tom GoldsteinDepartment of Mathematics, University of Maryland; Department of Computer Science, University of Maryland; Center for Data Science, New York University本站收录· 19 天前· 原文发表入选 攻击精选关注度40

论文速读

攻击

据论文 PDF 整理（AI 生成），以原文为准

作者提出 imprint module：恶意服务器对联邦学习共享模型做微小结构与参数修改，即可从聚合梯度中直接解析还原用户数据，batch 64 时平均 PSNR 75.75。

威胁模型恶意服务器（explicitly malicious server），可修改发给用户的模型架构（限于常见 ML 框架允许的范围）与模型参数，不能在其他方面偏离标准联邦学习协议；受害方是计算并返回本地更新的用户。

问题
联邦学习中，聚合梯度被认为能保护用户数据，既有 honest-but-curious 反演攻击在大 batch 下失效。作者问：若服务器恶意修改模型架构与参数，聚合还安全吗。
方法
提出 imprint module：一个线性层加 ReLU，用线性函数 h 度量数据并按其 CDF 分 bin，使每个 bin 的梯度只含落入该 bin 的数据，相邻 bin 梯度相减即可解析还原单个数据点，无需解逆问题。
实验与结果
ImageNet batch 64、128 bins 时平均 PSNR 75.75；one-shot 变体从 16,384 张图聚合中还原单图（PSNR 161.36）；wikitext 上 512 bins 还原 110/128 句；fedAVG 多步更新下 IIP 70.31%。
局限与可以继续做的
作者指出本地差分隐私加噪可防御但所需噪声大，σ=0.01 时数据仍可见泄露；实验只在 ImageNet、CIFAR-10、wikitext 上做，未报告重复次数与跨模型系统评测。
实验设置ResNet-18、ResNet-50 等 · ImageNet (ILSVRC2012)、CIFAR-10 等 · PSNR、IIP (pixel-based) 等
威胁模型
恶意服务器（explicitly malicious server），可修改发给用户的模型架构（限于常见 ML 框架允许的范围）与模型参数，不能在其他方面偏离标准联邦学习协议；受害方是计算并返回本地更新的用户。攻击强度以插入模型的额外参数数量衡量。
被测模型
ResNet-18ResNet-50Linear modelTransformer (Wang et al., 2021)
基准
ImageNet (ILSVRC2012)CIFAR-10wikitext
指标
PSNRIIP (pixel-based)BLEUROUGE-Lreconstruction accuracy
AI 导读和推荐理由马里兰大学与纽约大学的研究者提出一种针对联邦学习的隐私攻击，恶意服务器对下发的模型做小幅修改，即可从用户返回的梯度更新中直接恢复数据。其 imprint 模块由线性层加 ReLU 构成，利用服务器可估计的数据分布构造分箱，使梯度中出现可解析求逆的结构化条目，无需优化反演。在 ResNet-18 前加入 128 个 bin，可从 64 张 ImageNet 图像的聚合更新中近乎完美地恢复大多数图像，平均 PSNR 75.75；one-shot 变体在 ResNet-18 上仅需约 1% 额外参数，就能从 16384 张图像的聚合平均中逐字恢复单张图像。该方法不依赖图像先验，在 transformer 语言模型上用 512 个 bin 可完整恢复 128 句中的 110 句。论文指出安全聚合的防护由此退化为安全打乱，本地差分隐私需较大噪声才能缓解，攻击代码已开源。

马里兰大学与纽约大学的研究者提出一种针对联邦学习的隐私攻击，恶意服务器对下发的模型做小幅修改，即可从用户返回的梯度更新中直接恢复数据。其 imprint 模块由线性层加 ReLU 构成，利用服务器可估计的数据分布构造分箱，使梯度中出现可解析求逆的结构化条目，无需优化反演。在 ResNet-18 前加入 128 个 bin，可从 64 张 ImageNet 图像的聚合更新中近乎完美地恢复大多数图像，平均 PSNR 75.75；one-shot 变体在 ResNet-18 上仅需约 1% 额外参数，就能从 16384 张图像的聚合平均中逐字恢复单张图像。该方法不依赖图像先验，在 transformer 语言模型上用 512 个 bin 可完整恢复 128 句中的 110 句。论文指出安全聚合的防护由此退化为安全打乱，本地差分隐私需较大噪声才能缓解，攻击代码已开源。

推荐理由论文展示恶意服务器小幅修改模型即可绕过聚合防御直接恢复用户数据，依赖大批量聚合保护隐私的联邦学习部署方需要重新评估安全边界。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    恶意服务器通过对共享模型做微小架构与参数修改，能否从大 batch 聚合梯度中直接还原用户数据。

    核心问题：在联邦学习中，一个 explicitly malicious 的服务器能否通过对共享模型做最小但恶意的修改，直接从聚合后的模型更新中逐字（verbatim）获取用户数据，而不需求解困难的逆问题。

    • 场景与重要性：联邦学习被科技公司和医院等机构用于分布式训练，其隐私承诺主要依赖聚合——用户只上报在大量本地数据上聚合的更新，还可结合 secure aggregation。作者认为聚合被视为联邦学习安全性的主要来源。
    • 现有方法的不足：作者称，既有的梯度反演攻击（如 Yin et al. 2021、Geiping et al. 2020）在 honest-but-curious 威胁模型下运作，batch 稍大时成功率大幅下降，且只能还原近似图像，导致有人认为现实训练规模下隐私仍然完好。
    • 核心观察：服务器本身可以修改发给用户的模型架构与参数，"honest"假设在这一方身上不成立；作者问的是"能施加于神经网络的最坏情况（但很小）的修改是什么"。
    • 论文提出的方法：imprint module——一类由常用组件（线性层 + ReLU）构成、参数被恶意设置的模块，使模型更新呈现结构化模式，部分更新只含固定子集数据的信息，从而解析还原数据并绕过聚合防御。
    • 威胁模型：
      • 攻击者目标：从用户返回的模型更新中直接获得用户数据的 verbatim 副本。
      • 攻击者知识：服务器定义模型架构并分发参数；需知道某个可用线性函数 h 度量的标量的 CDF（可用少量代理数据估计），无需知道用户数据完整分布。
      • 攻击者能力：只能修改模型架构（限于常见 ML 框架允许的范围）和模型参数，不能在其他方面偏离标准联邦学习协议，也不能让设备直接发送数据。
      • 受害系统：采用 fedSGD 或 fedAVG 协议、计算并返回本地更新的用户；攻击强度以插入的额外参数数量衡量。

  2. 有哪些相关研究？

    既有工作分解析、递归、优化三类反演攻击，均在 honest-but-curious 模型下且大 batch 失效；本文转向恶意服务器。

    解析攻击（analytic attacks）

    • Phong et al. (2017b)——最早讨论可学习仿射函数的输入可从其权重与偏置的梯度直接算出；Qian & Hansen (2020)、Fan et al. (2020) 有进一步分析。论文指出这类方法只对单个数据点成功，多点时只能还原均值。

    递归攻击（recursive attacks）

    • Zhu & Blaschko (2021) 的 R-GAP——把解析攻击扩展到含非线性层的模型；Fan et al. (2020) 也提到类似构造。论文指出其最好情况下仍只还原输入均值。
    • Pan et al. (2020)——把 ReLU 线性层转化为线性方程组，对 batch 输入有一定还原能力；论文指出其前置卷积层仍需递归或数值反演。

    优化类攻击（optimization-based attacks）

    • Wang et al. (2018)——提出在用户更新为本地平均梯度的设定下直接还原输入；Zhu et al. (2019)（Deep Leakage from Gradients）、Zhao et al. (2020)（iDLG）、Wainakh et al. (2021) 处理标签还原。
    • Geiping et al. (2020)——用余弦相似度与改进优化求解梯度匹配；Jeon et al. (2021) 加入生成式图像先验；Yin et al. (2021)（GradInversion）与 Qian et al. (2021) 用额外正则提升还原。
    • 论文给出的局限数字：Yin et al. (2021) 在 ResNet-50、ImageNet、batch 48 下只还原 28% 数据（按论文所称宽松度量）；Geiping et al. (2020) 中 ResNet-32-10 在 batch 128 下只泄露少量样本。

    与本文同威胁模型的并发工作

    • Boenisch et al. (2021)（CAH 攻击）——同样通过恶意修改从大 batch 更新中还原数据，论文称其威胁模型仅为参数修改、只适用于带输入尺寸线性层接 ReLU 的模型；作者在附录 Figure 21 中做了直接对比，称本文攻击在各个规模上 IIP 都更高。

    基线与基准：对比基线为 Geiping et al. (2020) 的优化攻击（附录 A.3，同设置下 pixel-based IIP 6.25%）和 Boenisch et al. (2021)（Figure 21）；实验基准为 ImageNet (ILSVRC2012)、CIFAR-10、wikitext。

    作者定位：既有攻击名义上是 honest-but-curious，但常依赖对还原特别有利的模型适配（大模型、特殊激活、宽模型等），作者把这些看作事实上的恶意模型；本文把这一问题显式化，研究最小恶意修改下的最坏情况。

  3. 论文如何解决这个问题？

    imprint module 用线性层 + ReLU 按某标量的 CDF 分 bin，使相邻 bin 的梯度差恰好等于落入该 bin 的单个数据点。

    整体思路：服务器在模型中插入一个 imprint module，先用线性函数 h 度量每个数据点的某个标量（如图像平均亮度），再按 h 的 CDF 把数据分成 k 个等概率 bin；ReLU 使每个 bin 的梯度只累加落入该 bin 的数据，相邻 bin 梯度相减即解析还原数据，无需优化求解。

    简单例子与出发点

    • 对全连接层 y = W x + b，单个输入可精确还原为 x = ∇Wi L  /  (∂ L)/(∂ bi)（逐元素除法），这是 Phong et al. (2017a) 等的已知结果。
    • batch 输入时梯度按 batch 求和，只能还原线性组合；但若损失梯度稀疏（如 multinomial logistic regression 且标签唯一），每行恰好还原一个数据点。
    • 作者指出该朴素方案有三个问题：标签重复时退化为平均、放在大网络前失效、ImageNet 规模需超过 150M 参数。

    imprint module 构造

    • 前向为 M(x) = f(W∗x + b∗)，f 为 ReLU；构造 W∗ 使每行满足 hW∗i, xi = h(x)，h 是服务器能估计其分布的线性函数（如平均亮度，此时 W∗i 各元素为 1/m）。
    • 偏置按标准正态 CDF 逆函数设置：bi∗ = −Φ−1(i/k)，即把数据按 h 的分布分成 k 个等质量 bin；h 的选择对方法不重要。
    • 若数据点 xt 单独激活 bin l，则相邻两行梯度之差 ∇W∗lL − (∂ L)/(∂ bl∗) − (∇W∗l+1L − (∂ L)/(∂ bl+1∗)) 恰好等于 xt（Eq. 4），实现精确还原。
    • Proposition 1 给出 k > n > 2 时服务器可期望精确还原的样本数公式（含修正项 r(n,k)，证明见附录 A.1）；作者称这是隐私泄露的下界。

    部署与隐蔽性设计

    • 模块可插入网络任意能收到非零梯度的位置；后续接第二个线性层，或把输出求和加到下一层（不增参数）；分 bin 行为与后续层结构无关。
    • 若架构本身已有大线性层（如语言模型、表格模型），只需改参数、无需改架构；参数可"休眠"，平时表现为随机初始化的普通线性层，攻击时才下发 W∗、b∗。
    • 作者称 bin 可置换、可掺入正常行，人工检查参数难以发现；梯度不直接含用户数据，也难以通过比对梯度发现泄露。

    变体

    • one-shot 攻击：把 k 个 bin 融合成 2 个（一个含质量 n/k），从每个大 batch 中钓取单个数据点；作者称额外参数只需单个数据点大小的两倍，对 ResNet-18 约为 1% 额外参数，且总可选出最优 bin 大小使平均每四个 batch 泄露一个数据点。
    • fedAVG 变体：用阈值函数 g（可由两个 ReLU 或 Hardtanh 实现）替代 ReLU 产生稀疏 bin，梯度条目无需两两相减即可直接反演；再用缩放 h′(x) = c′·h(x) 压平分布，防止本地更新导致 bin 偏移。
    • 深度放置变体：把前置层参数改为（近）恒等映射，使网络深处的模块也能还原原始输入。

  4. 论文做了哪些实验？

    ImageNet batch 64 平均 PSNR 75.75；one-shot 从 16,384 张图聚合中还原单图；wikitext 还原 110/128 句；fedAVG 下 IIP 70.31%。

    实验设置

    • 被测模型：ResNet-18（主实验，ImageNet/CIFAR-10）、ResNet-50（附录 Figure 9 的参数-还原量分析）、Wang et al. (2021) 讨论的 transformer 架构（wikitext 文本实验）。
    • 数据集：ImageNet (ILSVRC2012)（主实验，batch 64 为主）、CIFAR-10（附录 Figure 12、13）、wikitext（batch 128、序列长度 32、GPT-2 tokenizer）。
    • 基线：Geiping et al. (2020) 的优化攻击（附录 A.3）；Boenisch et al. (2021) 的 CAH 攻击（附录 Figure 21）。
    • 指标：平均 PSNR（逐图计算再平均）；IIP（Image Identifiability Precision），作者改用 pixel space 最近邻，称比 Yin et al. (2021) 的特征空间版本更严格；文本用 reconstruction accuracy、BLEU、ROUGE-L。
    • 评测方式：还原结果用 LPIPS 特征相似度做线性求和分配与 ground truth 匹配后计算 PSNR/IIP；全部单精度浮点；论文未报告重复次数。
    • 重建规则：候选点多于预期 batch 大小时，按 W∗ 每行梯度均值选最高者，其余丢弃。

    主结果

    表格较宽，可左右滑动

    设置方法指标数值出处
    ImageNet batch 64，128 bins，ResNet-18 前imprint（Mean/Normal）平均 PSNR / IIP75.75 / 65.62%正文 4.1、Table 1
    同上，优化攻击基线Geiping et al. (2020)IIP (pixel)6.25%附录 A.3
    ImageNet batch 16,384，one-shotimprint 2-bin 融合单图 PSNR161.36Figure 3
    wikitext batch 128，512 binsimprint（随机向量 h）还原准确率 / BLEU / ROUGE-L86.33% / 88% / 87%附录 A.4
    fedAVG 8 步 × 8 图（共 64），128 bins稀疏 bin 变体IIP / PSNR70.31% / 32.654.3、Figure 19
    • 作者称 batch 64 对优化类方法是主要障碍：Yin et al. (2021) 在更小的 batch 8 下平均 PSNR 仅 12.93；并强调双方威胁模型不同（Yin et al. 也用了非显而易见的参数修改）。
    • Figure 1(a) 显示：batch 64 时 156 个 bin 即可期望完美还原超过 50% 的数据；Figure 2 展示 128 bins 下多数图像近乎完美还原，灰色块为空 bin。
    • 作者称 one-shot 攻击证明"不存在完美隐私"：无论 batch 多大，平均每四个 batch 泄露一个数据点。

    与基线和并发工作的对比

    • 优化攻击基线：附录 A.3 在与 Figure 2 相同设置（ResNet-18、batch 64）下运行 Geiping et al. (2020)，IIP 为 6.25%（pixel）、6.25%（LPIPS）、20.31%（特征空间余弦，即 Yin et al. 的度量）。
    • 对恶意模型的优化攻击：附录 A.3 右侧显示，把优化攻击用于含 imprint module 的模型时也难以利用该漏洞；作者据此认为，靠跑一批优化攻击来检测隐私泄露的防御不会对本文攻击报警。
    • CAH 对比：Figure 21 显示 batch 128 下本文攻击的 IIP 在各个 bin 数量上都高于 Boenisch et al. (2021)（作者称"outperforms their attack at every scale"；具体数值图中未标注）。

    线性函数与分布的消融

    • Table 1（128 bins、ImageNet batch 64）：Mean+Laplacian 得 PSNR 79.63、IIP 71.88%；32nd DCT 系数+Laplacian 得 PSNR 99.82、IIP 79.69%（作者称这是对图像数据最强的攻击，但利用了用户训练自然图像的知识）；随机高斯向量+Normal 得 PSNR 91.29、IIP 75.00%。
    • 附录 A.2：用 0.1% 的 ImageNet 数据即可估计出接近真实的亮度分布（Figure 5）。

    其他消融与分析

    • bin 数与位置：Figure 4 显示 batch 64/128/256 及模块在 ResNet-18 前、中、后位置下 IIP 随 bin 数变化，作者称攻击在各 batch 大小与位置下稳定。
    • 深度放置：Figure 14–18 显示模块置于 56×56 到 7×7 各层时仍可还原（演示中仅用每层前三个通道作恒等映射）。
    • CIFAR-10：Figure 13 显示 300 bins 下几乎所有数据完美还原，灰色块来自 bin 内碰撞。
    • 梯度噪声：Figure 20 显示 Laplacian 梯度噪声下 IIP 变化，σ = 0.01 时数据仍可见泄露；作者称所需防御噪声量大。
    • 文本：附录 A.4 中 512 bins 直接还原 128 句中的 110 句。

    负面结果与例外

    • 附录 Figure 11：朴素线性模型在 64 张同类（white shark）图像上 PSNR 仅 13.84，而异类时为 36.45，即标签重复时退化为混合重建。
    • fedAVG 变体因 bin 在本地更新中漂移出现少量图像重复（Figure 19），IIP 从单步设定的水平降到 70.31%。

  5. 有什么可以进一步探索的点？

    作者讨论了本地差分隐私与模型校验两类防御及其代价；实验覆盖三个数据集、两类协议，未报告重复次数。

    作者指出的局限与后续方向

    • 本地差分隐私的代价（第 5 节）：加足够梯度噪声可防御，因为 Eq. (2) 的除法会放大尺度误差；但作者称实践中即使尺度无法确定隐私仍常被打破，所需噪声量大，σ = 0.01 时数据仍可见泄露（Figure 20）。
    • 安全聚合的作用被削弱（第 5 节）：作者称在该攻击下 secure aggregation 的有效性退化为 secure shuffling——数据被还原但不直接关联到具体用户。
    • 模型校验防御难以取胜（附录 A.7）：用户侧可用秩分析检测重复计算（imprint 线性层秩为 1），但作者认为攻击者随机化少量元素或加入正常特征行即可规避，"在给定威胁模型下防御者无法靠模型分析取胜"。
    • 对 API 设计的启示（第 6 节）：作者希望这些构造能澄清当前局限，为即将出现的应用（尤其是联邦学习 API 设计）的讨论提供参考。
    • 论文没有单独的 Limitations 小节，以上为作者在 Defense 讨论与结论中明确写出的防御侧局限。

    实验覆盖范围

    • 被测模型为 ResNet-18、ResNet-50（仅附录 Figure 9 的期望还原量分析）和一个 transformer 语言模型，共 3 个；主实验均在 ResNet-18 上。
    • 数据集为 ImageNet、CIFAR-10、wikitext；图像实验为主，文本实验仅一个设置（batch 128、512 bins）。
    • 协议覆盖 fedSGD（单步更新）与 fedAVG（8 步本地更新、学习率 1e−4 的一个设置）。
    • 防御评测仅覆盖 Laplacian 梯度噪声（Figure 20）和秩分析的讨论（附录 A.7），未做自适应攻击下的防御实验。
    • 论文未报告实验重复次数、方差或统计显著性检验；与 Boenisch et al. (2021) 的对比只有 Figure 21 的 IIP 曲线，未标注具体数值。

  6. 总结一下论文的主要内容

    恶意服务器借 imprint module 把聚合梯度变成可分 bin 解析还原的结构化泄露，大 batch 聚合不再构成隐私保障。

    一篇联邦学习隐私攻击论文（ICLR 2022），研究 explicitly malicious 服务器通过最小模型修改直接窃取用户数据。

    • 问题：既有梯度反演攻击在 honest-but-curious 模型下运作，batch 稍大即失效，聚合因此被视为联邦学习的主要安全来源；作者认为服务器本可修改模型，"honest"假设不成立。
    • 方法：imprint module——线性层加 ReLU，用线性函数 h 度量数据并按其 CDF 分 k 个等质量 bin，相邻 bin 梯度相减即解析还原单独落入某 bin 的数据点；可插入网络任意位置，可"休眠"待触发，架构已有大线性层时只需改参数。
    • 主结果：ImageNet batch 64、128 bins 时平均 PSNR 75.75（Table 1），同设置下 Geiping et al. (2020) 优化攻击的 pixel-based IIP 仅 6.25%；Figure 1(a) 显示 156 bins 可期望完美还原超 50% 的 batch 64 数据。
    • one-shot 变体：2 个融合 bin、作者称约 1% 额外参数，即可从 16,384 张 ImageNet 图像的聚合中还原单张图（PSNR 161.36，Figure 3），且无论 batch 多大，平均每四个 batch 泄露一个数据点。
    • 泛化：wikitext 上 512 bins 还原 110/128 句（准确率 86.33%）；fedAVG 8 步本地更新下 IIP 70.31%；CIFAR-10 上 300 bins 几乎完美还原。
    • 作者结论：即使大规模平均，联邦学习也不保证用户隐私；secure aggregation 的有效性退化为 secure shuffling，本地差分隐私所需噪声量大，作者希望结果为联邦学习 API 设计的讨论提供参考。

相关论文

共同使用 ImageNet
再看 3 篇
共同使用 ImageNet
共同使用 CIFAR-10
阅读原文arxiv.org