跳到正文
原文

Cronus:基于黑盒知识迁移的鲁棒异构协同学习

Cronus: Robust and Heterogeneous Collaborative Learning with Black-Box Knowledge Transfer

arXiv· arXiv:1912.11279· Hongyan Chang, Virat Shejwalkar, Reza Shokri, Amir HoumansadrNational University of Singapore; University of Massachusetts Amherst本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 Cronus:协作学习各方只共享对公共数据的预测而非参数;作者称其对投毒攻击的精度下降最多 2.1%,成员推断风险接近随机猜测。

威胁模型两类威胁:(1) 投毒攻击:攻击者控制 n 方中的 ǫ 部分(取各聚合算法 breaking point 以下的最大值),拥有与良性方同分布的数据,可构造恶意更新;(2) 成员推断攻击:服务器或参与方对单方更新或聚合更新做被动/主动推断,攻击者已知目标方 50% 的成员及等量非成员。

问题
联邦学习共享参数存在三个问题:易受投毒攻击、参数泄露训练数据隐私、且要求各方模型架构一致。作者认为共享参数是协作学习中最朴素也最危险的信息交换方式。
方法
提出 Cronus:各方先在本地数据上独立训练,之后只共享本地模型对无标注公共数据的预测(软标签),服务器用维度无关的鲁棒均值估计算法聚合预测,各方再用私有数据加软标签公共数据微调本地模型,不覆盖参数。
实验与结果
在 SVHN、MNIST、Purchase、CIFAR10 上评测:作者称所有现有联邦聚合算法都可被某种投毒攻击击破,而 Cronus 精度降幅最多 2.1%;成员推断风险接近随机猜测;并支持异构架构协作。
局限与可以继续做的
作者指出良性设置下 Cronus 精度略低于 FedAvg(如 CIFAR10 上 80.1% 对 88.4%);user-level DP 在参与方少时无法训练出好模型;现有 DP 算法效用差。实验限于 4 个图像/表格数据集、最多 32 个良性方。
实验设置CNN (SVHN)、FC (MNIST) 等 · SVHN、MNIST 等 · Robustness(攻击下精度/良性精度)、成员推断攻击准确率 等
被测模型
CNN (SVHN)FC (MNIST)FC (Purchase)DenseNet (CIFAR10)A1A2A3A4A5
基准
SVHNMNISTPurchaseCIFAR10
指标
Robustness(攻击下精度/良性精度)成员推断攻击准确率分类准确率
AI 导读Cronus 是一个鲁棒的协同(联邦)学习框架,用本地模型间的黑盒知识迁移取代参数共享,控制并大幅降低交换信息的维度,支持异构模型架构。论文评估了现有联邦学习算法在投毒攻击下的表现,称 Cronus 是唯一安全的方法。黑盒处理减少模型信息泄露,可结合现有隐私保护算法,样本复杂度显著更低,安全性不依赖参与方数量。

Cronus 是一个鲁棒的协同(联邦)学习框架,用本地模型间的黑盒知识迁移取代参数共享,控制并大幅降低交换信息的维度,支持异构模型架构。论文评估了现有联邦学习算法在投毒攻击下的表现,称 Cronus 是唯一安全的方法。黑盒处理减少模型信息泄露,可结合现有隐私保护算法,样本复杂度显著更低,安全性不依赖参与方数量。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    解决联邦学习共享参数导致的投毒脆弱、隐私泄露和架构同质三大问题。

    核心问题:联邦学习通过共享模型参数交换知识,使协作学习同时面临投毒攻击、隐私泄露和架构同质限制,作者认为共享参数是"最朴素"的信息交换方式。

    • 问题场景:协作(联邦)学习让多方在不共享私有数据的情况下训练模型,应用于医疗、金融、虚拟助手等敏感场景。但现有算法不抗对抗性更新和后门攻击,且会泄露本地数据信息。
    • 现有方法的不足:作者称所有现有防御只是用鲁棒均值替换聚合函数,框架其余部分不变;这些聚合算法的理论误差界和样本复杂度都依赖参数维度,高维模型下误差界过高(作者称之为"curse of dimensionality"),且参数覆盖式更新使模型易被难以检测的小改动破坏。
    • 核心观察:共享参数并非交换知识的唯一方式;知识迁移(knowledge transfer)可以通过模型在公共数据上的预测来传递知识,把交换向量的维度从参数规模降到输出规模。
    • 论文提出:Cronus——一个鲁棒协作学习框架,以黑盒方式提取、聚合、迁移本地模型的知识;同时系统评测了所有现有联邦聚合算法在投毒攻击下的鲁棒性,并提出针对 MWU 类聚合的新攻击 OFOM。
    • 威胁模型(Section II):
      • 投毒攻击:目标是无差别破坏最终模型精度;攻击者控制 n 方中的 ǫ 部分,且拥有与良性方同分布的数据,可估计良性更新分布;实验将 ǫ 设为各聚合算法 breaking point 以下的最大值。
      • 成员推断攻击:服务器或参与方为攻击者,对单方更新或聚合更新做被动观察或主动(gradient ascent)攻击;攻击者已知目标方 50% 的成员样本及等量非成员,训练二分类器区分成员/非成员。
  2. 有哪些相关研究?

    相关工作分四组:联邦学习与投毒攻防、鲁棒均值估计、差分隐私训练、知识迁移。

    联邦学习与投毒攻击

    • McMahan et al. [35]、Shokri and Shmatikov [47]——提出联邦学习/隐私保护深度学习,通过共享梯度或参数协作训练。
    • Bagdasaryan et al. [10]——用一个恶意方对 FedAvg 发起定向投毒(后门)攻击;Bhagoji et al. [12]——单恶意方定向攻击 Krum 和 coordinate-wise median 两种鲁棒聚合。
    • Baruch et al. [11]——LIE 攻击,绕过 Bulyan 和 Krum 等鲁棒聚合;论文在实验中复现并使用了该攻击。

    鲁棒聚合与鲁棒均值估计

    • Yin et al. [57]——分析 median 和 trimmed-mean 聚合并给出鲁棒性保证;Xie et al. [55]、Su [51]、Alistarh et al. [5]——median/geometric-median 类鲁棒聚合。
    • Blanchard et al. [13]——Krum,几何中位数的可计算近似;El Mhamdi et al. [37]——Bulyan,Krum 加 trimmed median 的两步元聚合。论文指出这些算法已被证明对深度学习模型的定向或通用投毒攻击敏感 [11], [12]。
    • Diakonikolas et al. [16], [17], [15]、Li [33]——鲁棒均值估计,收紧误差界并降低维度依赖;Cronus 直接采用 [17] 的算法(样本复杂度 Θ(d log d))。

    差分隐私与隐私保护

    • Abadi et al. [4]——DP-SGD(record-level DP);McMahan et al. [14]——user-level DP 联邦学习,论文指出其需要大量参与方(每轮 5000 方)才能达到可用精度,且不防聚合服务器。
    • Treux et al. [52]——DP 与安全多方计算结合的混合方案;论文指出这类工作不抗投毒且隐私-效用权衡差 [27]。
    • Nasr et al. [39], [40]——成员隐私的对抗正则化训练与主/被动白盒推断攻击,论文用其攻击模型和防御机制做评测;Melis et al. [36]——协作学习中的特征泄露攻击。

    知识迁移

    • Hinton et al. [21]、Ba and Caruana [9]——知识蒸馏;Anil et al. [7]、Jeong et al. [28]——co-distillation,论文指出其不防投毒和推断攻击。
    • Papernot et al. [43], [44]——PATE,用教师集成标注公共数据并以 DP 训练学生;论文指出 PATE 与 Cronus 设定根本不同:PATE 的教师和加噪都由拥有全部数据的可信实体执行。

    基线与基准:对比基线为联邦学习配 6 种聚合算法(Mean/FedAvg、Median、MwuAvg、MwuOpt、Bulyan、Krum),基准为 SVHN、MNIST、Purchase、CIFAR10。作者将本文定位为:唯一以黑盒预测共享替代参数共享、从而同时获得紧鲁棒保证、低推断风险和异构支持的协作学习框架。

  3. 论文如何解决这个问题?

    Cronus 用公共数据上的预测(软标签)替代参数作为交换对象,配合维度无关的鲁棒均值聚合。

    整体思路:把协作中交换的信息从模型参数换成模型对无标注公共数据的预测向量,使聚合维度从参数规模降到类别数,从而可以用有紧误差界的鲁棒均值估计算法,同时消除白盒推断攻击面并支持异构架构。框架名为 Cronus。

    问题设定

    • n 方各持私有训练集 Di,另有一份各方共享的无标注公共数据集 Xp(特征向量集合)。
    • 与 FedAvg 不同,Cronus 不把全局模型覆盖到本地:各方独立更新本地模型,聚合知识只作为额外训练信号。

    两阶段训练流程(Algorithm 5)

    1. 初始化阶段:各方在本地数据 Di 上独立训练 T1 轮,无协作;随后计算本地模型对 Xp 的初始预测 Yi0 并发送给服务器。
    2. 协作阶段(T2 轮,每轮三步):各方用本地模型对 Xp 计算软标签 Yi 并上传;服务器对每个公共样本分别聚合预测 Ȳ = fCronus(Y1, ..., Yn) 并广播;各方用 Di ∪ (Xp, Ȳ) 更新本地模型。
    • 关键参数:SVHN/MNIST/Purchase 两阶段各 50 轮;CIFAR10 共 200 轮(附录 A)。

    鲁棒聚合 fCronus(Algorithm 6)

    • 采用 Diakonikolas et al. [17] 的鲁棒均值估计算法,对每个公共样本的 n 个预测向量单独聚合。
    • 直觉:若经验均值被污染,则污染方向上经验方差远大于总体方差;算法迭代地找最大方差方向 v*,投影并过滤离均值最远的部分样本,直到各方向方差都不大(λ* ≤ 9)。
    • 理论保证(Theorem 1):样本量 Θ((d/ǫ) log d) 时,以 9/10 概率输出满足 ||μ̂ − μP||2 = O(σ√ϵ) 的估计,即误差与维度 d 无关——这是 Cronus 相对参数聚合(误差含 d 因子)的核心优势。
    • 实用简化:每轮确定性过滤 ǫ/2 比例的输入,共过滤 2 次。

    隐私与异构设计

    • 只共享预测使白盒推断攻击完全不可能;在与训练集不重叠的数据上蒸馏本身减少泄露 [48]。
    • 黑盒设定允许各方本地使用 membership privacy 机制(对抗正则化 [39])或 prediction privacy 机制 [18]。
    • 各方只需输出维度一致(同一任务),架构可异构,甚至可属不同模型族。

    攻击设计(用于评测)

    • 复现三种已有投毒攻击:Label flip(恶意方一致翻转本地标签)、PAF(恶意更新取良性均值加任意大向量)、LIE [11](利用良性更新均值方差构造小幅扰动)。
    • 提出 OFOM 攻击:针对按距离赋权的 MWU 类聚合(MwuAvg、MwuOpt),两个恶意方分别提交任意远的更新和位于良性均值与该远点之间的更新,使首轮后恶意方权重接近 1、良性方权重可忽略;只需两个恶意方。
    • 成员推断攻击:被动攻击直接观察更新;主动攻击(gradient ascent [40])由服务器对目标样本做梯度上升,拉大成员与非成员的损失差距。
  4. 论文做了哪些实验?

    在 4 个数据集上评测鲁棒性、成员推断风险、DP 代价、异构协作和通信开销。

    实验设置

    • 数据集与参与方(Table III):SVHN(32 良性方,每方 5,000 样本,CNN)、MNIST(28 方,2,000,FC)、Purchase(16 方,10,000,FC)、CIFAR10(16 方,2,500,DenseNet-100);公共数据均为 10,000。
    • 对比方法:stand-alone、centralized、FedAvg,及联邦学习配 Mean/Median/MwuAvg/MwuOpt/Bulyan/Krum 六种聚合,对比 Cronus。
    • 恶意方数量(Table V):按各聚合 breaking point 以下最大值设定,如 SVHN 上 Mean 1 个、Median/MWU/Cronus 31 个、Krum 29 个、Bulyan 9 个。
    • 指标:鲁棒性 = 最强攻击下精度 / 良性精度;成员推断风险 = 推断攻击准确率(成员非成员各半,50% 为随机猜测)。
    • 成员推断评测:用 [40] 的白盒推断模型(取最后一层梯度和输出等特征),Adam 训练 100 轮;隐私实验用 4 方。
    • 重复次数:论文未报告。

    主结果

    良性设置精度(Table IV)与鲁棒性(Table VI,鲁棒性 = 攻击下精度/良性精度):

    表格较宽,可左右滑动

    数据集设置MeanMedianMwuAvgMwuOptBulyanKrumCronus
    SVHN良性精度95.994.893.994.494.589.691.1
    SVHN鲁棒性0.010.150.010.010.160.180.99
    MNIST良性精度96.796.597.297.496.993.395.2
    MNIST鲁棒性0.090.950.260.130.970.960.99
    Purchase良性精度93.393.093.692.592.872.189.6
    Purchase鲁棒性0.010.750.020.010.870.690.98
    CIFAR10良性精度88.489.186.287.689.084.580.1
    CIFAR10鲁棒性0.130.170.160.150.850.210.97
    • 作者称每种现有聚合都至少被一种攻击击破:Mean 受所有攻击影响,Median 受 PAF,Bulyan/Krum 受 LIE,MwuAvg/MwuOpt 受本文 OFOM;部分数据集上精度降到接近随机猜测。
    • Cronus 的最强攻击多为 Label flip(CIFAR10 为 LIE);作者报告最强攻击下精度降幅:Purchase 0.4%、SVHN 1.3%、MNIST 1.5%、CIFAR10 4.8%(正文;摘要中给出另一组数字:1.6%/1.3%/1.5%/2.1%)。
    • 例外:LIE 对 MNIST 无效,作者归因于任务简单使模型能容忍小扰动;Bulyan 是除 Cronus 外最鲁棒的,但 breaking point 低(仅容忍 25–33% 恶意方)。

    成员推断(Table VII,4 方)

    • 被动攻击:Purchase 上 FedAvg 单方/聚合更新推断准确率 77.1%/74.7%,Cronus 为 54.6%/53.6%(正文另给出 78.1%/80.1% 对 51.7%/51.9% 的数字);SVHN、CIFAR10 趋势相同。
    • 主动攻击:Purchase 上 FedAvg 风险升至 84.9%/82.7%(+7.8/+8.0 个百分点),Cronus 仅 54.9%/54.7%(+0.3/+1.1 个百分点)。
    • 对抗正则化(λ=3,Purchase):FedAvg 风险降 9.9/12.7 个百分点,Cronus 仅再降 0.6/1.1 个百分点,作者称因 Cronus 本身风险已接近随机猜测。

    差分隐私与异构协作

    • User-level DP(SVHN,32 方):作者称即使 ǫ=100,FedAvg 全局模型精度接近随机猜测,Cronus 在参与方少时结果类似。
    • Record-level DP(Table VIII,SVHN,ǫ=15.4):32 方时 FedAvg 良性精度 65.7、鲁棒性 0.07,Cronus 85.8、0.97;4 方时 FedAvg 81.6、0.02,Cronus 81.5、0.98;作者称 DP-SGD 下两者都达不到 stand-alone 精度(87%),且 DP-SGD FedAvg 不抗投毒。
    • 异构协作(Purchase,5 种 FC 架构 A1–A5):16 方异构协作平均精度 89.3,与各同质协作相当(Table IX);12 个好模型加 4 个坏模型(A1)后好模型精度基本不变、坏模型达 78.1(Table X);异构使 A1 从 70.1 升至 78.1,A2/A3/A4 分别升 3.2/2.2/1.4 个百分点(Table XI)。

    其他消融与分析

    • 样本复杂度(Table II):联邦学习相对 Cronus 的比值 SVHN 1.2×10^5、MNIST 3.3×10^5、Purchase 2.75×10^5、CIFAR10 10.4×10^5。
    • 通信(Figure 3):每轮随机子采样公共数据 2k/4k/6k/8k/10k,最终精度 88.4/89.4/88.7/89.3/89.6,作者称子采样不降低收敛速度。
    • 收敛(Figure 1、4):攻击下 Cronus 曲线与良性设置几乎一致;良性下 Cronus 精度略低于现有算法但高于 stand-alone。
    • 完整攻击矩阵在附录 Table XII。
  5. 有什么可以进一步探索的点?

    作者指出 DP 效用与良性精度差距问题;实验限于 4 个数据集和最多 32 方。

    作者指出的局限与后续方向

    • 良性精度代价:作者称良性设置下 Cronus 相比现有算法有轻微精度下降(Appendix B,Figure 4;如 CIFAR10 上 80.1% 对 FedAvg 88.4%,Table IV)。
    • User-level DP 不适用少参与方:作者称 McMahan et al. [14] 的 UDP-FedAvg 在每轮参与方少时无法训练出好模型,Cronus 上结果类似(Section VII-C)。
    • DP 效用不足:作者称现有 DP 算法(record-level [4]、user-level [14])精度代价大、甚至低于 stand-alone 训练,需要设计高效用且隐私损失紧的 DP 算法(Section VII-C)。
    • DP 下协作无效:作者称 DP-SGD 下联邦学习和 Cronus 的精度都达不到 stand-alone 训练,使协作失去意义(Section VII-C2)。
    • 论文未设专门的 Limitations 章节,以上为 Results/Discussion 中明确写出的不足。

    实验覆盖范围

    • 被测模型为 4 种架构(CNN、FC、FC、DenseNet-100),对应 SVHN、MNIST、Purchase、CIFAR10 共 4 个数据集;良性方数量 16–32(Table III)。
    • 投毒评测覆盖 4 种攻击(Label flip、PAF、LIE、OFOM)× 7 种聚合配置(Table XII);成员推断评测用 Purchase、SVHN、CIFAR10,4 方协作(Section VII-B)。
    • 异构实验仅在 Purchase 上用 5 种全连接架构(A1–A5)进行(Section VII-D)。
    • 论文未报告实验重复次数和方差;成员推断实验的样本量(每方成员/非成员数量)未在正文中给出具体数字。
    • 威胁模型假设攻击者拥有与良性方同分布的数据、且已知目标方 50% 成员(Section II);论文称这是强攻击者假设。
  6. 总结一下论文的主要内容

    Cronus 以预测共享替代参数共享,作者称其实现了抗投毒、低泄露、支持异构的协作学习。

    一篇关于安全协作学习的防御类论文,针对联邦学习共享参数导致的投毒脆弱性、隐私泄露和架构同质限制,提出 Cronus 框架。

    • 问题:作者认为共享参数是协作学习中最朴素的信息交换方式:它把模型内部状态完全暴露给推断攻击,高维参数使鲁棒聚合的误差界和样本复杂度过高,且参数覆盖式更新放大了投毒危害。
    • 方法:各方先在本地数据上独立训练,之后只共享本地模型对无标注公共数据的软标签;服务器用 Diakonikolas et al. [17] 的维度无关鲁棒均值算法逐样本聚合预测;各方用私有数据加软标签公共数据微调,不覆盖参数。交换向量维度从参数规模降到类别数。
    • 鲁棒性:在 SVHN、MNIST、Purchase、CIFAR10 上,作者称所有现有联邦聚合(Mean、Median、MwuAvg、MwuOpt、Bulyan、Krum)都至少被一种投毒攻击击破(含本文提出的 OFOM),而 Cronus 鲁棒性为 0.97–0.99,最强攻击下精度降幅 0.4%–4.8%(Table VI)。
    • 隐私:Purchase 上 4 方协作时,对 FedAvg 更新的被动成员推断准确率为 77.1%,Cronus 为 54.6%(接近随机猜测 50%);主动攻击对 Cronus 几乎无效(Table VII)。
    • 异构与效率:Purchase 上 5 种不同架构可协作且精度不输同质协作(Table IX–XI);样本复杂度比联邦学习低约 5 个数量级(Table II);公共数据子采样至 2k 不影响最终精度(Figure 3)。
    • 作者结论:黑盒知识迁移能同时缓解联邦学习的鲁棒性、隐私和异构三大局限;作者同时指出良性精度略有下降、现有 DP 算法效用不足,需要更好的高效用 DP 设计。

相关论文

共同使用 Purchase
再看 3 篇
共同使用 SVHN
阅读原文arxiv.org