只共享表示:联邦学习隐私-效用权衡的可证明改进
Share Your Representation Only: Guaranteed Improvement of the Privacy-Utility Tradeoff in Federated Learning
作者提出联邦学习方法 CENTAUR:只以差分隐私共享表征、分类头本地私有,作者称在 CIFAR10 等任务上优于 DP 基线。
保护每个用户的隐私,对抗其他恶意客户端(窃听者无法判断某用户是否参与训练)。
- 联邦学习中反复共享参数会泄露私有数据;在数据异构下用 DP 保护整个模型会因梯度裁剪与加噪损失效用。作者关注如何在用户级 DP 下兼顾隐私与效用。
- 提出 CENTAUR:把模型拆成共享表征与本地分类头,只对表征做 DP 训练(裁剪+高斯噪声),分类头留在本地不发布;线性表征情形用带交叉验证的私有幂法初始化,并给出收敛与隐私分析。
- 在 CIFAR10/CIFAR100/EMNIST 多组异构设置、ε=1 下,CENTAUR 测试准确率均高于 DP-FedAvg-fb、PMTL-ft、PPSGD 和本地独立训练(Table 1);作者称线性情形下隐私-效用权衡较 SOTA 改进 Θ(√d)。
- 理论保证仅限线性表征与线性分类头,且假设数据零均值、1-subgaussian 等;实验只覆盖三个图像数据集、LeNet/MLP 小模型;作者称 DP 预算过小时无法建立效用保证(附录 J);论文未专门设 Limitations 一节。
- 威胁模型
- 保护每个用户的隐私,对抗其他恶意客户端(窃听者无法判断某用户是否参与训练)。采用 user-level RDP、Billboard model:可信服务器在 DP 约束下聚合信息并广播公共消息,用户据公共消息和本地私有数据计算个性化模型。
- 被测模型
- LeNet-5MLP
- 基准
- CIFAR10CIFAR100EMNIST
- 指标
- testing accuracydist(B, B*)(主角度距离)(ε, δ)-DP / user-level RDP
表示联邦学习目标让各方在差分隐私下协作优化模型共识表示,本地个性化部分保留不上传。DPFEDREP 在线性表示设定下对非凸目标线性收敛到全局最优附近的球,半径与隐私预算倒数成正比,并将隐私-效用权衡改进 sqrt(d);在 CIFAR10、CIFAR100、EMNIST 图像分类上,相同小隐私预算下性能明显优于先前工作。
深度解读
这篇论文试图解决什么问题?
作者要解决数据异构下 DP 联邦学习效用差的问题,提出只共享表征的 CENTAUR。
核心问题:在数据异构的联邦学习中,如何用差分隐私(DP)保护用户数据,同时避免梯度裁剪和加噪带来的效用损失。
- 问题场景与重要性:联邦学习(FL)中多方在服务器协调下共同训练、数据留在本地,但作者指出仅共享梯度等部分信息仍会泄露隐私——对手可推断某条记录是否在他人训练集中(Nasr et al., 2019),甚至重构训练数据(Zhu et al., 2019),因此需要 DP 保障。
- 现有方法的不足:作者认为数据异构使各客户端最优模型差异大、本地梯度即使在全局最优点也很大;DP 要求以小阈值裁剪梯度再加噪,会引入不消退的偏差,损害模型精度(Remark 3.1)。
- 核心观察:作者观察到许多 FL 分类任务中,各参与方对数据表征的分歧小,但分类头(如网络最后一层)可能差异很大(引 Bengio et al., 2013; Chen et al., 2020; Collins et al., 2021)。
- 论文提出的方法:提出 CENTAUR,把模型拆成表征提取器与分类头:只以 DP 方式协同训练一个全局共享表征,各客户端保留私有的个性化分类头;并在线性表征设定下给出收敛与隐私-效用权衡分析。
- 威胁模型:
- 攻击者目标:推断某用户是否参与了协同训练过程。
- 攻击者身份:其他潜在的恶意客户端(窃听者),能看到训练期间发布的信息。
- 防护对象与保证:user-level RDP,针对 Algorithm 1 中发布的共享表征 bTg;若个性化模型也发布,则等价于 joint-(R)DP。
- 通信模型:Billboard model——可信服务器(或借助多方计算等密码技术)在 DP 约束下聚合信息,向全部 n 个用户广播公共消息。
有哪些相关研究?
相关工作分三类:DP 联邦学习、模型个性化、以及最接近的 Jain et al. (2021) 私有表征学习。
DP 联邦学习
- Shokri & Shmatikov (2015)、McMahan et al. (2017a)——开创 DP 与联邦学习结合的研究线。
- Duchi et al. (2014)、Erlingsson et al. (2014)、Ding et al. (2017)——本地 DP 模型;论文指出本地 DP 与精度的权衡比集中式差,学习简单统计量也需大量数据。
- McMahan et al. (2017b)、Agarwal et al. (2018)、Levy et al. (2021)、Kairouz et al. (2021)——借助安全聚合在 Billboard model 下实现 user-level DP;本文同样采用这一设定。
模型个性化
- Smith et al. (2017)、Fallah et al. (2020)、Li et al. (2020b)、Arivazhagan et al. (2019)、Collins et al. (2021)、Pillutla et al. (2022)——让每个客户端学习不同但相关的模型,缓解数据异构导致的模型漂移。
- Hu et al. (2021)——私有联邦多任务学习(PMTL),给每个客户端加任务相关正则;论文认为正则处理数据异构的能力有限。
- Bietti et al. (2022)——PPSGD,支持 user-level DP 的加性个性化模型;论文指出其泛化保证依赖损失函数的凸性,而本文在非凸目标下分析收敛。
最接近的工作
- Jain et al. (2021)——同样以 DP 学习共享低维线性表征加个性化分类头;论文指出其需在服务器端对加噪表征矩阵做 SVD 精确求解最小二乘,泛化保证带 d^1.5 的维度依赖,且限于线性表征;本文改用服务器端 noisy gradient descent,作者称将维度依赖改进 Θ(√d),且支持多层共享表征。
- Collins et al. (2021)——FedRep,本文方法直接建立在其上,但 FedRep 不考虑隐私。
- Xu et al. (2023)——投稿时知晓的并行工作,用类似算法在极端多分类设定下以 user-level DP 学习图像嵌入。
基线与基准:实验对比 Stand-alone-no-FL(本地独立训练,无 DP)、DP-FedAvg-fb(Yu et al., 2020 加本地微调)、PPSGD、PMTL-ft;数据集为 CIFAR10、CIFAR100、EMNIST。
作者将本文定位为:在 Billboard model 的 user-level DP 下,把 FedRep 式共享表征框架加上严格隐私保证,并在理论上把线性表征情形的隐私-效用权衡较 Jain et al. (2021) 改进 Θ(√d)。
论文如何解决这个问题?
CENTAUR 只对共享表征做 DP 训练、分类头本地保密;线性情形用交叉验证增强的私有幂法初始化。
整体思路:把模型分解为表征提取器 ϕ(·; b) 与分类头 h(·; w),只协同训练并发布带 DP 保证的全局表征 b,各客户端的分类头 w 留在本地不发布,从而规避异构性集中在头部带来的大梯度与裁剪偏差。方法名为 CENTAUR。
问题形式化
- 本地目标为标准经验损失(式 1);标准 FL 求全局一致解(式 2),作者认为异构下全局解远离本地最优。
- 联邦表征学习(FRL)目标(式 3):minb∈ℬ 1/n∑i minwi l([wi, b]; Si),即共享一个全局表征 b、每个客户端各自优化私有头 w_i。
- 作者给出的理由:表征近似同质时,本地与全局最优接近,表征梯度在最优点附近趋于零,适配小裁剪阈值(Remark 3.1);且 k≪d,固定表征后头部易优化。
通用算法(Algorithm 1、2)
- SERVER:每轮以 Poisson 采样(参数 pg)选出活跃客户端,广播当前表征 bt,收回本地更新方向后经高斯机制 GM(裁剪阈值 ζg、噪声乘子 σg)聚合,按步长 ηg 更新;共 Tg 轮。
- CLIENT 三阶段:1) 固定 bt,把本地分类头精确(或近似)优化到局部目标最小点;2) 从 bt 出发做 Tl 步本地 SGD 更新本地表征(mini-batch 大小 m̄、步长 ηl);3) 返回本地更新方向 git = bt,Tl_i − bt。
- 隐私保证(Remark 4.1):作者称由子采样高斯机制的组合定理,算法满足 user-level (α, ϵ)-RDP,ϵ = Tg·Sα(pg, σg);pg=1 时 ϵ = α·Tg/(2σg²)。
线性表征(LRL)实例
- 设定:yij = wi*ᵀB*ᵀxij,B* 为 d×k 列正交表征矩阵,w_i* 为客户端私有线性头;可行域为列正交矩阵集;损失为最小二乘(式 4)。问题 (L-FRL) 对 B 仍非凸。
- 初始化(Algorithm 3):运行 T0 个独立的私有幂法(PPM,改自 Hardt & Price, 2014)得到候选,再用交叉验证选出与至少一半候选一致的 Bĉ;作者称单次 PPM 只以常数概率(0.99)成功,该方案把成功率提升到 1−n^{−k},且只使用各次 PPM 的输出、属后处理,不额外泄露隐私(Lemma F.3)。
- 聚合与客户端修改:AGGREGATION 用 QR 分解保持列正交;客户端改为无放回抽两个子集分别用于更新头部和计算表征梯度,作者称这是使裁剪以高概率不触发(Lemma C.1)所需。
理论结果
- 效用(Theorem 5.1):在 dist(B⁰,B*)≤0.2 的初始化、足够大的 m̄ 与足够小的 σg 等条件下,作者证明 dist(B^{Tg}, B*) ≤ c̃d·σg·µ²k^1.5·d/n,即以线性速率收敛到以 B* 为中心、半径与噪声乘子成正比的邻域。
- 隐私(Theorem 5.2):该实例为 (α, ϵinit+ϵrdp/2)-RDP;σg 足够小时为 (α, ϵrdp)-RDP,并转为 (ϵdp, δ)-DP。
- 权衡(Corollary 5.1):作者称 ϵa·ϵdp ≥ Θ(d/n),相比 Jain et al. (2021) 的 Θ(d^1.5/n) 改进 Θ(√d)。
论文做了哪些实验?
在 CIFAR10/100、EMNIST 多组异构设置、ε=1 下,CENTAUR 准确率均高于四个基线(Table 1)。
实验设置
- 任务与数据:图像分类,数据集 CIFAR10、CIFAR100、EMNIST;按 Collins et al. (2021) 的方案划分:训练/验证 90%/10%,训练部分均分给 n 个客户端、每客户端最多 S 个类。
- 模型结构:CIFAR10/100 用 LeNet-5(两个 64 通道卷积层 + 两个全连接层,隐藏神经元 CIFAR10 为 (384,32)、CIFAR100 为 (128,32));EMNIST 用三层 MLP(256,128,16);ReLU,无 BN/dropout(附录 B)。
- 基线:Stand-alone-no-FL(本地独立训练,无 DP)、DP-FedAvg-fb、PMTL-ft、PPSGD。
- 隐私设置:δ=10⁻⁵;Table 1、3 固定 ϵdp=1;给定 ϵdp 后用 Opacus 的 privacy engine 按 Tg 定 σg;全参与(pc=1)。
- 超参数:CIFAR10:ζg=0.01、ηl=0.01、ηg=1、Tg=200;CIFAR100:ζg=0.02、Tg=100;EMNIST:ζg=0.25、Tg=40;Figure 1 的权衡曲线对 ζg 在 {0.01,0.02,0.04,0.06} 网格搜索(Table 2)。
- 重复次数:Table 1 括号内为标准差,Figure 1 图注注明误差棒为 3 次运行的 std;数据增强只用于 CENTAUR 本地头部的微调。
主结果
Table 1:ϵdp=1、δ=10⁻⁵ 下的测试准确率(%),括号为标准差。
表格较宽,可左右滑动
设置 Stand-alone-no-FL DP-FedAvg-fb PMTL-ft PPSGD CENTAUR CIFAR10, n=500, S=5 50.03 (1.59) 46.17 (0.12) 49.35 (0.44) 48.69 (1.44) 53.23 (0.92) CIFAR10, n=1000, S=2 74.06 (0.45) 57.02 (1.36) 67.79 (1.77) 71.52 (2.30) 76.23 (0.48) CIFAR10, n=1000, S=5 44.60 (1.30) 37.15 (1.22) 35.99 (1.79) 44.61 (2.68) 49.92 (0.71) CIFAR100, n=1000, S=5 39.20 (1.12) 22.17 (2.12) 24.17 (1.43) 32.97 (1.48) 44.54 (1.05) EMNIST, n=1000, S=5 93.47 (0.14) 91.32 (0.22) 92.32 (0.22) 93.44 (0.20) 94.17 (0.19) EMNIST, n=2000, S=5 90.67 (0.46) 86.85 (1.11) 88.81 (2.08) 88.96 (1.93) 92.79 (0.25) - 作者称在该小隐私预算下 CENTAUR 优于全部基线,且是唯一持续超过本地独立训练基线的方法,据此认为协同训练相对本地训练是合理的。
- Figure 1(CIFAR10,n=500、S=5,ϵ∈{0.25,0.5,1,2,4}):作者称 CENTAUR 在各 ϵ 下一致优于其他方法,且在 ϵ=0.5 时已超过 Stand-alone-no-FL;正文一处写该图对应 EMNIST(n=2000, S=5),两处表述不一致,以图注(CIFAR10)为准。
更大通信预算
- Table 3(CIFAR10,Tg=400,ϵdp=1):n=1000,S=2 时 CENTAUR 77.80 (0.52),PPSGD 74.63、PMTL-ft 67.71、DP-FedAvg-fb 63.97、Stand-alone 74.06;n=1000,S=5 时 CENTAUR 51.05 (0.35),PPSGD 48.29、PMTL-ft 45.75、DP-FedAvg-fb 41.12。
- 作者称 CENTAUR 在更大通信预算下仍一致最优。
训练动态与稳定性
- Figure 3(CIFAR10,n=1000,S=2 与 S=5):横轴为训练过程中的 ϵdp、纵轴为测试准确率;作者称 CENTAUR 更快收敛到高效用并持续优于基线。
- Figure 4:CENTAUR 在裁剪阈值 {0.02,0.05,0.10}、通信轮数 {100,300,600} 下表现稳定;作者同时指出 DP-FedAvg-fb 对超参数不稳定甚至发散,因此未做全量超参搜索(附录 B 脚注 4)。
机理分析:梯度一致性
- 做法:计算每个用户梯度与全体用户平均梯度(裁剪前)的余弦相似度,报告均值与标准差(Figure 5)。
- 结果:作者称 DP-FedAvg-fb 中用户对更新方向分歧大(均值低、标准差高),分类头尤其明显;CENTAUR 中用户对表征层更新方向更一致(均值更高、标准差更低)。
- 例外:作者注记训练后期余弦相似度仍下降,认为表征层面可能仍存在残余的数据异构(脚注 5)。
其他消融与分析
- 数据增强:作者称经典增强在 DP 训练下降低精度(同 De et al., 2022 的观察),De et al. 提出的新增强在本设定下也未持续提升验证精度;增强只用于 CENTAUR 本地头部微调时有效,用于其他基线的微调反而更差(附录 B)。
有什么可以进一步探索的点?
作者未设 Limitations 一节;理论限于线性表征,实验限于三个图像数据集与小模型。
作者指出的局限与后续方向
- DP 预算下界:附录 J 指出,对目标精度 ϵa,当 ϵdp ≤ c̃t·κk^1.5·n⁻¹·ϵa⁻¹·µ²d 时无法建立 CENTAUR 在该预算内达到 ϵa 的理论保证;作者同时强调这不排除实际能达到,因为隐私分析只是上界、并非下界。
- 客户端数量要求:附录 J 指出,仅当 n 足够大(n ≥ c̃t·κk^1.5·µ²d/(ϵa·ϵdp))时才能保证在 ϵdp 预算内达到 ϵa 效用。
- 理论适用范围:第 5 节明确效用-隐私权衡分析只针对表征与分类头均为线性的实例(LRL),且依赖 Assumptions 5.1–5.3(零均值 1-subgaussian 输入、incoherence 参数、本地样本量下界);PPM 初始化分析还要求 xij 为高斯变量(附录 F.1)。
- 超参搜索不充分:附录 B 脚注 4 称因计算限制未对通信轮数 Tg 做穷举搜索,否则各方法(尤其 DP-FedAvg-fb)可能取得更高效用。
- 论文未专门设 Limitations 小节,以上为正文与附录中明确写出的条件性限制。
实验覆盖范围
- 被测对象为方法而非模型:CENTAUR 与 4 个基线(Stand-alone-no-FL、DP-FedAvg-fb、PMTL-ft、PPSGD),骨干结构为 LeNet-5(CIFAR10/100)和三层 MLP(EMNIST)(附录 B)。
- 数据集为 CIFAR10、CIFAR100、EMNIST 三个图像分类数据集;异构设置为 n∈{500,1000,2000}、S∈{2,5} 的六组组合(Table 1)。
- 隐私预算:Table 1、3 固定 ϵdp=1、δ=10⁻⁵;Figure 1 覆盖 ϵ∈{0.25,0.5,1,2,4}(CIFAR10,n=500,S=5)。
- 重复次数:Figure 1 图注注明 3 次运行取标准差;Table 1 报告标准差但论文未写明每组运行次数。
- 论文未报告 CENTAUR 在文本等非图像任务、更大骨干网络上的实验;理论实例(Algorithm 3–5)未做单独的数值验证。
总结一下论文的主要内容
CENTAUR 只以 DP 共享表征、分类头本地私有,作者称理论与实验均优于此前方法。
一篇关于差分隐私联邦学习的方法与理论论文(ICLR 2023)。
- 要解决的问题:数据异构下,对整个模型做 DP 训练会因梯度裁剪与加噪造成效用损失;作者认为瓶颈在于表征与分类头的学习存在冲突,而异构性主要集中在分类头。
- 方法要点:CENTAUR 把模型拆成共享表征与本地分类头,只对表征做 user-level DP(Billboard model)训练,分类头不发布;线性表征情形用交叉验证增强的私有幂法初始化,QR 分解保持列正交。
- 理论结果:作者证明线性表征(仍非凸)情形下 CENTAUR 以线性速率收敛到全局最优邻域,权衡 ϵa·ϵdp ≥ Θ(d/n),作者称较 Jain et al. (2021) 的 Θ(d^1.5/n) 改进 Θ(√d)。
- 实验结果:ϵdp=1、δ=10⁻⁵ 下,CENTAUR 在六组异构设置上均最高(Table 1),如 CIFAR10 n=500,S=5 达 53.23%(基线最高 50.03%)、CIFAR100 n=1000,S=5 达 44.54%(基线最高 39.20%)、EMNIST n=2000,S=5 达 92.79%;作者称它是唯一持续超过本地独立训练的方法。
- 机理证据:余弦相似度实验(Figure 5)中,作者称 CENTAUR 下各客户端对表征更新方向更一致,与 Remark 3.1 的分析一致。
- 作者结论:统计异构给 DP 联邦学习带来额外困难,只共享表征能缓解;理论保证限于线性设定,且过小的 ϵdp 或客户端数不足时保证不成立(附录 J)。