通过全局-局部归因对齐实现可解释联邦学习
Explainable Federated Learning via Global-Local Attribution Alignment
作者提出联邦学习解释框架 xFedAlign,称其在 6 个基准上保持 FedAvg 精度,同时降低跨客户端解释漂移(EDI)。
- 联邦学习中各客户端数据异构,本地解释彼此漂移、全局聚合又丢失细粒度结构,且共享梯度或稠密归因图有隐私和带宽代价。作者要解决在严格隐私与带宽约束下获得本地忠实且全局一致的解释。
- 提出 xFedAlign:每个客户端用蒸馏训练轻量代理模型,在归一化 group 空间产出 per-class top-k 归因工件,经裁剪、量化、加噪后由服务器用坐标中位数聚合成 Global Explanation Prior,再用 JSD 对齐损失软约束各客户端解释,任务优化不受影响。
- 在 MNIST、CIFAR-10、AG News、IMDb、Adult、Credit 六个基准的 IID 与 non-IID 划分上,作者称 xFedAlign 精度与 FedAvg 持平,EDI 多数为最低;MNIST 上成员推断准确率与归因投毒下的 ∆Top@128、∆EDI 均为最低;扩展至 128 客户端时 EDI 稳定在 0.0002。
- 作者称框架假设 group 空间有意义且相对稳定,group 歧义或语义漂移时需自适应分组;隐私分析限于 honest-but-curious 服务器与安全聚合下的客户端级 DP,稀疏工件仍可能泄露结构化信息。未来方向包括回归任务、联邦语言模型、自适应攻击者与专家评估。
- 威胁模型
- 任务模型视为黑盒:客户端可查询预测但不共享原始数据、梯度、logits 或内部激活;服务器 honest-but-curious,只见安全聚合后的加噪工件;恶意客户端可提交操纵的解释工件进行归因投毒;成员推断攻击者为 black box,可见预测和广播的 prior,最强变体还可见本地解释。
- 被测模型
- Small CNN (vision: MNIST, CIFAR-10)TextCNN (text: AG News, IMDb Reviews)Shallow MLP (tabular: UCI Adult Income, UCI German Credit)
- 基准
- MNISTCIFAR-10AG NewsIMDb ReviewsUCI Adult IncomeUCI German CreditMRI ADCCFD
- 指标
- AccuracyEDIDel AUCIns AUCMI AccMI Adv∆Top@128∆EDI
论文提出可解释联邦学习框架 xFedAlign:客户端生成私有归因工件,服务器聚合为全局解释先验以软对齐各端解释。在图像、文本、表格基准上,精度与 FedAvg 持平,较 Local-XAI 等基线降低解释漂移并提升 deletion 与 insertion AUC,每轮仅增几 KB 通信,成员推断攻击优势更低、归因投毒抵抗力更强。
深度解读
这篇论文试图解决什么问题?
作者要解决联邦学习中解释既本地忠实又全局一致、且满足隐私与带宽约束的问题。
核心问题:在严格隐私与带宽约束下,让联邦学习的解释既本地忠实(locally faithful)又跨客户端全局一致(globally consistent)。
- 问题场景与重要性:作者称联邦学习正部署到医疗、金融、移动平台等高风险领域,审计与信任校准需要解释;但数据异构(non-IID)会导致 explanation drift——相同预测在不同客户端依赖不同特征(引言引用 Zhang et al., 2024)。
- 现有方法的不足:作者认为客户端本地 post-hoc 方法保留局部忠实但无法在客户端间调和解释;服务器端聚合提升可比性却丢失细粒度结构、压制少数客户端行为;interpretable-by-design 模型牺牲精度且仍有漂移;共享梯度、logits 或内部特征有隐私风险且通信代价高。
- 核心观察:作者认为现有联邦 XAI 把解释当作 post-hoc 产物,缺少在训练时迭代协调跨客户端解释语义的机制;解释协调应在低维、模态无关的 group 概率空间进行,而非参数空间。
- 论文提出:xFedAlign,一个 model-agnostic 框架,把参数空间的任务优化与 group 空间的解释协调解耦:客户端蒸馏轻量代理模型产生 per-class top-k 归因工件,服务器鲁棒聚合成 Global Explanation Prior 并软对齐各客户端解释。
- 威胁模型(附录 C):
- 攻击者目标:成员推断(判断样本是否在训练集中)与归因投毒(在精度损失受限的前提下操纵全局解释)。
- 知识与能力:成员推断攻击者为 black box,可见预测与广播的 prior,最强变体还可见所查输入的本地解释;投毒攻击者为恶意客户端,对自己的代理模型和本地解释为 white box,对聚合 prior 和全局模型为 black box。
- 受害系统:cross-device 联邦系统,K 个客户端加中央协调器;服务器为 honest-but-curious,只能看到安全聚合后的加噪工件。
有哪些相关研究?
相关工作分三组:异构联邦优化、集中式 XAI、联邦解释;作者称三者都未协调解释语义。
异构联邦学习优化
- FedAvg(McMahan et al., 2017)——确立本地优化加服务器聚合的标准范式。
- FedProx、SCAFFOLD、FedAdam、FedBN、FedMOON 类个性化方法(Li et al., 2020; Karimireddy et al., 2019; Reddi et al., 2020; Li et al., 2021; Smith et al., 2017)——通过近端正则、控制变量、自适应优化器、归一化或个性化提升异构下的稳定性。论文指出这些方法协调的是参数或优化动态,而非模型行为的语义。
- 安全聚合(Bonawitz et al., 2019)——保证模型更新聚合时不暴露原始客户端数据。
集中式 XAI
- Post-hoc 归因:LIME(Ribeiro et al., 2016)、SHAP(Lundberg & Lee, 2017)、Integrated Gradients(Sundararajan et al., 2017),以及梯度、扰动、可视化类方法(SmoothGrad、RISE、DeepLIFT、Grad-CAM 等)。
- 概念方法与 interpretable-by-design 模型:TCAV(Kim et al., 2018)、Concept Bottleneck(Koh et al., 2020)、Rudin (2019) 等。论文指出这些方法大多假设集中式模型与静态数据,不处理异构来源下解释语义的行为,且稠密梯度或扰动机制传输代价高、有隐私顾虑。
联邦解释
- 综述与早期探索:Chaddad et al. (2023)、Li et al. (2023) 综述这一新兴方向。
- 联邦特征重要性与 Shapley 方法(Wang et al., 2019; Ghorbani & Zou, 2019)——不集中数据地聚合本地归因;论文引述实证研究报告 non-IID 客户端下存在解释漂移,尤其在医疗场景(Rieke et al., 2020; Sheller et al., 2020)。
- 隐私研究(Melis et al., 2019; Shokri & Shmatikov, 2015)——指出梯度或 logits 的泄露风险,与解释交换相关。
对比基线与基准:实验基线为 FedAvg (No-XAI)、Local-XAI (Unshared, 基于 Integrated Gradients)、FedAttr-Agg (Wang et al., 2021)、Fed-XAI (Bárcena et al., 2022);基准为 MNIST、CIFAR-10、AG News、IMDb、UCI Adult、UCI German Credit(附录另有 MRI AD 与 CCFD)。
本文定位:作者称此前工作把隐私和带宽当作约束而非解释协调问题的一等部分;xFedAlign 沿"任务学习不变、用紧凑隐私感知信号协调解释语义"的方向,在低维 group 空间经鲁棒共享 prior 对齐解释。
论文如何解决这个问题?
xFedAlign 把任务优化留在参数空间,在 group 概率空间用代理模型加全局先验协调解释。
整体思路:xFedAlign 将任务优化(参数空间)与解释协调(低维、模态无关的 group 空间 G,归一化到单纯形)解耦,对齐只作用于解释分布,不改变标准联邦优化动态。
问题设定
- cross-device FL:K 个客户端加中央协调器;任务模型视为黑盒,客户端不共享原始数据、梯度、logits 或内部激活。
- 解释只在 group 空间 G 产生和交换,归一化到单纯形以保证跨客户端可比;目标为本地忠实、non-IID 下语义一致、严格隐私与低通信。
客户端:自适应代理与本地目标
- 每个客户端训练轻量代理 gi,用温度 T 的蒸馏加置信度加权模仿任务模型,并以正则项促进稀疏与 group 结构:Lsur(gi;θ) = Ex∼ Di[KL(pθ(x) | qgi(x))] + λ Ω(gi),即让代理在本地数据上复现任务模型的类别分布。
- 归因算子为 group 空间从零基线出发的路径积分梯度,再归一化到单纯形;对本地分布取平均得到 per-class 客户端摘要。
- 客户端保留每类 top-k group(索引–幅值对),做 ℓ2 裁剪(有界敏感度)、量化(带宽)与轻量高斯噪声(隐私强化),得到工件 Si。
服务器:Global Explanation Prior 与对齐
- 服务器只经安全聚合接收紧凑工件,用坐标中位数或截尾均值(RobAgg)聚合并归一化,得到每类的 Global Explanation Prior Π,再广播 (θ, Π)。
- 对齐用 Jensen–Shannon 散度(对称、有界 [0, log 2]、支撑不同时仍有定义)。客户端每轮目标为任务损失加 α 倍代理蒸馏损失加 β 倍对 Π 的 JSD 对齐(Eq. 3)。
- 作者称因对齐只作用于归一化 group 分布,任务优化不受约束;鲁棒聚合加解释空间对齐使跨客户端分散度收缩(附录 A 给出分散收缩、代理忠实性、(ε, δ)-DP 与收敛的命题)。
算法流程(Algorithm 1)
- 服务器广播 (θ(t), Π(t));客户端本地跑一个 epoch 的任务 SGD。
- 每 Rsur 轮重拟合代理;逐类计算归因、取平均、top-k 投影、ℓ2 裁剪到 rclip、量化为 b 位、加高斯噪声。
- 对代理参数做一步 JSD 对齐梯度步;经安全聚合上传模型更新与工件。
- 服务器加权平均参数,对每类工件取坐标中位数并归一化得到新 prior。
关键超参数(Section 4.4 与附录 E)
- 8 客户端、15 轮、每轮 1 个本地 epoch;batch 64、SGD momentum 0.9、lr 0.01、seed 1337。
- k=128(MNIST,G=784)、ℓ2 裁剪半径 5.0、8-bit 量化、σ=0.1;β 前 6 轮线性 warm-up 到 0.2;代理每 R=2 轮更新、T=3.0、代理 lr 0.1、λ=1e-4。
- 通信量约 kC(⌈log2 G⌉+b)/8 字节,MNIST 约 2.9KB/轮(Section 5.4)。
论文做了哪些实验?
6 个基准 × IID/non-IID 主实验,加 MNIST 上的隐私、投毒、消融与 128 客户端扩展实验。
实验设置
- 被测对象:五种方案——FedAvg (No-XAI)、Local-XAI、FedAttr-Agg、Fed-XAI、xFedAlign;同模态共享任务架构(视觉用小 CNN、文本用 TextCNN、表格用浅层 MLP,附录 E 表 6)。
- 数据集:MNIST、CIFAR-10、AG News、IMDb、UCI Adult、UCI German Credit,各分 8 客户端;IID 用 Dirichlet α=10^6 近似均匀,non-IID 用 α=0.1 标签倾斜;测试集集中。RQ2/RQ3(隐私、投毒、消融)只用 MNIST。
- 指标:Accuracy、EDI(客户端解释与方法各自参考的 JSD 均值,越低越好)、Del AUC(越低越好)、Ins AUC(越高越好)、MI Acc/MI Adv、∆Top@128 与 ∆EDI。
- 攻击评测:成员推断用 shadow model 加逻辑回归的置信度攻击(附录 G.1);投毒由恶意客户端提交操纵工件,ρ 为被控客户端比例(附录 G.2)。
- 重复次数:全部结果为 5 个独立 seed 的 mean±std,每次重采样客户端划分。
主结果
Table 1(mean±std,5 runs;EDI/Del AUC 越低越好,Accuracy/Ins AUC 越高越好):
表格较宽,可左右滑动
数据集 划分 方法 Accuracy EDI Del AUC Ins AUC MNIST IID xFedAlign 0.986±0.001 0.000±0.000 0.147±0.002 0.958±0.003 MNIST non-IID xFedAlign 0.930±0.004 0.076±0.006 0.170±0.008 0.843±0.011 MNIST non-IID Local-XAI 0.927±0.004 0.110±0.006 0.337±0.012 0.737±0.011 CIFAR-10 non-IID xFedAlign 0.460±0.007 0.027±0.003 0.119±0.009 0.327±0.009 AG News non-IID xFedAlign 0.710±0.006 0.166±0.008 0.263±0.010 0.735±0.011 IMDb non-IID xFedAlign 0.702±0.007 0.043±0.008 0.485±0.015 0.568±0.011 UCI Adult non-IID xFedAlign 0.799±0.004 0.004±0.001 0.609±0.011 0.772±0.013 UCI Credit IID xFedAlign 0.735±0.013 0.009±0.002 0.397±0.012 0.628±0.012 (据 Table 1;FedAvg 无解释机制,EDI/Del/Ins 列为"–";Fed-XAI 与 FedAttr-Agg 各行省略。)
- 作者称 xFedAlign 在六个基准上精度与 FedAvg 持平(MNIST IID 0.986 对 0.986),EDI 在多数设置最低,并改善删除/插入 AUC。
- 例外:MNIST IID 上 Fed-XAI 的 Del AUC 为 0.146±0.001,略低于 xFedAlign 的 0.147±0.002;AG News IID 上 Local-XAI 的 Ins AUC 为 0.794±0.012,高于 xFedAlign 的 0.784±0.011;Fed-XAI 在 non-IID 下精度大幅下降(MNIST 0.449±0.006)。
- 附录 I:MRI AD non-IID 上 xFedAlign Accuracy 0.7792±0.014、EDI 0.0018±0.001,高于各基线精度;CCFD 上各方法精度接近,xFedAlign 的 EDI 降到 10^-3 量级(Table 9)。
隐私与归因投毒(Table 2,MNIST)
- 成员推断:xFedAlign 在 IID 与 non-IID 下 MI Acc 最低(0.434±0.010 / 0.463±0.007),non-IID 下 MI Adv 最低(0.004±0.002);IID 下 Local-XAI 的 MI Adv 为 0.001±0.001,低于 xFedAlign 的 0.004±0.002。
- 投毒鲁棒性:xFedAlign 的 ∆Top@128 与 ∆EDI 最小(IID 0.122±0.009 / 0.003±0.001;non-IID 0.163±0.010 / 0.003±0.001)。
- 作者解读:只传轻加噪 top-k 工件、中位数聚合与 JSD 对齐共同降低泄露并削弱对抗影响;附录 Table 7 显示 ρ=0.4 时 xFedAlign 的 ∆(1−overlap@128) 为 0.3828±0.0042,与基线相同,中间强度(ρ=0.2、0.3)才更低。
消融(Table 3,MNIST)
- 对齐权重 β:β 从 0 升到 0.4,EDI 从 0.0925 降到 0.0793,Del/Ins AUC 基本不变;β=0 行相当于去掉对齐损失的 Local-XAI 式变体。
- 噪声 σ:σ=0 时 EDI 为 0.1330±0.0091,σ∈[0.05, 0.1] 时更低,σ=0.2 时回升到 0.0852±0.0012;作者称轻噪声起隐式正则作用。
- top-k 与代理 epoch:k∈{128, 256} 附近较好;e=2、4 时 EDI 升到 0.0960、0.1161,作者据此取 e=1。
其他分析
- 扩展性(附录 H,Table 8):客户端数 8→128,xFedAlign 的 EDI 稳定在 0.0002±0.0000,精度从 0.9849±0.0012 降到 0.8926±0.0143,各规模均不低于 FedAvg。
- 开销(Section 5.4,附录 Table 10):MNIST IID 上 GPU 训练 39.10 s 对 FedAvg 32.15 s,CPU 约 1.7 倍;每轮额外约 10 KB 通信;代理约 1 万参数、不上传。
- 定性结果(附录 F,Figure 3、4):作者称 xFedAlign 的 MNIST 热图更贴合笔画轮廓,UCI Adult 上重要性集中于 capital gain 与 education-num;图中可见各方法热图与条形图,但转换文本不含像素级细节。
有什么可以进一步探索的点?
作者列出 group 空间稳定性、隐私完备性等局限,并计划扩展到回归、联邦语言模型与自适应攻击者。
作者指出的局限与后续方向
- group 空间假设(Section 6):框架假设 group 空间 G 有意义且相对稳定;group 歧义或特征语义漂移时,prior 可能需要自适应分组或漂移感知更新。
- 对齐不保证其他性质(Impact Statement):解释对齐提升跨客户端一致性,但不保证公平性、校准或因果忠实性。
- 隐私假设(Impact Statement):隐私保证假设 honest-but-curious 服务器、安全聚合与工件级高斯机制 DP;超出鲁棒聚合崩溃点的 Byzantine 对手需要额外防御。
- 稀疏工件仍会泄露(附录 C.4):top-k 模式可泄露客户端群体的粗粒度统计;安全聚合被部分破坏时实际隐私预算弱于理论值;稀疏工件可能易受利用 group 空间结构的重构攻击。
- 评测环境受控(附录 C.4):成员推断与投毒在受控 FL 设置、标准归因工具与中等噪声下评估;大规模 cross-device 部署或更丰富的解释接口可能有未覆盖的泄露通道。
- 后续方向(Section 6):扩展到回归任务、联邦语言模型、自适应攻击者;加强耦合任务–解释学习的形式化隐私与收敛保证;引入 expert-in-the-loop 研究评估对齐解释的实际效用。
实验覆盖范围
- 被测对象为五种联邦解释方案,共享三种任务架构;基准为 6 个标准数据集加附录的 MRI AD、CCFD,各 8 客户端、IID 与 non-IID 两种划分(Section 4.1、附录 I)。
- 隐私、投毒与消融实验只在 MNIST 上进行(Section 4.1);投毒实验 ρ 最高到 0.4,ρ=0.4 时 xFedAlign 的 ∆(1−overlap@128) 与基线相同(Table 7)。
- 所有结果为 5 个 seed 的 mean±std(Section 5);扩展性实验覆盖到 128 客户端(Table 8)。
- 成员推断攻击为基于置信度的 shadow 攻击(附录 G.1);论文未报告除该攻击外的其他成员推断变体的结果。
- 论文讨论了 FedProx、SCAFFOLD 等参数空间正则器,说明二者互补、可叠加,但未报告叠加后的实验数字(Section 3.3)。
总结一下论文的主要内容
xFedAlign 在 group 空间协调联邦解释,作者称其保持精度、降低漂移并增强隐私与抗投毒。
一篇联邦可解释性方法论文:作者针对 non-IID 联邦学习中解释漂移、聚合丢失结构、共享稠密归因的隐私与带宽代价,提出 model-agnostic 框架 xFedAlign。
- 问题:本地 post-hoc 解释在异构客户端间漂移,全局聚合压制少数客户端行为,interpretable-by-design 模型牺牲精度;作者认为缺少训练时协调解释语义的机制。
- 方法:任务优化留在参数空间;每个客户端用温度蒸馏训练轻量代理,在归一化 group 空间产出 per-class top-k 归因,经 ℓ2 裁剪、8-bit 量化、高斯噪声后由服务器坐标中位数聚合成 Global Explanation Prior,再以 JSD 对齐损失软约束各客户端解释;附录 A 给出分散收缩、代理忠实、(ε, δ)-DP 与收敛命题。
- 主结果(Table 1,5 seeds):六个基准上精度与 FedAvg 持平(MNIST IID 双方均为 0.986±0.001),EDI 多数最低(MNIST IID 0.000±0.000;UCI Adult non-IID 0.004±0.001);例外是 AG News IID 的 Ins AUC 低于 Local-XAI。
- 隐私与鲁棒(Table 2,MNIST):MI Acc 两种划分下均最低(0.434 / 0.463),投毒下 ∆Top@128 与 ∆EDI 最小;但 ρ=0.4 时 ∆(1−overlap@128) 与基线相同(Table 7)。
- 扩展与开销:128 客户端时 EDI 稳定于 0.0002(Table 8);MNIST 每轮额外约 10 KB 通信、GPU 训练时间约为 FedAvg 的 1.2 倍(Table 10)。
- 作者结论:任务空间与解释空间的分离是可信联邦学习的可行设计原则;同时承认 group 空间稳定性、隐私完备性等限制,计划扩展到回归、联邦语言模型与自适应攻击者。
相关论文
- Auditing Private Prediction分析/可解释性arXiv