SURA：联邦学习中基于遗忘的数据高效后门检测

1. 01这篇论文试图解决什么问题？

   解决联邦学习中服务器干净代理数据稀缺时，基于遗忘的后门检测性能下降的问题。

   核心问题：联邦学习（FL）中基于遗忘（unlearning）的后门检测在服务器干净代理数据稀缺时检测性能下降，如何在低数据预算下仍能有效筛除恶意客户端。

   • 问题场景：FL 中服务器无法直接检查客户端本地训练，恶意客户端可污染数据或操纵更新植入后门，同时保持良性输入上的性能，因此难以检测（引言）。作者称，基于距离、相似度、聚类或鲁棒聚合的更新统计方法，因后门更新可与良性更新统计相似，分离能力有限。
   • 现有方法不足：基于遗忘的检测用干净服务器数据对每个客户端模型做损失上升探测，依据损失响应识别可疑客户端；但代理图像很少时，浅层探测的区分度不足，而加深探测又会更新 BN 运行均值和方差，使端点响应混入参数变化、BN 缓冲区漂移及两者交互（引言、2.3 节）。
   • 核心观察：作者将端点响应精确分解为参数、BN 缓冲区、交互三项（式 2–5），据此主张把探测过程与响应测量解耦：加深探测放大弱响应，同时在共同 BN 参照下测量。
   • 论文提出：SURA（Screening via Unlearning Response Analysis），重复复用同一小代理做 K 步损失上升探测，仅在读出时恢复共享的探测前 BN 状态；在六种后门攻击上仅用 10 张干净服务器图像进行评估。
   • 威胁模型（2.1 节）：
     • 目标：植入定向后门，同时保持干净精度。
     • 知识与能力：对手控制部分客户端，可修改其数据、训练和提交的更新；不知道精确的服务器代理。
     • 防御方：服务器持有小的带标注、无触发器代理集，不知道哪些客户端恶意，也不知道触发器或目标标签；目标是拒绝恶意更新并限制对良性客户端的误拒。

   收起这一问

2. 02有哪些相关研究？

   相关工作分为基于更新统计的 FL 防御、基于遗忘的检测和所用攻击三类，本文定位是低数据下的遗忘式检测。

   基于更新统计与鲁棒聚合的 FL 防御

   • Multi-Krum（Blanchard 等，2017）——Byzantine 容忍的梯度聚合方法。
   • FoolsGold（Fung 等，2020）——针对 Sybil 设置下 FL 局限的防御；RFA（Pillutla 等，2022）——鲁棒聚合；FLTrust（Cao 等，2021）——基于信任引导的 Byzantine 鲁棒 FL，使用 500 张服务器图像。
   • Multi-Metrics（Huang 等，ICCV 2023）——自适应识别 FL 后门；Lockdown（Huang 等，NeurIPS 2023）——隔离子空间训练的后门防御；AlignIns（Xu 等，CVPR 2025）——通过方向对齐检查检测后门。论文指出，由于后门更新可与良性更新统计相似，这类基于更新的信号对良恶客户端的分离可能有限（引言）。

   基于遗忘的检测

   • MASA（Xu 等，WACV 2025）——通过个体遗忘识别 FL 中被植入后门的模型，是本文直接对比和改进的对象；论文指出其在代理数据稀缺时检测性能下降（摘要、3.2 节）。

   攻击方法（评测用）

   • 六种攻击：BadNets（Gu 等，2019）、分布式后门攻击 DBA（Xie 等，2020）、Neurotoxin（Zhang 等，2022）、模型替换 Scaling（Bagdasaryan 等，2020）、PGD 投毒（Wang 等，2020）、A Little Is Enough（LIE，Baruch 等，2019）；自适应攻击评估沿用 Bagdasaryan 等（2020）的防御感知攻击。

   基线与基准：基线方法为 FedAvg、排除已知恶意客户端的 oracle FedAvg，以及上列防御；基准为 CIFAR-100 配 VGG16-BN、CIFAR-10 配 ResNet18（3.1、3.5 节）。

   作者将本文定位为：在至多 10 张服务器图像的数据预算下，通过加深探测与状态恢复读出，使遗忘式检测达到接近大代理（500 张图像）方法的鲁棒性（摘要、3.2 节）。

   收起这一问

3. 03论文如何解决这个问题？

   SURA 重复复用小代理做损失上升探测，读出时恢复共享探测前 BN 状态，再用 MAD 分数筛查客户端。

   整体思路：把探测深度与响应读出解耦——在同一小代理上重复做训练模式损失上升以放大客户端响应，测量时恢复共享的探测前 BN 状态，使所有客户端在共同 BN 参照下比较。方法名为 SURA（Screening via Unlearning Response Analysis）。

   问题设定与探测模型

   • 设定：全局状态 wt = (θt, bt)，θt 为全部可训练参数（含 BN 仿射参数），bt 为 BN 缓冲区（运行均值、方差、批次计数器）；客户端返回相对完整状态的更新向量。服务器持有带标注、无触发器的代理集 Dp。
   • 探测初始化：w̃_i^t = w_t + λδ_i^t + (1−λ)δ̄，即以融合权重 λ 将客户端更新与轮平均更新融合；θi,0 只取融合后的可训练参数，bi,0 取未融合全局模型的 bt，而非从代理估计的统计量。

   重复干净损失探测

   • 机制：对同一代理批次做 K 步训练模式的平均交叉熵损失上升，复用相同样本以在不增加干净数据的情况下加深探测；探测中 BN 使用批次统计并更新运行统计。
   • 参数：步长 η、动量 µ、梯度范数上限 cg；实验配置为 K = 12、η = 0.001、λ = 0.9、µ = 0.9、cg = 20（3.1 节）。

   状态恢复的响应测量

   • 四态分解：定义 ℓ_i^x,y = ℒ_p^eval(θ_i,x, b_i,y)（x, y ∈ {0, K} 标记参数与 BN 的初末状态），端点响应精确分解为参数项、BN 缓冲区项与交互项之和（式 2–5）。
   • 状态恢复读出：保留探测后的参数 θi,K，仅在测量时恢复共享的探测前 BN 状态 bt，得到 SR 响应（式 6），作者指出其等于参数项，从而移除 BN 漂移与交互，且不改变探测轨迹。

   客户端筛查与聚合

   • 归一化打分：用中位数与 MAD（乘以 1.4826 的高斯一致尺度，MAD 为零时退回总体标准差）对响应做归一化，取上尾分数 zit（式 7–8）。
   • 阈值与聚合：阈值 τSR 在仅良性开发运行上以 (1 − q) 分位数一次性离线标定（q = 0.02，τSR = 2.03），部署时固定；接受 zit ≤ τSR 的客户端，仅聚合其原始更新（式 9–10）；因 τSR ≥ 0，中位数及以下客户端均被保留，接受集非空。

   收起这一问

4. 04论文做了哪些实验？

   在 CIFAR-100/VGG16-BN 上 SURA 以 10 张图像达 0.53% 平均 ASR，并做了消融、效率、迁移与自适应攻击实验。

   实验设置

   • 模型与数据：CIFAR-100 配 VGG16-BN（主实验）；CIFAR-10 配 ResNet18（泛化实验，α = 0.5）。客户端数据按 Dirichlet 分布划分，主实验 α = 0.1。
   • 联邦设置：100 轮，20 个客户端全部参与，4 个恶意；本地 2 个 epoch 的 SGD，批大小 64，权重衰减 1e-4，初始学习率 0.1、每轮乘 0.99；适用时恶意客户端污染 50% 本地样本。
   • 攻击：BadNets、DBA、Neurotoxin、Scaling、PGD、LIE 六种。
   • 基线：FedAvg、oracle FedAvg（排除已知恶意客户端）、MASA-P500/P10、FLTrust、RFA、Multi-Krum、FoolsGold、Multi-Metrics、Lockdown、AlignIns。
   • 指标：主任务精度 MA、目标标签 ASR（默认在最后一轮即第 100 轮测量）、恶意召回率（被拒绝的恶意客户端比例）、良性 FPR；平均 ASR 对六种攻击等权。
   • SURA 配置：固定 10 张图像的干净代理，K = 12、η = 0.001、λ = 0.9、µ = 0.9、cg = 20、τSR = 2.03（q = 0.02 一次性标定，开发与评估运行不相交）。

   主结果

   CIFAR-100/VGG16-BN 上各防御的 ASR（%，据 Table 1；MA 为干净精度）：

   表格较宽，可左右滑动

   方法	图像数	MA↑	BadNets	DBA	Neurotoxin	Scaling	PGD	LIE	平均 ASR↓
   FedAvg	–	53.27	99.69	99.20	97.70	99.90	99.76	99.68	99.32
   FedAvg (oracle)	–	52.71	0.29	0.29	0.29	0.29	0.29	0.29	0.29
   MASA-P500	500	52.52	0.33	0.36	0.38	0.32	0.37	0.35	0.35
   AlignIns	0	51.28	33.68	0.69	0.35	33.72	0.30	0.25	11.50
   MASA-P10	10	52.47	97.29	88.39	98.33	0.32	96.95	99.53	80.14
   SURA (ours)	10	52.43	0.38	0.25	0.51	0.35	0.31	1.36	0.53

   （Table 1 还报告 FLTrust（500 张图像）平均 ASR 92.83、RFA 90.75、Multi-Krum 81.64、FoolsGold 50.58、Multi-Metrics 94.45、Lockdown 51.30（不含 Scaling，其发布实现不适用该操作，平均取其余五种攻击）；此处从略。）

   • 作者解读：在至多 10 张图像的防御中，SURA 平均 ASR 最低，且是唯一将六种攻击全部压到接近 oracle 水平的方法；恶意召回率 95.2%、良性 FPR 1.65%。
   • 例外：作者称 AlignIns 是最强竞争者但保护不均，对 BadNets 和 Scaling 失效，ASR 随种子波动大，部分运行崩溃（表中 BadNets 33.68±46.83、Scaling 33.72±46.81）。
   • 与大代理比较：作者称 MASA-P500 是唯一达到接近 oracle 平均 ASR 的既有防御，但消耗 50 倍干净服务器数据；SURA 以 10 张图像与之相当。

   设计消融：探测深度与读出方式

   • 探测深度（Figure 2，10 张代理图像，曲线为三种攻击平均）：K 从 4 到 16，端点读出的平均 ASR 从 96.49% 降到 16.02%，恢复读出从 66.18% 降到 0.49%；作者指出中间深度处曲线并非单调，但整体趋势支持重复探测有效；恢复读出下 K = 12 时约 1.64% ASR（三攻击评估）。
   • 读出方式（Table 2，K = 12、匹配良性 FPR 标定）：累积读出 ASR 81.70 / MA 53.07 / 召回 42.03；端点读出 29.00 / 52.73 / 84.09；端点 + BN 恢复 0.83 / 52.54 / 93.77。作者报告两处下降均超过种子级标准误的两倍，支持把探测深度与读出视为独立设计选择。

   代理敏感性、效率与泛化

   • 代理敏感性（Table 3）：四个独立抽取的 10 张图像代理（阈值不重标定），平均 ASR 在 0.437%–0.968% 之间，MA 在 52.40%–52.63% 之间；作者称 SURA 在所测代理选择下性能稳定。
   • 数据与计算效率（Table 4）：匹配 SURA 上升步数预算的 MASA-P10（12 epoch，240 步）ASR 61.75；MASA-P120（120 张图像）25.57；MASA-P500 为 0.35。作者报告 SURA 相比 MASA-P500 少用 3.33 倍上升步数、20.8 倍反向传播代理样本，单轮相对耗时 1.157×（FedAvg 为 1.000×，MASA-P500 为 1.479×），BN 恢复本身不增加梯度步。
   • 泛化（3.5 节，CIFAR-10/ResNet18、α = 0.5，配置不变、不做 ResNet 特定重标定）：SURA 平均 ASR 26.13%，MASA-P10 为 79.55%，MASA-P500 为 48.65%（Figure 3）；MA 分别为 87.96%、87.70%、87.94%。作者称这一零样本迁移以 10 张代理图像优于 MASA-P500。

   自适应攻击

   • 设置（3.6 节）：K = 12 下评估防御感知攻击，分仅缩放（固定方向改幅度）、仅方向（固定幅度改方向）、联合（两者都优化）三种适配。
   • 代理不可用时：三种适配的 ASR 分别为 0.37%、0.33%、0.37%。
   • 披露精确代理后：仅方向适配 ASR 0.73%，但联合方向-缩放适配达 94.91%。作者称这一反差表明精确代理披露是 SURA 的重要运行限制。

   其他消融与分析

   • 阈值 τSR 在开发数据上以 q = 0.02 一次性标定，评估期间固定（3.1 节）。
   • 代理敏感性实验中四次抽取的召回率 91.97%–96.15%、FPR 1.41%–2.05%（Table 3）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称方法限于带 BN 运行统计的模型，且精确代理披露会削弱防御；实验限于两个视觉设置。

   作者指出的局限与后续方向

   • 架构适用范围：作者称方法范围限于带 BN 运行统计的模型，把该原理扩展到无状态 BN 的架构是未来工作（1 节引言末尾）。
   • 精确代理披露：自适应攻击实验中，披露精确服务器代理后联合方向-缩放适配 ASR 达 94.91%，作者称精确代理披露是 SURA 的重要运行限制（3.6 节）。

   实验覆盖范围

   • 被测模型为 VGG16-BN（CIFAR-100）与 ResNet18（CIFAR-10）两种视觉架构，均为带 BN 的模型（3.1、3.5 节）。
   • 攻击覆盖六种后门攻击（BadNets、DBA、Neurotoxin、Scaling、PGD、LIE）及 K = 12 下的三种防御感知自适应攻击（3.1、3.6 节）。
   • 联邦设置为 20 个客户端、4 个恶意、100 轮、全部客户端每轮参与；非 IID 程度为 α = 0.1（CIFAR-100）与 α = 0.5（CIFAR-10）（3.1、3.5 节）。
   • 代理敏感性用四个独立抽取的 10 张图像代理、三个训练种子评估；主结果表报告了均值与标准差（± 值），论文未写明每个条件的重复次数（3.3 节、Table 1）。
   • 泛化实验为零样本迁移：CIFAR-100 的配置不变、不做 ResNet 特定重标定直接用于 CIFAR-10/ResNet18（3.5 节）。

   收起这一问

6. 06总结一下论文的主要内容

   SURA 通过重复探测与 BN 状态恢复读出，在 10 张干净图像下将六种 FL 后门攻击平均 ASR 降至 0.53%。

   一篇联邦学习后门防御论文，针对服务器干净代理数据稀缺时基于遗忘的检测性能下降的问题。

   • 问题：恶意客户端可在保持主任务性能的同时植入后门；基于更新统计的防御分离能力有限，基于遗忘的检测在代理数据少时探测区分度不足，且加深探测会引入 BN 运行统计漂移。
   • 方法：SURA 在同一小代理上做 K 步训练模式损失上升探测以放大客户端响应，测量时恢复共享的探测前 BN 状态（作者给出的四态分解显示该读出等于参数项，移除 BN 漂移与交互），再用中位数/MAD 归一化的上尾分数与一次性离线标定的阈值筛查客户端，仅聚合通过者的原始更新。
   • 主结果：CIFAR-100/VGG16-BN 上，SURA 仅用 10 张干净服务器图像，六种攻击平均 ASR 0.53%、MA 52.43%、恶意召回率 95.2%、良性 FPR 1.65%（Table 1）；同预算的 MASA-P10 平均 ASR 为 80.14%，500 张图像的 MASA-P500 为 0.35%。
   • 消融：K 从 4 到 16，恢复读出下平均 ASR 从 66.18% 降到 0.49%（Figure 2）；K = 12 匹配标定下，BN 恢复使 ASR 从端点读出的 29.00% 降到 0.83%（Table 2）。
   • 泛化与效率：零样本迁移到 CIFAR-10/ResNet18 平均 ASR 26.13%，优于 MASA-P500 的 48.65%；相比 MASA-P500 少用 3.33 倍上升步数、20.8 倍反向传播代理样本（Table 4）。
   • 作者结论与限制：作者认为联合控制探测深度与读出状态是低数据后门筛查的有效原则；同时指出方法限于带 BN 运行统计的模型，且披露精确代理后联合自适应攻击 ASR 达 94.91%，是重要的运行限制。

   收起这一问

相关论文