StratFL：用策略式联邦学习对抗隐蔽模型投毒攻击

1. 01这篇论文试图解决什么问题？

   联邦学习服务器要在看不见对方动作时，抑制间歇、隐蔽的模型投毒。

   核心问题是：联邦学习中，攻击者以隐蔽方式间歇注入有毒模型更新（covert model poisoning, CMP），面向一次性投毒的聚合难以及时抑制。

   • 场景：论文称联邦学习已用于医疗、自动驾驶和个人助手；攻击者可跨多轮间歇注入错误更新，形成持久威胁。论文援引文献称2025年AI驱动APT共16,200起、损失5.72 million美元，其中55%指向医疗与金融。
   • 现有不足：论文把模型投毒文献主要视为一次性威胁，并称对间歇、持久版本几乎没有研究。统计类、选择性与基准梯度类聚合中，后两类或可缓解持久投毒，但攻击者多数时间隐蔽、择机出手时仍失效。
   • 核心设定：服务器与CMP攻击者互不知对方策略，只能凭各自私有验证集上的历史损失，形成对对方动作的条件信念，再做选择性聚合。
   • 本文提出：把交互写成不完美信息的重复博弈，给出双方信念更新，以及交替投影梯度搜索StratFL，用来计算选择权重和投毒强度。
   • 威胁模型：
     • 目标：攻击者要抬高其私有验证集上的全局损失，同时压低被降权的风险；服务器要最小化自己验证集上的期望损失。
     • 知识：不完美信息。双方看不到对方动作；服务器不知道客户端类型；信念来自私有验证损失，而不是对方策略的直接观测。
     • 能力：攻击者控制比例α的客户端。论文称受控客户端每轮选取随机动作a_{k,t}∈[0,1]，把真实损失梯度与其取反混合；良性客户端恒取0。引言称传统模型投毒可通过恶意软件或中间人等方式攻陷部分客户端。
     • 受害系统：K个客户端加中央服务器的联邦学习系统，服务器把本地模型聚合成全局分类器。实验中K=10。

   收起这一问

2. 02有哪些相关研究？

   论文把CMP放在一次性投毒和三类鲁棒聚合之后，称后两类仍挡不住择机隐蔽出手。

   一次性模型投毒

   • 非定向：Baruch等（2019）、Fang等（2020）、Mahloujifar等（2019）、Guerraoui等（2018）、Xie等（2020）被归为非定向，意图是拉低全局模型的整体表现。
   • 定向：Bagdasaryan等（2020）、Bhagoji等（2019）、Ranjan等（2024）被归为定向，让选定输入被误分，其余输入保持原样。
   • 一次性捆绑：论文把上述工作连同Blanchard等（2017）、Muñoz-González等（2017）列为一次性威胁，并称对间歇、持久的模型投毒几乎没有研究。

   三类鲁棒聚合

   • 稳健统计：Krum（Blanchard等，2017）、Trimmed-Mean（Yin等，2018），用统计量压制离群更新。论文把它们列为对抗一次性投毒的第一类，引言未单独批评。
   • 选择性聚合：Auror（Shen等，2016）、FoolsGold（Fung等，2018），按客户端跨时间的行为偏差剔除更新。
   • 基准梯度：FLTrust（Cao等，2020），用服务器侧可信梯度筛除异常客户端。论文称后两类或可缓解持久投毒，但CMP多数时间隐蔽、只在时机成熟时出手，因而仍无法缓解。

   基线与数据

   • 基线方法：Section 5.2列出FedAvg（McMahan等，2017）、Krum、Trimmed Mean、Coordinate-wise Median（Yin等，2018）、FLTrust、FLANDERS（Gabrielli等，2025）。图例写的是Multi-Krum、Coord. Median、FLTrust、Trimmed Mean、FLANDERS，没有FedAvg。
   • 基准/数据集：MNIST与CIFAR-10。

   作者把本文放在CMP的间歇隐蔽性上：用私有验证损失更新信念，再用StratFL做战略性聚合，而不是只做一次性离群抑制。

   收起这一问

3. 03论文如何解决这个问题？

   StratFL把双方写成不完美重复博弈，用损失偏差信念和交替投影梯度求最优反应。

   整体做法是把聚合写成服务器与CMP攻击者的不完美信息重复博弈，双方用私有验证损失维护动作信念，再用StratFL交替做投影梯度搜索。引言称不完美信息博弈，第3节写成不完美重复博弈。

   问题设定与形式化

   • 系统：K个客户端、中央服务器，学习输入到离散标签集的神经网络。第t轮客户端在私有数据上对上一轮全局模型求损失梯度，再做梯度下降，学习率η。脚注称异构学习率可以扩展，但不在本研究范围。类别数与每轮新样本数都记为N。
   • 投毒：γ_k=1表示被CMP控制。动作把梯度改成g̃_k,t(a_k,t)=(1−2a_k,t)· g_k,t，即真实梯度与其取反的混合；a=0对应良性。
   • 聚合：权重s_{k,t}∈[0,1]。第2节要求各客户端权重和为1；算法3再按权重和做归一化。
   • 目标：服务器最小化私有集D_S上、对攻击动作信念取期望的损失。攻击者目标为a_t^⋆=argmax_at L_A(a_t|φ_t)−λ𝔼_φt[∑_{k∈ Kcomp}(1−s_k,t)]，即在信念下最大化D_A上的损失，并减去λ倍的期望降权程度。

   服务器信念更新

   • 用D_S计算上一轮全局损失、各客户端损失和聚合后损失。作者期望聚合后损失小于客户端损失，且客户端损失小于上一轮全局损失乘(1-ε)。
   • 实际使用的偏差只比较缩放后的上一轮全局损失与客户端损失。指示为0时，作者称该客户端差于上一轮全局模型，而这只可能发生在被攻陷时。指示不可导，改用sigmoid代理。论文未给出σ的参数。
   • 长度为T的窗口平均得到p_{k,t}，也可递推。论文把它解释为客户端被攻陷、因而取a=1的边际概率。联合信念是各客户端的乘积，指数形式与伯努利似然相同，尽管a在[0,1]上连续。算法1对全部客户端组装该信念。

   攻击者信念更新

   • 用D_A计算当前全局损失和受控客户端损失。作者期望缩放后的当前全局损失小于客户端损失，且客户端损失小于上一轮全局损失。
   • 代理偏差比较的是当前全局损失与客户端损失。作者称该偏差随选择权重降到0而降到0，用来反映服务器是否选中该客户端。
   • 窗口平均q被解释为服务器取s=1的边际概率。联合信念只在受控客户端上做同样的乘积。算法2只遍历受控集合。

   StratFL搜索

   • 攻击者先动，服务器后动。攻击者做投影梯度上升，服务器做投影梯度下降。式(22)把服务器权重投影到单位盒，不是单纯形。
   • 作者称对a求s的梯度困难，因为s本身是最优反应，故用q代替s，梯度用自动微分（文中举例PyTorch Autograd）。这是近似最优反应。
   • 算法3把s初始化为1、受控客户端的a初始化为0.5；良性客户端本地训练，受控客户端按当前a取参数；再调用两个信念更新并归一化加权。投影步写在式(21)(22)，伪代码没有逐行展开。算法3的循环上界与信念窗口都记为T；实验里训练50轮、窗口为5。

   收起这一问

4. 04论文做了哪些实验？

   MNIST与CIFAR-10上，作者称α≤0.7时StratFL优于基线，更大α下FLTrust更好。

   实验设置

   • 对照：Section 5.2列出FedAvg、Krum、Trimmed Mean、Coordinate-wise Median、FLTrust、FLANDERS。Figure 2–3图例为StratFL、Multi-Krum、Coord. Median、FLTrust、Trimmed Mean、FLANDERS。论文未说明Krum与Multi-Krum是否为同一实现。
   • 模型与数据：K=10，50轮。MNIST为70,000张28×28灰度数字，模型是两层卷积加三层全连接；CIFAR-10为60,000张32×32、10类，模型为ResNet-18，论文称含18个带跳跃连接的卷积层。各拆成13个无放回子集：D_S与D_A各1000，测试10000，客户端数据上限5800（MNIST）或4800（CIFAR-10）。
   • 攻击与超参数：本地训练2个epoch。λ=1，ε=0.01，η_s=η_a=0.01，信念窗口T=5。α取0.1到0.9共九档。受控客户端共用同一个a_t。初始化s=1、a=0.5。
   • 指标：全局准确率；ΔΨ为无CMP时准确率减去有CMP时准确率；MSBD为(1-s_{k,t}-γ_k)的平方在客户端和轮次上的平均。
   • 判定：论文把10000个样本划为测试，但指标定义没有再写Ψ所用子集。未写损失名称、批大小、客户端学习率η的数值、重复次数或统计检验。没有LLM评审。

   主结果

   正文首句把Figure 3、2分别对应MNIST、CIFAR-10，与图注及后文相反。下表按图注与后文：Figure 2为MNIST，Figure 3为CIFAR-10，均为50轮后。数字来自Section 6.1的文字，论文没有结果数值表。Figure 2右图纵轴标到1.0，Figure 3右图纵轴标到70；正文没有给出ΔΨ读数。

   表格较宽，可左右滑动

   方法	MNIST α≤0.4	MNIST α=0.5	MNIST α=0.7	MNIST α=0.9	CIFAR-10 α=0.5
   StratFL	与其他方法同在≈99%范围	高于99%	高于99%	10%	未报告
   Coordinate-Median	同上≈99%范围	10%	未报告	未报告	未报告
   Trimmed-Mean	同上≈99%范围	10%	未报告	未报告	0%

   表未列入FedAvg、Krum/Multi-Krum、FLTrust、FLANDERS，因为正文没有给出它们的准确率数字。

   • 作者的总括：作者称对任意α≤0.7，StratFL优于全部基线；多数客户端被攻陷时只有FLTrust仍能维持，且较大α下更好。作者将其归因于FLTrust的服务器端训练，并称该假设在多数FL部署中不合理。摘要称相对现有方法准确率改进10%；结论称相对基线改进10%，并在至多70%恶意客户端下保持准确率、基线在该处崩溃。第6节没有给出这个10%的差值，也未说明是百分点还是相对增幅。图例没有FedAvg。
   • MNIST：作者称StratFL在只剩1个诚实客户端之前跟上基线，α=0.8才下降；10个客户端时α=0.9只剩1个诚实客户端，作者称几乎没有可供学习的梯度信息。坐标中位数与截尾均值在α=0.5失效，作者称这与对手控制一半坐标、逐坐标统计转向对手一致。
   • CIFAR-10：作者称每种方法的准确率都随α下降，但StratFL在全部α情景领先；FLTrust与Multi-Krum在α=0.5之前先于StratFL下降。右图的准确率变化在α≤0.5时为各方法中最低。作者称失败或因纳入错误更新，或因剔除后诚实更新过少；下降来自诚实梯度变少，与信念更新无关。

   信念收敛

   • 测了什么：MSBD随轮次变化，α从0.1到0.9。作者称Figure 4、5分别对应MNIST与CIFAR-10；两图图注都写CIFAR-10。纵轴文字分别为Squared Belief Deviation与Squared Deviation of Belief，横轴为Training rounds (t)，图例为各α。曲线位置在转换文本中不可见。
   • 结果：作者称两数据集、全部α在10轮内收敛，此后轨迹不再偏离，a_t不再影响s_t；又写MNIST于t=5、CIFAR-10于t=10收敛。全部α下，t=10时MSBD低于0.03，t=50时低于0.011。α=0.1高于其他配置：MNIST为0.010，CIFAR-10为0.011。
   • 作者的解读：初始权重为1，故MSBD较高，与服务器开始时不能区分客户端类型一致。作者称累积偏差后，按验证损失是否超出ε把客户端分开，权重随之收敛。α=0.1的偏差来自10个客户端中的1个恶意客户端并持续存在；α增大后，作者称t=50时MSBD到0。作者称在λ下，提高a会推高服务器侧偏差并压低权重，降低a则减少破坏，权重收敛后MSBD不再下降，攻击者保持a，CMP不再影响聚合。

   其他消融与分析

   • 论文未报告对λ、ε、η_s、η_a或信念窗口的消融；Section 5.1将它们固定为1、0.01、0.01、0.01、5。
   • α从0.1到0.9的九档是主实验中的安全情景，不是另设消融。
   • 负面结果见上：MNIST上StratFL在α=0.8开始下降；较大α下作者称FLTrust优于StratFL；α=0.1的MSBD不降到0。

   收起这一问

5. 05有什么可以进一步探索的点？

   结论只把后续方向写成探索数据投毒和后门等其他APT。

   作者指出的局限与后续方向

   • 其他APT：第7节写，未来将探索数据投毒，以及针对联邦学习网络的后门攻击。
   • 局限专节：论文没有Limitations节。结论没有把StratFL在高α下的下降或FLTrust的比较写成方法局限。

   实验覆盖范围

   • 实验比较的是MNIST上的2-layer CNN和CIFAR-10上的ResNet-18，K=10、50轮，α为0.1到0.9共九档（Section 5、6）。
   • 正文列出的对照是FedAvg、Krum、Trimmed Mean、Coordinate-wise Median、FLTrust、FLANDERS；结果图例是Multi-Krum、Coord. Median、FLTrust、Trimmed Mean、FLANDERS（Section 5.2，Figure 2–3）。
   • 报告的指标是测试准确率、准确率变化和MSBD；Section 6.2给出α=0.1时的0.010与0.011，以及t=10、t=50的MSBD上界。
   • 固定λ=1、ε=0.01、η_s=η_a=0.01、信念窗口5、本地2个epoch；受控客户端共用a_t；D_S与D_A各1000，测试划分为10000（Section 5.1）。
   • 论文未报告重复次数、统计检验、客户端学习率η的实验取值，以及FedAvg的结果数字。Section 2脚注写明异构客户端学习率不在本研究范围内。

   收起这一问

6. 06总结一下论文的主要内容

   StratFL用信念更新和投影梯度对抗搜索抑制隐蔽模型投毒；作者称α≤0.7时优于所列基线。

   StratFL是用来对付联邦学习里隐蔽模型投毒的选择性聚合。

   • 问题：CMP攻击者控制比例α的客户端，把损失梯度与其取反混合，并尽量不被降权。服务器看不到类型和对方动作；论文称一次性鲁棒聚合挡不住长期隐蔽、择机出手的攻击。
   • 方法：交互写成不完美重复博弈。双方用私有验证集上的损失不等式，经sigmoid代理和窗口平均，得到对方动作的乘积信念。StratFL让攻击者先做投影梯度上升、服务器再做投影梯度下降；攻击者用q代替不能直接求导的s。
   • 设置：MNIST上的2-layer CNN与CIFAR-10上的ResNet-18，10个客户端、50轮，α从0.1到0.9。对照包括Krum、Trimmed Mean、坐标中位数、FLTrust、FLANDERS；图例另写Multi-Krum，未见FedAvg。
   • 准确率：作者称任意α≤0.7时StratFL优于全部基线。MNIST上StratFL直到α=0.7仍高于99%，α=0.9为10%；坐标中位数与Trimmed-Mean在α=0.5为10%。CIFAR-10上Trimmed-Mean在α=0.5为0%，作者称StratFL的准确率变化在α≤0.5时最低。较大α下作者称只有FLTrust仍能维持并超过StratFL。
   • 信念与结论：作者称MSBD在10轮内收敛，t=10时低于0.03、t=50时低于0.011；α=0.1时MNIST为0.010、CIFAR-10为0.011。摘要与第7节称相对基线有10%的准确率改进，并在至多70%恶意客户端下保持准确率；第6节没有给出该差值。作者计划再研究数据投毒和后门。

   收起这一问

相关论文