ShadowFPT：通过影子触发器对联邦提示微调植入后门

联邦提示词微调只聚合轻量提示词且骨干冻结时，恶意客户端能否植入定向后门，同时让上传更新接近良性更新。

• 场景：联邦提示词微调（Federated Prompt Tuning, FPT）冻结视觉–语言骨干，客户端用私有数据更新提示词，服务器只收到提示词。作者认为这降低通信和参数开销，但共享且冻结的骨干成为被忽视的攻击面。
• 现有做法：经典后门和联邦后门多靠数据投毒或异常模型更新。联邦防御多假设恶意行为会出现在上传更新，或由其派生的表示中。作者认为该假设在 FPT 中变脆弱：服务器只看到低维提示词，表示几何由共享冻结骨干决定。
• 本文做法：提出 ShadowFPT。把攻击负担从显眼的提示词投毒，转到触发器对冻结表示的引导：先预训练影子触发器（Shadow Trigger），再在联邦训练中适配触发器，并用干净与触发样本优化本地提示词，只上传提示词。
• 威胁模型：
  • 目标：保持全局模型的干净准确率，使触发输入被分为攻击者指定类 yt。触发输入记为 xδ=A(x, δ)。
  • 知识：white-box。恶意客户端知道冻结骨干的结构。
  • 能力：有本地目标类样本集 Ryt。本地可同时优化提示词和触发器 δ，但只上传提示词。不能改冻结图像编码器、冻结文本编码器、全局训练协议或服务器聚合规则。
  • 受害系统：冻结视觉–语言骨干上的 FPT。服务器用聚合规则 Agg 汇总客户端上传的提示词。

联邦提示词微调

• CLIP（Radford et al., 2021）：学习可迁移的图文表示，被作者当作多模态适配的基础模型。
• 提示词微调：文本提示（Zhou et al., 2022a,b）、视觉提示（Jia et al., 2022）、联合视觉–语言提示（Khattak et al., 2023a）和语义正则（Khattak et al., 2023b）。共同做法是冻结预训练骨干，只优化少量提示词参数。
• 联邦提示词学习：合作学习提示（Guo et al., 2023b）、个性化（Guo et al., 2023a）、文本驱动提示生成（Qiu et al., 2024）、个性化与泛化的折中（Cui et al., 2024）、混合专家提示（Luo et al., 2025）、多模态视觉提示微调（Singha et al., 2025）。作者称这些工作主要关心通信效率、个性化和异构数据上的泛化，FPT 的后门风险仍未被充分理解。

后门攻击

• BadNets（Gu et al., 2017）与 Blended（Chen et al., 2017）：用可见或混合触发器投毒训练数据，使模型在干净输入上保持原行为，在触发输入上预测指定标签。
• 联邦后门：隐蔽投毒更新、持久注入、自适应优化、共谋触发器和个性化联邦学习，论文点名 Lyu et al.（2023）、Zhang et al.（2022）、A3FL（Zhang et al., 2023）、Lyu et al.（2024a）、Bad-PFL（Fan et al., 2025）。
• BadCLIP（Liang et al., 2024）：用视觉与文本嵌入引导，操纵多模态对比表示。作者称现有攻击多围绕数据投毒、模型更新操纵或直接投毒提示词参数；FPT 可训练且被通信的参数很小，经上传更新注入后门的容量有限。

后门防御

• 拜占庭鲁棒聚合：Krum（Blanchard et al., 2017）、Trimmed-Mean（Yin et al., 2018）、Bulyan（Guerraoui et al., 2018）；后续工作用几何聚合、信任引导或稀疏化（Pillutla et al., 2022；Karimireddy et al., 2022；Cao et al., 2020；Xu et al., 2025）。
• 针对联邦后门：FLAME 将客户端聚类与模型裁剪结合（Nguyen et al., 2022）；CRFL 给出对联邦后门的认证鲁棒（Xie et al., 2021）。另有安全聚合、异构下的隐私约束鲁棒性、系统与优化层缓解，以及基于动态行为的识别（Huang et al., 2025；Zhang et al., 2025）。
• SABRE-FL（Khan et al., 2025）：在嵌入空间做异常分析以检测恶意客户端。作者称上述防御尽管方法不同，都假设恶意行为会在上传更新或由其派生的表示中表现为可检测异常；非 IID 下良性提示词更新本身可以差很多，该假设在 FPT 中变脆弱。

基线与数据集

• 攻击基线：BadNets、Blended、Neurotoxin、A3FL、FCBA、CerP、Bad-PFL、PFedBA。
• 聚合与防御基线：FedAvg、Krum、TrimmedMean、Bucketing、LaSA、FoolsGold、FLTrust、FLAME、CRFL。
• 数据集：Caltech101、Oxford Flowers、UCF101。

作者把本文定位为：利用共享冻结 CLIP 表示空间，把攻击从提示词更新中的异常，转到触发器诱导的表示引导。

ShadowFPT 分两段：先对冻结 CLIP 表示空间学习影子触发器，再在恶意客户端的本地提示词训练中植入定向后门。触发器和冻结编码器留在本地，服务器只看到提示词。

问题设定

• 系统包含图像编码器 fI 与文本编码器 fT，二者全程冻结。N 个客户端各有私有数据 Di，分布可以非 IID。标签集为 C。正文先按文本提示词微调写出形式，实验另测视觉与联合提示词。
• 类 logit 为图像特征与该类提示文本特征的余弦相似度，得到提示词分类器 F(x; P)。轮次 t 服务器把全局提示词 P^t 发给客户端子集 St；客户端以交叉熵在本地数据上优化提示词，再由 Agg 聚合。实验中每轮全部客户端参与。
• 攻击者要让触发输入预测为 yt，同时保持干净准确率。恶意客户端有本地目标类图像集 Ryt。

影子触发器预训练

• 预训练数据 Ds 可以是辅助公开数据，或恶意客户端本地数据。只更新触发器 δ，两个编码器固定。触发图像记为 xδ=A(x, δ)。
• 目标文本对齐：这一阶段用固定手工 CLIP 模板，不用可学习的联邦提示词。论文举例模板为「a photo of a [CLASS]」。各类文本锚点是模板集上冻结文本特征的平均；损失把触发图像的最终图像特征拉向目标类锚点 zt。
• 逐层视觉对齐：在选定视觉层集合 K 上，用 Ryt 计算目标类原型，再让触发图像的中间特征靠近这些原型。作者写此项目的是约束触发器如何改变中间视觉表示，而不只约束最终图文相似度。
• 预训练目标为 L_shadow=L_text+λ_l L_layer。它表示最终语义对齐与逐层视觉对齐的加权和。得到的触发器记为 δshadow。论文未给出 λl 和 K 的具体取值。

联邦训练中的注入

• 轮次 t，恶意客户端收到 P^t，本地提示词初始化为 Pa←P^t，然后做两步，且两步顺序固定。
• 触发器适配：首个攻击轮用 δshadow 初始化，之后各轮在本地继续更新触发器。此步固定提示词为当前 P^t，只优化触发器。目标文本锚点改为当前全局提示词下的 fT(yt; P^t)；逐层项仍使用第 3.3 节定义的目标类视觉原型。产出当轮触发器 δ^(t)。
• 提示词优化：固定 δ^(t)，在恶意客户端本地数据上优化 Pa。目标为 L_back(P_a)=E[CE(F(x;P_a),y)]+E_{y≠ yt}[CE(F(x_δ;P_a),y_t)]。第一项保留干净任务，第二项把非目标样本的触发版本拉向 yt。
• 概述写触发器作用于本地数据的一个子集；损失式写在全部 y≠yt 的本地样本上取期望。论文未给出子集比例。优化后只上传 Pa，δ^(t) 与冻结编码器不通信。服务器仍用与标准 FPT 相同的 Agg。

变体与论文给出的实现选择

• ShadowFPT-I：影子触发器只用恶意客户端本地数据预训练。ShadowFPT-II：用辅助公开数据，实例为随机抽取的 100 个 ImageNet 类。论文写明不假设这些类与下游目标类有语义重叠。
• 两种变体都使用位于图像右下角的 32×32 触发块。触发器预训练学习率 0.01，联邦适配学习率 0.001。本地提示词优化学习率 0.0035。
• 成功判据在实验中定义为：良性测试样本上的干净准确率 Acc，以及触发的非目标测试样本上的攻击成功率 ASR。论文未写单独的评审模型或判别阈值。

实验设置

• 骨干与提示词：全部方法使用冻结 CLIP，骨干为 ViT-B/16。默认文本提示词微调 FPT-L；另测视觉提示词 FPT-V、联合视觉–语言提示词 FPT-VL。
• 联邦划分：沿 FedTPG 的设定，20 个客户端；每客户端 5 个类，类集跨客户端互斥。每轮全部客户端参与。默认 1 个恶意客户端，目标类为各数据集的第一类。20 个通信轮，每轮 1 个本地 epoch，batch size 32，提示词学习率 0.0035。
• 数据：Caltech101、Oxford Flowers、UCF101，分别对应通用物体、细粒度花卉和人体动作。论文未给出各数据集样本量。II 的辅助数据为 100 个随机 ImageNet 类。
• 攻击基线：BadNets、Blended；Neurotoxin、A3FL、FCBA、CerP；Bad-PFL、PFedBA。
• 聚合与防御：FedAvg；Krum、TrimmedMean、Bucketing；LaSA、FoolsGold；FLTrust；FLAME、CRFL。引言中的 SABRE-FL 未出现在该实验列表。
• 指标：良性测试样本 Acc；触发的非目标测试样本 ASR。Table 1 对全部聚合与防御规则平均；Table 2 对全部数据集与提示词设置平均。论文未报告重复随机种子、误差条或统计检验，也未使用单独评审模型。

主结果

下表只列 ShadowFPT-II，数字是对全部聚合与防御规则的平均（据 Table 1）。Δ 为相对该行 Best Base 的百分点差。Best Base 是该数据集–设置上平均 ASR 最高的非 ShadowFPT 攻击。未列入：Caltech101 的 FPT-V 与 FPT-VL，以及 UCF101 的 FPT-V。九行里 II 的 ASR 最低是已列入的 Caltech101、FPT-L。

表格较宽，可左右滑动

设置（Best Base）	Best Base ASR	II Acc	II ASR	ΔAcc	ΔASR
Caltech101 FPT-L（A3FL）	19.81%	87.67%	90.36%	-0.82	+70.55
Oxford Flowers FPT-L（A3FL）	38.07%	60.85%	98.93%	-5.78	+60.86
Oxford Flowers FPT-V（PFedBA）	30.22%	66.61%	98.94%	+0.88	+68.72
Oxford Flowers FPT-VL（PFedBA）	54.60%	68.33%	99.18%	-1.56	+44.58
UCF101 FPT-L（PFedBA）	25.06%	65.87%	99.98%	-2.15	+74.92
UCF101 FPT-VL（Blended）	22.49%	67.89%	99.63%	-2.25	+77.14

• 作者称九种设置平均后，Best Base 的 ASR 为 34.56%，ShadowFPT-I 为 95.63%，ShadowFPT-II 为 97.67%；并称 II 在每个设置上都是 ASR 最高的方法。上表未列的三行，Table 1 中 II 的 ASR 同样高于该行 Best Base。
• 作者称干净准确率下降有限：Caltech101 上 II 至多降 1.05 点（对应未列入上表的 FPT-V）；UCF101 的下降为 0.55 至 2.25 点，其中 0.55 来自未列入的 FPT-V。作者认为 Oxford Flowers 的 FPT-L 上干净–攻击权衡更强，FPT-V 与 FPT-VL 上该权衡弱得多。
• 作者称与 Best Base 的比较偏保守，因为对照已是每个数据集–设置上最强的非 ShadowFPT 攻击。摘要中的主设置数字与 Table 1 的 Caltech101、FPT-L 一致：ASR 从 19.81% 到 90.36%。

对聚合与防御规则

• Table 2 对全部数据集和三种提示词设置平均。作者称 ShadowFPT-II 在每种防御下 ASR 都最高，范围为 96.63%–98.30%；最强非 ShadowFPT 基线为 13.17%–60.93%。表内 II 的最低 ASR 在 Krum（96.63%），最高在 FedAvg（98.30%）；Best Base 的最低 ASR 在 FLAME（A3FL，13.17%）。
• 作者点名的 ΔASR：Krum +73.97、LaSA +76.55、FLAME +84.75、CRFL +74.55 个百分点。作者称 II 相对 Best Base 平均 ASR 高 63.61 个百分点，干净准确率平均降 1.71 点。
• Table 2 中 II 的 ΔAcc 最大下降在 CRFL，为 -3.80；FoolsGold 上 I 的 ΔAcc 为 +2.01。作者认为这些防御通过鲁棒聚合、过滤、聚类、裁剪或认证抑制异常更新，而 ShadowFPT 把大量后门效应放在适配触发器与冻结表示的交互上；并称其鲁棒性主要不是来自损害良性性能。

提示词模态与提示词空间

• Figure 2 对三个数据集和全部聚合或防御规则平均。正文给出 ShadowFPT-II 在 FPT-L、FPT-V、FPT-VL 的 ASR 为 96.42%、97.63%、98.95%；Best Base 为 27.65%、33.20%、42.83%。作者称 ShadowFPT-I 在三种模态上的 ASR 都高于 93%。相对 Best Base，II 的平均 Acc 下降为 2.92、0.24、1.45 个百分点。作者称攻击不依赖单一提示词模态，而是利用三种设置共享的冻结 CLIP 表示空间。
• Figure 3 是 FedAvg 下客户端提示词的 PCA。图注写明：蓝点为良性客户端，红叉为恶意客户端，绿星为良性质心。作者称现有攻击的恶意提示词相对良性簇呈离群，ShadowFPT 靠近良性客户端，并几乎与良性质心重叠。转换文本看不到点的坐标，位置判断来自正文，不是图上可读数值。

预训练、注入与对齐

• Figure 4 在 Caltech101 上比较组件。正文：随机初始化触发器的平均 ASR 为 21.32%；只用预训练影子触发器、不做联邦注入时为 49.75%，其中 Krum 为 25.17%、FLTrust 为 31.99%；完整方法平均 ASR 为 90.36%，相对无注入在 Krum 上 +59.54、在 FLTrust 上 +60.55。作者称预训练提供可迁移初始化，联邦注入才把它变成能穿过防御的后门。
• Figure 5 在 Caltech101 上、于九种聚合与防御下比较对齐项。仅目标文本对齐的平均 ASR 为 66.38%，其中 CRFL 为 20.08%；仅逐层视觉对齐为 59.25%，其中 FoolsGold 为 20.73%；两项一起为 90.36%，比两个单项目标高 23.98 与 31.11 个百分点。作者称文本对齐提供语义目标，逐层对齐稳定触发表示轨迹。
• 上述 90.36% 与 Table 1 中 Caltech101、FPT-L、ShadowFPT-II 的 ASR 相同。图注未写明是变体 I 还是 II，也未写明提示词设置。

其他消融与分析

• 除 Figure 4 与 Figure 5 外，论文未再报告 λl、层集合 K、触发块尺寸或触发子集比例的扫描。
• 实验默认 1 个恶意客户端；正文写 “unless otherwise stated”，但未另给恶意客户端数量的结果。
• 附录 Table 3 列出三种数据集、三种提示词设置、九种防御下各攻击的 Acc 与 ASR。转换后差值行与 Table 1 的平均 ΔAcc 不完全一致，故不逐格引用。

作者指出的局限与后续方向

• NeurIPS Paper Checklist 第 2 项写明：当前版本没有专门的局限讨论。作者列出的局限包括 white-box 威胁模型、聚焦 CLIP 式冻结骨干、默认一个恶意客户端，以及只在三个公开图像识别数据集上评测。
• Checklist 第 7 项写明：结果按数据集、提示词设置和聚合或防御规则平均，但未报告误差条、置信区间，也未对重复随机种子做统计显著性检验；作者称这是当前实证报告的局限。
• Checklist 第 5 项：当前投稿未提供开源代码或复现脚本。作者计划在投稿政策允许时发布匿名代码和复现说明。
• Checklist 第 8 项写明未提供 GPU 类型、显存、单次实验耗时或总计算预算，并称这些细节应补入附录。
• 第 5 节：作者认为保护 FPT 需要超出提示词异常检测，并考虑触发器与冻结表示几何的交互。这是结论中的建议，不是已完成的防御。

实验覆盖范围

• 被测骨干为冻结 CLIP ViT-B/16；提示词设置为 FPT-L、FPT-V、FPT-VL（Section 4.1）。
• 评测数据集为 Caltech101、Oxford Flowers、UCF101。联邦为 20 个客户端、类集互斥的五类划分、每轮全员参与、20 轮、每轮 1 个本地 epoch（Section 4.1）。
• 实验中的聚合与防御为 FedAvg、Krum、TrimmedMean、Bucketing、LaSA、FoolsGold、FLTrust、FLAME、CRFL（Section 4.1–4.2，Table 2）。论文未报告引言中 SABRE-FL 的实验数字。
• 攻击对照为 BadNets、Blended、Neurotoxin、A3FL、FCBA、CerP、Bad-PFL、PFedBA。ShadowFPT-II 的辅助数据为随机 100 个 ImageNet 类，论文写明不假设与下游类语义重叠（Section 4.1）。
• 默认一个恶意客户端，目标类为各数据集第一类；指标为良性测试 Acc 与触发非目标测试 ASR。论文未报告 λl、视觉层集合 K、触发子集比例、重复次数和误差条（Section 3–4；checklist 第 7 项）。

ShadowFPT 是针对联邦提示词微调的定向后门。FPT 冻结共享 CLIP 骨干、只聚合提示词；作者认为后门可以主要来自触发器对冻结表示的引导，上传的提示词仍可接近良性更新。

威胁设定是 white-box：恶意客户端知道冻结骨干结构，可优化本地提示词和触发器，但不能改编码器、训练协议或聚合规则，且只上传提示词。目标是保持干净准确率，并使触发输入被分为指定类。

方法分两段。影子触发器对冻结视觉编码器预训练：触发图像的最终嵌入对齐目标类文本锚点，中间特征对齐由本地目标类样本得到的逐层原型。联邦轮次中，先在当前全局提示词下适配触发器，再用干净样本和触发的非目标样本优化本地提示词。变体 I 用本地数据预训练触发器；变体 II 用随机 100 个 ImageNet 类，论文写明不假设与下游类语义重叠。

• Table 1 主设置（Caltech101、FPT-L，对全部聚合与防御平均）：ShadowFPT-II 的 ASR 为 90.36%、Acc 为 87.67%；Best Base 为 A3FL，ASR 19.81%、Acc 88.49%。作者称 ASR 提高 70.55 个百分点。
• 作者称九个数据集–设置平均后，Best Base 的 ASR 为 34.56%，ShadowFPT-I 为 95.63%，II 为 97.67%。
• Table 2（对全部数据集与提示词设置平均）中，II 在九种防御下的 ASR 为 96.63% 至 98.30%。作者称相对 Best Base 平均 ASR 高 63.61 个百分点，Acc 平均降 1.71 点。
• Table 1 中 Oxford Flowers、FPT-L 的 II ΔAcc 为 -5.78，是该表干净准确率下降最大的一格。作者认为细粒度识别上的干净–攻击权衡更强。
• 作者称 FedAvg 下的 PCA 中，其恶意提示词靠近良性客户端并几乎与良性质心重叠；并认为只做提示词异常检测不足以保护 FPT。冻结骨干减少了可训练参数，但作者认为这并不消除后门攻击面。