BAPLe++：医学基础模型中后门的跨模型可迁移性与提示级防御

核心问题：经 prompt learning 植入 Med-FM 的后门提示词，迁移到另一个 Med-FM 后是否仍然有效？被感染的提示词能否在冻结骨干的前提下被修复？

• 场景与重要性：Med-FM 正进入临床决策支持流程，常用公开数据和开源 checkpoint 适配，作者认为这带来数据投毒、checkpoint 篡改等攻击面；后门模型在干净数据上表现正常，常规验证难以发现，在临床中尤其危险。
• 现有工作的不足：作者指出，BAPLe 只做了攻击构造，未评估源模型到目标模型的迁移；Med-FM 在 few-shot prompt learning 下的防御缺乏系统研究；面向自然图像的防御（去噪、激活聚类、对抗训练）在标注稀缺、骨干冻结的 Med-FM 场景下基本未被探索。
• 论文的核心观察：后门存在于可学习的提示词而非模型权重中，因此防御可以完全在提示词层面进行，把可疑提示词当作嵌入空间中已被污染区域的参照。
• 论文提出的内容：一是用新指标 CAD 和 BAD 量化后门提示词的跨模型迁移（作者称这是该问题的首个研究）；二是提出防御方法 DePLe，并与四种 training-free 输入变换对比。
• 威胁模型：
  • 攻击者目标：在下游适配时植入定向后门，干净输入表现正常，带触发器的输入被分到攻击者指定类别，且在仅基于干净数据的标准验证下保持隐蔽。
  • 攻击者知识与能力：只能污染少量下游训练数据，并能在推理时对输入施加触发器；因医疗标注稀缺、算力有限，全量微调不可行，故利用 prompt learning。
  • 攻击途径：两种场景——恶意服务商向返回给用户的任务提示词中植入后门；或通过公开仓库（如 Hugging Face）分发被后门化的提示词。
  • 受害系统与防御方：部署 Med-FM 做下游医疗任务的机构；防御方持有预训练 Med-FM、可能被感染的部署提示词和少量干净标注集，不能重训或修改骨干。

医学基础模型（Med-FM）

• MedCLIP（Wang et al., 2022）——把 CLIP 框架适配到胸片，对齐影像与报告特征做 zero-shot 分类。
• BioMedCLIP（Zhang et al., 2025）——用数百万医学图文对训练，扩展跨模态迁移。
• PLIP（Huang et al., 2023）与 QuiltNet（Ikezogwo et al., 2023）——面向病理细胞与组织层面分析的预训练模型。

Prompt learning

• CoOp（Zhou et al., 2022）——学习可调提示 token 以适配 CLIP 等视觉语言模型；该范式后被迁移到医学领域（MedCLIP、PLIP）。论文指出，冻结编码器加参数高效适配的机制引入了新的安全风险。

后门攻击

• BadNets（Gu et al., 2017）、Trojaning（Liu et al., 2018）、WaNet（Nguyen & Tran, 2021）——从补丁触发器到更隐蔽、泛化更强的攻击。
• FIBA（Feng et al., 2022）——面向医学图像的后门；BadCLIP（Liang et al., 2024）——把图像触发器与提示嵌入耦合，攻击视觉语言模型。
• BAPLe（Hanif et al., 2024）——论文称其为首个在 few-shot prompt learning 下向 Med-FM 注入后门的工作，本文直接在其基础上扩展。

对抗迁移与防御

• RAP（Qin et al., 2022）与 GRA（Zhu et al., 2023）——通过重塑损失面与梯度信号提升对抗扰动的跨架构迁移。论文指出，后门设定下迁移的是学习到的提示词而非输入扰动，这一现象在 Med-FM 上尚未被研究。
• 测试时预处理防御（模糊、压缩、滤波）易于部署，但其在 Med-FM 上的鲁棒性/效用权衡尚不清楚（论文说法）。

基线与基准：攻击基线为 BadNets、WaNet、FIBA（结果取自 BAPLe 原文）及 BAPLe 本身；防御基线为 Gaussian Blur、JPEG-30、Feature Squeeze (MF-3)、Pixel Deflection 四种 training-free 输入变换。基准为 COVID、RSNA18、MIMIC、Kather、PanNuke、DigestPath 六个数据集。

作者将本文定位为：在 BAPLe 攻击之上，补上跨模型迁移评估与提示词级防御这两块空白。

整体思路分两块：先在源模型上用 BAPLe 造出后门提示词与触发器，原样迁移到目标模型并用 CAD/BAD 度量迁移强度；再提出 DePLe，在提示词空间修复被感染的提示词，骨干全程冻结。

问题设定与攻击（BAPLe）

• Med-FM 为 CLIP 式双编码器 fθ = {fI, fT}，zero-shot 分类按图像特征与各类文本模板特征的余弦相似度取 argmax。
• Prompt learning 把手工模板换成可学习 token 嵌入 p，类别文本为 ti = [p; yi]，骨干冻结。
• BAPLe 联合优化提示词 p 与不可感知噪声触发器 δ：min_p,δ ∑_Dc L(f_θ(x;p), y) + ∑_Dp L(f_θ(B(x);p), η(y))，约束 ∥δ∥∞ ≤ ϵ，B(x) = (x + δ) ⊕ pbd；含义是同时保持干净精度并让带触发器输入被分到目标类 η(y)，只更新 p 和 δ。

跨模型迁移与度量

• 在源模型 fs 上学习 ps 和 δs，不做任何再优化，直接用于目标模型 ft 推理，模拟被污染提示词跨机构传播。
• 提出两个指标：CAD 为目标模型上"直接学习的提示词"与"迁移来的提示词"的干净精度之差；BAD 为两者带触发器时的 BA 之差。CAD、BAD 越接近 0，迁移越强。

防御（DePLe）

• 不丢弃可疑提示词 p′，而是把它固定为锚点，标记文本嵌入空间中的被污染区域；新提示词 p 随机初始化，在少量干净集 Dc 上训练。
• 目标为 p_robust = argmin_p L_ce − L_fd：Lce 是干净任务交叉熵，Lfd 是新提示词与锚点提示词的类嵌入之间的均方距离（嵌入经 ℓ2 归一化，Lfd 有界）；含义是保持干净任务对齐的同时，把新提示词推离触发器对齐的嵌入配置。

实现细节

• 32-shot（每类 32 个随机样本），batch size 16，提示词学习率 2 × 10⁻²，投毒率 5%。
• 触发器 ℓ∞ 预算 ϵ = 8/255，另在图像左下角插入固定的 24 × 24 后门补丁。
• 每个类别轮流作为攻击目标，结果对所有目标类取平均；实验在单张 RTX 3090Ti（24 GB）上完成。

成功判定

• 攻击侧：CA 接近干净基线且 BA 高；迁移侧：CAD、BAD 接近 0。
• 防御侧：BA 相对无防御下降且 CA 尽量保持；与四种输入变换在 12 个数据集–模型组合上对比。

实验设置

• 被测模型：MedCLIP、BioMedCLIP、PLIP、QuiltNet，均为 CLIP 式双编码器，骨干冻结、只训练提示词。
• 数据集：胸片 COVID、RSNA18、MIMIC（仅单标签样本）；病理 Kather、PanNuke、DigestPath；论文未报告各数据集样本量。
• 基线：攻击侧为 Clean（无投毒提示词）、BadNets、WaNet、FIBA（三者结果取自 BAPLe 原文），BAPLe 为本文复现；防御侧为 Gaussian Blur、JPEG-30、Feature Squeeze (MF-3)、Pixel Deflection。
• 指标：CA（干净精度）、BA（触发输入被分到目标类的比例，真实标签为目标类的测试样本被排除）、CAD、BAD。
• 配置：32-shot、投毒率 5%、ϵ = 8/255、24 × 24 左下角补丁；每个类别轮流作目标类后取平均；论文未报告重复次数与方差。

主结果

攻击效果（Table 1，32-shot prompt learning，BA 部分摘录）：

表格较宽，可左右滑动

模型	数据集	Clean CA	BAPLe CA	BAPLe BA	最强基线 BA
MedCLIP	COVID	0.822	0.813	0.996	0.511 (FIBA)
MedCLIP	MIMIC	0.585	0.472	0.991	0.292 (FIBA)
BioMedCLIP	COVID	0.843	0.841	1.000	0.975 (BadNets)
BioMedCLIP	MIMIC	0.351	0.368	0.996	1.000 (BadNets)
PLIP	Kather	0.908	0.878	0.982	0.601 (BadNets)
QuiltNet	Kather	0.899	0.893	0.955	0.185 (WaNet)
QuiltNet	DigestPath	0.906	0.903	0.820	0.553 (FIBA)

• 作者称 BAPLe 在几乎所有设置下 BA 最高（常高于 0.95）且 CA 接近干净基线；例外是 BioMedCLIP+MIMIC，BadNets 的 BA 为 1.000，略高于 BAPLe 的 0.996。
• 例外：MedCLIP+MIMIC 上 BAPLe 的 CA 为 0.472，低于 Clean 的 0.585；QuiltNet+DigestPath 上 BA 为 0.820，是 BAPLe 各设置中最低。

跨模型迁移（Figure 2）

• 放射方向不对称：MedCLIP→BioMedCLIP 的 BAD 均小于 0.1（COVID 0.049、RSNA18 0.096、MIMIC 0.099），作者称后门几乎完全保持有效；反向 BioMedCLIP→MedCLIP 的 BAD 为 0.202（COVID）、0.469（RSNA18）、0.657（MIMIC）。
• 病理方向大致对称且依赖数据集：PLIP→QuiltNet 的 BAD 为 Kather 0.387、PanNuke 0.260、DigestPath 0.073；QuiltNet→PLIP 为 Kather 0.455、PanNuke 0.280、DigestPath 0.071。作者称 DigestPath 上 BAD 接近 0 但 CAD 较大。
• 作者的解读：提示词后门确实跨模型迁移，但强度依赖迁移方向、数据集和源骨干，因此应修复提示词本身而非依赖迁移假设。

防御结果（Table 2、Table 3）

• 胸片（Table 2）：DePLe 在 6 个设置中 5 个 BA 最低；MedCLIP+COVID 上 BA 从 0.996 降到 0.051，而四种输入变换均不低于 0.52。例外是 MedCLIP+RSNA18：Pixel Deflection 的 BA 为 0.318，略低于 DePLe 的 0.334，但其 CA 降到 0.343（无防御为 0.610，DePLe 为 0.680）。
• 病理（Table 3）：DePLe 在 6 个设置中 4 个 BA 最低，且 6 个设置的 CA 全部不低于无防御；PLIP+Kather 上 BA 从 0.982 降到 0.212、CA 从 0.878 升到 0.943。例外：QuiltNet+DigestPath 上 JPEG-30 的 BA（0.602）与 CA（0.920）均优于 DePLe（0.664、0.905）；QuiltNet+Kather 上 JPEG-30 与 Pixel Deflection 的 BA 更低但 CA 下降。
• 输入变换的负面结果：Pixel Deflection 在 PLIP+PanNuke、PLIP+DigestPath、QuiltNet+DigestPath 上 BA 反而上升（如 QuiltNet+DigestPath 从 0.820 升到 0.991），且 CA 下降最多达 0.619（PLIP+Kather）。

其他消融与分析

• 锚点消融：去掉被感染提示词锚点、只用交叉熵训练时，DePLe 在 Kather 上超出干净提示词的 CA 增益消失；作者据此把增益归因于锚点与特征散度项的正则化作用（未给出具体数字）。
• 触发器可视化（Figure 3）：各模型–数据集组合上学到的 δ 在 ℓ∞ 预算下视觉上不可感知（作者称）。
• t-SNE（Figure 4）：加触发器后图像特征的类簇发生移动和重组，但未坍缩成单一目标类簇；作者认为目标类对齐部分由文本侧的提示词实现，因此只检查图像特征的聚类类防御可能效果有限。

作者指出的局限与后续方向

• 作者称未来工作将处理自适应攻击（adaptive attacks）（Conclusion）。
• 作者称未来工作将处理视觉侧与多模态提示学习（vision-side and multimodal prompt learning），本文方法只作用于文本提示词（Conclusion）。
• 论文未设专门的 Limitations 小节，除 Conclusion 外未列出其他局限。

实验覆盖范围

• 被测模型为 MedCLIP、BioMedCLIP、PLIP、QuiltNet 共 4 个，均为 CLIP 式双编码器架构（Experimental Setup）。
• 数据集为 COVID、RSNA18、MIMIC、Kather、PanNuke、DigestPath 共 6 个，覆盖胸片与病理两种模态；论文未报告各数据集样本量。
• 防御对比包括 Gaussian Blur、JPEG-30、Feature Squeeze (MF-3)、Pixel Deflection 四种 training-free 输入变换；训练类防御（如对抗训练、激活聚类）只在引言中提及，未做实验。
• 攻击配置固定为 32-shot、投毒率 5%、ϵ = 8/255、24 × 24 补丁，结果对所有目标类取平均；论文未报告重复次数、方差或统计检验，也未报告其他 shot 数或投毒率下的结果。
• 迁移实验只在 MedCLIP↔BioMedCLIP、PLIP↔QuiltNet 两对同模态模型间进行（Figure 2），未报告跨模态（如胸片模型→病理模型）的迁移。

一篇关于医学基础模型（Med-FM）提示词后门的迁移性研究与防御论文。

• 问题：BAPLe 已能在 few-shot prompt learning 下向 Med-FM 植入后门，但后门提示词迁移到另一个 Med-FM 是否仍有效、以及能否在冻结骨干下修复，此前没有答案。
• 方法：提出 CAD 和 BAD 两个指标度量提示词与触发器从源模型原样迁到目标模型后的干净精度差和后门成功率差；防御 DePLe 把被感染提示词作为固定锚点，在少量干净数据上学习新提示词，目标为 Lce − Lfd，使其保持干净任务对齐并远离被污染的嵌入区域。
• 攻击复现：32-shot、5% 投毒率下，BAPLe 在 4 个 Med-FM、6 个数据集上 BA 多在 0.95 以上（Table 1），例外是 QuiltNet+DigestPath 的 0.820。
• 迁移结果：MedCLIP→BioMedCLIP 的 BAD 全部小于 0.1，反向则达 0.202–0.657；PLIP↔QuiltNet 大致对称、因数据集而异（Figure 2）。作者称后门可跨模型传播，但不对称且依赖数据集。
• 防御结果：DePLe 在 12 个设置中 9 个 BA 最低，如 MedCLIP+COVID 从 0.996 降到 0.051、PLIP+Kather 从 0.982 降到 0.212，且病理 6 个设置的 CA 全部不降（Table 2、3）；四种输入变换的 BA 下降不稳定，Pixel Deflection 在部分设置下反而升高 BA。
• 作者结论：被污染的提示词可能跨机构传播，部署前应常规审计适配后的提示词；后续将研究自适应攻击和视觉侧、多模态提示学习。