面向后门攻击下持续学习的鲁棒动态扩展：净化与选择性恢复

核心问题是：持续学习模型如何在逐任务后门污染下兼顾知识保留、新任务适应与安全。

• 应用场景：任务数据连续到达，可能来自不可信来源；学习当前任务时，历史训练数据不可访问。作者将这一设置称为 Continual Learning Under Backdoor Attack（CLUBA）。
• 目标冲突：作者认为，积极更新可能吸收恶意模式，保守更新又可能压制有用的新任务信息；只防遗忘或只做静态后门防御，不能直接处理这组联合目标。
• 现有策略的风险：作者指出，参数约束可能保留已学到的后门，污染的回放记忆可能反复强化后门，冻结专家也可能使其中的后门持续存在。
• 威胁模型：攻击者污染每个任务的一小部分训练样本，使带触发器的测试输入被归入指定目标类。污染可涉及输入、标签或两者；防御者知道当前任务允许的类别，只访问当前数据。攻击者权限依配置而定，论文未给出 black-box 等分类。
• 核心假设与方案：作者认为，可疑样本不应全部丢弃，其中部分监督可以纠正。框架将 BPP 净化、GDBRO 选择性恢复、RFCBES 专家路由结合起来，不保留历史训练图像。

相关研究围绕持续学习、后门防御、动态网络及其安全行为展开。

持续学习与对抗鲁棒性

• EWC、SI、MAS、LwF：约束重要参数或保留历史预测；回放方法重用历史样本，GEM、A-GEM 调整新任务梯度以减少干扰。
• L2P、DualPrompt、CODA-Prompt、HiP：通过提示词机制减少每个任务需要更新的参数；论文也讨论参数高效适应、多预训练骨干表示和无数据知识蒸馏。
• AIR 与 AFLC：AIR 结合回放与一致性正则，AFLC 调整 logit 与梯度并选择记忆样本。作者指出，它们主要处理对抗鲁棒性，不直接识别和选择性恢复本文关注的后门污染样本。

后门攻击与静态防御

• BadNets、Blend、WaNet 等：通过隐藏触发器植入行为；LTB 面向持续学习中的后门持久性，CBACL 通过特征策略处理持续学习中的标签变化。
• Activation Clustering 与 ABL：前者在特征空间过滤训练数据，后者改变训练目标以抑制触发器记忆；Neural Cleanse 与 Fine-Pruning 检查或修复已训练模型。
• 持续应用的区别：作者指出，将这些策略逐任务应用时，需要考虑当前任务的数据可用性和此前良性知识的保留。

动态网络与安全相关持续学习

• DEM、DyTox、mixture-of-experts adapters：保留既有组件，并为新任务增加容量；Adaptive and Expandable Mixture Model 结合稳定、演化表示与轻量专家。
• Dynamic Siamese Expansion Framework：结合静态和动态骨干，并优化表示以抵御对抗扰动。作者指出，已有鲁棒动态扩展工作主要关注对抗扰动，而非逐任务后门污染。
• 跨域人脸反欺骗：无回放适配器与注意力一致性用于减少遗忘、改善未知欺骗域泛化；作者将其推理时攻击识别问题与训练数据后门污染区分。

实验对照与本文定位

• 基线方法：DER、DER++、ER-ACE、GEM、A-GEM、AFLC、AIR、FT、SAM-FT、AIBD、RGAN，均在 Split CIFAR-10、Split CIFAR-100、Split Tiny-ImageNet 上比较。

作者将区别定位于：不依赖历史图像回放，而是在每个任务内连接净化和鲁棒训练，同时保留动态扩展的专家隔离机制。

BPP–GDBRO–RFCBES把训练数据筛选、监督纠正和推理路由放进同一动态扩展框架；历史图像不参与后续任务训练。

冻结共享表示与动态专家

• 共享骨干：ImageNet-1K 预训练的 ViT-B/16 始终冻结。每个任务新增一个全连接特征变换层和线性分类头，任务结束后冻结该专家。
• 两种表示：BPP 与路由使用归一化共享特征 u(x)；分类及样本梯度计算使用共享特征与专家变换特征的拼接 hi(x)。这一区别也影响后续距离比较。

BPP：按类别净化

• 类别内聚类：按观测标签分组；标签超出当前任务允许类别的样本直接进入可疑集合。其余类别在归一化共享特征上做双中心 K-Means。
• 分组规则：作者认为，共享触发器可能形成紧凑子簇，因此一般保留更分散的簇，将更紧凑的簇标为可疑。这些是候选划分，不是真实干净或污染标签。
• 回退条件：较小簇占比大于 0.35、且类别数量不超过有效类别中位数的 1.5 倍时，保留整类；少于十个样本、聚类退化或异常时也保留整类。K-Means 使用十次初始化，随机状态为 42；离散程度相同时保留 cluster 1。

GDBRO：预热与选择性恢复

• 预热与缓存：先在候选干净集合上训练当前专家；计算类别共享特征原型，并缓存该原型对应的目标类别分类器权重行梯度。
• 伪标签来源：对可疑样本，比较所有已学习专家的最大类别置信度，选择其中最高的专家生成伪标签；没有对应类别参考梯度的样本跳过。
• 恢复判据：核心定义为 F_disc=1−F_cos(∇,∇′)，即样本与类别参考的目标行梯度余弦距离。仅恢复距离小于 λ 的样本，以伪标签替换其监督。
• 联合训练：拼接候选干净集与恢复集训练当前专家，不另设恢复样本损失权重。默认包含五个预热 epoch 和一个联合 epoch；最终路由原型重新计算，梯度缓存保留预热后的状态。

RFCBES：原型距离路由

• 原型更新：用候选干净样本和按纠正标签分组的恢复样本，计算归一化共享特征均值；保存每个专家的类别原型。
• 推理选择：计算测试特征到所有类别原型的 L2 距离，选取最近原型所属的专家预测。Table V 的 Class-IL 设置中，推理时不提供任务身份。

理论条件与数值边界

• 条件性分析：Section IV 在语义集中、干净与污染中心分离、梯度集中等假设下，给出 BPP、恢复阈值与路由稳定性的保证；它们不是无条件保证。
• 表示与数值说明：Section III-E 要求区分共享特征距离与分类器输入上的梯度距离，并比较相同输入上的余弦距离。作者指出，概率饱和或小梯度下的数值差异不能作为独立梯度分离机制的证据，角度判据本身也不保证每个选中子集的噪声率更低。

实验覆盖三个图像基准、三种后门攻击和十一种基线，主比较与三种子组件消融分别报告。

实验设置

• 被测架构：所有方法使用预训练 ViT-B/16 共享骨干；提出的方法冻结骨干，为每个任务新增专家。论文没有开展其他骨干的结果比较。
• 数据与任务：Split CIFAR-10 为 10 类、5 任务、每任务 2 类；Split CIFAR-100 为 100 类、10 任务；Split Tiny-ImageNet 为 200 类、20 任务，后两者每任务 10 类（Table III）。输入统一为 224 × 224（Table I）。
• 攻击条件：BadNets、LTB、CBACL 均按标签翻转配置；主实验每任务污染率为 5%。Figure 5 的分布诊断单独改为 10%。
• 基线与预算：DER、DER++、ER-ACE、GEM、A-GEM、AFLC、AIR、FT、SAM-FT、AIBD、RGAN；回放容量为 500。SGD 学习率 0.001、batch size 32，请求 epoch 参数为 1；完整方法另做五个预热 epoch，再做一个联合 epoch。
• 指标与判定：序列结束后，CA 对各任务干净测试准确率取平均；ASR 对各任务带触发器测试样本被错分到攻击目标类的比例取平均。判定依测试标签与预测，不使用 LLM 裁判。
• 重复与样本量：Table II 每项为单种子；Table IV 为种子 42、256、512 的均值±标准差。论文未报告各任务测试样本数，其他诊断未统一说明重复次数。

主结果

据 Table II，下表均为 OURS、ViT-B/16、每任务污染率 5%、单种子；攻击列依次列出 CA / ASR，单位为 %。

表格较宽，可左右滑动

数据集	无污染 CA	BadNets CA / ASR	LTB CA / ASR	CBACL CA / ASR
CIFAR-10	99.30	99.10 / 0.37	99.02 / 0.31	99.17 / 0.51
CIFAR-100	93.20	90.94 / 0.07	92.15 / 0.12	91.50 / 0.45
Tiny-ImageNet	93.45	91.19 / 0.15	92.05 / 1.20	91.80 / 0.50

• 作者解读：作者称，任务内净化和选择性恢复兼顾适应与后门防御；冻结专家避免后续更新改变旧专家参数，但任务身份未知时的整体预测仍依赖原型路由。
• 基线反例：不能将结果写成所有条件下 ASR 均最低。CIFAR-10 的 LTB 下，DER 为 9.17%；但 Tiny-ImageNet 的 CBACL 下，ER-ACE 已为 1.12%，而非所有基线都出现高 ASR（Table II）。
• 证据条件：主表没有跨种子误差或统计显著性检验；其训练预算也不同于只使用请求 epoch 参数的基线。

三种子组件消融

• 动态专家：CIFAR-100、BadNets 下，移除动态专家得到 CA 34.98 ± 2.37%、ASR 0.10 ± 0.03%；保留专家但移除防御流水线得到 CA 89.87 ± 0.46%、ASR 27.54 ± 2.15%（Table IV）。
• 标签纠正的例外：同一设置下，完整模型为 CA 91.16 ± 0.33%、ASR 0.08 ± 0.10%；关闭标签纠正为 CA 91.36 ± 0.58%、ASR 0.14 ± 0.09%。完整模型并非 CA 最高的变体（Table IV）。
• 作者解读：作者将专家隔离与防御流水线分别联系到知识保留和后门抑制，并称完整模型提供两者的折中。

逐阶段加入组件

• 训练阶段：CIFAR-100、BadNets、Class-IL，预热五个 epoch、λ=0.5。BPP Only 为 CA 55.68%、ASR 3.22%；加预热为 61.78%、1.19%；再加 Relabel 为 90.67%、1.47%（Table V）。
• 路由阶段：加 RFCBES 后为 CA 90.21%、ASR 0.07%；作者称，训练组件主要改善 CA，原型路由减少剩余 ASR。这里加入路由后的 CA 低于上一阶段（Table V）。
• 结果分开报告：作者明确说明，Table V 与 Table IV 的三种子宏观消融分别报告，绝对数值不合并；它们也不能替代 Table II 的主比较。

分布诊断与资源开销

• 距离诊断：Figure 2(b) 横轴为 Feature Cosine Distance，纵轴为 Gradient Cosine Distance，标出阈值 0.4。作者称特征分数重叠、梯度分数存在分离；纯文本无法核查点的位置与分离程度。
• 五任务分布：Figure 5 为 CIFAR-10、BadNets、污染率 10%、预热五个 epoch、λ=0.4；图例区分干净、伪标签正确的污染、伪标签错误的污染样本。作者称最后一类分布右移，并明确这是经验诊断，不保证所有接受标签正确；纯文本无法核查曲线。
• 开销范围：Section V-J 在 Split CIFAR-100、RTX 3090、batch size 32 下比较 DER++、AIBD 与所提方法。Figure 4 列出参数、峰值显存、逐任务时间和 GFLOPs，但没有可直接回查的曲线端点。作者报告约 0.5M 参数/任务，并将梯度缓存和路由原型纳入持久状态。

其他消融与分析

• 阈值 λ：Seq-CIFAR10、BadNets、污染率 5%、预热五个 epoch；正文报告 λ=0.5 时 ASR 0.31%，λ=0.7 时 2.70%（Figure 3、Section V-K）。
• 预热 epoch：同一基准与攻击、λ=0.5；正文报告一个 epoch 时 ASR 0.45%，十五个 epoch 时 0.67%。作者认为后者可能与干净子集过拟合有关（Section V-K）。
• 遗忘诊断：Figure 2(a) 标出 Tasks Completed 与 Average Forgetting (%)。作者称 DER++ 最后任务超过 40%、OURS 接近零；纯文本没有曲线端点，不能独立核查该描述。
• 参数标注：Figure 2(c) 标出 DER++ 86.2M、AIR 172.5M、Ours 91.1M；图注未明确该面板的数据集与攻击，不能仅凭 ASR 标注与主表吻合认定条件。

作者明确指出的后续方向集中在攻击适应性、分布假设与场景扩展。

作者指出的局限与后续方向

• 自适应攻击：当前研究未穷尽攻击策略，尤其是主动操纵特征分布以绕过净化或梯度检测的攻击者；作者计划更广泛的攻击评测（Section VI）。
• 语义分离假设：BPP 依赖污染样本与干净样本存在足够语义偏离；保持语义对齐的隐蔽触发器可能降低净化效果。作者提出研究分布假设更弱的净化策略（Section VI）。
• 固定恢复阈值：任务分布或攻击强度变化时，固定阈值可能需要调整；作者提出自适应阈值估计或元学习校准（Section VI）。
• 场景扩展：实验主要为受控任务序列中的监督图像分类；作者提出扩展到真实大规模系统、多模态、流式应用与任务边界未知的开放世界场景（Section VI）。

实验覆盖范围

• 架构与攻击：全部方法共享 ViT-B/16；主评测包含三个图像基准及 BadNets、LTB、CBACL，逐任务污染率 5%（Section V、Table II）。
• 重复协议：主比较为单种子，宏观消融为三个种子均值±标准差；逐阶段消融独立报告。论文未报告统计显著性检验（Table II、IV、V）。
• 训练与存储：完整方法包含五个预热 epoch 加一个联合 epoch；保存专家、原型与梯度缓存，回放基线保存 500 个样本（Section V-D）。
• 诊断设置：Figure 5 使用 10% 污染率；Figure 3 的预热扫描固定 λ=0.5，作者明确说这一维扫描没有测量与其他阈值的交互（Section V-K、V-L）。
• 数值解释范围：作者要求区分共享特征和分类器输入空间，指出角度判据本身不保证每个恢复子集的噪声率更低；小梯度和概率饱和需单独诊断（Section III-E）。

这是一项面向持续图像分类的后门防御研究：模型只使用当前任务数据，同时需要保留过去知识并避免学习恶意监督。

• 方法组合：冻结预训练 ViT，为每个任务增加并冻结专家；BPP 在类别内筛出可疑样本，GDBRO 按伪标签与分类器行梯度一致性恢复其中一部分，RFCBES 用更新后的类别原型选择预测专家。
• 主比较：ViT-B/16、逐任务污染率 5%、单种子下，CIFAR-100 的 BadNets 设置得到 CA 90.94%、ASR 0.07%；Tiny-ImageNet 的 LTB 设置为 CA 92.05%、ASR 1.20%（Table II）。
• 组件证据：CIFAR-100、BadNets 的三种子消融中，完整模型为 CA 91.16 ± 0.33%、ASR 0.08 ± 0.10%；关闭标签纠正的 CA 为 91.36 ± 0.58%，因此恢复并非在该消融中同时提高两项指标（Table IV）。
• 路由权衡：同一数据集与攻击的独立逐阶段实验中，加入 RFCBES 后，CA 从 90.67% 到 90.21%，ASR 从 1.47% 到 0.07%；作者称路由主要减少该实验剩余的后门成功率（Table V）。
• 结论边界：作者认为任务内净化与选择性恢复有助于协调适应和安全；理论分析依赖语义、梯度与原型分离条件。作者把自适应攻击、更弱净化假设、阈值自适应和真实持续学习系统列为后续方向。