干净数据仍可携带后门：面向模型复用的支撑持久型后门

干净查询下的模型复用会洗掉人工触发器后门，作者要让可控制的输入-输出关系在蒸馏后仍可观测。

• 场景：作者称公开模型常经知识蒸馏、压缩、prompt tuning或下游适配复用。水印需要隐藏的输入-输出关系在复用后仍能被查询；若下游只用未改动的干净样本询问教师，学生可能从未见到该条件。
• 现有不足：作者称patch、扰动、反射、扭曲等人工触发器能在教师上取得高ASR，但干净KD里触发正样本概率可忽略，学生看不到触发-目标关系。作者称UAP仍是优化出的输入伪影，可能对预处理或师生架构不匹配脆弱。既有干净图像或仅标签投毒多依赖手工语义、数据集相关、生成式触发优化或有限规模。
• 核心观察：作者认为持久后门必须被下游干净查询反复暴露、能被教师学会、且测试时可控制。作者把常规触发器的失败称为support mismatch，而不是某一触发形状单独的弱点。
• 提出的方法：DAR（Discover-and-Relabel）在低维子空间自动发现干净数据中已有足够支撑的规则，只重标注本来满足规则的样本；测试时用逆子空间操作激活。实例为空间与频率算子，用于ImageNet分类和基于CLIP的prompt tuning。
• 威胁模型：
  • 目标：在教师中嵌入指向目标类yt的后门，并希望该关系在干净查询复用后仍可观测。
  • 能力：攻击者完全控制教师训练，可访问训练集D={(xi, yi)}并操纵标签。
  • 限制：不能干预蒸馏过程或学生架构；学生只用干净集Ddistill做KD。
  • 迁移条件：学生只从Ddistill的支撑学习，触发须自然落在该分布上，迁移才成立。

触发器中心的后门

• 攻击与水印：Gu等（2019）的BadNets、Chen等（2017）、Liu等（2018）把可控制的输入-输出关系植入模型，同时保持良性输入上的正常行为。Adi等（2018）、Li等（2022）用同类机制做水印和所有权验证。
• 触发设计变体：后续工作用混合、扭曲、反射、输入自适应触发、颜色空间扰动或动态触发生成来改隐蔽性或鲁棒性。论文称这些方法仍大体依赖外部施加的触发正样本，教师高ASR并不自动保证KD后的持久性。
• 不植入后门的验证：Lee等的CSF从组合语义响应识别文生图模型谱系。论文称这是保留行为的互补用法，而本文关心的是有意植入的关系。

复用下的持久性

• 干净KD洗掉触发关系：Hinton等（2015）、Gou等（2021）给出KD；Phan等、Pang等、Li等的NAD、Zheng等的CLP，以及Ge等、Ying与Wu讨论蒸馏与后门清除或反蒸馏。论文称学生只在未改动样本上查询教师，触发正样本在蒸馏数据下概率可忽略，这是support mismatch。
• UAP：Moosavi-Dezfooli等（2017）提供可加到任意测试图的图像无关方向。论文称这种普适性本身不建立干净查询支撑，扰动可能利用模型特定漏洞，并可能对预处理或频率滤波脆弱。

已学模型中的结构与非预期行为

• 从判别模型读出信号：Deep Support Vectors、Discriminative Score Function抽取重构或生成信号；Deep Edge Filter用深度特征滤波研究泛化。论文称其频率是特征空间频率，不同于本文的图像空间频率；这些工作看表示保留什么，本文问哪些恶意关系在干净迁移中仍可观测。
• 提示诱导的非预期行为：white bear现象说明提示可以引出非预期行为。论文称它不能据此建立植入后门在蒸馏下的持久性。

干净图像与仅标签后门

• 不改像素的投毒：Jha等（2023）的FLIP用轨迹匹配合成投毒标签；Rong等的Clean-Image Backdoor Attacks保持中毒图像视觉不变。论文称它们主要展示教师侧感染不必改图像，目标是训练时隐蔽，而不是干净查询复用下的持久性；并称FLIP需先训练专家后门模型，且随基准规模变大而变弱。
• 语义与生成式触发：Wenger等的Natural backdoor datasets、面部识别物理后门，以及Sagawa等的group shift，常依赖手工属性、物体共现或数据集特定相关。Xu等的生成式干净图像后门引入触发优化成本。论文称持久复用需要自动发现、被下游干净查询支撑、且测试时可控制的规则。
• 基线与基准：实验基线为BadNets、Blend、Refool、WaNet；CLIP设定另比较BadCLIP。数据为ImageNet与ImageNet100，蒸馏查询还包括COCO、OpenGL合成数据和SubImageNet-50；附录测ImageNet-C上的规则支撑。防御对照包括FT、FP、SAU、NAD、CLP、OTBR、STRIP、Spectral。

DAR（Discover-and-Relabel）把后门写成干净支撑上的规则注入：先发现干净数据里已经反复出现的规则，只重标注满足规则的样本，测试时再把输入拉回同一规则区域。蒸馏阶段不提供人工触发正样本。

问题设定与两种范式

• 规则：二值规则R把输入映到{0, 1}；R(x)=1表示该输入应映射到目标类yt。作者认为，干净KD后能否留下后门，取决于这条输入-输出关系在干净蒸馏查询下有没有支撑。
• Define-and-Enforce：先定义变换T，再把训练样本改成(T(xi), yt)。论文称教师可以学会该规则，但规则正样本只由T制造，在干净查询下概率可忽略，学生没有迁移路径。
• Discover-and-Relabel：先发现支撑足够的自然规则，投毒集为D_poison^ours={(x_i,y_t)∣ R(x_i)=1,(x_i,y_i)∈ D}。含义是只改已满足规则的干净样本的标签，像素仍在干净数据支撑上，教师训练和下游干净KD都能看到目标关联。

子空间中的规则发现

• 投影：选特征算子ϕ，把搜索集S投影到子空间，得到zi=ϕ(xi)。投毒比例ρ指定应有多少干净样本满足规则。
• 选原型：在投影点中找一个原型p∗，使包含ρ比例样本的区域最紧凑，即最小化这些投影到p的距离的ρ分位数。规则为R(x)=1[d(ϕ(x),p^∗)<t_ρ]，tρ是到p∗的距离的ρ分位数。含义是：离原型近于该阈值即判为规则正样本。
• 作者对准则的限定：该准则只用来确定性地实例化一条支撑受控的干净规则；原则上，任何满足同样支撑与激活条件的原型或规则都可以用。主实验的模式搜索池为10,000个样本，参考集大小为10%；Spatial DAR的投毒率为5%，Frequency DAR为3%。

测试时激活与两种算子

• 逆操作：规则由子空间中到p∗的邻近性定义，所以测试时只替换目标子空间、保留其余语义内容。空间域把p∗贴到选定区域；频率域用p∗替换中心频率系数再做逆FFT。训练时暴露的规则与推理时激活的规则是同一子空间中的同一条规则。
• Spatial：局部检验。算子抽取固定区域，论文举例为右下角4×4 patch；紧凑原型从干净图像挖出，测试时用替换施加。
• Frequency：论文称为全局且更稳的实例。算子抽取FFT频谱的中心裁剪；低频分量捕捉图像级统计、会在图像间自然重复，测试时用系数替换施加。
• 适用条件：作者认为有用的ϕ要在干净数据中露出紧凑、高质量区域，以便规则被学习并迁移，同时还要有简单逆操作，以便测试时施加。

训练、蒸馏与成功判定

• 教师训练：所有中毒样本指向单一目标类。ResNet用batch size 512、学习率0.2、cosine调度和5个epoch预热，监督学习90个epoch。
• 蒸馏：KD训练100个epoch；教师标签温度4.0，蒸馏损失相对交叉熵的权重α为0.7。DeiT-Tiny学生用AdamW、学习率0.001、batch size 1024、300个epoch，并使用Mixup、CutMix和RandAugment。CLIP为每类16-shot的prompt tuning。
• 判定：Clean Accuracy（CA）是干净数据上的准确率；Attack Success Rate（ASR）是中毒样本上预测为目标类的比例。防御使用各方法的最优配置；需要数据的防御用1%数据，设置跟随BackdoorBench。

实验设置

• 模型：教师为ResNet50与ResNet18；学生为ResNet18、ResNet18-half（通道减半的ResNet18）、EfficientNetV2-B0、DeiT-Tiny。另有冻结骨干的CLIP 16-shot prompt tuning。部分分析与消融用ImageNet100上的ResNet18和ResNet18-half。
• 数据：分类实验在ImageNet上，论文写明不用MNIST或CIFAR10。蒸馏查询还换为COCO、OpenGL合成数据，以及保留或去掉目标类的SubImageNet-50。附录在ImageNet-C上测规则支撑。论文未写明ImageNet或各子集的样本条数。
• 基线：BadNets、Blend、Refool、WaNet，分别对应固定局部、固定全局、多触发和动态触发中的代表。扰动对照为UAP。CLIP设定对照BadCLIP与BadNets。
• 指标：CA与ASR由分类预测计算，没有单独的LLM评审模型。检测报告干净拦截率和拒绝攻击输入后的有效ASR。通道分析用攻击输入上对目标logit贡献最大的top-4或top-8通道，再在20K张随机干净ImageNet上测其贡献百分位。
• 训练与投毒：ResNet与KD的epoch、学习率、温度和α见方法节。搜索池10,000，参考集大小10%。主投毒率Spatial 5%、Frequency 3%。论文未报告重复次数。
• 防御协议：缓解为FT、FP、SAU、NAD、CLP、OTBR；检测为STRIP与Spectral。除按设计不需数据的方法外，使用1% ImageNet训练数据。检测阈值在干净验证集上按目标假阳率5%标定。Table 7未列出NAD一列。

主结果

ImageNet干净数据KD，据Table 1。左对为ResNet50教师蒸馏到ResNet18学生，右对为ResNet18教师蒸馏到ResNet18-half学生。

表格较宽，可左右滑动

• 作者称持久性不能只由教师侧攻击成功解释，恶意关系还必须在训练学生的干净查询下可见。DAR是仅标签投毒：重标注干净的规则正样本，关系仍经干净查询的KD迁移。
• 同表学生CA：无攻击为70.5%与61.89%；Spatial DAR为68.52%与59.43%；Frequency DAR为70.08%与60.61%。
• 摘要写干净KD后攻击成功率保持在96%以上；该说法与表中Spatial DAR、R18-half学生一格不一致。

分布外查询、通道与CLIP

• 测了什么：固定已投毒教师和已发现规则，只改蒸馏查询。Table 2中COCO上Spatial/Frequency的CA/ASR为32.40/100.00与32.30/100.00；OpenGL为15.48/94.76与15.12/100.00。SubImageNet-50保留目标类时为85.64/94.68与87.56/99.96，无攻击CA为88.72；去掉目标类时ASR均为0.00%，CA为88.60与88.36。论文未写明Table 2的CA测在哪个测试集上。
• 作者解读：COCO与OpenGL是更弱的KD替代，CA下降，但规则仍可观察时ASR仍高。作者称持久性跟随学生查询分布上该规则的支撑，任意代理或子集KD并不保证持久；去掉目标类就去掉相关干净查询支撑。
• 通道与适配：Table 3中，Frequency DAR教师/学生的Top-4百分位为28.3与70.6，Spatial为79.4与45.2；BadNets、Blend、Refool、WaNet的Top-4为19.6、21.2、9.9、0.6。作者称常规后门通道在干净输入上百分位很低，DAR嵌在干净图像反复使用的表示中。Table 4的16-shot ImageNet CLIP上，Frequency DAR的CA/ASR为72.70/99.80，Spatial为71.29/87.40，BadCLIP为73.26/99.96，BadNets为71.68/99.79。作者认为DAR不限于ResNet分类器的KD持久性。

输入扰动与标准防御

• 扰动：Table 6在ResNet50目标类协议下比较UAP与DAR。无扰动时UAP的ASR为82.90%，Blur（k=9）为12.75%，JPEG（q=10）为0.18%。Spatial DAR对应为99.95%、99.94%、99.35%；Frequency DAR在表中各行均为100.00%，仅JPEG（q=10）时Spatial降到99.35%。作者称DAR在这些输入净化下是干净支撑的规则，而不是由细粒度扰动驱动。
• 缓解与检测：Table 7的缓解列为修复后的CA/ASR，检测列为干净拦截率/有效ASR。Frequency DAR（R50）在FT、FP、SAU、CLP、OTBR后的ASR为99.8、100.0、100.0、99.9、100.0；STRIP为6.2/38.4，Spectral为3.7/100.0。Spatial DAR（R50）的FT/FP/CLP后ASR为35.2/43.6/0.0。Frequency DAR（R18）的FT后ASR为3.0，SAU为65.7；Spatial DAR（R18）的CLP后ASR为0.0。
• 作者解读与反例：作者称尽管训练图像保持干净、只改规则正样本的标签，Frequency DAR在许多防御后仍保持高ASR，往往不低于常规触发注入后门。表中的反例包括R18上FT后的3.0、R50上Spatial的CLP为0.0，以及STRIP对R50 Frequency DAR的有效ASR 38.4，低于同表BadNets的95.0。附录G写明CLP在干净准确率约束下报告最佳有效点，以避免只靠压垮CA来消掉ASR。

其他消融与分析

• Table 5，ImageNet/ResNet18、未写为学生：Spatial在ρ=1%时ASR为70.23%，ρ=5%为99.93%；Frequency在ρ=1%为99.68%，ρ=3%与5%为100。Figure 3正文称投毒率小时ASR可下降，未给出各点数值。
• Table 8，ResNet50教师：EfficientNetV2-B0上Spatial/Frequency ASR为89.89%/84.64%；DeiT-Tiny为88.42%/96.19%，无攻击CA为76.69与74.18。
• Table 9，ImageNet-100：搜索池占0.009%时，实际投毒率Spatial/Frequency为2.33/2.31；占1.714%时为5.12/3.74。作者称除极小搜索池外，小子集规则在全数据上仍接近目标投毒率。
• Table 10，ImageNet-100学生ASR：Spatial在目标类0/40/80为81.14/79.14/85.82；Frequency为97.12/97.06/97.56。作者称这些目标上的持久性不是由某一个容易的类解释。
• Table 11，ResNet18到ResNet18-half：α=0.5时Spatial/Frequency ASR为52.51%/94.82%，α=0.7时为94.83%/98.96%。作者称更弱地模仿教师软行为会削弱迁移，但Frequency DAR在α=0.5时仍高。
• Table 13，ImageNet/ResNet18：L1距离下Spatial/Frequency ASR为99.97%/95.08%；灰度评估为99.77%/99.96%。附录Table 12的ImageNet-C加权触发比例为Spatial 6.70（源投毒率5%）、Frequency 5.58（源3%）；分项从snow的Frequency 0.23到fog的Frequency 32.37不等。

作者指出的局限与后续方向

• 模态与实例：Limitations写明，经验范围限于视觉模型，具体实例是空间与频率子空间。
• 评测设定：同一节写明，评测处于数字激活、干净数据KD、prompt tuning、输入扰动和标准防御流程之下。
• 如何解读结果：作者称结果应理解为这些复用设定中、干净支撑的恶意关系可以持久的证据，而不是对所有可能模态、激活通道或防御策略的穷尽刻画。
• 其他章节：Conclusion重述干净数据KD不应被看成一般性净化防御，没有另列实验计划。论文未在Limitations、Conclusion或附录中写出具体的后续实验清单。

实验覆盖范围

• 分类与架构：ImageNet上的教师为ResNet18与ResNet50，学生包括ResNet18、ResNet18-half、EfficientNetV2-B0和DeiT-Tiny（Section 4.1，Table 1、Table 8）。
• 适配：CLIP实验是16-shot prompt tuning，骨干固定，只训练下游prompt或适配模块（Table 4）。
• 查询分布：除原域干净KD外，蒸馏查询包括COCO、OpenGL合成数据，以及保留或去掉目标类的SubImageNet-50（Table 2）。附录Table 12报告ImageNet-C上的规则支撑比例。
• 防御与扰动：Table 7报告FT、FP、SAU、CLP、OTBR、STRIP、Spectral；Table 6报告高斯模糊与JPEG，并与UAP对比。设置文本列入NAD，Table 7未报告NAD数字。
• 未报告项：论文未报告重复次数，也未报告评审与人工的一致性；ASR由目标类预测率计算。模式识别的搜索池为10,000、参考集大小为10%（Section 4.1）。

• 定位：这是面向干净数据模型复用的后门方法。作者既把它当作可在复用后查询的隐藏关系，也用来说明干净KD并不自动净化后门。
• 问题：人工触发器可以让教师把触发输入映射到目标类，但学生只用未改动样本蒸馏时看不到触发正样本，关系被洗掉。作者把这一失败称为支撑不匹配。
• 方法：DAR先在低维子空间寻找干净数据里已经足够常见的规则，只重标注满足规则的样本，不改训练像素。测试时用逆操作替换同一子空间：空间实例取固定局部区域，频率实例取FFT中心的低频系数。主实验投毒率分别为5%和3%。
• 主结果：Table 1的ImageNet干净KD中，ResNet50到ResNet18时BadNets学生ASR为0.11%，Frequency DAR为96.65%，Spatial DAR为96.23%。ResNet18到ResNet18-half时，二者学生ASR为98.96%与94.83%；后一格低于摘要中的96%以上。Table 2去掉目标类后，两种DAR的ASR均为0.00%。
• 其他结果：16-shot ImageNet CLIP上，Frequency DAR的ASR为99.80%，Spatial为87.40%（Table 4）。Table 6中JPEG q=10时UAP为0.18%，Frequency DAR为100.00%。Table 7中Frequency DAR（ResNet50）经多种缓解后ASR仍为99.8到100.0，但ResNet18上FT后为3.0，Spatial在ResNet50的CLP后为0.0。
• 作者结论：作者称持久性不取决于教师侧攻击是否成功，而取决于恶意输入-标签关系是否被干净数据支撑、并在蒸馏中仍可观察。因此作者认为，干净数据KD可以去掉无支撑的触发伪影，却不能据此当成一般性的净化防御。