TRIM：面向多种后门触发器的黑盒检测与净化方法

仅凭黑盒预测，如何在推理时找出并清除形态、大小、位置未知的后门触发，同时少改动良性内容。

• 场景与重要性：作者称 DNN 广泛用于视觉系统，但 BadNets 一类后门可在触发出现时激活攻击者定义的行为，干净输入上仍保持高准确率，常规评测难以发现。触发已从固定小块扩展到 blended、distributed、dynamic 和 sample-specific 模式；动态与 input-aware 攻击还会改变外观或位置。后门可来自被污染数据、不可信预训练模型或被破坏的训练流程。
• 现有方法的不足：白盒防御常需要训练数据、参数、内部激活或可信验证样本，而模型若只能通过预测接口访问则这些条件不成立。作者称已有黑盒防御可能改写预定义区域，既损伤良性内容，又可能漏掉细微或自适应触发。
• 核心观察：关键难点是只用黑盒反馈找出并中和与触发相关的区域。作者的思路是：先定位对预测有因果影响的区域，再只净化这些区域。
• 威胁模型：
  • 目标：攻击者把触发 b 与指定目标关联；对触发输入 xb=x+b，后门模型输出 y′≠y，同时在良性输入上保持高准确率。目标含 All-to-One、All-to-All 与 untargeted。
  • 知识与时机：实用投毒威胁模型。攻击者污染训练子集 Db⊂D，投毒比例 r=|Db|/|D|。投毒发生在部署之前，对应被破坏的数据集或不可信预训练模型；推理阶段不需要攻击者再交互。
  • 防御者能力：作者把推理时防御分为 white-box、gray-box 与 black-box。TRIM 处于 strict black-box：只通过查询 ŷ=f(x) 观察行为，即 g(x,f(x))，不访问训练数据、模型内部、干净验证样本，也不知道触发的外观、大小或位置。
  • 受害系统：被保护的是已训练、可能被植入后门的视觉分类器；主实验中主分类器为 ResNet-50，推理时 TRIM 只取其预测。
• 论文提出什么：作者提出 TRIM（Trigger Removal by Identifying Manipulated Regions），一种面向部署、与模型无关的推理时黑盒防御：分割区域、用特征过滤、选择性重建并查询验证，再只净化被验证区域，并用特征缓存减少重复检测。

论文在引言和 Related Work 中按攻击与防御所处阶段讨论相关工作。

后门攻击

• BadNets、label-consistent、物理补丁：Gu 等的 BadNets、Turner 等的 label-consistent 攻击，以及 Wenger 等的模拟物理补丁攻击，在保持良性性能的同时嵌入恶意行为。目标常分为 All-to-One、All-to-All 与 untargeted。
• 触发形态：覆盖范围、融合方式、sample-specific 或 sample-agnostic、label-consistent 或 label-inconsistent 都有变化。动态、分布式、输入相关攻击会在样本间改变外观或位置；Zhu 等的 reactivation 攻击可用轻微输入改动恢复休眠后门。作者用这种多样性说明防御不宜假设固定的外观、大小或位置。

训练前与训练时防御

• 训练前：激活聚类、特征一致性，以及利用视觉–语言不一致区分可疑样本。作者称训练集约可用时有效，但用户拿到的已是训练好、可能已被破坏的模型时难以使用。
• 训练时：Anti-Backdoor Learning（ABL）与 Decouple-based Backdoor Defense（DBD）识别可疑训练样本并改变优化以抑制其影响；另有工作用受控投毒或防御性扰动提高对注入的抵抗。作者称这些方法需要控制训练过程，不能直接保护已部署、只能查询的模型。

训练后与推理时防御

• 训练后：Neural Attention Distillation 与 ScaleUp 利用注意力模式或预测一致性识别并缓解后门。作者称它们避免从头重训，但仍可能依赖辅助数据、模型访问或可信参考，而部署模型若只能通过预测接口访问则不具备这些条件。
• 推理时：检测向方法包括 DBDR、Beatrix、TeCo、FLARE；恢复向方法包括 Orion、ZIP、SampDetox。Xue 等提出 Backdoor Trigger Segmentation（BTS）以定位多样触发区域。作者称现有方法通常是检测可疑输入、定位触发，或变换输入的大片区域，而没有同时验证哪些区域因果地影响后门预测并只净化这些区域。

基线与基准

• 基线方法：主对比为 ShrinkPad、ZIP、FLARE；无防御作为参照。
• 基准/数据集：主实验为 CIFAR-10 与 ImageNet-10；附录增加 MNIST、CIFAR-100、GTSRB、Caltech-101。攻击包括 BadNets、Blended、Label-Consistent、Physical、Dynamic、Distributed（DBA）、Input-Aware、VSSC，以及双触发设置。

作者把 TRIM 定位为：把定位当作恢复预测的中间步骤，先过滤候选区域、选择性重建，再用黑盒查询验证预测变化，最后只净化有影响的区域，从而少改良性内容，并支持多样触发，且不需要模型内部、训练数据或干净验证样本。

TRIM 不改整张图，而是找出候选区域、用黑盒预测验证其影响，再只净化与触发相关的内容。Figure 1 给出三段流程。特征编码器独立于被保护分类器，以保持 black-box 假设。

区域分割与特征

• 语义分割：用 Segment Anything Model（SAM）的 SamAutomaticMaskGenerator，prompt-free，不预设触发外观或位置。对规则采样提示点生成候选掩码，去掉过小或被大面积包含的掩码，合并高度重叠区域，得到紧凑集合 S。
• 背景隔离与编码：对每个二值掩码做逐元素相乘，只保留该区域再编码，以降低背景干扰。编码器 g(·) 默认用预训练 ResNet-18，取最终分类层之前的特征并做 ℓ2 归一化。候选不必对应预定义语义类，可以是物体、部件、纹理或异常图案。
• 默认实现：分割用 SAM ViT-H。作者称也可换成 MobileSAM 以换取速度，因此把 TRIM 描述为 deployment-tunable，而不是普遍实时。

逐区域重建作为干预

• 作用：对每个候选一次只重建该区域，得到干预图，用来做反事实检验：抑制该区域是否改变黑盒预测。这些干预图不是最终净化结果。
• 分辨率分支：高分辨率用 Stable Diffusion Inpainting（SDI），配通用提示词 P；掩码外像素保持不变，掩码内生成合理替代，而不是恢复可能仍含触发的原区域。作者称这适合 Caltech-101、ImageNet 一类自然图像。低分辨率用 Telea 算法（cv2.inpaint），由邻域已知像素按空间权重填充；作者称扩散对 CIFAR-10 这类低分辨率收益有限且开销不必要。
• 评测时的对应：CIFAR-10 先从 32×32 双线性上采样到 224×224；低分辨率走 cv2.inpaint，高分辨率走 Stable Diffusion inpainting。

验证、缓存与选择性净化

• 过滤再验证：作者指出，去掉任务相关内容也会改变预测，所以预测变化不能单独当作触发定位标准。先排除可能对应主体或主导背景的大区域；若已有缓存，再用特征相似度跳过已分析过的模式。对剩余候选比较原图预测 y0=f(x) 与干预图预测 yi，指示量 di=1[yi≠y0]。di=1 才标为可疑。
• 双记忆池：维护良性池 B 与触发相关池 T。相似度用 RBF 核 κ(zi,zj)=exp(−γ‖zi−zj‖²)，取池内最大相似度。实验中阈值 τ=0.9：超过则复用以往判定，否则做区域验证并把嵌入写入对应池。
• 一次净化：把所有 di=1 的掩码做像素并，得到 Mpur，再对原图只在该并集上做一次净化 xpur=P(x,Mpur)，P 按分辨率在 SDI 与 cv2.inpaint 之间选择。评测中，若 f(xpur) 恢复真实类别则视为净化成功。面积超过预设阈值的区域不参与验证与净化；默认面积阈值 0.25，由 Table 6 的敏感性分析选定，并固定用于其余实验。
• 多触发：各区域独立评估。若一个触发主导预测，单独抑制较弱触发可能不改变预测，从而在该图上漏检。主导触发被缓存后，后续含同一主导模式的图像可复用缓存、转而检验其余候选。空间上分散的多部件触发，去掉其中一部分有时就足以改变预测。作者明确把“在一张此前未见图像里、单独不产生可测预测变化的互作非主导触发”写成当前逐区域验证策略的局限。

成功判定与开销取舍

• 指标含义：ASR 衡量触发样本上攻击是否成功；CA 衡量干净输入准确率。另外报告 FPR、Detection Accuracy（DA）、Purified Accuracy（PA），以及良性输入上的 Artifact Ratio，AR=Nartifact/Nclean×100%。作者用 SSIM 与 LPIPS 并辅以人工查看被标记样本来评估重建伪影。
• 开销：分割、逐区重建和分类器查询都有成本；过滤与缓存减少重复，最终净化只覆盖已验证区域的并集。高保真点用 SAM ViT-H 加扩散，轻量点用 MobileSAM 加 cv2.inpaint。Table 8 给出各组件时延。

实验设置

• 被测模型：除非另有说明，被保护分类器为 ResNet-50，10% 训练样本带触发并与干净样本联合训练。推理时 TRIM 只访问其预测。区域编码用预训练 ResNet-18，分割用 SAM ViT-H。Table 8 另列出 ResNet-18/50 作为特征提取与查询组件的耗时，不是额外的被攻击模型族。
• 数据集：CIFAR-10（32×32 双线性上采样到 224×224）与 ImageNet-10（论文写明 13,394 张，9,469 训练、3,925 验证，缩放到 256×256）。附录 Table 9 增加 MNIST、CIFAR-100（60,000 张、32×32、100 类）、GTSRB（论文称超过 50,000 张交通标志）与 Caltech-101（约 9,000 张、101 类、分辨率 300×200）。
• 攻击：BadNets、Blended、Label-Consistent（LC）、Physical、Dynamic、Distributed（DBA）、Input-Aware、VSSC，以及同一输入上两个空间分离触发。目标含 A2O、A2A、UT。主表触发为 3×3 像素；另测 CIFAR-10 上 7×7，以及附录中 ImageNet-10 子集上 24×24 物理补丁。
• 基线：ShrinkPad、ZIP、FLARE，以及 No Defense。
• 指标与重复：ASR、CA 为主；Table 5 增加 FPR。Table 1 的 TRIM 为五个独立随机种子的 mean±standard deviation。缓存阈值 τ=0.9，分割面积阈值 0.25。低分辨率用 cv2.inpaint，高分辨率用 Stable Diffusion inpainting。环境为 Ubuntu 20.04、一块 NVIDIA RTX 4090（24 GB）。
• 评审方式：ASR/CA 由分类预测相对攻击目标与真实标签计算；净化成功定义为预测恢复真实类别。论文未写 LLM 评审。伪影用 SSIM、LPIPS 与人工查看被标记样本，论文未报告人工一致性数字。

主结果

Table 1 为 3×3 触发、ResNet-50。TRIM 列为五种子均值；基线未给标准差。CIFAR-10 的 Dynamic 在 ImageNet-10 行缺失，故不写入 ImageNet 表。

表格较宽，可左右滑动

数据集 / 攻击	TRIM CA	TRIM ASR	无防御 ASR	ZIP ASR	FLARE CA
CIFAR-10 BadNets	87.22±0.58	3.30±0.41	97.17	5.56	82.31
CIFAR-10 Blended	87.87±0.64	6.13±0.52	100.00	3.62	72.17
CIFAR-10 Physical	84.50±0.71	4.70±0.47	99.99	23.66	73.34
CIFAR-10 LC	82.53±0.66	1.16±0.28	99.01	88.20	57.14
CIFAR-10 Dynamic	87.01±0.73	3.56±0.44	93.53	55.13	67.13
CIFAR-10 Average	85.83±0.66	3.77±0.42	97.94	35.23	70.42
ImageNet-10 BadNets	78.68±0.82	5.98±0.61	96.03	13.23	81.20
ImageNet-10 Average	76.81±0.92	5.06±0.58	78.45	42.61	60.20

据 Table 1。ImageNet-10 上 TRIM 的 Physical ASR 为 5.18±0.56、CA 为 78.37±0.88；同格 FLARE 为 ASR 6.37、CA 16.33。LC 上 TRIM ASR 为 2.10±0.36。ImageNet-10 Dynamic 无防御 ASR 为 10.46，TRIM 为 5.90±0.72。

• 作者解读：作者称 TRIM 在稳健性与效用之间更均衡：CIFAR-10 平均 ASR 从 97.94% 到 3.77%，CA 保留 85.83%；ImageNet-10 从 78.45% 到 5.06%，CA 为 76.81%。
• 例外：作者指出 CIFAR-10 Blended 上 ZIP 的 ASR（3.62%）低于 TRIM（6.13%），但称 TRIM 跨攻击更一致。ImageNet-10 Dynamic 上无防御 ASR 已是 10.46%，低于同表其他攻击。
• 稳定性：作者用五种子的低波动说明运行间稳定，并举 CIFAR-10 BadNets 的 87.22±0.58% CA / 3.30±0.41% ASR，以及 ImageNet-10 BadNets 的 78.68±0.82% / 5.98±0.61%。

攻击目标与触发尺度

• 测了什么：Table 2（CIFAR-10）比较 A2O、A2A、UT 下的 BadNets、Blended、Physical。Table 3 与附录 Table 11 为 ImageNet-10 的 A2O 与 A2A。Table 4 为 CIFAR-10 上 7×7 触发的 BadNets、Physical、LC。
• 结果：CIFAR-10 上 TRIM 的平均 ASR 为 A2O 4.71%、A2A 4.56%、UT 4.04%，平均 CA 为 86.53%、84.86%、80.03%。作者称每一项已报告的 CIFAR-10 攻击模式配置中 TRIM 的 ASR 低于 8.1%。ImageNet-10 上 TRIM 平均 ASR 为 A2O 5.76%、A2A 6.90%，平均 CA 为 78.06%、72.29%；FLARE 对应平均 CA 为 55.22% 与 55.64%。7×7 时 TRIM 平均 ASR 1.07%、平均 CA 85.49%；Physical 为 ASR 1.79%、CA 86.70%，LC 为 ASR 0.87%、CA 82.56%。ShrinkPad、ZIP、FLARE 的 7×7 平均 ASR 分别为 13.06%、63.93%、7.06%。
• 作者解读：作者认为效果不依赖固定的 A2O 目标映射，区域级防御在触发尺度不同于主设置时仍然有效。ShrinkPad 在 Physical A2O 与 Physical UT 上 CA 更高，但 ASR 升到 10.13% 与 27.50%。ZIP 在 Blended A2O（3.62%）和 Blended A2A（4.13%）上 ASR 最低，其余设置波动较大。

多样触发、投毒率与定性

• Table 5：CIFAR-10 双触发下 TRIM 为 CA 84.13、ASR 3.45、FPR 5.16（无防御 ASR 91.56）；DBA 为 84.56 / 2.03 / 2.92（无防御 ASR 88.21）；Input-Aware 为 86.03 / 16.34 / 5.06（无防御 ASR 98.12）。ImageNet-10 VSSC 为 CA 78.73、ASR 5.13、FPR 6.19（无防御 ASR 91.61）。正文另称单触发 ASR 从 97.17% 到 3.30%，该数字与 Table 1 的 CIFAR-10 BadNets 相同，Table 5 未单列这一行。
• 作者解读：Input-Aware 是所评设置中最难的：残余 ASR 高于其他攻击。作者认为高度样本特异的模式更不容易匹配已缓存的触发表示，也更难用逐区域干预隔离，并明确不声称对所有触发生成机制都同样稳健。双触发结果说明在所评配置下常能净化多个空间分离区域，但按 Sec. 4.3，主导触发仍在时可能漏掉较弱触发，不应理解为对任意互作触发的保证。
• Figure 2 与附录：投毒率 5%–20% 时，作者称 DA、PA 较稳定，ASR 低于 6%。BadNets 的 DA 高于 82%，ASR 从 3.0% 到 5.9%；Physical 的 DA 约 80% 到 94%，ASR 在 4.4% 与 5.3% 之间；LC 的 ASR 约 1% 到 3.35%；Dynamic 在 3.10% 与 4.60% 之间。图中曲线端点未以标注给出，以上为正文对 Figure 2 的描述。Table 9：MNIST BadNets 上 TRIM 的 CA 99.01、ASR 0.34（无防御 ASR 99.67）；CIFAR-100 BadNets 为 77.43 / 6.36；GTSRB Physical 从 ASR 99.21 到 4.22；Caltech-101 Physical 从 95.33 到 2.26。CIFAR-100 Blended 的 TRIM ASR 为 10.08，高于同表其他 TRIM 格子。附录 Figure 4–5 为逐步去掉区域的定性例子；Figure 6 为字体攻击（SCAM、Synth-SCAM）的定性前后对比，论文未在该附录给出 ASR/CA 数字。

其他消融与分析

• 面积阈值（Table 6）：CIFAR-10 在 0.2 时 ASR 2.1、AR 2.77，0.3 时 ASR 2.0、AR 3.18；0.1 时 ASR 7.5。ImageNet-10 在 0.3 时 ASR 3.0、T 为 7.40 s、平均段数 52.70；0.1 时 ASR 10.5。作者因此把默认阈值定为 0.25，且不按攻击再调。
• 缓存（Table 7）：需 inpainting 的候选比例，CIFAR-10 从初始 100% 到 1,000 张后 10.23%；ImageNet-10 从 100% 到 27.66%。50 张时分别为 78.54% 与 93.16%。
• 时延（Table 8，ImageNet-10 尺度、单 GPU）：SAM ViT-H 为 0.53 s、峰值显存约 7.00 GB；MobileSAM 为 0.022 s、0.08 GB。Stable Diffusion 2 Inpainting 约 5.87 s、4.85 GB；cv2.inpaint 约 0.020 s。作者称启用扩散时不应把 TRIM 说成普遍实时。
• 附录 Table 10（ImageNet-10 子集、10% 投毒、24×24 物理补丁，无防御 CA 79.11、ASR 90.7）：分割比例 0.15 时防御后 CA 78.5、ASR 3.6；0.50 时 CA 38.2、ASR 12.1。相似度阈值 0.80 时 CA 24.9、ASR 11.8。正文称更高相似度阈值（如 0.95）可避免重复净化；0.85 一行在文本中截断，不转写不完整数字。
• 负面结果：Input-Aware 残余 ASR 16.34%；同一图中单独不改变预测的较弱触发可能漏检；过大面积阈值会提高残余 ASR（Table 6 两端），过小分割比例以外的更大比例会明显拉低 CA（Table 10）。

作者指出的局限与后续方向

• 非主导互作触发：Sec. 4.3 写明，在一张此前未见的输入中，彼此作用、且单独都不产生可测预测变化的非主导触发，仍是当前逐区域验证策略的局限。主导触发被缓存后，后续图像才更容易去检验其余候选。
• 样本特异触发：Sec. 5.5 把 Input-Aware 写成所评设置中最难的情形，残余 ASR 高于其他攻击；高度样本特异的模式更不容易匹配缓存中的触发表示，也更难用逐区域干预隔离。作者明确不把结果说成对所有触发生成机制都同样稳健，并把双触发实验限定为所评配置下的经验稳健性，而不是对任意互作触发的保证。
• 时延：Sec. 5.7 称，启用扩散重建时不应把 TRIM 描述为普遍实时；SAM ViT-H 加扩散优先质量，MobileSAM 加经典 inpainting 提供更轻的部署配置。Sec. 4.3 同样把框架称为 deployment-tunable rather than universally real-time。
• 论文未在 Conclusion 另列未来工作清单：Conclusion 重述了 CIFAR-10 与 ImageNet-10 上的 ASR 下降，没有单独的 Limitations 或 Future Work 小节。上述三条来自方法与实验正文中作者明确称为 limitation 或不宜过度声称之处。

实验覆盖范围

• 分类器与数据：主实验被保护分类器为 ResNet-50；数据集为 CIFAR-10、ImageNet-10，附录 Table 9 增加 MNIST、CIFAR-100、GTSRB、Caltech-101。ImageNet-10 规模写明为 13,394 张。
• 攻击与目标：覆盖 BadNets、Blended、LC、Physical、Dynamic、DBA、Input-Aware、VSSC 与双触发；目标含 A2O、A2A、UT。主触发为 3×3，另有 CIFAR-10 的 7×7 与附录 24×24 物理补丁。默认投毒率 10%，Figure 2 为 5%–20%。
• 防御对照与重复：基线为 ShrinkPad、ZIP、FLARE。Table 1 的 TRIM 重复五个随机种子并报告标准差；Table 2–5 的 TRIM 数字未再标标准差。
• 组件与开销：默认 SAM ViT-H、ResNet-18 编码、τ=0.9、面积阈值 0.25；低/高分辨率分别用 cv2.inpaint 与 Stable Diffusion inpainting。Table 6–8 与附录 Table 10 报告面积阈值、缓存比例、组件时延与若干超参。
• 未报告项：论文未报告与人工判断的一致性数值；Figure 6 的字体攻击（SCAM、Synth-SCAM）为定性示例，该节未给出 ASR 或 CA。RBF 的 γ 在公式中出现，实验节未给出具体取值。

TRIM 是一种只靠分类器输入–输出的推理时后门防御，面向已部署、无法取得参数或训练数据的视觉模型。

后门模型在干净图上保持高准确率，在带触发图上输出攻击者指定或任意错误标签。触发可以是小块、融合、物理、动态、分布式或随样本变化的图案。白盒与许多训练阶段防御需要参数、数据或训练控制；作者认为仅改预定义区域的黑盒方法既可能伤及良性内容，又可能漏掉未知触发。

方法把输入分成语义区域，用与受害模型无关的 ResNet-18 编码，排除过大区域并与缓存的良性/触发特征比较。对剩余区域做一次抑制与重建（低分辨率 Telea，高分辨率 Stable Diffusion inpainting），若黑盒预测改变则并入净化掩码，最后只净化该并集。相似度超过 τ=0.9 时复用缓存判定。

在 ResNet-50、3×3 触发、五种子均值下，CIFAR-10 五种攻击的平均 ASR 从 97.94% 到 3.77%，平均 CA 为 85.83%；其中 LC 的 ASR 为 1.16%，Blended 的 CA 为 87.87%（Table 1）。ImageNet-10 平均 ASR 从 78.45% 到 5.06%，平均 CA 为 76.81%。7×7 触发下 CIFAR-10 平均 ASR 为 1.07%。Input-Aware 的 ASR 从 98.12% 降到 16.34%，高于其他攻击（Table 5）。CIFAR-10 Blended 上 ZIP 的 ASR 为 3.62%，低于 TRIM 的 6.13%。

作者的结论是：没有辅助数据时，推理阶段仍可以缓解多样后门；与 ShrinkPad、ZIP、FLARE 相比，TRIM 对小、大、融合和空间稀疏触发提供更稳的保护，同时用缓存和可替换的分割/重建模块调节时延。作者同时指出，单张未见图像里互作的非主导触发，以及高度样本特异的触发，仍可能逃过逐区域的预测变化检验。