跳到正文
原文

DetectViT:基于头间注意力差异的 Vision Transformer 测试时后门检测

DetectViT: Test-time Backdoor Detection for Vision Transformers via Inter-Head Attention Discrepancy

arXiv:其他 AI 安全论文· arXiv:2611.23770· Siquan Huang, Yijiang Li, Xingfu Yan, Ningzhi Gao, Leyu Shi, Ying Gao·本站收录· 13 小时前· 原文发表防御· 扫描记录里的位置 →
AI 导读

研究者提出 DetectViT,通过头间注意力差异在测试时检测 Vision Transformer 中的后门,无需训练数据、模型输出或触发器先验。论文发现后门触发器会让多头注意力出现两类异常模式:完全注意力劫持使头间空间重叠异常偏高,部分注意力劫持使注意力分布集中度的方差异常偏大。方法用头间一致性分数与头间熵方差分数量化这两种现象,阈值由任意来源的少量域外(OOD)校准样本估计。在四类代表性攻击、DeiT、CLIP、LLaVA 三种架构以及图像分类和图像描述任务上,DetectViT 仅用 64–128 个校准样本就显著优于所有基线,在 BadCLIP 上达到真阳性率 100%、假阳性率 0.17%,且只复用推理时已计算的注意力权重,几乎不增加额外开销。代码开源于 https://github.com/siquanhuang/DetectViT。

阅读原文arxiv.org