STRAP-ViT:分离 token 并施加随机变换,防御 ViT 中的对抗补丁
STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs
AI 导读
研究者提出 STRAP-ViT 防御 ViT 对抗补丁攻击,鲁棒精度距干净基线仅 2-3%,优于 SOTA。该方法以 Jensen-Shannon 散度检测含对抗噪声的 token,再对其施加随机复合变换,免训练、即插即用。在 ViT-base-16 与 DinoV2 上测试 Adversarial Patch、LAVAN、GDPA、RP2 四种攻击。