TAME：基于 MoE 的视觉语言模型测试时对抗提示词调优
TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models
AI 导读
TAME 是面向 CLIP 等视觉语言模型的测试时对抗防御，用输入条件化的 MoE 框架替代先前 TAPT 的单一自适应提示词，无需下游任务重训练。在含 ImageNet 的 11 个数据集上，TAME 在 AutoAttack 下将原始 CLIP 的零样本对抗鲁棒性提升至少 49.1%，基本保持干净样本泛化，较现有对抗提示词调优方法平均提升至少 30.2%。