基于反馈的模态互搜索（FMMS）：攻击视觉-语言预训练模型
Feedback-based Modal Mutual Search for Attacking Vision-Language Pre-training Models
AI 导读
研究者提出针对视觉-语言预训练（VLP）模型的新攻击范式 FMMS，用模态互损失（MML）在特征空间推开匹配图文对、随机拉近不匹配对，并借助目标模型反馈迭代优化对抗样本。作者称这是首个利用目标模型反馈探索多模态对抗边界的工作。在 Flickr30K 和 MSCOCO 图文匹配任务上，FMMS 显著优于最先进基线。