论成功与简洁：重新审视可迁移的视觉语言攻击流程
On Success and Simplicity: A Second Look at Transferable Vision-Language Attack Pipeline
AI 导读
研究者提出 SimVLA，一个更简洁的可迁移对抗攻击流程，针对视觉语言预训练模型（VLPMs）。作者指出以往攻击流程中三个此前被忽视的问题，源于不当的跨模态交互和过多操作，并提出利用跨模态词识别等领域知识加以改进。在四个数据集和三个下游任务上的实验显示，在 Flickr30k 文本图像检索数据集上，SimVLA 的 R@1 迁移性比 SOTA 基线高 8.01%-14.71%，同时仅消耗约 35.73% 的时间和 46.26% 的最大显存。代码已在 GitHub 开源（https://github.com/RYC-98/SimVLA）。