VLMShield：视觉语言模型抵御恶意提示的高效鲁棒防御
VLMShield: Efficient and Robust Defense of Vision-Language Models against Malicious Prompts
AI 导读
研究者开发出即插即用的轻量级安全检测器 VLMShield，用于识别针对视觉语言模型的多模态恶意提示攻击。该方法先以 MAFE 框架让 CLIP 处理长文本并融合多模态信息，再利用良性提示与恶意提示的特征分布差异检测攻击，应对视觉整合削弱对齐带来的漏洞。实验显示其在鲁棒性、效率和实用性上表现优异，代码已公开。