研究者提出 CrossMPI：仅用图像扰动实现跨模态提示注入
A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation
AI 导读
研究者提出跨模态提示注入攻击 CrossMPI，仅通过图像扰动即可同时操纵大视觉语言模型对文本和视觉输入的理解。该方法把注入提示扰动的优化目标从视觉嵌入空间（约 10^5 参数）转移到负责多模态信息融合的模型隐藏状态空间（约 10^7 参数），并采用两项策略应对更大参数空间带来的优化难题：一是层选择策略，用于定位对多模态融合最关键的层，分析显示最优层位于模型中部而非末层；二是距离递减的扰动预算分配策略，随像素与语义关键区域距离增大而递减分配预算。论文称在多个大视觉语言模型和数据集上的实验显示，该方法明显优于基线方法。