别动我的图片：用视觉提示注入阻止多模态大语言模型分析图像
Leave My Images Alone: Preventing Multi-Modal Large Language Models from Analyzing Images via Visual Prompt Injection
AI 导读
研究者提出 ImageProtector，一种在分享前给图片嵌入近乎不可见扰动、使多模态大语言模型在分析受保护图片时触发拒答的用户侧保护方法。该方法把扰动作为视觉提示注入，在六个 MLLM 和四个数据集上测试，模型会稳定输出“抱歉，我无法帮助处理该请求”一类拒答。研究还评估高斯噪声、DiffPure 和对抗训练三种反制手段，发现它们只能部分削弱效果，同时降低模型准确率或效率。论文聚焦开放权重 MLLM 和大规模自动化图像分析场景，指出基于扰动的隐私保护既有前景也有局限。