研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
Visual Grounding Safety in Vision-Language Models
AI 导读
研究者把 VLSU、BBQ-V 和 Asimov-2.0 三个安全基准改造成 15401 对匹配请求，同一有害问题分别以文本问答和视觉定位（点或边界框）形式提出，用于比较两种输出通道的安全行为。在 Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B、Qwen3-VL-8B 和 VisionReasoner-7B 五个模型上，按模型取平均后，定位模式的拒答率较文本问答低 31 至 59 个百分点，差距随危害领域而变，安全系统提示词也无法弥合这一差距。表征分析显示微调把有害请求推向各模型的拒答方向，定位模式尤为明显，而良性请求仍靠近无害参考。
推荐理由
论文用 15401 对匹配请求量化了 VLM 在 grounding 输出通道上的拒答缺口，并给出可复现的微调修补方案。