我是看到了还是想到了？用概念注入探测视觉语言模型的现实监测

研究者测试视觉语言模型能否区分被注入的内部概念与图像中真实看到的内容，六个模型中只有 Gemma-3-27B 能较稳定地识别注入概念（识别率 35%，仅用 steering 时为 3%），且几乎无误报。这对应认知心理学中的现实监测问题。测试范式让图像与注入概念独立变化，每轮要求模型报告看到了什么、是否有想法被注入及其内容，并同时为概念识别与来源归属打分。即便如此，Gemma-3-27B 报告的来源也不稳定：强注入或经视觉通路的注入会被当作看到的内容，画面中出现可见物体时正确的想法报告几乎消失；在普通图像描述任务中，被注入的物体最多出现在 87% 的真实照片描述里。论文据此认为，评估多模态自我报告需要同时核对内容与所报告的来源。