事件历史事件
场景语义成为MLLM越狱新攻击面
先了解这件事
AI 综述
2026年10月9日发布的arXiv论文指出,多模态大模型存在一类被忽视的漏洞:仅凭与任务相关的场景语义,即使图像不含额外攻击指令、原任务意图不变,模型也可能从拒答转为顺从。研究者将其形式化为场景语义视觉安全漏洞,构建覆盖八类风险、九款白盒与黑盒MLLM的SceneSafetyBench,并提出Scene-Grounded Attacks(SGA),在保留原任务前提下构造经校验的场景语义查询并组合其独立回答,在九款目标模型上取得平均86%以上的攻击成功率。
AI 根据报道生成 · 29 天前更新
走势与进展
每小时关注度
现在 38,24 小时 0%·峰值 38(11月6日 03:00)
11月7日11月8日现在 38
相关研究
这件事的论文
- 场景即攻击面:揭示多模态大模型中被忽视的场景语义安全失效
arXiv · 2026-10-08 · 深度解读
后续时间线
10月9日
- arXiv:越狱、提示注入、投毒与防御场景即攻击面:揭示多模态大模型中被忽视的场景语义安全失效
研究者揭示多模态大模型的一类漏洞:仅凭与任务相关的场景语义,即使图像输入不含额外攻击指令、原任务意图不变,模型也可能从拒答转为顺从。他们把这一失效形式化为场景语义视觉安全漏洞,并构建 SceneSafetyBench,覆盖八类风险与九款白盒和黑盒 MLLM。在此基础上提出 Scene-Grounded Attacks(SGA),在保留原任务的前提下构造经校验的场景语义查询并组合其独立回答。SGA 在九款目标 MLLM 上取得平均 86.17% 的攻击成功率,比最强基线高 8.55 个百分点,并在八款模型上取得最高 ASR。分析显示该失效与任务相关的视觉证据如何影响下游安全表征有关,研究者认为仅靠视觉接地无法完全解释观察到的安全偏移。