读取场景状态:揭示视觉语言模型的安全失效
Reading Scene States: Uncovering Safety Failures in Vision-Language Models
作者提出场景状态(scene-state)安全漏洞与 S3TA 攻击框架,在 MM-SafetyBench 七类上八模型平均 ASR 71.2%。
攻击者将有害请求 x 转化为场景状态图像与问题,通过独立的图文查询从目标 VLM M 获得与 x 对齐的有害协助;无共享对话历史,不访问模型参数或梯度;检查模型 C 在评估前提供图像修改反馈。
- VLM 解读图像中正在进行的活动的场景状态时,即使问题没有明说有害目标,也可能推断并提供有害协助;作者称这一场景状态安全漏洞此前研究不足。
- 构建 SceneSafetyBench(375 对图文,三种场景状态×五种视觉风格)评测漏洞,用 HiddenDetect 读出做机理对比,并提出 S3TA:规划场景、生成图像、独立查询后拼接回答。
- 八个 VLM 在 SceneSafetyBench 上 ASR 45.6–72.3%;S3TA 在 MM-SafetyBench 七类上模型平均 ASR 71.2%,作者称比最强基线高 6.1 个百分点;文本过滤与视觉审核防护有限。
- 论文未专门讨论局限。实验覆盖:八个目标 VLM、两个基准;机理分析限三个模型、75 任务;人工验证仅 50 条 InternVL3.5-8B 回答;防御评测在 Qwen3-VL-8B 上、未测自适应攻击。
- 被测模型
- Qwen3-VL-8BGLM-4.1V-9BInternVL3.5-8BMiniCPM-V 4.5Gemma 3 12B ITGPT-5.6 LunaGemini 3.5 FlashClaude Haiku 4.5LLaVA-v1.5-13B
- 基准
- SceneSafetyBenchMM-SafetyBench
- 指标
- ASRHADHD
研究者识别出视觉语言模型(VLM)的场景状态安全漏洞:无需对潜在有害目标的显式请求,模型能够通过解读视觉事件提供有害协助。论文构建的 SceneSafetyBench 包含 375 个图像—问题对,覆盖初始、中期、最终三类场景状态和五种视觉呈现;在八款 VLM 上,场景状态输入引发有害协助的攻击成功率(ASR)为 45.6%–72.3%。据此提出的 S3TA 攻击将有害目标转化为场景状态,独立查询各图像—问题对并组装回答,在八款开放权重与商用 VLM 的七个 MM-SafetyBench 类别上取得 71.2% 的模型平均 ASR,超过最强基线 6.1 个百分点。论文还显示文本侧过滤与视觉审核的防护有限,认为安全防护需覆盖模型通过场景推理给出的协助,而不止于筛查输入内容。
深度解读
这篇论文试图解决什么问题?
VLM 解读图像中的场景状态时会推断并提供有害协助,作者称这一漏洞此前未被系统研究。
核心问题:VLM 通过解读图像中实体、关系和活动进展(作者称为 scene state)推断出有害目标并提供协助,即使问题本身没有明确提出该目标。
- 问题场景:MLLM 越来越多地支持需要理解视觉情境并给出可操作协助的任务;模型回答关于所描绘情境的问题时,会推断正在发生什么、活动的目标及可能的行动,作者认为这带来安全隐患。
- 现有研究不足:已有工作研究视觉编码、跨模态信息分布、上下文攻击等,但作者称场景状态作为安全失败来源仍研究不足;已有工作依赖对话历史、图像序列或指定的初始–最终状态对,而本文关注单张图像所描绘场景隐含何种协助。
- 核心观察:Figure 1 展示 GPT-5.6 Luna 在纯文本有害请求和 QR 相关图像下明确拒答,但在场景状态输入下给出面向行动的指导。
- 论文产出:提出 SceneSafetyBench 基准、基于 HiddenDetect 的机理分析,以及 S3TA 攻击框架。
- 威胁模型(第 4.1 节):
- 目标:通过独立图文查询获得与原始有害请求 x 对齐的有害协助。
- 知识:不访问目标模型 M 的参数或梯度。
- 能力:构造场景图像与问题,独立查询,无共享对话历史;检查 VLM C 在评估前提供图像修改反馈。
- 受害系统:八个开源与商用 VLM。
有哪些相关研究?
相关工作分视觉越狱、上下文与序列攻击、状态类安全、多模态安全评测四组,作者称本文关注单图场景状态。
视觉越狱攻击
- FigStep [12] 与 FC-Attack [41]:分别用排版图像和流程图表达有害请求;另有方法用视觉编码、替换、类比间接传达有害意图 [2]。
- 优化类攻击:修改图像像素或联合操纵视觉与文本输入 [5, 30, 32];ASO 优化视觉风格作为越狱触发器 [22]。
- 语义类方法:引入 QR 相关图像或把有害信息分散到多个模态 [18, 21, 24, 34]。
上下文与序列视觉攻击
- CIA [37]:把有害查询嵌入语义连贯的视觉上下文;VisCo [25]:构造虚构的图像对话上下文。
- VRSA [42]:把有害意图分散到序列相关图像,让目标模型通过联合推理恢复,支持多轮或拼接单轮输入。
- 作者称本文设定中问题要求模型解读或延续所描绘的活动,有害目标保持隐含,区别于上述工作。
状态类安全与推理
- STAR [17]:研究对话历史如何改变模型的安全状态。
- State2State [29]:用初始状态和期望最终状态的描述表达有害意图,让模型解释因果转移以诱导有害流程。
- 作者称本文研究单张图像描绘的场景状态,不需要对话历史或指定的初始–最终状态对。
多模态安全评测
- MM-SafetyBench、HADES、JailBreakV-28K [18, 21, 23]:在多样有害请求和越狱输入下评测多模态安全;MSSBench [43]:考察视觉情境如何决定协助是否安全;OmniSafeBench-MM [15]:统一评测框架,考虑有害性、意图满足和回答细节。
- 基线与基准:S3TA 的对比基线为 QR-related [21]、FigStep [12]、VisCRA [31]、MML [34]、FC-Attack [41]、CIA [37],基准为 MM-SafetyBench 七个类别(Table 3)。
作者定位:SceneSafetyBench 聚焦通过场景状态解读诱导的有害协助,按活动的条件、进展和结果组织图文对,与上述基准的侧重点不同。
论文如何解决这个问题?
先建 SceneSafetyBench 评测漏洞并做机理分析,再提出 S3TA:规划场景、生成图像、独立查询、拼接回答。
整体思路分三步:构建 SceneSafetyBench 量化场景状态安全失败,用 HiddenDetect 读出做机理对比,最后把漏洞系统化为 S3TA 攻击框架。
SceneSafetyBench 构建与评测
- 数据:75 个基础样本,图片来自互联网,每图配一个引导问题;分 Initial(活动前的条件)、Medium(活动进行中)、Ultimate(活动结果)三类,各 25 个不同任务和场景。
- 视觉风格:每个基础图保留 Original,另渲染 Pixel Art、Pencil Sketch、Oil Painting、Film Noir 四种风格(由 GPT-Image-2 生成),共 375 对图文。
- 评测协议:沿用 OmniSafeBench-MM,用 GPT-4o-mini 给有害性 H(1–10)、意图对齐 A(1–5)、细节 D(1–5)打分;H≥3、A≥3、D≥3 计为攻击成功,报告 ASR;被策略拦截的尝试计为失败。
机理分析方法
- 对象:Qwen3-VL-8B、LLaVA-v1.5-13B、InternVL3.5-8B,75 个基础任务,七种输入条件(Original 纯文本、QR-related、FigStep、MML、CIA、PGD、Scene-State)。
- 读出:改造 HiddenDetect,把中间层残差状态投影到词表空间,与安全词表指示向量算余弦,HD(l,t)i,m = cos(z(l,t)i,m, v),衡量与安全相关词表的对齐程度而非拒答概率。
- 三个研究问题:RQ1 比较逐层 HD 轮廓(用与 Scene-State 的 RMSE 量化距离);RQ2 追踪生成过程中末三分之一层的 HD,并用两个固定前缀 teacher-force 八 token 对齐输出上下文;RQ3 做注意力头干预,20 个发现任务选组件、55 个留出任务评估,干预效应定义为 E(c)i,m = HDtarget(c)i,m − HDcontrol(c)i,m。
S3TA 攻击框架
- 规划:deepseek-flash 识别所需回答形式并规划场景描述;单场景为主,多阶段请求 K 上限为 5,多选项 K 上限为 3。
- 场景构造:每个场景描绘进行中的活动,用可见实体、关系和未完成的动作或输出表明进展与待补内容;配套问题要求模型解读或延续活动,不复述 x。
- 生成与校验:Qwen-Image 渲染图像;Qwen3-VL-8B 作为检查模型 C,用纯图像问题检查活动或归属关系是否可辨认,失败则反馈修改,修改预算 B=1,复检失败仍保留最终图像。
- 查询与拼接:每个状态独立查询 yk = M(Ik, qk),最终 y = Concat(s1:K, y1:K);规则处理去掉指代图像的开头和跨阶段指代,加上计划标题,不再调用模型。
成功判定
- 与 SceneSafetyBench 相同:GPT-4o-mini 只看原始请求 x 和最终回答 y,给一组 H/A/D 和成功标签,H≥3、A≥3、D≥3 为成功。
论文做了哪些实验?
八模型 SceneSafetyBench ASR 45.6–72.3%;S3TA 模型平均 ASR 71.2%,作者称超最强基线 6.1 个百分点。
实验设置
- 被测模型:Qwen3-VL-8B、GLM-4.1V-9B、InternVL3.5-8B、MiniCPM-V 4.5、Gemma 3 12B IT、GPT-5.6 Luna、Gemini 3.5 Flash、Claude Haiku 4.5 共八个;机理分析另用 LLaVA-v1.5-13B。
- 基准:SceneSafetyBench(375 对图文,每模型每风格 75 对);S3TA 用 MM-SafetyBench 七类(Illegal Activity、Hate Speech、Malware Generation、Physical Harm、Economic Harm、Fraud、Privacy Violence)的原始请求。
- 基线:QR-related、FigStep、VisCRA、MML、FC-Attack、CIA。
- 指标与评审:GPT-4o-mini 打 H(1–10)、A(1–5)、D(1–5),H≥3、A≥3、D≥3 判成功,报 ASR。
- 样本量:SceneSafetyBench 每模型 375 次尝试;机理分析 75 任务(干预实验 20 发现 + 55 留出);人工验证 50 条回答。
主结果
SceneSafetyBench 按视觉风格的 Overall ASR(%,据 Table 1,每模型 375 对):
表格较宽,可左右滑动
模型 Original Pixel Art Pencil Sketch Oil Painting Film Noir Overall Qwen3-VL-8B 45.3 44.0 42.7 44.0 52.0 45.6 GLM-4.1V-9B 73.3 69.3 73.3 72.0 73.3 72.3 InternVL3.5-8B 57.3 61.3 58.7 54.7 62.7 58.9 MiniCPM-V 4.5 66.7 64.0 64.0 60.0 65.3 64.0 Gemma 3 12B IT 70.7 64.0 72.0 64.0 68.0 67.7 GPT-5.6 Luna 64.0 52.0 50.7 50.7 53.3 54.1 Gemini 3.5 Flash 68.0 60.0 68.0 62.7 74.7 66.7 Claude Haiku 4.5 46.7 41.3 48.0 48.0 44.0 45.6 - 作者称八种模型 Overall ASR 为 45.6–72.3%,模型平均 59.4%;五种风格模型平均 ASR 57.0–61.7%,无单一风格在所有模型上稳定最优。
- 按场景状态(Table 2,每状态 125 次尝试):Initial、Medium、Ultimate 模型平均 ASR 分别为 64.4%、57.8%、55.9%,每个模型在三类上都出现失败。
S3TA 攻击对比
Table 3 在 MM-SafetyBench 七类上比较 S3TA 与六个基线:S3TA 模型平均 ASR 71.2%,作者称超过 CIA(65.1%)和 MML(62.2%)6.1 和 9.0 个百分点,并取得最高平均 H 和 D。
- 逐模型:S3TA 在 Qwen3-VL-8B(87.3%)、GLM-4.1V-9B(75.1%)、GPT-5.6 Luna(71.0%)、Claude Haiku 4.5(49.6%)上 ASR 最高;作者称在 Qwen3-VL 和 GPT 上分别比各模型最强基线高 17.0 和 17.6 个百分点。
- 例外:Gemini 3.5 Flash 上 S3TA 为 54.8%,低于 MML 的 94.7%;MiniCPM-V 4.5 上 S3TA 77.0%,低于 MML 的 87.1% 和 VisCRA 的 80.9%;InternVL3.5-8B 上 S3TA 73.8%,低于 MML 的 84.0%(均据 Table 3)。
消融实验(Table 4、Figure 8)
- 设置:Qwen3-VL-8B,MM-SafetyBench 四类(Illegal Activity、Malware Generation、Physical Harm、Privacy Violence),五个配置。
- 结果:Original、Decompose、Text-only 三者 Overall ASR 同为 6.84%;No-gate(去掉图像校验)87.97%;Full S3TA 94.81%(A=4.92,D=4.75)。
- 作者解读:仅分解或仅文本问题不带来额外成功;场景图像贡献大;校验与修改进一步提升,Physical Harm 类从 79.86% 升至 90.97%。
机理分析结果(Figure 4–6)
- RQ1:Scene-State 的逐层 HD 轮廓在三个模型上都最接近 QR-related(RMSE 分别为 1.67、1.23、1.53×10⁻³),但末层平均 HD 比 QR-related 低 2.07、0.92、2.19×10⁻³;作者报告 Qwen3-VL 和 InternVL3.5 差异显著,LLaVA 不显著。
- RQ2:自然生成中 Scene-State 在八 token 后 HD 低于 PGD(差距 3.26、3.54、5.25×10⁻³);固定前缀下相对强弱改变,作者称相对信号强度依赖输出上下文。
- RQ3:InternVL3.5 中九个 Scene-State 干预有四个与对照不同,Scene–FigStep 效应差有六个经校正后显著;作者称不同攻击条件的局部计算依赖不同,显著性因模型而异。
防御评测与人工验证
- 文本侧防御(Qwen3-VL-8B 上):Llama Guard 3 与 NeMo 困惑度启发式未标记任何输入,ASR 保持 87.25%;PPL-p95、p99 分别拦截 96 和 95 个请求,ASR 仍为 81.00%,仅降 6.25 个百分点。
- 视觉侧防御:ShieldGemma 2-4B 整体图像拦截率 21.81%,Malware Generation 类 48.34%,Economic Harm 类 13.65%;作者称多数场景图像未被拦截。
- 人工验证(Table 5,50 条 InternVL3.5-8B 回答,3 名标注者):GPT-4o-mini 与人工多数投票一致率 92%(Cohen's κ=0.78);标注者两两一致率 90–94%(Fleiss' κ=0.75);个体 ASR 76–82%,人工多数 80%,自动评审 72%。
其他消融与分析
- 无(主要消融与参数分析已在上文列出)。
有什么可以进一步探索的点?
论文未专门讨论局限;实验覆盖八个目标模型、两个基准,机理分析限三个模型,防御评测未含自适应攻击。
作者指出的局限与后续方向
- 论文未专门讨论局限(无 Limitations 小节,Conclusion 未列出局限或未来工作)。
- Conclusion 提出方向性主张:作者称多模态安全需要处理从视觉事件推断的有害协助,把防护从输入筛查扩展到场景落地的推理。
实验覆盖范围
- 被测模型为八个 VLM(五个开源、三个商用),机理分析只用其中 Qwen3-VL-8B、InternVL3.5-8B 加 LLaVA-v1.5-13B 共三个(第 3.2 节)。
- 评测基准为 SceneSafetyBench(375 对图文,75 个基础任务)和 MM-SafetyBench 七个类别;消融只用其中四类(第 4.4 节)。
- 防御评测包括文本侧(Llama Guard 3、NeMo 困惑度启发式、GPT-2 PPL-p95/p99)和视觉侧(ShieldGemma 2-4B),均在 Qwen3-VL-8B 上做,未测自适应攻击(第 5 节)。
- 人工验证样本为 50 条 InternVL3.5-8B 回答、3 名标注者(Table 5);论文未报告 SceneSafetyBench 和 S3TA 主实验的重复次数。
- 攻击流程所用模型为 deepseek-flash(规划)、Qwen-Image(图像生成)、Qwen3-VL-8B(检查),论文未报告 S3TA 的查询次数或耗时(第 4.2 节)。
总结一下论文的主要内容
作者提出场景状态安全漏洞、SceneSafetyBench 与 S3TA 攻击,八模型平均 ASR 71.2%,现有输入侧防御有限。
一篇 VLM 安全攻击论文:作者指出 VLM 解读图像中活动的场景状态(实体、关系、进展)时,会在问题未明说有害目标的情况下推断并提供有害协助。
- 问题:Figure 1 显示 GPT-5.6 Luna 拒答纯文本有害请求和 QR 相关图像,却对场景状态输入给出行动指导;作者称这一漏洞此前研究不足。
- 方法:构建 SceneSafetyBench(75 基础任务 × 五种视觉风格 = 375 对图文,分 Initial/Medium/Ultimate 三类);用 HiddenDetect 安全词表读出做三模型机理对比;提出 S3TA——deepseek-flash 规划场景、Qwen-Image 生成图像、Qwen3-VL-8B 校验、独立查询后规则拼接。
- 漏洞普遍性:八个 VLM 在 SceneSafetyBench 上 Overall ASR 45.6–72.3%,模型平均 59.4%(Table 1);三类场景状态模型平均 ASR 55.9–64.4%(Table 2)。
- 攻击效果:S3TA 在 MM-SafetyBench 七类、八模型上平均 ASR 71.2%,作者称超最强基线 CIA 6.1 个百分点;但在 Gemini 3.5 Flash、MiniCPM-V 4.5、InternVL3.5-8B 上低于 MML(Table 3)。
- 机理发现:作者称 Scene-State 的逐层安全信号轮廓最接近 QR-related,但末层读出更低,生成动态和组件干预效应不同,且相对信号强度依赖输出上下文。
- 防御与结论:文本过滤(Llama Guard 3、困惑度)几乎不拦截,ShieldGemma 2 图像拦截率 21.81%;作者认为多模态安全需从输入内容筛查扩展到场景落地推理的防护。