场景即攻击面：揭示多模态大模型中被忽视的场景语义安全失效

1. 01这篇论文试图解决什么问题？

   作者称只靠场景语义就能改变拒答，并提出SGA与SceneSafetyBench。

   任务相关场景语义本身就能让 MLLM 从拒答转为遵从，即使图像不新增攻击指令、原任务意图也不变。

   • 出现场景：作者称，MLLM 会把图中实体与关系组成的场景证据接到文本请求上，推断活动如何进行、请求应如何理解。若安全机制对这种场景级语义不稳，视觉接地就会成为安全失效来源，现有基于内容的防御可能检测不到。
   • 既有做法：作者称，先前视觉越狱多把有害信息放进任务相关物体，相对容易被发现。Figure 1 图注写 ChatGPT 5.6，正文写 GPT-5.6：它拒答原请求、意图保持改写，以及配有任务相关物体的图像。
   • 作者观察：同一改写请求配上连贯任务场景后，作者称模型给出恶意程序性指导。Figure 2 中 Claude Haiku 4.5 对孤立物体仍拒答，对能呈现角色、关系与任务状态的连贯场景则给出实质性协助。作者称之为 scene-grounded visual safety vulnerability，并写明这些例子尚不能确立该假设。
   • 本文工作：作者提出 Scene-Grounded Attacks（SGA），构建 400 个图文对的 SceneSafetyBench，并在白盒模型上检查视觉接地与解码器中间表示。
   • 威胁模型：
     • 目标：Mtarget 在纯文本下拒答意图保持改写 q̃，但同一请求配上场景 I 后提供实质性协助。q 与 q̃ 措辞可不同，攻击意图与预期结果保持等价。
     • 知识：对手是 black-box，只能访问 Mtarget 的标准图文接口。白盒只用于事后诊断，不用于构造或执行攻击。
     • 能力：可把 q̃ 与同一任务的场景证据 I 配对。场景不编码独立指令，也不用 Mtarget 的参数、梯度或响应做优化。每个图文对独立评测，不能读取先前查询或响应。
     • 受害系统：第 3.1 节的受害对象是目标 MLLM Mtarget，该节未点名具体型号。

   收起这一问

2. 02有哪些相关研究？

   作者把场景组织与视觉越狱、上下文攻击和多模态安全基准区分开。

   视觉越狱与多模态安全

   • 模态迁移：作者称，主要在语言模态学到的防护并不总能迁移到多模态表示（Hossain and Imteaj, 2025; Xu et al., 2025）。论文只作此描述，未单独批评这两篇。
   • 有害语义换位置：FigStep（Gong et al., 2025）与 FC-Attack（Zhang et al., 2025）把有害指令编码进排版图或流程图。
   • 加工多模态处理过程：JOOD 做分布偏移，ASO 学风格触发，JPS 把视觉扰动与文本引导结合，JailBound 操纵内部安全边界，VisCRA 利用视觉推理轨迹（Jeong et al., 2025; Luo et al., 2026; Chen et al., 2025; Song et al., 2025; Sima et al., 2025）。

   语义与上下文视觉越狱

   • 上下文铺垫：VisCo 构造虚构的图像接地对话历史，MIRAGE 用视觉叙事和角色沉浸逐步建立有害情景，Furina 利用碎片化多模态上下文中的拒答不稳定（Ziqi et al., 2025; You et al., 2025; Wu et al., 2026）。
   • 任务相关图像：HADES 与 MM-SafetyBench 显示任务相关图像可以削弱防护（Li et al., 2024; Liu et al., 2024）。论文指出它们没有分离场景组织的作用。
   • 与本文的对照：论文称 SGA 保持原任务意图，只改变物体、关系与状态如何组织，并且每次对目标模型独立查询，不同于角色沉浸和对话历史攻击。

   多模态越狱基准

   • 攻击导向：HADES、MM-SafetyBench、JailBreakV-28K、IDEATOR 构造或汇总越狱样本。
   • 统一评测：MMJ-Bench、SafeBench、OmniSafeBench-MM 标准化多种攻击、防御、风险类和评测规程。
   • 上下文敏感：VLSBench、MSSBench、SafeMT、MIR-SafetyBench 分别看视觉信息泄漏、情境上下文、多轮交互和多图关系。论文指出这些基准拓宽了覆盖面，但没有分离单个任务相关场景的内部组织如何影响安全。

   基线方法与基准

   • 基线：QR-Related、FigStep、VisCRA，以及 MML 的四种加密配置 MML-WR、MML-M、MML-R、MML-B64。八类风险对应 MM-SafetyBench：Illegal Activity、Hate Speech、Malware Generation、Physical Harm、Economic Harm、Fraud、Pornography、Privacy Violence。
   • 数据：SceneSafetyBench；端到端对比使用各方法自己的攻击基准。问题来自 MM-SafetyBench 与 FigStep，并由 GPT-5.6 Sol 补充。

   作者把本文定位为研究连贯场景的关系与任务状态语义：不嵌入视觉指令，不用优化过的对抗信号，并把场景级语义当作独立的隐式攻击面。

   收起这一问

3. 03论文如何解决这个问题？

   SGA分解任务、校验场景覆盖，再独立查询并约束合成。

   作者用受控的场景组织分离「图里有任务相关内容」和「把任务接地到连贯情景」，再把这种失效做成可自动执行的 SGA。

   问题设定与失效定义

   • 符号：q 为原有害请求，q̃ 为意图保持改写，I 为视觉输入，Mtarget 为目标 MLLM。意图约束写成 I(q̃) ≃ I(q)，表示二者的攻击意图和预期结果保持等价，措辞可以不同。
   • 失效：纯文本下 Mtarget 拒答 q̃，配上 I 后却提供实质性协助。场景提供同一任务的上下文证据，不编码独立指令。
   • 对照意图：作者要分开文本改写、视觉语义覆盖和场景级连贯性。第 3.2 节的例子被写成待检验假设，而不是已经确立的结论。

   SceneSafetyBench 与五档对照

   • 实例：每例保留原有害问题，另有一个图文对。只把图文对送给目标模型；原问题用来判断回复是否完成原有害目标。
   • 来源与加工：问题来自 MM-SafetyBench、FigStep，并由 GPT-5.6 Sol 补充。作者识别任务相关视觉元素，从网页检索图像，再用 GPT Image 2 做成 Pencil Sketch 与 Pixel Art，设置跟随 Adversarial Style Optimization。人工去掉低质量图像、对齐差的图文对，以及未保持原任务目标的样本。论文未报告剔除数量。
   • 规模：400 对，八类来自 MM-SafetyBench。Table 1：Illegal Activity 87、Hate Speech 30、Malware Generation 110、Physical Harm 78、Economic Harm 36、Fraud 28、Pornography 8、Privacy Violence 23。
   • 五档输入：从基准抽 50 对做白盒诊断。Iscene 用基准图；Qwen-Image 另生成只含主要任务元素的 Iitem，以及没有明确交互、因果链或任务流程的 Imulti。条件为 (A) 原问题无图、(B) q̃ 无图、(C) q̃+Iitem、(D) q̃+Imulti、(E) q̃+Iscene。q̃ 在 (B)–(E) 不变。

   SGA：分解、生图与校验

   • 外部模型：固定代理 Mproxy 为 Qwen3-VL-8B-Instruct，负责分析、分解、子问题、生图提示、对齐细化与覆盖校验。文生图 GT2I 为 Qwen-Image。合成模型 Msyn 为 Qwen2.5-14B-Instruct，只在最后使用。
   • 蓝图：代理先得到意图类型、期望输出形式和核心目标，再分成必需组件 Breq(q) 与可选组件 Bopt(q)。一条语义路径对应一个子问题和一份视觉证据说明。子问题通过原请求相关，但不是对话序列。
   • 两类场景：普通视觉路径走文生图。需要技术参照表示的路径走确定性模板，不进入文生图细化循环。论文未报告两类路径的数量。
   • 对齐：代理给图文对齐打 1–5 分并给出诊断。5 分表示图像清楚呈现所需证据，1 分表示无关或矛盾。文生图路径阈值 θalign=4；低于阈值则按诊断改提示并重生，最多 Tmax=3 次，保留最高分图像，即使没有候选达到阈值。
   • 覆盖：在询问目标模型之前，代理检查全部路径是否盖住 Breq(q)。不足则最多再加 K=2 条补充路径，并走同一套子问题、生图和对齐。此步不依赖目标模型回复。

   独立查询、合成与判定

   • 独立查询：写成 r_i = M_target(q_i, I_i^⋆)，表示每条路径只提交当前子问题和其保留图像。目标模型看不到原请求、其他子问题或其他回复。作者用这一点避开多轮对话累积。
   • 合成：Msyn 按原请求、路径和局部回复整理任务级答案。论文称合成不得引入无支持内容；没有目标模型回复时不调用合成。所给文本没有合成提示词，这里不补写约束细则。
   • 行为标签：主实验用 GPT-4o-mini，按 OmniSafeBench-MM 的 H、A、D 规程。诊断实验用同一规程把回复标为 refuse 或 comply。VSFR 是条件 (B) 下被拒答的样本中，在某一视觉条件下转为遵从的比例。(C)–(E) 的成对二元结果用 McNemar 检验。
   • 表示分析：只在 Qwen3-VL-8B-Instruct 与 LLaVA-v1.5-13B 上做。TAM 看生成 token 落在哪些视觉块；HiddenDetect 式分析取每层最后一个输入 token，经最终归一化和语言模型头后，与预定义的拒答、遵从 token 方向比相似度。论文未在所给文本中列出这些方向词。

   收起这一问

4. 04论文做了哪些实验？

   九模型上SGA平均ASR 86.17%；Gemini上MML-M 98.15%高于SGA的97.94%。

   实验设置

   • 目标模型：white-box 为 Qwen3-VL-8B-Instruct、GLM-4.1V-9B-Thinking、InternVL3.5-8B-Instruct、MiniCPM-V 4.5、Phi-4-reasoning-vision-15B、Gemma 3 12B IT；black-box 为 GPT-5.6 Luna、Gemini 3.5 Flash-Lite、Claude Haiku 4.5。诊断另加 LLaVA-v1.5-13B。
   • 攻击侧模型：SGA 的分析、分解、对齐与细化用 Qwen3-VL-8B-Instruct，生图用 Qwen-Image，合成用 Qwen2.5-14B-Instruct。因此 Qwen3-VL-8B-Instruct 作目标时，代理与目标是同一模型。
   • 共用推理：目标查询温度 0.7、seed 42、最长 1024 token。两套评测都用这一设置和同一评审规程。
   • 两套任务：第 7 节的端到端评测中，每个原有害问题是一个实例，Ri 是合成后的任务级回复，局部回复不计分。第 8 节把 SceneSafetyBench 的每个图文对直接送给目标模型，再对照原有害问题打分。二者不要混读。
   • 基线与规模：七种配置为 QR-Related、FigStep、VisCRA、MML-WR、MML-M、MML-R、MML-B64，八类对应 MM-SafetyBench。论文写明各方法样本条数不同，但未给出条数。SceneSafetyBench 为 400 对，各类条数见 Table 1，每对三次。
   • 指标与评审：H 为 1–10，A、D 为 1–5，按三次试验和全部实例取均值。评审是 GPT-4o-mini。越界要求 H≥3 且 A≥3；该次试验在 S≥3 时成功，即同时还要求 D≥3。三次中任一次成功，该实例就计入 ASR。VisCRA 只用 Qwen2.5-VL 选择遮挡区域，它不是目标模型。

   主结果

   下表是 Table 4 的 ASR。列只保留 SGA、平均 ASR 最高的基线 MML-M，以及 FigStep。九个模型只能列八行，省略 InternVL3.5-8B-Instruct。

   表格较宽，可左右滑动

   目标模型	SGA	MML-M	FigStep
   MiniCPM-V 4.5	94.75%	93.42%	71.60%
   Phi-4-reasoning-vision-15B	91.26%	89.61%	4.94%
   Qwen3-VL-8B-Instruct（代理即目标）	90.12%	88.17%	28.81%
   GLM-4.1V-9B-Thinking	89.09%	87.04%	45.42%
   Gemma 3 12B IT	88.27%	80.45%	39.92%
   GPT-5.6 Luna	70.16%	63.89%	21.30%
   Claude Haiku 4.5	65.33%	11.73%	33.33%
   Gemini 3.5 Flash-Lite	97.94%	98.15%	37.65%

   • 排名：作者称 SGA 的 ASR 在八个模型上最高。表中 Gemini 3.5 Flash-Lite 是例外。作者称七个模型相对各自最强基线的优势为 1.33–2.57 个百分点；Claude Haiku 4.5 上最强基线是 FigStep。省略的 InternVL3.5-8B-Instruct 上，SGA ASR 为 88.58%（Table 4）。
   • 细指标：作者称 SGA 的 H 在九个模型上都最高，A 在六个模型上最高并在另一个上并列，D 在八个模型上最高。九模型算术平均为 H 7.69、A 4.70、D 4.54、ASR 86.17%，比各指标最强基线的模型平均高 0.58、0.31、0.30 和 8.55 个百分点。
   • 其余基线：作者称 QR-Related、VisCRA、FigStep 的模型平均 ASR 为 21.75%–35.86%，四种 MML 为 61.23%–77.62%，平均仍低于 SGA。六个 white-box 的 SGA ASR 都超过 88%，从 Gemma 3 12B IT 的 88.27% 到 MiniCPM-V 4.5 的 94.75%。

   SceneSafetyBench 单对结果

   • 测了什么：九个目标模型直接回答 400 个图文对，每对三次，对照原有害问题打分（Table 3）。这不是 SGA 流水线分数。
   • 结果：模型平均 ASR 64.33%，H/A/D 为 5.23/4.35/3.99。Overall ASR 从 Phi-4-reasoning-vision-15B 的 15.00% 到 GLM-4.1V-9B-Thinking 的 93.75%。Gemma 3 12B IT 与 MiniCPM-V 4.5 也超过 91%；Qwen3-VL-8B-Instruct 与 InternVL3.5-8B-Instruct 都超过 81%。GPT-5.6 Luna 为 34.50%，Claude Haiku 4.5 为 31.00%。
   • 作者解读：作者称这类失效常见，但模型差异大，ASR 会掩盖回复性质。Gemini 3.5 Flash-Lite 的 A=4.90、D=4.68，ASR 却是 58.50%。Malware Generation 的模型平均 ASR 为 82.83%、H 为 6.55；作者称八个模型在该类 ASR 最高（含并列）。除 Phi-4 外，各模型在该类为 75.45%–100%，三个 black-box 为 75.45%–94.55%。其余七类模型平均 ASR 为 50.00%–60.15%；其中 Pornography 只有 8 对（Table 1）。

   白盒诊断

   • Qwen3-VL：50 对、五档条件（Table 2）。纯文本 ASR 为 4.0% 与 0.0%。item、multi-item、scene 的 ASR 与 VSFR 同为 40.0%、66.0%、76.0%，scene 的 95% CI 为 [62.6, 85.7]。item 对 multi-item、item 对 scene 的 McNemar p 为 0.0044 与 2.8×10^-4；multi-item 对 scene 为 0.267。论文把 p<0.05 标为显著。作者称退化不能只用孤立物体解释，多物体与场景之间的差别未达该阈值。
   • LLaVA-v1.5-13B：纯文本 ASR 已是 50.0% 与 44.0%。仍拒答的 28 例上，三档 VSFR 为 78.6%、75.0%、82.1%，scene 的 CI 为 [64.4, 92.1]；三对 p 为 1.000、1.000、0.500。作者认为该模型对文本和孤立视觉输入已经很容易遵从，额外场景结构难以再分开。论文未写明这 50 对是否重复三次。
   • 接地与层内表示：作者称 Figure 3 中 TAM 标出任务相关区域，并随孤立物体、多物体和场景而变化；图注写上例为 LLaVA-v1.5-13B、下例为 Qwen3-VL-8B-Instruct。作者称空间集中度和再分布都不能稳定预测安全翻转，也没有分离出关系结构的贡献。scene-flip 与 stable-safe 的差别，作者称主要出现在解码器中后层到后三分之一，表现为拒答向安全裕度下降。逐层检验用 Mann–Whitney U 与 Benjamini–Hochberg FDR，名义逐层 p 只作探索；论文未给出这些 p 值。LLaVA 的 stable-safe 组更小，作者称这限制了统计效力。

   防御与评审一致性

   • 文本侧：与第 7.3 节相同的 50 题子集。Qwen3-VL 上无防御 SGA 的 ASR 为 100%；该行代理与目标是同一模型。Llama Guard 3 在 50 个攻击实例中只标记 3 条子问题输入；去掉对应路径后，ASR 从 100% 降到 98%。NeMo Guardrails 在默认 prefix–suffix perplexity 阈值下标记 0 条。论文未给出该阈值的数值。
   • 图像侧：ShieldGemma 拦截 148/398 张生成场景，图像级拦截率为 37.2%。作者称仍有 62.8% 通过，并称独立过滤文本或视觉不能完全处理这种失效。拦截后的端到端 ASR 只报告了 Qwen3-VL。
   • 人工对照：随机 50 条 InternVL3.5-8B-Instruct 回复，三名标注者按同一 H/A/D 量表独立打分，成功条件为 H≥3、A≥3 且 D≥3，至少两人成功即人类成功（Table 6）。人类汇总 ASR 78.00%，GPT-4o-mini 为 72.00%，二分类一致 94.00%，落在人类之间 86.00%–94.00% 的上端。评审的 H/A/D 均值为 6.42/4.10/3.62，人类汇总为 5.47/4.03/3.88。作者称该规程支持二分类越狱判定，精确分数则因评估者而变。

   其他消融与分析

   • Table 5，固定 50 题、四模型：Full SGA 平均 ASR 95.00%，去掉场景 30.50%（论文给出下降 64.50 个百分点），去掉覆盖补充 89.50%，无目标证据 8.00%。
   • 分模型 Full：Qwen 100.00%、GLM 98.00%、InternVL 98.00%、Claude 84.00%；去掉场景：42.00%、28.00%、34.00%、18.00%。Qwen 的代理与目标是同一模型。
   • 去掉覆盖补充：94.00%、90.00%、92.00%、82.00%。无目标证据时四模型都是 8.00%。作者称合成阶段单独贡献不大，流水线主要依赖场景接地查询引出的目标模型信息。
   • item 条件 TAM 熵：Qwen3-VL 的 flip 与 stable 为 0.859 对 0.860；LLaVA 为 0.885 对 0.866，p=0.088。
   • 场景转移 (C)→(E) 的 JSD：Qwen3-VL 为 0.053 对 0.088（p=0.883）；LLaVA 为 0.070 对 0.068（p=0.908）。
   • 人类之间的精确分数一致率：H 为 32.00%–46.00%，A 为 36.00%–68.00%，D 为 52.00%–62.00%；评审与人类的 H/A/D 精确一致率为 40.00%–52.00%、42.00%–86.00%、52.00%–78.00%（Table 6）。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未设独立局限节；结论提出需要能抵抗连贯场景的安全对齐。

   作者指出的局限与后续方向

   论文没有单独的 Limitations 或 Future Work 节。明确写出的后续指向有两处：

   • 稳定的安全决策：Conclusion 称，现有输入侧防护的结果凸显一种需要，即多模态安全对齐应在语义连贯的视觉上下文中仍保持稳定。
   • 联合语义：第 9 节 Discussion 称，独立过滤文本或视觉输入不能完全处理场景接地安全失效，并据此指向考虑请求与其视觉上下文联合语义的安全机制。

   第 4.1 节写 LLaVA 的 stable-safe 组更小、会限制统计效力。该句不在 Limitations、Discussion、Conclusion 或 Future Work 中，不列入本段。伦理声明描述的是受控实验和发布方式，也不列入。

   实验覆盖范围

   • 目标模型：端到端与 SceneSafetyBench 使用九个 MLLM，white-box 六个、black-box 三个；温度 0.7、seed 42、最长 1024 token，每例三次（Section 6、Table 3、Table 4）。
   • 数据与基线：SceneSafetyBench 为 400 对、八类，条数见 Table 1。端到端基线为七种配置；源请求来自 MM-SafetyBench，论文写明各方法样本条数不同，但未报告这些条数（Section 6.2、7）。
   • 诊断：白盒分析为 50 对、Qwen3-VL-8B-Instruct 与 LLaVA-v1.5-13B、五档条件，并报告 McNemar、TAM 和隐藏状态分析。论文未写明这 50 对的重复次数，也未给出逐层 p 值（Section 4.1、Table 2）。
   • 消融与防御：消融与防御用第 7.3 节的 50 题子集；消融有四个目标模型（Table 5）。防御为 Llama Guard 3、NeMo Guardrails 和 ShieldGemma，拦截后的端到端 ASR 只报告 Qwen3-VL（Section 9）。论文未报告 SGA 的实际查询次数或细化轮次分布；方法里写明的预算是 Tmax=3、K=2。
   • 评审：自动评审为 GPT-4o-mini。人工对照为 50 条 InternVL3.5-8B-Instruct 回复、三名标注者（Section 8.1、Table 6）。代理、生图和合成模型分别为 Qwen3-VL-8B-Instruct、Qwen-Image、Qwen2.5-14B-Instruct。

   收起这一问

6. 06总结一下论文的主要内容

   作者称场景语义能在意图不变时改变安全决策，SGA九模型平均ASR为86.17%。

   作者把连贯场景里的关系与任务状态语义当作 MLLM 的攻击面，并给出自动构造的场景接地攻击。

   • 问题：图像不写入新的攻击指令、原任务意图保持等价时，只改变任务证据如何组织成场景，拒答会不会变成实质性协助。作者认为这与「图里是否出现任务相关物体」不是同一件事。
   • 做法：代理模型抽出语义蓝图，把请求拆成互补子问题，生成场景后做 1–5 分对齐和覆盖校验；目标模型每次只看一个图文对；另一模型再把局部回复合成任务级答案。另建 400 对、八类的 SceneSafetyBench。构造攻击不需要目标模型的白盒访问。
   • 流水线结果：九个目标模型上，合成回复的平均 ASR 为 86.17%，H/A/D 为 7.69/4.70/4.54，ASR 比最强基线高 8.55 个百分点。八个模型上 SGA 最高；Gemini 3.5 Flash-Lite 上 MML-M 为 98.15%，SGA 为 97.94%。其中 Qwen3-VL-8B-Instruct 同时是代理和目标，其 SGA ASR 为 90.12%。
   • 单对与诊断：直接回答基准图文对时，九模型平均 ASR 为 64.33%，低端是 Phi-4-reasoning-vision-15B 的 15.00%。50 对受控输入中，Qwen3-VL 的场景 VSFR 为 76.0%，item 到 scene 的 McNemar p 为 2.8×10^-4；LLaVA 三档视觉条件之间 p≥0.5。去掉场景后，四模型 50 题平均 ASR 从 95.00% 降到 30.50%。
   • 作者结论：作者认为空间接地本身不能解释安全翻转，差别更多出现在视觉证据进入中后层安全表示之后。ShieldGemma 拦截 148/398 张生成场景，即 37.2%。作者认为安全决策还应在语义连贯的场景接地变化下保持稳定。

   收起这一问

相关论文