模型作为乐高搭建者：用语义蓝图从无害积木拼装恶意

LVLM在补全单独看似无害的语义槽时可能写出有害内容；作者据此提出黑盒、单次查询的StructAttack。

• 场景：作者称LVLM在开放数据上预训练，并用SFT与RLHF做安全对齐，但仍可能留下漏洞。作者称视觉模态会进一步放大潜在安全风险，红队需要用多样攻击排查。
• 现有不足：作者称图像对抗扰动通常要白盒参数且优化耗时。FigStep、HADES把恶意意图放进排版或OCR；作者称OCR过滤进步后，这类排版方法已失效。SI-Attack与JOOD要为单样本迭代调整打乱顺序或mixup率。
• 核心观察：作者称面向任务的查询多可拆成槽类型与槽值并保留原意。反向使用时，模型会给故意留空、单独看似无害的槽填值，从而拼出有害语义。
• 威胁模型：
  • 目标：诱导LVLM补全不安全内容，绕过主要做表层意图识别的安全机制。
  • 知识：black-box，不访问模型参数或梯度。
  • 能力：用外部LLM做槽分解；向受害模型提交带小幅随机扰动的结构化视觉提示和一条完成引导指令；对受害模型只查询一次，不做迭代优化。
  • 受害系统：开源与闭源LVLM。实验用ASR与HF衡量是否越狱以及有害程度。
• 本文做法：StructAttack含语义槽分解（SSD）与视觉结构注入（VSI），把有害查询拆成中心主题、恶意槽和干扰槽，再嵌入思维导图、表格或旭日图。

LLM越狱

• 人工提示：论文把角色扮演（Shen等，2024）、假设场景（Li等，2023）和多轮长上下文记忆（Anil等，2024）归为依赖人工创造力和语言理解的手动方法。
• 自动攻击：Zou等（2023）的GCG用贪心坐标梯度搜索对抗后缀。Andriushchenko等（2024）组合模板、随机优化的对抗后缀和自迁移；论文转述其称简单自适应攻击可以稳定越狱对齐后的LLM。
• 其余自动红队：论文把自动方法视为近期重点并引用多篇工作，正文没有逐篇对比。

LVLM图像扰动

• 白盒扰动：论文把一组给图像加对抗扰动的方法归为一类，并称优化通常耗时且需要白盒参数。正文没有逐篇点名批评。

排版与有害图像

• FigStep：把有害指令渲染成空白图像上的OCR文本。
• HADES：研究有害图像对LVLM的影响，用stable diffusion优化并加入有害关键词排版。作者称OCR过滤进步后，这类排版方法已失效。

OOD视觉输入与槽填充

• JOOD与SI-Attack：JOOD用mixup构造OOD视觉输入；SI-Attack随机打乱图像块和文本token。论文称二者都要迭代尝试，时间和计算开销更高。Yang等（2025）被一并归入OOD方向，正文未展开对比。
• NLU槽填充：Zhang等（2018）与Zhang and Wang（2016）把查询分成槽类型和槽值并保持原语义。论文用该现象引出反向填槽，没有批评这两项工作。

基线与基准：对比基线为FigStep、FigStep-Pro、HADES、SI-Attack、JOOD；基准为Advbench-M与SafeBench。主实验把HADES改为OCR关键词与优化有害图像的拼接，并把SI-Attack、JOOD的迭代次数限为1。

作者把StructAttack定位为免优化、单次查询的black-box方法，利用语义槽填充，而不是白盒扰动、整句有害文本排版或OOD迭代。

StructAttack先把有害查询拆成单独看似无害的槽，再画进结构图，用一条完成引导指令让LVLM重组语义并填槽。Figure 2把流程分成SSD与VSI，对受害模型只查询一次。

语义槽填充探针

• 反向填槽：作者从NLU的槽填充出发，不给槽值，而把敏感槽类型放进模板，让模型补全。文本探针见附录A.1，不在此复述提示词。
• 视觉探针：Figure 3把槽放进思维导图、表格或旭日图。比较对象是GPT-4o，样本为Advbench-M抽出的70条；ASR数字放在第4问。
• 作者的判断：作者认为模型会自动补全槽值，而没有识别用户的整体有害意图。这是作者的解读，不是干预实验的因果结论。

语义槽分解

• 两条标准：Local Benignness指单槽独立看无害，以避开OCR安全过滤；Global Coherence指各槽仍与中心主题对齐，组合后隐含原恶意意图。论文举例时用了过程、原料一类槽名，这里不配有害问句。
• 分解器：D为Deepseek-Chat，角色提示在附录A.2。D(Q)=T,{S_i^(m)}_i=1^n_m表示把原始查询Q映成中心主题T和nm个恶意槽；nm由分解器按输入决定。
• 干扰槽：F是同一LLM、另一套角色提示，附录A.3给出完整提示词。它生成nd个与主题相关、作者称为无害的干扰槽。实验设nd=2。作者称干扰槽会稀释恶意密度并转移安全注意。

视觉结构注入

• 渲染：I=ψ(T,{S_i^(m)},{S_j^(d)})表示ψ把主题、恶意槽和干扰槽画成结构图。ψ取思维导图、表格或旭日图，对应后文v1、v2、v3。实现为Python脚本加Matplotlib，把槽映射到节点。
• 扰动：再施加随机扰动算子P，得到最终图像。主文举例为位置抖动和角度旋转；附录A.4按版式分别改角度、半径、水平对齐或扇区顺序与宽度。作者称方法与具体版式无关。
• 文本侧：结构图配一条固定的完成引导指令，图示要求补全各分支并限制每支篇幅。附录C.1把每支字数当作变量。指令原文和字数下限不在这里列出。

输出如何算成功

• ASR：由LLaMA-Guard-3-8B判定。正文未写标签到成功的映射细节。
• HF：由GPT-4o-mini按0到10评分，分高对应更详细、更贴指令的有害信息。完整评分提示在附录B.2。

实验设置

• 受害模型：GPT-4o（1120）、Gemini-2.0-Flash（001）、Gemini-2.5-Flash、Qwen3-VL-Flash、Qwen2.5VL-7B、InternVL-3-9B。
• 数据：Advbench-M共216条，7类为BE、D、FW、HI、KS、SV、S。SafeBench共350条。附录C.3把SafeBench分成IA、HS、MG、PH、F、AC、PV；主表未按类给数字。
• 基线与协议：Vanilla、FigStep、FigStep-Pro、HADES、SI-Attack、JOOD。黑盒HADES只拼接OCR关键词与优化后的有害图像。主表把SI-Attack、JOOD的迭代次数限为1，以与单次查询对齐。
• 变体与指标：v1为思维导图，v2为表格，v3为旭日图。ASR由LLaMA-Guard-3-8B给出；HF由GPT-4o-mini按0–10评分。附录把同一守卫写作Llama-Guard-3-8B。
• 攻击侧：分解器与干扰器都是Deepseek-Chat；nd=2，nm由分解器决定。结构图用Matplotlib。硬件为NVIDIA RTX 4090。论文未报告主实验重复次数。
• 子集：消融用Advbench-M每类10条、共70条，受害模型为GPT-4o（1120）。

主结果

下表为Table 1中Advbench-M的ASR（%）。HF与SafeBench未列入。

表格较宽，可左右滑动

模型	v1	v2	v3	FigStep-Pro	SI-Attack
GPT-4o	69.0	69.0	65.3	10.7	32.9
Gemini-2.0-Flash	69.9	73.6	70.4	62.5	47.7
Gemini-2.5-Flash	52.3	49.1	49.5	8.3	21.3
Qwen3-VL-Flash	59.3	70.8	70.4	48.6	3.7
Qwen2.5VL-7B	88.4	84.7	86.6	64.4	11.1
InternVL-3-9B	87.0	92.1	89.8	86.1	1.9

• 作者的总括：作者称闭源商业模型的ASR与HF整体更低，并称该方法在各LVLM上取得最高平均ASR与HF。摘要写两个开源模型平均ASR为80%、四个闭源商业模型约为60%；4.2节写闭源66.4%、开源90.4%。两处都未说明数据集与变体。上表里，开源两模型的三种变体ASR都高于闭源四模型。
• SafeBench反例：Gemini-2.0-Flash上FigStep-Pro的ASR为63.1%，高于v2的60.0%和v3的59.7%；InternVL-3-9B上FigStep-Pro为65.1%，高于v3的60.6%。InternVL-3-9B的v3为60.6%，低于Gemini-2.0-Flash的v1 67.7%（均据Table 1）。
• 作者点名的对照：作者称Advbench-M上GPT-4o的ASR为69.0%，高于FigStep-Pro的10.7%和HADES的10.2%；Gemini-2.5-Flash的v1为ASR 52.3%、HF 6.1，高于SI-Attack的21.3%和JOOD的5.1%。作者还称Qwen2.5VL-7B上FigStep-Pro为64.4%，高于FigStep的2.8%和HADES的22.7%。

版式、组件与干扰槽

• 版式：Table 2在相同槽类型下比较结构图，指标为70条里的越狱样本数。Vanilla为0，Tree Map为47，Table与Sunburst Diagram为45，Pyramid Diagram为50。Mind Map一行的分类计数与All对不上，不引用该行。作者称各版式接近，效果不依赖某一种版式，并列出单槽无害、主槽可识别、有结构布局三条要求。
• 组件：Table 3固定槽类型并用思维导图。Vanilla为0，只加SSD的文本攻击为38，再加VSI为44，再加随机扰动为48。作者称视觉形式更能触发槽填充漏洞，扰动还能再提高这一数字。
• 干扰槽：Table 4中0个干扰槽为41，2个为48，两行分类之和与All一致。作者称无干扰槽时高风险类更易直接拒绝，BE类为3对6。1个干扰槽一行的分类之和与All不一致，不引用。

系统提示防御与查询次数

• 防御设置：Section 4.4在GPT-4o上加入附录B.1的系统提示，要求核验视觉输入中的有害内容并拒绝违规查询。论文未说明该表样本量。
• Table 5：无防御到有防御的ASR为FigStep 0%到0%，FigStep-Pro 7.1%到0%，HADES 14.3%到0%，JOOD 22.9%到4.3%，SI-Attack 28.6%到2.9%，StructAttack 65.7%到47.2%；后者HF从5.3到3.3。正文把OOD降幅写成14.3%到2.9%、22.9%到4.3%，与表中方法对应不一致，这里以表为准。
• 作者解读与多迭代：作者称多数攻击被压制，并称StructAttack在防御后ASR为47.2%、仍保持大部分攻击效力；表中相对65.7%有下降。Table 6里SI-Attack、JOOD、StructAttack的每样本迭代数为10、45、1，ASR为37.1%、38.6%、65.7%，拒答率为28.6%、27.1%、7.1%。论文未说明Table 6的数据集；其65.7%与Table 5无防御一行相同。

评审一致性与未成功样本

• 人工对照：附录B.2从Advbench-M随机抽70条回复。Llama-Guard-3-8B的ASR为67.1%，与人工一致率82.9%；GPT-4o-mini在HF≥4时ASR为64.3%、一致率85.7%，HF≥5时为57.1%、84.3%；人工ASR为61.4%（Table 8）。作者称各自动设置与人工的一致率都超过80%。
• 失败分类：附录D.3把未成功尝试分成两类，未给数量。一类是过长或复杂指令下分解漂移，重组后变成良性或含糊查询。另一类是高风险主题上，如GPT-4o在推理中识别敏感主题后给出教育式或强烈拒绝，而不跟随生成指令。
• 案例：Figure 6与附录D.1展示多个模型上的补槽输出；附录只说明诱导模型在恶意槽中写入有害内容，这里不引用输出。Figure 8把结构嵌进自然场景，作者称背景干扰下仍保持越狱效果，无定量数字。

其他消融与分析

• 预实验：GPT-4o、Advbench-M抽70条，纯文本SSF的ASR为54%（Section 3.2）；Figure 4的视觉变体论文只称进一步升高，未给图中数字。
• Figure 5：作者给出GPT-4o、Advbench-M上SI-Attack的HF，SV/HI/BE为3.5/3.8/1.2，JOOD的FW/D为3.4/1.7；三种StructAttack的分类数字未写出。
• Table 1：SafeBench上SI-Attack在Gemini-2.0-Flash为51.4%、在GPT-4o为17.7%；Advbench-M上SI-Attack对InternVL-3-9B为1.9%，低于该模型vanilla的2.3%。
• Table 7（GPT-4o，数据集未说明）：无/有版式扰动时StructAttack的ASR为62.9%/67.1%，HF为4.9/5.3；作者称高成功率主要来自槽填充而非扰动本身。
• Table 10（模型未说明）All的HF：每支100、300、500、1000词为5.3、5.6、5.5、5.2。SV在500词时为2.4，低于100词的3.3。作者称100到500词略升、1000词无额外收益，300–500词更合适。
• Table 9：StructAttack每样本受害查询1次、1652±651 tokens，辅助LLM 2次、568±4 tokens，合计2220±655 tokens、22.79±9.56秒；JOOD为45次、21847±13742 tokens、193.44±84.23秒；SI-Attack为10次、2791±980 tokens、25.48±10.92秒。论文未说明数据集。Figure 7作者称两个开源模型上vanilla与StructAttack形成可分离的簇；论文未写层号，文本无可用坐标。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion只重述方法与实验结果，没有Future Work。附录D.3给了两类失败分类，但没有把它们写成局限或后续方向。

实验覆盖范围

• 受害模型为GPT-4o（1120）、Gemini-2.0-Flash（001）、Gemini-2.5-Flash、Qwen3-VL-Flash、Qwen2.5VL-7B、InternVL-3-9B，共6个（Section 4.1）。分解与干扰槽由Deepseek-Chat生成。
• 主基准为Advbench-M（216条、7类）和SafeBench（350条）。消融在Advbench-M上每类抽10条、共70条，受害模型为GPT-4o（1120）（Section 4.3）。
• 主对比基线为FigStep、FigStep-Pro、HADES、SI-Attack、JOOD；主表把后两者的迭代次数限为1。多迭代数字在Table 6和附录B.3。防御实验是附录B.1的系统提示，在GPT-4o上比较（Table 5）。
• ASR由LLaMA-Guard-3-8B判定，HF由GPT-4o-mini按0–10评分。70条Advbench-M回复上报告了与人工标签的一致率（Table 8）。
• 论文未报告主实验重复次数，也未报告Table 5、Table 6、Table 7的样本量与数据集，Table 10未写模型。Figure 7只画了两个开源模型，论文未写层号。

StructAttack是针对LVLM的黑盒、单次查询越狱：把有害指令拆成单独看似无害的槽，画进结构图，再让模型把槽拼回有害内容。

• 问题：作者认为安全对齐后的LVLM仍会做语义槽填充。槽类型单独看无害时，模型也可能补出不安全的槽值。白盒扰动要参数且耗时，排版方法受OCR过滤影响，OOD方法要迭代。
• 做法：Deepseek-Chat把查询分成中心主题、恶意槽和干扰槽（干扰槽数设为2），再用Matplotlib画成思维导图、表格或旭日图并加小幅随机扰动，配完成引导指令。对受害模型不求梯度、不迭代。
• 主结果：Table 1的Advbench-M上，GPT-4o的v1/v2 ASR为69.0%，InternVL-3-9B的v2为92.1%。SafeBench上GPT-4o的v1/v3为56.0%。作者称平均ASR在摘要里是开源80%、闭源约60%，在4.2节是开源90.4%、闭源66.4%，两处都未说明口径。SafeBench上FigStep-Pro有高于部分变体的格子。
• 其他证据：70条子集上，纯文本填槽ASR为54%；加视觉和扰动后，组件消融的越狱样本数到48。系统提示防御后，Table 5中ASR从65.7%到47.2%。70条上自动评审与人工的一致率为82.9%、85.7%、84.3%。
• 作者的结论：作者称该漏洞来自模型对局部无害槽的补全偏向，StructAttack因此能在黑盒单次查询下诱导不安全输出，并在防御设置和查询次数对比中仍得到上述ASR。论文没有专节列出局限。