研究受控拆解图像到文本越狱中图像属性的作用

在有害指令逐字节固定时，图像到文本越狱的成功对应哪一项图像属性。

• 场景：多模态模型同时处理视觉输入与已对齐语言。作者认为图像可通过嵌入文本、空间布局、所绘内容或与查询的关系携带有害意图；聚合 ASR 看不出是哪项属性造成安全失败，而密度过滤、语义一致性检查和融合层干预针对的潜在原因不同。
• 现有不足：作者指出 FigStep、MML、CS-DJ、VisCo 每次同时改变多项图像属性，跨攻击比较分不清各自解释。CS-DJ 强调子图复杂度，VisCo 使用虚构的图像落地语境，FigStep 与 MML 用组合结构较少的排版图。
• 做法：把已发表攻击当作诊断探针，沿组合复杂度、信息密度、瓦片来源、语义对齐描述图像；只在唯一被测描述符变化时做单轴归因，否则标为联合归因。
• 威胁模型：
  • 目标：单轮 black-box 图像到文本越狱，使受害 MLLM 对有害查询产生被判成功的回复。
  • 知识：攻击者不能访问权重、梯度或 token 概率。
  • 能力：把查询 q 映射为攻击图像 I 与良性文本包装 t，作为一次用户轮次提交。
  • 受害系统与判定：主面板五个多模态模型，附录另评 InternVL3.5-8B。官方 strongreject_rubric（后端 GPT-4o-mini）给出拒绝标记及 spec.、conv. 两项 1–5 分，连续分按 StrongREJECT 公式线性缩放到 [0,1]，J≥0.5 记成功。

图像到文本攻击

• 排版与流程图：FigStep（Gong et al., 2025）把有害查询渲染进图像；MML（Wang et al., 2025）加入镜像、旋转、Base64 与解密提示。FC-Attack（Chen et al., 2025）把指令画成流程图，但依赖训练过的生成器；作者认为因此较不适合与本文 black-box 设置比较。
• 语义落地与干扰：VisCo（Li et al., 2025a）构造图像落地情景；VisCRA（Sima et al., 2025）用视觉推理推断被遮内容；VRSA（Xiong et al., 2025）把有害意图分散到连贯子图。CS-DJ（Yang et al., 2025）把查询拆成子查询并放入对比强烈的多瓦片合成图，主张组合复杂度干扰安全处理；VoTA（Zhang et al., 2025）把良性图像组成聚合有害叙事。
• 优化类参照：梯度与对抗噪声攻击（Qi et al., 2024; Wang et al., 2024a）可达高 ASR，但需要比单轮 black-box 更多的模型访问；作者将其视为上界参照，不纳入受控设置。HADES（Li et al., 2024）在图像中嵌入并放大有害内容，作者转述其使有害回复增加 20–40 个百分点，但同时改变文本请求，因而分不开图像贡献与措辞。

基准与诊断评测

• MM-SafetyBench（Liu et al., 2024）显示查询相关图像可破坏 MLLM。作者视为对齐轴的近例，但每条有害文本只配一张图像，密度、来源和内容一起变，分不清语义相关与有害场景本身。
• JailBreakV-28K（Luo et al., 2024）报告图像类型影响攻击成功。引言还以 MMJ-Bench（Zhao et al., 2025）为例，说明性能常被汇总成 ASR。
• 诊断式比较：作者称这些基准比较模型，而本文配对检验看的是受控图像构造变化与 ASR 的关系，并援引 Tong et al.（2024）一类诊断工作。

提示词轴与防御

• 提示词轴：Li et al.（2025b）在文本提示上定义 on-topicness 与 OOD 强度，并用二者权衡做提示改写攻击。作者称本文固定有害指令、只改变图像构造，是补充而非推广改提示分析。
• 对齐与输入侧防御：Bai et al.（2022）概括指令微调、RLHF、偏好优化和提示级防护。VLGuard（Zong et al., 2024）报告视觉模态的安全对齐较弱；作者认为这或可解释离题有害场景抑制服从，但实验没有直接检验该机制。AdaShield（Wang et al., 2024b）在结构类越狱前加安全提示；Llama Guard（3 Vision）（Inan et al., 2023）分类提示与回复安全。
• 评审：StrongREJECT rubric（Souly et al., 2024）用于区分拒绝、部分服从和有害完成，并在附录对照人工标签。

基线与数据：探针是 FigStep、MML-mirror、MML-base64、CS-DJ、VisCo；主数据是 StrongREJECT 全切片（n=313，六个伤害类别），交叉集为 SafeBench。对照包括纯文本查询和良性无关图像，而不是另一套攻击算法。

作者把识别问题放在有害指令不变、事先测量图像描述符、多描述符同变则联合归因，而不是用攻击排名直接指出哪个图像属性起作用。

作者把已发表攻击当作诊断探针，用一套识别协议组织配对消融：有害指令逐字节相同，查询受害模型前测量图像描述符，只有一个被测描述符变化才把 ASR 差归于该描述符。

问题设定与成功定义

• 输入：单轮 black-box。攻击把有害查询 q 映射为图像 I 与良性文本包装 t，一次用户轮提交，回复 r=M(I,t)。攻击者可构造 I 与 t，不能访问权重、梯度或 token 概率。
• 成功：官方 strongreject_rubric，后端 GPT-4o-mini，输出二元拒绝以及 spec.、conv. 两个 {1,…,5} 评分。连续分先按 StrongREJECT 公式计算，再线性缩放到 [0,1]：J(q,r)=(1−refusal)·(spec+conv)/2。J≥0.5 记成功。

四轴与探针放置

• Ccomp：与内容是否相关无关的视觉结构量，操作化为定位出不同视觉区域的瓦片数。单画布排版在低端，多瓦片合成在高端。
• Cinfo：与版式无关的低层信息，分别用像素熵和 JPEG@85 字节数。作者指定 JPEG@85 为归因规则的主描述符，因为直接测可压缩性；熵是补充。二者有时排序不同。
• S：可见内容与 q 的主题相关程度，相对 q 定义。代理是 CLIP ViT-L/14 全图余弦；合成图另报非载荷瓦片分数，以免固定载荷掩盖环绕。
• P：瓦片来自自然照片还是合成生成。作者写明比较没有把 P 从其余描述符中完全分离。
• 放置：FigStep 与 MML 变体在低 Ccomp；CS-DJ 在高 Ccomp、低 S（3×4，子查询加对比干扰）；VisCo 是高密度单图支架。不考察指令编码或可解码性，也不把瓦片几何和边框统计纳入四轴。

配对消融与归因规则

1. Exp. 2：固定一张 FigStep 排版瓦片，环绕分别为纯色填充、随机自然图、与查询对齐的生成场景。E5 用全幅/四分之一载荷 × 无环绕/pad 环绕的 2×2，拆开载荷几何与环绕。
2. Exp. 3：固定 CS-DJ 的 3×4 和三块子查询瓦片，九块干扰在噪声、无关自然图、查询对齐生成场景之间变化。作者写明来源等多项描述符同时变化，因而不隔离 S。
3. E4：固定错位把每张 SD3.5 场景配给另一条查询，生成场景来源不变，查询特异性相关关系改变；没有提示词拿到自己的场景。场景由 Stable Diffusion 3.5 Large Turbo 生成。类内控制用固定种子 2026，零跨类配对、零不动点。
4. 区域数：3×4、像素尺寸、JPEG 足迹和三块载荷瓦片固定，只改变九个干扰格中不同图像的数目（1、3 或 9）。这测干扰区域多样性，不是瓦片总数。
5. 归因：两个及以上被测描述符同变则标联合归因，不把幅度分给单一轴。E4 固定熵、JPEG、瓦片数和来源，但不能区分主题相关与 image-text congruence（未测量）。规则在收集数据之后、写下归因主张之前固定；作者称这是事后一致的审计规则，不是预先注册。

抽样与统计

• 面板：主面板五个受害模型。InternVL3.5-8B 只作附录余量检查，不进入 MLRM 对比。每格用 StrongREJECT 全切片，n=313，提示顺序固定。
• 次数：基线每提示 1 次；配对消融用每提示 3 次的均值，提示内置换检验以 p<0.05 接受每提示效应。另报 10^4 次 bootstrap 的偏差校正 95% CI，以及实验内 Holm 校正的配对 McNemar。确认性族 13 项再做全局 Holm 与 Benjamini–Hochberg。
• 配置：局部模型 bf16、do_sample、temperature 0.7、top-p 0.9、最多 1024 个新 token；图像长边先缩到不超过 768 px（LANCZOS）。API 的 max_tokens=2000；GPT-4o temperature 0.7；Claude Sonnet 4.5 用提供商默认 temperature。作者写明 k=3 标准是在看到单次结果之后采用的。无三次抽样的结果标为单次、描述性。

实验设置

• 受害模型：GPT-4o、Claude Sonnet 4.5、Qwen3-VL-8B-Instruct、Gemma-3-4B-IT、GLM-4.1V-9B-Thinking；附录另评 InternVL3.5-8B。GLM 为推理增强 MLRM。
• 数据：StrongREJECT 全切片，n=313，六个伤害类别，各格同一提示顺序。交叉集 SafeBench，n=120（Qwen 的 E4 可用配对 119）。
• 条件：FigStep、MML-mirror、MML-base64、CS-DJ、VisCo，外加 Exp. 2/3 变体、E4 错位、区域数阶梯、E-1 纯文本与良性无关图。
• 指标与评审：ASR 为 J≥0.5 的比例，配对报告 ΔASR。主评审是 GPT-4o-mini 上的 StrongREJECT rubric。附录用 strongreject-15k-v1 复评；两评审在 distract-random 上相差最多 0.18 绝对 ASR（Appendix A.14）。
• 抽样：基线、API 行与若干 CS-DJ 阶梯为每提示 1 次；配对消融 k=3。局部 temperature 0.7、top-p 0.9。
• 统计：10^4 bootstrap CI、提示内置换、实验内 Holm–McNemar、全局族 N=13。人工审计 250 条（Appendix A.15）。Table 12 的 80% 功效最小可检出绝对 ΔASR 约为 0.06–0.10。

主结果

据 Table 2（StrongREJECT，每格 n=313，单次抽样，rubric，τ=0.5）。GLM-4.1V-Th. 即 GLM-4.1V-9B-Thinking。作者将无 k=3 的基线标为描述性。InternVL3.5-8B 不在此表。

Swipe horizontally to read the table

模型	FigStep	MML-mirror	MML-base64	CS-DJ	VisCo
GPT-4o	0.00	0.81	0.83	0.28	0.26
Claude Sonnet 4.5	0.01	0.02	0.00	0.32	0.03
Qwen3-VL-8B	0.13	0.90	0.41	0.29	0.24
Gemma-3-4B	0.29	0.96	0.95	0.60	0.57
GLM-4.1V-Th.	0.73	0.78	0.39	0.84	0.67

• 作者称同一攻击在不同受害模型上结果不同，但这张矩阵不解释原因；Appendix A.29 的提供商拦截审计覆盖 Exp. 3/E4，不覆盖这些 MML 结果，因而既不能解释也不能排除拦截。
• 作者称 API 模型、开源模型与推理增强模型之间的差是描述性的，不是某种防御机制的证据。
• 地板：作者称地板与饱和限制了若干受害模型上 MML 与 VisCo 基线行能建立的结论。GPT-4o 的 FigStep 格在 312 条已评分回复中最高连续分 0.011，作者称 0.00 不是阈值假象；另 1 条在审核阶段被 API 拒绝、无回复可评（Appendix A.4）。

E4 与对齐消融

• 测了什么：Exp. 3 固定 3×4，更换九块干扰。作者称 Qwen 单次 ASR 从 noise 0.19、unrelated 0.24 到 relevant 0.29，但熵、可压缩性、来源和 CLIP 同时变化，不能把终点归于 S。E4 固定这些被测描述符，并去掉查询特异性相关。
• 结果：正文写 k=3 置换下 Qwen 的 relevant→gen-unrelated 使 ASR 降低 0.119（p 在置换下限 1.0×10−4）；摘要写 about 0.12。Table 8 的配对 ΔASR 为 −0.12（CI [−0.17, −0.06]，Holm p<0.001），同表 Qwen 的 ASR 为 relevant 0.29、gen-unrelated 0.17；该表标题未写明是否为 k=3。类内 k=3 控制为 relevant 0.232 对 gen-unrelated-within 0.143，Δ=−0.089（CI [−0.131, −0.049]，p=10−4）。作者称其余四个主面板模型 pH≥0.07。Claude 的 noise 格 313/313 为 API 空内容或 HTTP 400 回退，作者称该行不能裁定来源或相关性。
• 作者解读：五次检验通过全局校正，但按规则只有 E4 对应一个被测描述符；类内结果是重叠刺激上的稳健性检查，不是另一次归因。image-text congruence 未测。作者称这不建立一般语义对齐机制，也不解决 CS-DJ 与 VisCo 的分歧。

区域数、填充与图像贡献

• 区域数（Table 30）：载荷可见性固定后，Gemma-3-4B 为 0.460、0.460、0.454（r1→r9 Δ=−0.006，p=0.92）；Qwen 为 0.185、0.208、0.220（Δ=+0.035，p=0.25）。作者称增加不同干扰区域并未提高 ASR。更早瓦片数阶梯与载荷可见性混杂，作者留作审计记录，不作为复杂度证据。
• 填充（Section 5.3，Table 26）：Gemma-3-4B 上白边填充 CS-DJ 基线 ASR 0.60，构造匹配的 force-squared 无关格 0.41；作者称与 0.19 的差相关联，白像素比例 0.84 对 0.33。重采样方式也不同，作者称不能从这些格子单独分开两个因素。该差在四轴之外，作者称小于多步阶梯合计变化、大于受控 E4。
• 图像贡献与附录模型：Section 5.5 写 GPT-4o 纯文本 1.3%、良性无关图 0.0%、附 CS-DJ 图 28.4%。Table 31 的纯文本/良性图为 GPT-4o 0.013/0.000、Claude 0.006/0.000、Qwen 0.003/0.000、Gemma 0.067/0.048、GLM 0.086/0.109；作者标出 GLM 上良性图略高于纯文本。InternVL3.5-8B（Table 27）FigStep 为 0.137，环绕条件为 0.358–0.383；E4 的 gen-unrelated 0.550、relevant 0.566，作者称不加强单模型归因。

密度筛选

• 设置：CS-DJ 瓦片对尺寸匹配的良性干扰瓦片（无关条件前九块，313×9；攻击类为 relevant 的 313×12；瓦片 500×530）。
• 结果：Figure 3 标注 entropy AUC 0.43、JPEG@85 AUC 0.63、80% TPR 时 FP=0.66；正文与图注写 entropy AUC 0.42、误标 67%。两特征逻辑回归 AUC 0.68，抓住 80% 攻击瓦片时仍标出 76% 良性瓦片（Appendix A.22）。
• 作者解读：作者称这两个密度描述符不能把攻击瓦片和良性照片瓦片分开，实用过滤需要此处所测密度之外的信号。

其他消融与分析

• Exp. 2 的 k=3（Gemma-3-4B，Table 21）：baseline→quarter +0.012（p=0.36）；quarter→pad +0.095；pad→distract-random +0.070（后两者 p<0.001）。作者称几何步在分辨率极限，后两步为联合归因。
• E5 单次（Table 10，Gemma）：quarter−baseline +0.07（p=0.003），未通过上述 k=3 置换；全尺寸加环绕 +0.125（CI [0.070, 0.179]，p<0.001）。
• SafeBench：Qwen E4 Δ=−0.06，80% 功效界 0.131（Table 13，119 对中 33 个不一致对）；Gemma 区域数 0.592、0.508、0.517。作者称 −0.06 的幅度小于该功效界，不是确认性复现。
• 剂量反应（Appendix A.32，n=120）：两档 CLIP 分离 0.058 与 0.054，E4 估计 +0.061 与 −0.042，CI 重叠。作者称不能分辨效应是否随更强对齐变大。
• 人工与复评：250 条 agreement 0.800、κ=0.594（Table 17）。GPT-4o 的 Exp. 2 用非 OpenAI 评审复评后仍接近零（0.048–0.096，Appendix A.14）。
• 注意力（Appendix A.41）：Qwen 载荷份额 0.39–0.47，relevant 相对 gen-unrelated 差 +0.0017；Gemma 份额 0.243–0.256，差 +0.0029。作者称份额不随 ASR 变化，也不解释 E4。

作者指出的局限与后续方向

• 不要推广到全面板：主发现来自有余量的开源受害模型，即 Qwen3-VL-8B 上的 E4，以及 Gemma-3-4B 上的填充、来源和阶梯观察；作者写明不应推广到全面板（Section 7）。
• 代理与评审：像素熵、JPEG@85 和 CLIP 对齐是代理。ASR 依赖评审；rubric 与 GPT-4o 受害模型同族，与非 OpenAI 评审相差最多 0.18。效应幅度接近约 0.10 的跨评审分歧带时，作者强调看符号和排序（Section 7）。
• 四轴大多未隔离：多数比较没有在固定其余图像属性时分离单一属性。E4 没有把相关性与 image-text congruence 分开，也没有跑 benign-paraphrase 控制。区域数空结果测的是干扰多样性，不是瓦片数；因为没有做出每档都可见载荷文本的修正 tile-count 阶梯，tile-count 结构是否重要仍未检验（Section 7）。
• 不声称机制：注意力质量探针在两个有效应的受害模型上为空，模型内相关性探针噪声过大、不能判别（Section 7；Appendix A.41、A.17）。
• 未运行的控制与复现：良性生成干扰、由良性改写生成的场景、相关场景配良性复述仍未运行。配对设计的最小可检出效应约 0.06–0.10；830 对提示词的 outcome-blind 复现才对 0.06 的效应有 80% 功效（Section 7）。归因规则在数据收集之后指定，作者称推广这一单模型发现前需要 outcome-blind、预先承诺的复现（Appendix A.20）。
• 剂量与防御评估：剂量反应检查不能分辨效应是否随更强对齐增大；检索式高对齐条件未运行（Section 5.4；Appendix A.32）。作者称基于这些发现的防御应在部署前对自适应对手评估（Appendix A.48；Ethical Considerations）。

实验覆盖范围

• 被测模型为 GPT-4o、Claude Sonnet 4.5、Qwen3-VL-8B-Instruct、Gemma-3-4B-IT、GLM-4.1V-9B-Thinking，附录另有 InternVL3.5-8B。
• StrongREJECT 切片 n=313、六个伤害类别；SafeBench n=120（Qwen 的 E4 可用 119 对）。基线每提示 1 次，配对消融 k=3。
• 主评审为 GPT-4o-mini 的 rubric，τ=0.5；人工 250 条，agreement 0.800，κ=0.594（Appendix A.15）。确认性检验族 N=13（Table 22）。
• 梯度与对抗噪声攻击被作者当作上界参照，不纳入受控设置（Section 2.1）。注意力探针在 Qwen3-VL-8B 与 Gemma-3-4B 的 Exp. 3 全切片上运行（Appendix A.41）。
• 论文写明未运行：良性生成干扰、良性改写场景、相关场景配良性复述（Appendix A.31）；检索式高对齐剂量检验（Appendix A.32）；每档都可见载荷文本的修正 tile-count 阶梯（Section 7）。

作者用已发表的图像到文本越狱做诊断，而不是再给出一个聚合 ASR：有害指令逐字节固定后，问安全失败对应哪项图像侧属性。

图像按组合复杂度、信息密度（熵与 JPEG@85）、瓦片来源和语义对齐描述。FigStep、MML、CS-DJ、VisCo 只作探针。只有一个被测描述符变化才单轴归因，否则标为联合归因。威胁模型是单轮 black-box：攻击者构造图像和良性文本包装，不能访问权重、梯度或 token 概率。

主面板五个受害模型，在 StrongREJECT（n=313）上用 GPT-4o-mini rubric、阈值 0.5 评分。基线为单次抽样。

• Table 2 中，同一家族的 ASR 随受害模型变化，例如 MML-mirror 在 Gemma-3-4B 为 0.96、在 Claude Sonnet 4.5 为 0.02。作者称这是描述性差异，不是防御机制证据。
• Section 5.5：GPT-4o 上纯文本为 1.3%、良性无关图为 0.0%，附上 CS-DJ 图像为 28.4%。
• 载荷可见性固定的区域数阶梯未检出 ASR 上升（Qwen r1→r9 Δ=+0.035，p=0.25）。更早瓦片数阶梯与载荷是否可见混杂。
• 通过全局校正的对比里，作者只把 Qwen3-VL-8B 的 E4 归于查询相关性：去掉该相关关系使 ASR 降低 0.119。image-text congruence 未测，其余主面板模型的 E4 对比 pH≥0.07。
• 尺寸匹配筛选里 JPEG@85 的 AUC 为 0.63；作者称所测密度描述符不足以单独做过滤。

作者的结论是：攻击排名不能识别图像属性；受控比较有用，但多描述符同变时只能联合归因。tile-count 结构是否改变 ASR 仍未解决。作者认为 pad 环绕和内容填充是消融里较大的可检出变化，或可促使在出现这些变化的受害模型上做输入筛选或排版载荷稳健训练；所测密度筛选并不可靠，防御还需对自适应对手再评估。