MLingualFC：评估多语言视觉语言模型的越狱漏洞

多语言视觉语言模型的流程图越狱缺少跨语言测量。

• 部署场景： 多语言视觉语言模型（MVLM）用于全球可访问应用，用户以不同语言和文化语境交互。作者称有害输出会带来社会风险，而安全评测与越狱研究大多以英语为中心。
• 现有不足： 作者称，印刷体图像加良性提示、在图像中嵌入有害意图、以及把有害指令编成逐步流程图，都能越狱视觉语言模型，后者优于先前视觉越狱方法；这些研究大体限于英语。作者还称，尚无工作比较多语言视觉攻击下，多语言多模态模型相对英语中心模型的安全强弱。
• 要回答的问题： 语言差异如何影响 MVLM 的安全对齐，以及这些多语言模型是否带来更好的安全对齐。
• 提出内容： 基准 MLingualFC 把有害指令做成 Hindi、Punjabi、Spanish、Romanian、German 的流程图图像，在 black-box 下对 Qwen2.5-VL、Gemma-4、Pangea 做红队评测。
• 威胁模型：
  • 目标： 绕过 MVLM 安全对齐，使其生成有害、不安全或违反安全策略的回复；用结构化视觉表示以不同语言提示模型。
  • 知识： black-box，不能访问内部架构、参数、梯度、安全过滤器或输出概率。
  • 能力： 只能经公开接口提交多模态提示并观察最终文本；每次查询独立，单轮。
  • 受害系统： 目标 MVLM。论文未写攻击者能否看到系统提示或安全策略原文。

作者按三条线组织相关工作，并在实验里用纯文本设置作对照。

• VLM 越狱： 基于优化的方法对目标输出回传梯度，包括 Bagdasaryan et al. (2023)、Shayegani et al. (2024)、Qi et al. (2024)；Carlini et al. (2023) 以固定有害输出为目标直接优化输入图像；Li et al. (2024c) 用图像里语义等价的物体或动作替换有害文本关键词。基于提示的方法只需 black-box、可不注入图像扰动：Gong et al. (2025) 与 Ma et al. (2024) 把文本做成视觉提示；Yin et al. (2023)、Han et al. (2023)、Bailey et al. (2024b) 轻微改图像并配恶意文本；Shayegani et al. (2023)、Dong et al. (2023)、Chen et al. (2023) 用替代 VLM 从普通图像生成扰动图像。Zhang et al. (2025) 把有害指令编成自动生成的逐步流程图，作者称其优于先前视觉越狱方法；本文的图表示沿用该工作。
• 多语言 LLM 越狱： 作者称 LLM 安全的多语言方面较少被系统研究，对齐与红队大多在英语中进行。Yong et al. (2023) 把不安全英语提示译成 Zulu、Scots Gaelic 等低资源语言，以绕过 GPT-4 的安全过滤；论文将其与这些语言中安全相关训练数据少联系起来。Yoo et al. (2024) 的 Code-Switching Red Teaming 在一条输入里混合语言，作者称多个前沿模型上 ASR 上升、拒答率下降。Pattnayak and Chowdhuri (2026) 的 IndicJR 是不含评审模型的南亚语言越狱鲁棒性基准，覆盖含 Hindi、Bengali、Punjabi 在内的 12 种 Indic 语言；Song et al. (2025) 比较混合语言输入与单语言提示下的 LLM 安全。论文未给这些工作的具体 ASR。
• 多语言与视觉红队： Derner and Bastič (2025) 评测三个 MLLM、七种语言和四种输入：plain text、DAN prompt + text、text-as-image、DAN prompt + text-as-image。作者称把有害提示渲染成图像会提高 ASR、降低拒答率，低资源语言上更明显。Gu et al. (2024) 的 MLLMGuard 是中英双语安全评测套件，含文本与图像场景，共 14 个风险类别。
• 基线与数据： 有害查询来自 Zhang et al. (2025) 的英语数据集，其中包含 AdvBench（Zou et al., 2023），类别包括合成危险材料、网络攻击和非法活动。实验对照是两种纯文本设置：Text + Description（无害文本加多语言步骤，不转成图）和 Harmful Query（只给多语言有害查询）。Table 1 同时报告英语流程图。

作者把本文放在上述工作之后：尽管已有面向多语言多模态理解的模型，尚无先前工作评估它们在多语言视觉攻击下的安全属性，相对英语中心 VLM 是更强还是更弱。

MLingualFC 把英语有害查询译成五种语言的流程图图像，配上不点明有害性的良性文本，在 black-box 单轮设定下提交给 MVLM，再用 LLM 评审按分数阈值计算 ASR。攻击不做梯度优化，也不向图像加扰动。

查询来源与图表示

• 使用 Zhang et al. (2025) 的公开英语数据集，查询来自 AdvBench，类别包括合成危险材料、网络攻击和非法活动。论文未写查询条数。
• 每条查询被拆成程序性子步骤，画成有向图：节点是一步文本指令，有向边表示步骤推进。
• 翻译对象是流程图的 DOT 文件，不是另行改写后的攻击句。Figure 1 给出 English、Hindi、Romanian 的水平流程图，图注写只显示 3 步。

多语言图像生成

• DOT 文本用 GoogleTranslator（deep-translator）译为 Hindi (hi)、Punjabi (pa)、Spanish (es)、Romanian (ro)、German (de)。
• 译文用 Graphviz 编译成 PNG。每种语言、每条查询有三种布局：horizontal（从左到右一行）、vertical（从上到下一列）、tortuous（S 形蜿蜒路径）。
• 论文未写翻译是否人工校对，也未写 full-step 流程图的步数。

提交给模型的输入

• 每张图配一条良性系统提示，要求模型分析并完成图中步骤；提示不提及内容有害。作者称这利用安全对齐中的多语言视觉–文本错位。论文未给出该提示全文。
• 输入为单轮，查询相互独立。受害模型只返回最终文本。

成功判定

• 采用 LLM-as-a-judge。GPT-oss-120b 对回复的有害性和完整性打分，尺度为 1（完全拒答）到 5（完全有害回复）。
• 分数大于等于 4 计为有害回复，ASR 阈值为 score ≥ 4。
• 语言 i 的攻击成功率定义为 ASR_i=N^jb_i/N_i，即该语言中达到阈值的回复数除以该语言样本总数。
• 另设两种纯文本对照，以及仅对 Qwen2.5-VL 的 5-step 与 full-step 比较。目标模型为 Qwen2.5-VL-3B-Instruct、Gemma-4-E4B-it、Pangea-7B；Pangea 遵循 LLaVA-NeXT 架构。论文未写温度、解码方式或重复次数。

实验设置

• 目标模型： Qwen2.5-VL-3B-Instruct、Gemma-4-E4B-it、Pangea-7B。表中分别写作 Qwen-2.5-VL、Gemma-4、Pangea。
• 语言与布局： Table 1–3 含 English、Spanish、Romanian、German、Hindi、Punjabi；布局为 Horz.、Vert.、Tort.。基准正文列出的五种非英语是 Hindi、Punjabi、Spanish、Romanian、German。
• 主设置与基线： Flowchart + Harmless Text；纯文本基线为 Text + Description 与 Harmful Query（Table 2）。5-step 只报告 Qwen2.5-VL（Table 3）。
• 指标与评审： ASR。GPT-oss-120b 按 1–5 打分，阈值 score ≥ 4。论文未报告每语言样本量、查询条数、重复次数和解码参数。
• 人工评估： 母语者对 Hindi、Punjabi 回复按 1–5 评估有害性。正文写计算了 Gemma-4 的 ASR；Table 6 同时列出 Pangea。论文未报告标注人数与一致性系数。
• 交互： black-box、单轮、只观察最终文本。计算环境为 PyTorch、Hugging Face 与 NVIDIA L4 24GB。

主结果

据 Table 1，Flowchart + Harmless Text 的 ASR（%）。每格顺序为水平 / 垂直 / 迂回。

| 语言 | Qwen2.5-VL | Gemma-4 | Pangea | | English | 84.00 / 70.00 / 86.00 | 26.00 / 18.00 / 18.00 | 54.00 / 72.00 / 54.00 | | Spanish | 80.85 / 72.34 / 89.36 | 53.19 / 21.28 / 31.91 | 59.57 / 51.06 / 23.40 | | Romanian | 61.70 / 87.23 / 82.98 | 63.83 / 29.79 / 42.55 | 40.43 / 38.29 / 40.43 | | German | 76.59 / 82.98 / 89.36 | 70.21 / 34.04 / 53.19 | 48.94 / 42.55 / 44.68 | | Hindi | 19.15 / 53.19 / 40.42 | 74.47 / 59.57 / 68.08 | 0.00 / 0.00 / 0.00 | | Punjabi | 4.26 / 0.00 / 4.26 | 6.38 / 14.89 / 4.26 | 0.00 / 2.13 / 2.13 |

• 作者称欧洲语言整体高于 Indic 语言，并称 Qwen 在 Spanish、German、Romanian 上常超过 80%。Table 1 里 Gemma-4 的 Hindi 高于该模型的 Spanish、Romanian 和 German，与“欧洲语言一律更高”不完全一致。作者另按模型写：Qwen 上 Hindi、Punjabi 更低；Gemma-4 上 Hindi 最易受攻击，Punjabi 最低；Pangea 上 English 与 Spanish 最高，Hindi 与 Punjabi 接近零。
• 作者称 Qwen2.5-VL 是最易受攻击的模型，并把 Gemma-4、Pangea 在 Spanish、Romanian、German 上更低的 ASR 解释为更强安全对齐。对 Qwen、Pangea 的 Hindi 与 Punjabi，作者认为原因不是对齐更强，而是对 Indic 语言的理解更弱，影响其阅读结构化流程图。
• 作者称 English 不总是最脆弱，只做英语评测会低估多语言漏洞。Gemma-4 除 Punjabi 外，多语言设置高于 English。Qwen 没有单一最优布局：Spanish、German 迂回最高，Romanian、Hindi 垂直最高。

纯文本基线

• Table 2 比较 Text + Description 与 Harmful Query。作者称多数语言上两种纯文本 ASR 相对流程图下降，并据此认为 MLingualFC 更能绕过护栏。论文未做统计检验。
• Hindi、Punjabi 是作者点出的不同趋势，且只针对 Qwen2.5-VL 与 Pangea。Qwen 的 Punjabi：Text + Description 66.00%、Harmful Query 24.00%，高于 Table 1 流程图的 4.26% / 0.00% / 4.26%。Pangea 的 Punjabi 两种纯文本均为 52.00%，流程图最高 2.13%；Pangea 的 Hindi 为 32.00% 与 34.00%，流程图为 0.00%。Qwen 的 Hindi 并不全是纯文本更高：Text + Description 64.00% 高于三种流程图，Harmful Query 30.00% 只高于水平布局 19.15%，低于垂直 53.19% 与迂回 40.42%。
• Gemma-4 的 Hindi 方向相反：流程图水平 74.47%，Text + Description 8.00%，Harmful Query 2.00%。作者未把 Gemma-4 写入“这两种语言纯文本 ASR 上升”的句子。作者认为 Qwen、Pangea 上的低流程图 ASR 不是更强对齐，而是难以理解非拉丁文字的结构化视觉提示。

定性例子与人工评估

• Table 4 用 Qwen2.5-VL-3B-Instruct、罗马尼亚语、同一条有害查询比较纯文本与三种流程图。纯文本时模型拒答；做成流程图后，模型给出完成该请求所需的信息。迂回布局的回复为英语，垂直与水平为罗马尼亚语或与英语混合。作者称有时先拒答、同一回复中仍给出有害内容，并认为多语言多模态提示下安全行为不稳定。不复述查询与回复原文。
• Table 5 为同一模型的印地语例子。纯文本时模型能识别有害内容并拒答。水平流程图被理解成考试准备并生成学业步骤；迂回布局被理解成把原料加工成可用材料；垂直布局回复与查询无关。表注写模型以英语回复。作者认为 Hindi 的低 ASR 不是强安全对齐，而是未能准确理解结构化多语言视觉提示。
• Table 6 的人工 ASR：Gemma-4 的 Punjabi 为 0 / 2.12 / 8.5，Hindi 为 72.00% / 58.00% / 68.00%；Pangea 的 Punjabi 为 0 / 2.13 / 2.13，Hindi 为 0 / 0 / 0。作者称 LLM 评审与人工接近，Pangea 相差 0%，Gemma-4 相差 1–6%。Pangea 与 Table 1 一致。Gemma-4 的 Hindi 与 LLM 的 74.47% / 59.57% / 68.08% 接近；Punjabi 对照 LLM 的 6.38 / 14.89 / 4.26，垂直布局相差大于作者所写的 1–6 个百分点。

其他消融与分析

• 步数，仅 Qwen2.5-VL： Table 3 的 5-step 水平布局为 English 92.00%、Romanian 81.25%、Hindi 33.33%，作者称相对完整步骤分别高 8%、19.55%、14.18%。作者称垂直与迂回布局步数更多时更有利。西班牙语迂回 5-step 为 89.58%，Table 1 完整步骤为 89.36%，与后一句不完全一致。论文未写 full-step 步数。
• 布局： 作者称 Gemma-4 除 Punjabi 外水平布局更高；Pangea 在 Spanish、German、Romanian 上更易受水平布局影响。Table 1 中 Pangea 的 Romanian 水平与迂回同为 40.43%。
• Punjabi 全布局： 三模型最高分别为 Qwen 4.26%、Gemma-4 14.89%、Pangea 2.13%（Table 1）。Qwen 垂直布局为 0.00%。

作者指出的局限与后续方向

• 模型族： Limitations 写明评估了 Qwen-2.5-VL、Gemma-4 和 Pangea，实验可扩展到其他模型族，以加强可推广性。
• 未评防御： Limitations 写明主要分析攻击漏洞，没有在多语言设定下评测防御机制或对齐策略；研究稳健的多语言安全防御是后续方向。
• 计划中的工作： Conclusion 写，作者计划开发针对多语言视觉越狱提示的防御，并研究在不同语言上仍然有效的对齐策略。

实验覆盖范围

• 被测模型为 Qwen2.5-VL-3B-Instruct、Gemma-4-E4B-it、Pangea-7B，共 3 个（Section 4）。评审模型为 GPT-oss-120b，阈值 score ≥ 4。
• 主结果为 Flowchart + Harmless Text，语言为 English、Spanish、Romanian、German、Hindi、Punjabi，布局为水平、垂直、迂回（Table 1）。
• 纯文本基线为 Text + Description 与 Harmful Query，覆盖上述六种语言和三个模型（Table 2）。
• 5-step 与 full-step 的比较只报告 Qwen2.5-VL（Table 3）。定性例子为该模型的 Romanian 与 Hindi（Table 4、Table 5）。人工评估数字覆盖 Hindi、Punjabi 的 Gemma-4 与 Pangea（Table 6）。
• 交互为 black-box、单轮。论文未报告每语言样本量、查询条数、重复次数、解码参数，以及人工与 LLM 评审的一致性系数。

MLingualFC 是一个多语言多模态基准，用来测量流程图视觉提示能否让 MVLM 在非英语下产生违反安全策略的回复。

已有流程图越狱大体在英语中测量，而 MVLM 已面向多语言用户部署。作者在 black-box、单轮、只看最终文本的设定下，把 AdvBench 来源的英语有害查询译成 Hindi、Punjabi、Spanish、Romanian、German，做成水平、垂直、迂回三种图，并配不点明有害性的良性文本。GPT-oss-120b 以 1–5 打分，不低于 4 计为 ASR。被测模型是 Qwen2.5-VL-3B-Instruct、Gemma-4-E4B-it 和 Pangea-7B。

• Table 1 中，Qwen 的 Spanish 与 German 迂回布局均为 89.36%，English 迂回为 86.00%；Punjabi 最高 4.26%，垂直布局为 0.00%。
• Gemma-4 的 Hindi 水平布局为 74.47%，English 水平布局为 26.00%；Punjabi 最高是垂直布局 14.89%。Pangea 的 Hindi 三种布局均为 0.00%，English 垂直布局为 72.00%。
• 纯文本在多数语言上更低，但不是处处如此：Qwen 的 Punjabi 在 Text + Description 下为 66.00%，Pangea 的 Punjabi 两种纯文本均为 52.00%（Table 2）。作者认为 Hindi、Punjabi 的低流程图 ASR 更可能来自视觉文字识别或语言理解，而不是更强对齐；印地语定性例子里，模型把流程图理解成与原查询无关的任务。
• 人工评估与 LLM 评审在 Pangea 的 Hindi、Punjabi 上一致；Gemma-4 的 Punjabi 垂直布局，人工 2.12 与 LLM 的 14.89 相差大于作者所写的 1–6%（Table 6、Table 1）。

作者称当前安全机制未能跨语言、跨模态泛化，只做英语评测会低估漏洞。他们计划研究跨语言仍然有效的防御与对齐。伦理声明写，完整数据集不公开，访问将限于签署可接受使用协议的认证研究者。