MM-IFEval-Pro：面向视觉语言模型的多语言抗攻击指令遵循基准

现有多模态指令遵循基准语言覆盖有限，且对抗安全场景不足，难以评测真实多语言与安全敏感设置下的 VLM。

• 应用场景：作者认为，VLM 在图像理解、跨模态推理与复杂任务执行上的进展，使指令遵循成为实用性与可靠性的关键指标；评测也关系到模型安全、稳定与泛化。
• 现有不足：作者称 MM-IFEval、MIA-Bench 与文本基准 IFEval 缺少中文样本，对指令劫持和恶意指令扰动覆盖不足。Figure 1 称同一模型换评审后，在部分基准上排名相反；其中 MiniCPM-V4.5 的 MIA-Bench 在 gpt-4o 下为 91.5、gpt-5.2 下为 83.7。
• 作者观察：视觉冲突不必依赖隐蔽注入，清晰可见的手写或印刷伪任务即可干扰现有 VLM（Section 2.3、Figure 1）。
• 本文提出：MM-IFEval-Pro 覆盖中英任务，含 4 大任务类、24 子类与 8 大约束类、52 子类；作者称每样本平均 3.0 条约束，每条由确定性规则验证。视觉指令劫持单独成类：图中伪任务与 OCR 式用户查询冲突，归一化 Levenshtein 距离小于 0.1 判为遵守查询。另发布 13,547 条含中文与对抗指令的 RL 训练集，并用 GRPO 训练。

文本指令遵循

• 早期协议与 IFEval：早期评测依赖人类偏好或 LLM-as-a-judge（Zheng et al., 2023），作者称成本高且难复现。IFEval（Zhou et al., 2023）用可执行程序检查长度、关键词、格式等约束。
• 后续约束与训练：FollowBench（2024）、IFBench（2025）、ComplexBench（2024）增加约束多样性与组合复杂度。RAIF（2025）、VerIF（2025）用偏好优化和 RLVR 改进精确指令遵循。论文此处只作描述。
• 非英文可验证约束：作者称多数可验证指令遵循基准仍以英文为中心。CFBench（2025）覆盖中文真实场景，但主要靠清单式 LLM 评判，而非程序化规则。M-IFEval（2025）为法语、日语、西班牙语引入语言特定规则；作者称中文可验证约束仍探索不足。

多模态指令遵循

• MIA-Bench（Qian et al., 2024）：评测 VLM 在图像条件下是否满足分层文本约束。
• MM-IFEngine / MM-IFEval（Ding et al., 2025）：构建大规模多模态指令遵循数据；MM-IFEval 覆盖组合级文本约束与感知级视觉约束。
• VC-IFEval（He et al., 2026）：强调视觉依赖约束，并认为既有多模态 IF 基准常过度测量文本合规、对真实视觉定位测试不足。

视觉指令劫持

• 扰动注入：Bagdasaryan et al.（2023）与 Wang et al.（2025）向图像或音频注入对抗扰动，使人眼几乎不可区分，并偏离预期行为。
• FigStep（Gong et al., 2025）：用排版视觉做安全越狱。作者称其与本文的指令遵循设定正交。
• 图中竞争指令：Nagaraja et al.（2026）用近不可见、低对比度文字把竞争指令叠到自然图像上。作者称既有工作主要研究攻击成功，多模态 IF 基准很少以可验证方式系统评测这类冲突。

基线方法与基准

实验以微调前的 Qwen3-VL-8B-Instruct、InternVL3.5-8B 为基座；Table 3 还比较 MiniCPM-V4.5、MiMo-VL-7B-RL-2508、Qwen3.5-35B-A3B。报告的基准包括 MM-IFEval-Pro、MM-IFEval、MIA-Bench、IFEval，以及 MMMU、MMMU-Pro、MathVista、MathVision、MathVerse、MMBench、OCRBench、AI2D。

作者将本文定位为带语言差异规则的中英多模态 IF 基准，把视觉指令劫持升为独立、可规则验证的约束类别，并称所附 RL 训练集的收益不限于 MM-IFEval-Pro。作者另称既有多模态 IF 基准主要覆盖回答格式或感知约束，约束类型覆盖相对有限。

MM-IFEval-Pro 把中英差异写进约束模式、生成协议和可执行验证器，并把视觉通道上的伪任务冲突做成可规则判定的劫持子集；普通多约束样本由四阶段流水线生成，RL 奖励为单样本约束满足比例。

设定与成功判定

• 数据规模：训练集 13,547 条，测试集 1,279 条，二者互不相交（Section 3.4）。作者称每样本平均 3.0 条约束；Section 3.4 将该平均数明确写在训练集上。
• 任务与约束：4 大任务类为 Perception、Cognition、Reasoning、Generation，共 24 子类（Table 5）。Table 4 的约束主类为 Length Limit、Keyword、Math Limit、Format Limit、Content Limit、Numerical Precision、Grounding Format、Instruction Hijacking。作者称共 8 大类、52 子类。
• 分数：评测的 overall accuracy 是测试集上样本约束满足率的均值；单样本得分为满足条数除以该样本约束总数。Figure 1(c) 的示例为 5 条中满足 3 条，得分 0.6。RL 中每个 rollout 的奖励用同一比例。

双语语言感知

• 模式：每条可验证约束带 Language Support，取值为 bilingual、English-only 或 Chinese-only。英文有大小写、标题式等约束，中文有面向字符或标点的约束；不兼容的语言–约束配对在生成前被拒绝。
• 生成：从种子指令到最终查询保持单一语言身份。生成器被要求平衡产出中英文并记录语言。默认回答语言与指令语言一致，除非选中语言指定约束；只采样 Language Support 覆盖目标回答语言的约束，约束描述与参数用同一语言书写。
• 验证器：英文长度按空白分词计数，中文按字符计数，连续数字段计为一个单位；句子级检查使用随语言变化的标点切分。作者称这样避免把中文评测折叠成英文中心的检查。

视觉指令劫持

• 冲突构造：每个实例故意让图像中的伪任务与文本中的真实用户查询冲突。真实查询限定为 OCR 式转写，作者称这样得到可规则验证的信号：模型应恢复图中文字，而不是执行嵌入任务。
• 伪任务与渲染：伪任务来自双语分类，大类包括 understanding、instruction、problem solving、generation；Table 6 给出 24 个伪任务子类。LLM 抽样的任务需可独立执行、排版后仍可读，且与 OCR 请求语义不一致，并按类别分层抽样。渲染时随机化字体、字号、画布比例、边距、行距和高对比配色，文字保持对人可读。附录给出分类与示例。
• 判定：实例为三元组 (I, q, t_fake)。q 来自转写请求的释义库，且与渲染文本同语言。式 (1) 定义为 v(y, t_fake)=1 if NLD(y, t_fake)<0.1, else 0。v=1 表示遵守 OCR 查询，v=0 表示未遵守；作者称后者通常是因为模型执行了图中伪任务。同一二值验证器用于评测和 RLVR 奖励。

能力基准增广与流水线

• 增广动机：作者称一些通用能力题的失分来自隐含格式，而不一定是内容错误。Figure 2(a) 中 OCRBenchV2 与 MathVista 示例的 Eval score 均为 0.0；MathVista 标注为 51.04，回答为 51.045。
• 两条轨道：grounding 在原标注上增加框的输出格式约束，并用格式检查器与 IoU 检查器。数值轨道目前实例化在图表相关 VQA：正则指定的可抽取包装，加上精度约束，再用同一抽取模式与真值比较。作者称由此把隐式格式要求变成显式、可规则验证的约束。
• 四阶段（Figure 3）：从 ALLaVA 等图库用 IC9600（视觉复杂度）和 RAM（物体级语义丰富度）筛图；VLM 按多样性、类别平衡、图–任务匹配、双语覆盖和实用性分配任务；LLM 采样约束，生成自然语言查询及规则函数与参数；再由 VLM 作答，验证器执行规则，只保留能同时满足全部约束的样本。
• 训练集分布（Figure 1(b)）：英文 68.9%、中文 31.1%；Perception 49.1%、Reasoning 29.7%、Generation 11.2%、Cognition 10.0%。优化为全参数 GRPO，无 critic；学习率 1×10−7，group size 4，global batch size 32，15 epochs（Section 4.2）。

实验设置

• 训练对象：Qwen3-VL-8B-Instruct 与 InternVL3.5-8B，在 verl 中做全参数 GRPO，无 critic，也不是部分参数更新（Section 4.2）。
• 优化与采样：AdamW，weight decay 0.01，无 warmup，恒定学习率 1×10−7；不用 KL 或熵正则。group size 为 4，global batch size 为 32，训练 15 epochs。rollout 温度 1.0，最多 8192 个新 token。硬件为 8 节点共 64 张 Ascend 910B，精度 bf16。
• 数据与指标：训练集 13,547 条，MM-IFEval-Pro 测试集 1,279 条。该基准分数为样本约束满足率的均值；劫持约束用 NLD 小于 0.1 的二值规则。作者称评测不依赖主观 LLM 评判。
• 对照基准：MM-IFEval、MIA-Bench、IFEval；通用套件为 MMMU、MMMU-Pro、MathVista、MathVision、MathVerse、MMBench、OCRBench、AI2D。Table 2 表头写作 MathVistaMINI、MathVerseMINI-V、MMBEN、MMBCN。
• 其他被测模型：Table 3 还报告 MiniCPM-V4.5、MiMo-VL-7B-RL-2508、Qwen3.5-35B-A3B。Figure 1 用 gpt-4o 与 gpt-5.2 作为其他基准的评审示例，不是 MM-IFEval-Pro 的打分器。论文未报告重复次数。

主结果

据 Table 1。Pro 为 MM-IFEval-Pro 的中文、英文与平均分；末列为 MM-IFEval 的 Avg。Table 1 另有 MIA、IFEval 列，抽取后表头出现多个 Avg，列对齐无法确认，故不转写。

表格较宽，可左右滑动

模型	Pro cn	Pro en	Pro Avg	MM-IFEval Avg
Qwen3-VL-8B-Instruct	78.96	78.64	78.73	58.68
+MM-IFEval-Pro (w/o IH)	88.24	88.38	88.35	61.97
+MM-IFEval-Pro (w/ IH)	88.28	89.74	89.31	61.73
InternVL-3.5-8b	66.27	63.94	64.64	47.13
+MM-IFEval-Pro (w/ IH)	89.12	86.89	87.55	50.13

• 作者解读：作者称训练信号跨任务、跨语言，而不是只适配单一基准；并称加入中文与 IH 后，多语言对齐和指令遵循稳健性得到加强。
• 子列例外：Table 1 中 MM-IFEval 的 C、P 并非都上升。带 IH 训练的 Qwen，C 为 65.02、P 为 52，Avg 低于其 w/o IH 训练行；w/o IH 训练行为 C 65.34、P 52。InternVL 的 C 从 51.57 到 55.92，P 从 34 到 33。
• 缺行：论文未报告 InternVL 的 w/o IH 训练结果。正文将 78.73% 到 89.31%、64.64% 到 87.55% 分别对应两基座在 MM-IFEval-Pro 上的平均分变化。

通用多模态基准

Table 2 比较 STEM、VQA 与 Document。作者称两模型在 STEM 上一致提高，指令遵循增益不降低其他能力，并称 InternVL3.5-8B 在 STEM 与 document 任务上均有增益。

• Qwen3-VL-8B-Instruct（w/ IH）相对基座：MMMU 从 62.55 到 64.00，MathVision 从 40.72 到 42.13，OCRBench 从 90.00 到 90.1，Avg 从 66.83 到 67.16。同时 MathVerseMINI-V 从 34.01 到 33.37，MMBEN 从 86.76 到 86.68，AI2D 从 85.07 到 84.68。
• InternVL（表中 Intern-vl-3.5-8b，w/ IH）：MMMU 从 61.00 到 62.00，MMBEN 从 82.38 到 82.56，MMBCN 从 81.44 到 81.70。MMMU_Pro 从 42.08 到 41.73，MathVistaMINI 从 73.3 到 72.3，MathVision 从 36.77 到 35.36，OCRBench 从 84.1 到 83.90，AI2D 从 83.12 到 82.99，Avg 从 63.65 到 63.44。
• 对照：w/o IH 的 Qwen 在 Table 2 的 Avg 为 67.05，MathVerseMINI-V 为 32.74。作者对“不降低其他能力”的说法，与表中若干下降项并列存在；作者未逐项解释这些下降。

指令劫持分列与案例

Table 3 把 MM-IFEval-Pro 分成 w/o IH 与 w/ IH 两种评测设置。该表与 Table 1 的表头不同；数字相同处不另作条件推断。

• 分数：MiniCPM-V4.5 为 73.40 与 76.80；MiMo-VL-7B-RL-2508 为 71.40 与 64.70；InternVL-3.5-8b 为 70.50 与 64.64；Qwen3.5-35B-A3B 为 74.60 与 74.50；Qwen3-VL-8B-Instruct 为 81.21 与 78.73；+MM-IFEval-Pro 为 91.16 与 89.31。
• 作者解读：作者称 MiMo 与 InternVL 在 IH 下下降，MiniCPM-V4.5 与 Qwen3.5-35B-A3B 相对稳定，并称该轴能区分模型。表中 MiniCPM-V4.5 的 w/ IH 高于 w/o IH。作者称微调后的 Qwen 在两种设置下都有较大增益。
• Figure 5：作者对比两基座微调前后的劫持案例，称微调前被图中伪任务带偏，微调后能拒绝这些视觉干扰并遵守用户指令。图中具体句子不转述。

其他消融与分析

• Qwen 的 w/o IH 与 w/ IH 训练（Table 1）：MM-IFEval-Pro Avg 分别为 88.35 与 89.31；MM-IFEval Avg 分别为 61.97 与 61.73。
• Qwen 的 MathVerseMINI-V（Table 2）：基座 34.01，w/o IH 为 32.74，w/ IH 为 33.37。
• InternVL 的 Table 2 Avg：63.65 到 63.44（w/ IH）。
• Figure 1 评审示例：Qwen3.5-35A3 的 MIA-Bench 在 gpt-4o 下为 92.7、gpt-5.2 下为 83.2；MM-IFEval 分别为 63.5 与 59.5。
• Figure 7：两模型 GRPO reward 曲线，粗线为 50-step 移动平均；横轴 Step 标至 6000，纵轴 Reward 标至 1.0。正文未报告曲线读数。
• 论文未另给迭代次数、查询次数之外的攻击搜索预算；劫持判定阈值固定为 0.1（Section 3.2）。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion 称该基准与训练方法为更稳健、更可靠、更可全球应用的多模态指令遵循系统提供基础，但没有列出不足或后续实验。

实验覆盖范围

• 被测模型：报告分数的模型为 Qwen3-VL-8B-Instruct、InternVL3.5-8B、MiniCPM-V4.5、MiMo-VL-7B-RL-2508、Qwen3.5-35B-A3B（Section 4、Table 1、Table 3）。
• 训练范围：全参数 GRPO 的对象是上述两个 8B 模型，15 epochs，group size 4，global batch size 32（Section 4.2）。Table 1 有 Qwen 的 w/o IH 与 w/ IH 训练行，InternVL 只有 w/ IH 训练行。
• 指令遵循评测：MM-IFEval-Pro 测试集 1,279 条，并报告 MM-IFEval、MIA-Bench、IFEval（Section 4.1）。MM-IFEval-Pro 用规则函数判定，不使用 LLM 裁判。
• 通用能力评测：MMMU、MMMU-Pro、MathVista、MathVision、MathVerse、MMBench、OCRBench、AI2D（Table 2）。语言为中文与英文；Figure 1(b) 训练集为英文 68.9%、中文 31.1%。
• 劫持与增广范围：劫持真查询限定为 OCR 式转写，阈值为 NLD 小于 0.1（Section 3.2）。数值增广写明目前实例化在图表相关 VQA（Section 3.3）。论文未报告重复次数，也未给出构建数据所用 VLM/LLM 的名称。

MM-IFEval-Pro 是面向 VLM 的中英多模态指令遵循基准，并配有可用规则计算奖励的 GRPO 训练集。

• 问题：作者认为既有多模态基准缺少中文样本，对指令劫持覆盖不足；Figure 1 还用不同评审下的分数说明 LLM 打分不稳定。
• 基准：4 大任务类、24 子类，8 大约束类；作者称 52 个子类、每样本平均 3.0 条约束。测试集 1,279 条，训练集 13,547 条。每条约束由确定性程序检查，中英文的长度计数和句子切分分开实现。
• 劫持：图中渲染与用户查询冲突的伪任务，文本侧只要求转写。归一化 Levenshtein 距离小于 0.1 判为遵守用户查询，否则判为未遵守。
• 训练结果：正文与 Table 1 中，Qwen3-VL-8B-Instruct 在 MM-IFEval-Pro 的平均分从 78.73% 到 89.31%（w/ IH 训练），InternVL3.5-8B 从 64.64% 到 87.55%。Table 3 中，MiMo-VL-7B-RL-2508 的 w/ IH 为 64.70，w/o IH 为 71.40；微调后 Qwen 的 w/o IH 为 91.16、w/ IH 为 89.31。
• 迁移与作者结论：Table 2 中 Qwen（w/ IH）的 MMMU 从 62.55 到 64.00，Avg 从 66.83 到 67.16；InternVL 的 Avg 从 63.65 到 63.44，多项 STEM 与 document 分数下降。作者称该基准更能反映多语言与对抗条件下的多约束交互，GRPO 的增益可迁到其他指令遵循与通用多模态基准。