FusionAudit：面向原生多模态模型的路径条件化鲁棒性审计

原生多模态 VLM 里，视觉通道既是感知输入也是渲染文本载体，单攻击、像素中心的评测会把不同攻击面压成一个标量。

• 场景：作者写早期系统把冻结视觉编码器经投影瓶颈送进语言模型；原生架构则做多层视觉注入和早期融合，像素、场景文字和文档字段与用户提示词在统一表示里竞争。作者认为鲁棒性评测没有跟上，仍分成像素对抗和排版叠加。
• 缺口：像素路上，锚在视觉编码器的攻击看不到深层解码器梯度；端到端 PGD 把梯度摊到全部输出 token，压低模型改口的位置。渲染文本路上，作者称原生模型大量注意叠加文字，却拒绝把它当成任务答案，直接排版因此测不全。
• 观察与做法：作者称存在 see-but-not-deceived 签名，以及深融合里编码器目标与答案级目标不一致。他们提出 L1–L3 原生性分类、审计框架 PaRMA 及其实例 FusionAudit，并用诊断设计 MANTIS 与 Nat-Evid。主标量是通路完备残差风险，作者称其为经验下界。层级趋势被写成相关，不是因果。
• 威胁模型：
  • 目标：在 clean-correct 集上估计像素与渲染文本干预之并集的失败概率，并检查失败是否带有可指导更强攻击的行为签名。
  • 知识：文本提示词固定，只改图像。像素攻击是 white-box、无穷范数有界的 PGD；作者写 MANTIS 需要 white-box 梯度。渲染文本插入任务匹配的错误答案。
  • 受害系统：18 个开源 VLM，按对齐时代、浅融合、深融合或早期融合组织。作者称没有被审计的开源模型达到设想的 L4。
  • 判定：ASR 与风险只在干预前答对的子集上计算；该子集中被答错的样本计入失败。论文未把成功定义成越狱遵从。

论文第 2 节把相关工作分成原生 VLM、对抗鲁棒性、评测与诊断三组。

原生视觉语言模型

• 模块化管线：早期 VLM 多用冻结或轻量适配的视觉编码器，经投影、query 模块或 connector 接语言模型。论文写 BLIP-2、InstructBLIP、MiniGPT-4、LLaVA 表明这条对齐时代管线可做 VQA、描述和视觉指令微调；后续工作比较视觉骨干、connector 和训练配方。
• 原生架构：论文写近期模型改为多层视觉注入或早期融合共享骨干，视觉与文本更早或更深地交互。作者认为视觉通道不再只是前端条件信号，评测不能沿用模块化管线的假设。

VLM 对抗鲁棒性

• 像素攻击：论文引用 Carlini 与 Wagner（2017）以及 Madry 等的 PGD（2018）：小范数像素扰动能暴露视觉模型的脆弱性。后续工作把这类方法接到 VLM 的编码器表示、跨模态对齐或最终回答，并写对抗样本可以跨模型迁移。
• 排版与分路评测：论文写把文字渲染进图像可以改变 VLM 对视觉内容的解释。作者指出既有评测通常把像素扰动和文字叠加当成分开的威胁，没有系统测量原生 VLM 上跨视觉通路的联合风险。

评测与诊断审计

• 静态套件：论文引用 Athalye 等：单一攻击可能低估风险，并以此引出 AutoAttack 这类固定攻击集合。多模态评测开始聚合多种扰动，但作者写多数仍依赖预先给定的静态套件。
• 事后诊断：表征相似度、注意力分析和激活修补被用来看内部表示。作者指出这些诊断通常在失败之后作解释，而不是用来指导随后更强的攻击。

基线与数据

• 基线方法：像素通路为 Vis-PGD 与 End-PGD；渲染文本通路为 Typo-Evid，作者写遵循 Cheng 等。评测集由 ChartQA、DocVQA、MME 组成，共 1500 题。
• 定位：作者把 PaRMA 写成把通路诊断放进审计、报告诊断加强之后的残差风险，而不是在预先指定的攻击集合上取最大值。

PaRMA 不把审计做成固定攻击清单：基线攻击给出失败和诊断，诊断再驱动增强攻击，最后用加强后的并集失败率作可被证伪的残差风险。实例 FusionAudit 覆盖像素扰动和渲染文本插入（Figure 1）。

分类与审计范围

• L1：冻结或轻量适配的视觉编码器经投影接语言模型，模态在结构上分开。
• L2：大规模联合多模态预训练；视觉 token 经 connector 进入骨干，但不在更深层重新进入，骨干处理固定视觉前缀。
• L3：视觉信息参与整个语言计算，包括多层再注入的 DeepStack，以及从第一层共享 transformer block 的 Early Fusion。论文把 Qwen2.5-VL、Qwen3-VL、Qwen3.5 写成同族、由浅到深的对照链，未在清单里逐个标注子类型。
• 范围：模型把图像 xv 和文本 xt 映到答案。为与纯文本越狱分开，固定 xt，只干预 xv。作者写融合层级与模型族、规模、训练数据共变，分类是组织轴不是因果阶梯。设想的 L4（单一骨干、无独立视觉塔）没有被审计的开源模型达到。

通路条件风险

• πpix：扰动的无穷范数不超过 ε，干预图是裁剪后的 xv 加扰动。
• πtxt：候选字符串长度至多 L，位置取自允许集合；干预是把字符串按位置渲染进图像。
• 风险：干净正确集上，攻击 a 打翻的子集记为 Sa。通路完备风险是各通路、各攻击打翻集合之并的经验频率：

\widehat{R}_{\mathrm{FA}}(f_\theta;D,\mathcal{A})=|\bigcup_k\bigcup_{a\in\mathcal{A}_k}S_a|/|C_\theta(D)|

含义是：干预前答对的样本里，至少被套件中一次视觉干预答错的比例。作者称它会随诊断加强，因此是下界，而不是静态并集。像素球半径和 PGD 步数在实验设置中给定。

基线与诊断

• Vis-PGD：在 ε 球内最小化干预图与干净图的视觉编码器特征余弦相似度。
• End-PGD：在同一球内，对教师强制的整段正确回答最大化交叉熵。
• Typo-Evid：在固定区域叠上与任务匹配的错误答案字符串。论文写遵循 Cheng 等，此处不展开叠字内容。
• 两个读数：RUG 是显式阅读下能读出该字符串的比例，减去任务提示下答错且回答含该字符串的比例：

RUG(f_θ)=P_read(f_θ)−P_use(f_θ)

OAR 用图像之后的文本 token、对图像 patch 的注意力，在头和后期解码层上平均，再算叠加区域所占注意力份额相对其面积比。作者写任务提示下 OAR 大于 1 且 RUG 为正，与 see-but-not-deceived 一致，并认为 Typo-Evid 有视觉突兀带来的拒绝。

诊断驱动的增强

• MANTIS：正确续写和由参考答案得到的确定性错误续写在优化前固定。只在二者首次分歧的 token 上拉开边际：提高错误 token 的对数概率、压低正确 token 的对数概率，约束仍是无穷范数不超过 ε。作者给出的理由是 End-PGD 把梯度摊到整段。
• Nat-Evid：用风格条件的图像编辑，把同一错误答案画成与宿主一致的内容，例如图表标注或场景文字，而不是外加叠字。错误答案在生成前固定；编辑器被要求只加文字、不改不删原有内容。作者用来检验宿主一致的渲染能否缩小“读到但不采用”。
• 交付：加入这两项后得到 R+。R+ 减 R0 是诊断额外暴露的风险。作者称 R+ 是主交付，并且可被证伪。

成功判定

• 风险分母是 clean-correct 集大小，分子是被攻击套件打翻的并集。判定函数 J 把输出标成相对参考答案失败时，样本进入被打翻集。
• 渲染文本诊断另用阅读事件和“答错且含错误字符串”事件，与任务 ASR 不是同一个事件。
• 论文未写 J 的字符串匹配规则，也未命名 Figure 1 里的 judge。

实验设置

• 模型：18 个开源 VLM。L1 为 SmolVLM2-2.2B、BLIP2-OPT-2.7B、InstructBLIP-Vicuna-7B、LLaVA-1.5-7B。L2 为 Qwen-VL-Chat、Qwen2-VL-2B、Qwen2.5-VL-3B、Qwen2.5-VL-7B、Gemma3-4B、Gemma3-12B、DeepSeek-VL-7B。L3 为 Qwen3-VL-2B、Qwen3-VL-4B、Qwen3-VL-8B、Qwen3.5-2B、Qwen3.5-4B、Qwen3.5-9B、Gemma4-E4B。
• 数据：固定 1500 题，在 ChartQA、DocVQA、MME 间平衡。MME 的 500 题中 460 题（92%）来自自然图像类（400 artwork、60 celebrity），40 题为 code reasoning。
• 协议：各攻击用同一 1500 题。ASR 与风险条件于各模型自己的 clean-correct 集。像素攻击 ε=8/255、40 步 PGD。显存不够时在缩放图上算扰动，只上采样噪声场，加回原分辨率再推理。论文未说明哪些模型触发缩放。
• 套件：基线为 Vis-PGD、End-PGD、Typo-Evid；加强项为 MANTIS、Nat-Evid。δ 是加强攻击打翻、且对应基线都未打翻的 clean-correct 比例。层级均值是不加权宏平均。表头有 Clean 列，表注未用句子定义它。
• 诊断子集：层恢复取每模型按标识排序的前 40 个 End-PGD 翻转，保留能复现的 24–40 个。稳定性消融为每数据集 100 题、共 300 题、全部 18 模型。
• 未写明：Table 1 的 Nat-Evid 用哪个图像生成器；J 的实现；主 1500 题审计的重复次数。Figure 1 有 judge 框，论文未命名。

主结果

下表只列 8 个模型。数字都是 clean-correct 集上的百分比，据 Table 1。R+ 是加强后的通路完备风险。最高 R+ 的 SmolVLM2-2.2B 已列入。

表格较宽，可左右滑动

模型	End-PGD	MANTIS	Typo-Evid	Nat-Evid	R+
SmolVLM2-2.2B（L1）	80.4%	99.5%	17.2%	30.9%	100.0%
BLIP2-OPT-2.7B（L1）	43.1%	63.0%	69.4%	4.4%	91.2%
Qwen2.5-VL-3B（L2）	66.6%	59.5%	19.5%	36.6%	85.7%
Gemma3-12B（L2）	35.7%	69.5%	14.1%	34.0%	81.5%
Qwen2.5-VL-7B（L2）	45.4%	59.0%	15.6%	33.9%	79.5%
Qwen3-VL-4B（L3）	37.4%	61.1%	12.6%	29.9%	78.9%
Gemma4-E4B（L3）	46.7%	72.4%	8.9%	27.1%	88.7%
Qwen3.5-9B（L3）	38.3%	39.2%	16.1%	25.1%	59.5%

省略 InstructBLIP-Vicuna-7B、LLaVA-1.5-7B、Qwen-VL-Chat、Qwen2-VL-2B、Gemma3-4B、DeepSeek-VL-7B、Qwen3-VL-2B、Qwen3-VL-8B、Qwen3.5-2B、Qwen3.5-4B。其中 InstructBLIP-Vicuna-7B 的 R+ 为 99.5%，DeepSeek-VL-7B 为 99.2%。

• 层级缺口：作者报告从基线并集到加强并集，L1/L2/L3 宏平均增加 +10.6%、+16.9%、+25.1%；固定模型配对 bootstrap 的 95% CI 为 [9.2, 12.0]、[16.1, 17.8]、[24.2, 26.0] 个百分点，均不含 0。仅 MANTIS 打翻的比例为 15.2%、17.6%、24.6%。Nat-Evid 独占翻转为 10.4%、23.7%、20.6%，作者称大但非单调。绝对 R+ 为 97.0%、88.4%、75.6%；作者写更新模型上绝对风险更低，诊断缺口仍在。
• 排序：作者称 End-PGD 作为默认代理对原生架构不够。与 R+ 排名的 Spearman ρ 为 0.837、Kendall τb 为 0.634；18 个模型中 8 个至少移动三名。作者称 Gemma3-12B 在 End-PGD 下排第 2，在 R+ 下排第 7。
• 同族与例外：正文另给 Qwen3-VL-2B 的 R+ 为 82.7%、Qwen3-VL-8B 为 73.1%、Qwen3.5-2B 为 78.0%、Qwen3.5-4B 为 68.1%。作者称同族方向与表中层级趋势一致，并认为暴露的是原生转变相关的脆弱性，而不只是新旧模型族之差。表中 Qwen2.5-VL-3B 的 MANTIS 低于 End-PGD；BLIP2-OPT-2.7B 的 Nat-Evid 远低于 Typo-Evid。

像素通路：稳定性与层恢复

• 稳定性：300 题、三个种子上，作者称 MANTIS 的最小-最大方差相对绝对 ASR 较小，标准差中位数为 1.3%。步数从 10 扫到 50，作者称 ASR 大体在 30–40 步饱和；加到 50 步的层级均值增益为 +2.8%、+1.0%、+2.2%（L1–L3）。ε 取 2、4、8/255 时，作者称 L1、L2、L3 的相对顺序保持。Figure 2 各模型柱高文本未给出。
• 目标错配：Table 1 的 L3 宏平均上，Vis-PGD 为 16.5%，End-PGD 为 39.8%，MANTIS 为 56.8%。作者称这支持“端到端损失把梯度摊开、把梯度集中到答案判别 token 才能翻出更多失败”。
• 层恢复：16 个模型（Qwen-VL-Chat 与 DeepSeek-VL-7B 因不支持激活钩子被排除）。把 End-PGD 翻转样本的解码器前缀隐藏状态换回干净图上的值，贪心解码，任一深度恢复正确答案即计恢复。宏平均为 L1 92.2% [87.6, 96.1]、L2 62.6% [55.5, 69.6]、L3 25.6% [20.7, 30.7]。Qwen 族从 70.4%（Qwen2-VL-2B 与 Qwen2.5-VL-3B/7B）到 21.3%（Qwen3-VL 与 Qwen3.5）。作者称对齐时代模型恢复早期层前缀通常能撤销攻击；深融合里多数翻转在每一深度都还在。

渲染文本：看见但不被采用

• 两条文本攻击：作者称 Typo-Evid 在 L1 最强，由一个对齐时代模型拉动；未点名。Table 1 中该层 Typo-Evid 为 BLIP2-OPT-2.7B 的 69.4%，另三行为 17.2%、10.8%、8.5%。Nat-Evid 比 Typo-Evid 在 L2 高 13.6%、在 L3 高 15.0%（层级均值 34.5% 对 20.9%，28.2% 对 13.2%）。
• RUG：Table 2 的非加权层级均值为 L1 的 Pread 38.9、Puse 22.4、RUG +16.5；L2 为 68.6、15.9、+52.7；L3 为 81.0、11.6、+69.5。作者把 RUG 解释为可访问性相对采用，并称与 OAR 一起支持 see-but-not-deceived，从而引出 Nat-Evid。
• OAR：相对匹配的干净图，平均 OAR 增幅为 L2 +138%、L3 +135%、L1 +13%。L2 到 L3，Typo-Evid ASR 从 20.9% 到 13.2%。Figure 3 右侧是 Qwen3.5-2B 的一张 MME 样本：OAR 从 2.49 到 4.85，图注写注意力集中在注入条幅（蓝框），模型仍输出视觉答案。不复述条幅原文。

其他消融与分析

• 生成器（Figure 4）：作者称 Gemini 变体最强且由 MME 拉动；GPT-Image-2 与两个 Qwen 变体的平均 ASR 写成约 19%。图例为 Gemini、Qwen-Pro、GPT-Image、Qwen-Edit，正文写 GPT-Image-2，名称不完全对齐。
• 证据保持：Qwen3-VL-8B 上 100 张 MME，原图答对、Nat-Evid 答错，用黑块遮住插入线索后 98/100 恢复正确。图表和文档上，非生成式 OCR 在原图能读出答案的样本里，编辑图精确恢复真值字符串的比例为 92.3%；其余人工查看中，证据被破坏的占图像的 0.85%。
• 只留 MME 自然图像：任何层级均值 ASR 的变化不超过 3.2 个百分点；L3 的 MANTIS exclusive-flip 为 37.0%，全部 500 张 MME 上为 36.4%。这是 MME 子集，不是 Table 1 的 24.6%。
• 例外：L1 宏平均 Nat-Evid 15.3% 低于 Typo-Evid 26.5%；DeepSeek-VL-7B 上 Nat-Evid 29.9% 对 Typo-Evid 31.1%；Qwen3.5-4B 上 24.5% 对 27.2%；Qwen3.5-9B 上 MANTIS 相对 End-PGD 的表内增益为 +0.9。作者未对这些个例另作机制解释。

作者指出的局限与后续方向

• 分类不是因果阶梯（Conclusion and Limitations）：L1–L3 是审计用的观察框架，不是严格因果阶梯。更严的 L4 不在实证审计内；Chameleon 指向该设计，但 Chameleon 论文报告图像 tokenizer 在文本密集图像上有局限，而这类图像是 ChartQA、DocVQA 和渲染文本设定的核心。Qwen 同族链减轻了部分混杂，相邻层级仍同时差在训练数据与规模。
• 只测错答注入（同节）：渲染文本通路只做与任务相关的错误答案注入。遵循指令的视觉提示注入（如越狱）是另一种安全风险，需要基于遵从的指标，而不是基于正确性的 ASR。
• 通路可扩展（同节）：当前只实例化两条视觉通路。作者写框架设计成可扩展；VLM 扩展到音频、视频和具身工具使用时，可以加入新通路和诊断。

实验覆盖范围

• 被测模型为正文列出的 18 个开源 VLM：L1 四个、L2 七个、L3 七个；没有被审计模型达到作者定义的 L4。
• 主审计用同一 1500 题（ChartQA、DocVQA、MME 平衡），ASR 条件于各模型 clean-correct 集；像素攻击为 white-box PGD，ε=8/255、40 步。作者写 MANTIS 需要 white-box 梯度。
• 像素侧还包括 300 题、三种子的稳定性，以及步数和 ε 扫描；层恢复覆盖 16 个模型，Qwen-VL-Chat 与 DeepSeek-VL-7B 因不支持激活钩子被排除。
• 渲染文本侧包括 18 个模型的 RUG 与 OAR，以及四个图像生成变体的 Nat-Evid 比较；证据保持检查为 Qwen3-VL-8B 上 100 张 MME，外加 OCR 的 92.3% 与人工查看的 0.85%。
• 论文未报告主 1500 题审计的重复次数，也未写明 Table 1 的 Nat-Evid 对应 Figure 4 中哪一个生成器；论文未说明哪些模型因显存在缩放图上计算扰动。

FusionAudit 是面向原生 VLM 的视觉通路审计：先用诊断找与融合方式相关的盲点，再估计加强攻击之后的残差风险。

• 问题：冻结编码器加投影的管线变成深融合后，像素和图中文字会与提示词竞争。作者认为只用 End-PGD 这类单标量，给不出稳定的原生模型名次。
• 做法：L1–L3 只作组织轴。PaRMA 固定文本、只改图像。像素侧用编码器余弦和整段交叉熵作基线，再用首次分歧 token 的边际攻击 MANTIS。文本侧用直接叠字作基线，用与宿主一致的文字编辑 Nat-Evid 去测“读到但不采用”。主数是两条通路的并集失败率，且只在干预前答对的题上计算。
• 主结果：ChartQA、DocVQA、MME 共 1500 题、18 个开源模型上，L3 宏平均通路完备风险从 50.5% 到 75.6%（作者写 +25.1%，95% CI [24.2, 26.0] 百分点）。仅 MANTIS 打翻的 L3 比例为 24.6%；L3 的 RUG 为 +69.5%。End-PGD 与 R+ 排名的 Spearman ρ 为 0.837，18 个模型里 8 个至少移动三名。绝对 R+ 从 L1 的 97.0% 到 L3 的 75.6%，同族 Qwen 链方向一致。
• 例外：加强攻击并非在每个模型上都更高。Qwen2.5-VL-3B 的 MANTIS 为 59.5%，低于 End-PGD 的 66.6%；BLIP2-OPT-2.7B 的 Nat-Evid 为 4.4%，Typo-Evid 为 69.4%。
• 作者结论：作者认为鲁棒性审计应随架构一起变，FusionAudit 给出通路完备的模板。分类不是因果阶梯；渲染文本也还不是指令注入评测。作者写同一攻击也可能误导已部署的 VLM，并写发布的是审计流程而不是预计算对抗图像。