Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.23179· Hui Lu, Yi Yu, Yiming Yang, Chenyu Yi, Xueyi Ke, Qixing Zhang, Bingquan Shen, Alex Kot, Xudong Jiang·Indexed by this site · Originally published

Universal adversarial attacks on closed-source MLLMs via target-view routing meta-optimization

Universal Adversarial Attacks against Closed-Source MLLMs via Target-View Routed Meta Optimization

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

TarVRoM-Attack攻击闭源MLLM；作者称未见图GPT-4o的ASR相对最强通用基线绝对提高23.7%。

Threat model黑盒迁移：在可访问的视觉-语言预训练图像编码器集成上，为每个目标优化一条跨输入共享的扰动，使任意干净图像在未知闭源商用MLLM上偏向该目标图像。

Questions
闭源MLLM的定向对抗扰动多按单张图优化，换未见图像就难以保持目标。作者要一条扰动跨任意图像，在未知商用模型上稳定偏向指定目标。
Methods
TarVRoM-Attack在代理图像编码器上学习每目标一条通用扰动：聚合多个目标视图并加注意力锚点，按可对齐性路由token，再用Reptile学初始化后做适配。
Experiments and results
主表未见图ASR为GPT-4o 61.7%、Gemini-2.0 56.7%、Claude 15.9%。作者称前两者相对最强通用基线绝对提高23.7%与19.9%。已见图上GPT-4o、Gemini-2.0低于部分逐样本方法。
Limitations and future work
论文未专节写局限。主实验受害模型为GPT-4o、Gemini-2.0、Claude，目标图100张。正文未报告代理模型名、算法超参取值、重复次数和人工一致性。
Experimental setupGPT-4o、Gemini-2.0 et al. · MSCOCO validation set、NIPS 2017 Adversarial Attacks and Defenses Competition dataset · ASR、AvgSim et al.
Threat model
黑盒迁移：在可访问的视觉-语言预训练图像编码器集成上，为每个目标优化一条跨输入共享的扰动，使任意干净图像在未知闭源商用MLLM上偏向该目标图像。可行域示例为无穷范数不超过16/255。评测看输出级描述差异。
Evaluated models
GPT-4oGemini-2.0ClaudeGPT-5GPT-5.2Gemini-2.5Gemini-3Claude-Opus-4.5
Benchmarks
MSCOCO validation setNIPS 2017 Adversarial Attacks and Defenses Competition dataset
Metrics
ASRAvgSimKMRaKMRbKMRcGPTScore
AI summaryThe researchers propose MCRMO-Attack, a universal targeted transferable adversarial attack against closed-source multimodal large language models (MLLMs), where a single perturbation makes any input stably output a specified target on unknown commercial MLLMs. The method stabilizes the supervision signal through multi-crop aggregation and attention-guided cropping, improves token-level matching reliability with alignability-gated token routing, and meta-learns a cross-target perturbation prior. On commercial MLLMs, its attack success rate on unseen images improves by 23.7% over the strongest general baseline on GPT-4o and by 19.9% on Gemini-2.0.

The researchers propose MCRMO-Attack, a universal targeted transferable adversarial attack against closed-source multimodal large language models (MLLMs), where a single perturbation makes any input stably output a specified target on unknown commercial MLLMs. The method stabilizes the supervision signal through multi-crop aggregation and attention-guided cropping, improves token-level matching reliability with alignability-gated token routing, and meta-learns a cross-target perturbation prior. On commercial MLLMs, its attack success rate on unseen images improves by 23.7% over the strongest general baseline on GPT-4o and by 19.9% on Gemini-2.0.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者把问题定为UniTTAA：一条扰动跨任意图像、未知闭源MLLM，偏向指定目标。

    一条通用扰动要让任意图像在未知闭源MLLM上稳定偏向指定目标。

    • 场景：作者称商用闭源MLLM会被代理模型上的扰动以黑盒迁移命中。定向攻击要引出指定错误输出，而不是任意预测失败。
    • 不足：已有定向迁移多为逐样本优化。作者称扰动易过拟合局部视觉线索，换未见图像后效力下降，且逐图优化不实用。
    • 困难：直接做成通用设定时，三重随机使目标监督高方差，无差别token对齐不可靠，少源每目标适配又对初始化敏感。
    • 做法：作者提出TarVRoM-Attack，用目标视图聚合、注意力聚焦视图、token路由和元初始化应对这三点。作者称这是闭源MLLM上UniTTAA的首次系统研究。
    • 威胁模型：
      • 目标：每个目标图像只学一条扰动，加到任意干净图像上，使未知受害模型的输出或视觉嵌入偏向该目标。
      • 知识：受害MLLM闭源、未知。优化在可访问的视觉-语言预训练图像编码器集成上完成，再做black-box迁移。
      • 能力：向图像加共享扰动。定义里的可行域示例为无穷范数不超过16/255；每目标源图规模正文写N≤20。
      • 受害系统：未知商用闭源MLLM。主表报告GPT-4o、Gemini-2.0、Claude。

  2. What related research exists?

    相关工作分可迁移攻击、定向攻击与通用攻击；作者用任意目标图像区别于X-Transfer。

    论文按MLLM、可迁移攻击、定向攻击和通用攻击组织相关工作，并在实验节列出对照。

    MLLM

    • 模型：论文列举LLaVA（Liu等，2023）、DeepSeek-VL（Lu等，2024）等开源模型，以及闭源的GPT-4o、Claude-4.5、Gemini-2.0。
    • 任务：论文提到图像描述、视觉问答和视觉复杂推理，并称已有模型会被对抗攻击影响。

    可迁移对抗攻击

    • 做法：在可访问代理上构造对抗样本，再迁到未见受害模型。论文把改进分成梯度优化、输入随机变换和特征层操作三类。
    • 文献：梯度一侧写到FGSM及迭代变体、动量与平滑；输入一侧写随机缩放、平移、混合等；特征一侧写突出神经元或对齐中间模式。此处没有点名批评。

    MLLM定向攻击

    • 区分：论文把攻击分成非定向（恶化回答）和定向（引向指定目标）。定向迁移包括代理迁移（Zhao等，2023）、扩散引导优化（Guo等，2024）、频率或集成增强的黑盒方法（Dong等，2023）。
    • 近期方法：论文还写到更强代理或生成器（AnyAttack，Zhang等，2025）、轻量随机增强（M-Attack，Li等，2025），以及专有模型上的全局-局部特征对齐（FOA-Attack，Jia等，2025；Hu等，2025）。

    通用攻击与定位

    • 已有通用攻击：论文引用Chen等（2020）、Zhang等（2024）、Zhou等（2025），并称自己做的是更难的定向通用设定。
    • X-Transfer：论文点名X-Transfer（Huang等，2025），称其目标限于10条固定文本描述，而本文支持任意目标图像。

    基线方法：AnyAttack、M-Attack、FOA-Attack是逐样本定向可迁移攻击。UAP（Moosavi-Dezfooli等，2017）由作者重实现，把FOA-Attack的优化换成定向通用扰动目标。UnivIntruder（Xu等，2025）以文本提示为定向通用目标。

    基准/数据集：100张目标图来自MSCOCO验证集；每个目标的优化图和未见图来自NIPS 2017 Adversarial Attacks and Defenses Competition数据集。

    作者把本文放在输入无关的定向迁移上，用来区别逐样本攻击，并用任意目标图像区别于固定文本目标的X-Transfer。

  3. How does the paper address this problem?

    TarVRoM-Attack用多视图聚合、可对齐性路由和Reptile元初始化，学习每目标一条通用扰动。

    TarVRoM-Attack在代理图像编码器集成上，为每个目标图像学习一条跨输入共享的扰动，再用元初始化支持少源适配。

    问题设定

    • UniTTAA：一条扰动跨输入共享，使任意干净图加扰后，未知受害模型相对目标图的输出差异期望最小。
    • 代理目标：受害模型闭源，故在编码器集成和小源图集上对齐特征。训练损失是特征空间代理，论文举例为余弦或MSE距离。
    • 目标式：δ⋆∈argminδ∈ S𝔼x∼ D𝔼f̂∼F̂Leval(x+δ,xtar;f̂)。它同时对自然图像分布和未知受害模型取期望。

    目标视图聚合

    • 三重随机：每步从源图池抽样，并独立抽取源视图和目标视图。作者称梯度会被局部token波动主导。
    • TVA：用多个原分辨率目标视图代替单视图监督。命题IV.1把多视图均值写成无偏蒙特卡洛估计，并称梯度方差按1/m下降。
    • AFV：另加一个注意力聚焦视图作锚点。方形窗口锚在代理模型最后一层注意力峰值，边长取最近图像边界并设最小尺寸，裁入图内后缩放。
    • 全局项：对抗源视图与目标视图的全局特征做余弦对齐。Fig. 2注称，300个epoch上TVA与TVA+AFV相对基线收敛更好，并降低梯度随机性；所附文本没有曲线数值。

    Token路由

    • 原因：通用扰动不能保留单图特有线索。作者称对全部源token一视同仁对齐，会产生虚假对应和噪声监督。
    • 门控：对目标token与对抗源token做K-means。可对齐性是源token与目标原型的最大余弦相似度，再经sigmoid变成软权重。阈值γ和锐度β正文未给数值。
    • 传输：局部对齐写成加权最优传输，核温度θ=0.1，传输计划用Sinkhorn。源边际均匀，目标边际由路由权重诱导。
    • 总损失：L=∑i Wi(Liglobal+Liroute)。各编码器上全局项与路由项相加，再乘自适应权重求和；权重做法引用FOA-Attack。

    元初始化与两阶段适配

    • 少源：新目标不断到来，每个目标通常只有小支持集，正文写N≤20。作者称从零初始化容易漂向目标或样本特有捷径。
    • Reptile：把每个目标当一个任务，用一阶Reptile学习共享初始化。内层适配与测试时的多视图损失一致，使初始化服务的是适配后的目标。
    • 流程：阶段一在目标池上把初始化推向各任务适配结果的平均，并做无穷范数投影。阶段二从该初始化出发，用投影符号梯度（projected FGSM）为每个目标更新扰动。
    • 未给数值：算法2中的元训练轮数、任务批大小、内层步数和两种步长，正文没有具体数字，实现细节指向附录。

  4. What experiments did the paper conduct?

    未见图ASR：GPT-4o 61.7%、Gemini-2.0 56.7%、Claude 15.9%（Table I）。

    实验设置

    • 受害模型：主表为GPT-4o、Gemini-2.0、Claude。正文称附录另有GPT-5/5.2、Gemini-2.5/3、Claude-Opus-4.5，数字不在所附文本。主表未写Claude是否即引言中的Claude-4.5。
    • 数据：MSCOCO验证集100张目标图。每目标从NIPS 2017竞赛数据集取20张优化、30张不交叠未见图，作者称无数据泄漏。
    • 基线：逐样本为AnyAttack、M-Attack、FOA-Attack；通用为作者重实现的UAP，以及以文本提示为目标的UnivIntruder。未见评测把已优化扰动直接迁移，不再更新。
    • 指标：同一闭源模型为目标和对抗图写描述，GPTScore衡量语义相似度。ASR为相似度>0.3；另报AvgSim，以及至少匹配1/2/3个标注关键词的KMRa/KMRb/KMRc。
    • 未写明：正文未给代理编码器名称、主表所用扰动预算、重复次数，也未给GPTScore与人工判定的一致性。GPTScore对应的模型版本论文未说明。

    主结果

    据Table I，下表只列ASR（相似度>0.3）。未见列是主设定。

    Swipe horizontally to read the table

    设定与模型UAP ASRUnivIntruder ASRTarVRoM ASRFOA-Attack ASR
    未见 GPT-4o38.0%17.9%61.7%3.3%
    未见 Gemini-2.036.8%21.1%56.7%3.1%
    未见 Claude8.7%10.9%15.9%2.6%
    已见 GPT-4o66.7%15.0%85.5%93.0%
    已见 Gemini-2.061.3%15.0%75.5%85.4%
    已见 Claude13.8%9.2%25.0%18.0%
    • 未见：作者称三模型上本文给出最好的通用迁移。结果节写GPT-4o的ASR从UAP的38.0%到61.7%，Gemini-2.0从36.8%到56.7%；摘要写绝对提高23.7%与19.9%。未见GPT-4o的KMRa/KMRb/KMRc为52.0%/34.5%/9.9%，UAP为37.5%/23.3%/5.6%。
    • 已见：作者称高于通用基线，并接近逐样本方法。表外的M-Attack已见ASR为GPT-4o 91.2%、Gemini-2.0 80.3%，高于本文；Claude为14.5%，低于本文。AnyAttack已见ASR为6.2%、6.4%、5.0%，未见为6.1%、6.4%、5.3%。
    • Claude：绝对ASR低于另外两模型。作者称未见趋势相同；已见设定下本文高于全部逐样本基线。本文已见AvgSim为0.13，FOA-Attack为0.10。

    少源样本数

    • 设置：Table II改变每目标优化图数N，取2、5、10、20，对照本文与UAP。
    • 未见：作者称三模型随N上升，且始终优于UAP。例外是N=2的Claude：本文ASR 2.3%、AvgSim 0.02，UAP为3.0%、0.03。N=20时GPT-4o/Gemini-2.0为61.7%/56.7%，与Table I相同，Claude为15.0%，与Table I的15.9%不同。
    • 已见：作者称ASR多在N为2或5时最高，N更大则拟合略弱。作者认为更大的N带来更多样源梯度，并抑制实例特有捷径。GPT-4o上本文N=5为98.0%，N=20为85.5%。

    元初始化

    • 设置：Table V让Stage-2从元初始化或零初始化出发，epoch取50、100、200、300。
    • 结果：有元初始化、50 epoch的未见ASR为54.7%、49.0%、11.8%，无元初始化为25.0%、22.0%、4.3%（GPT-4o、Gemini-2.0、Claude）。同预算已见ASR为77.5%/70.0%/24.0%，对照45.5%/40.5%/16.0%。
    • 作者解读：作者称少量更新即可接近从零开始的更长训练。引言举例写50 steps对比300 steps；表的单位是epoch，论文未说明二者是否相同。300 epoch有元初始化时Claude未见ASR为15.0%，与Table I的15.9%不同，论文未解释。

    可视化与附录

    • Fig. 1：源图上FOA-Attack与本文都成功；未见图上前者未保持目标概念「cat」，后者仍引向该概念。图中的模型描述原文不复述。
    • Fig. 3：作者称未见样本上本文更保持自然外观，扰动更有结构、语义上更可迁移。所附文本没有图像中的数值。
    • 附录：作者称若干防御预处理下攻击仍然有效，不同ε下表现稳定，且能适配元初始化阶段未出现的目标。这些数字不在所附文本。

    其他消融与分析

    • 组件（Table III）：勾选列在文本转换中丢失。无组件行与Table I的UAP相同。作者称单组件即可提升，TVA+AFV增益最大，再加TR后多数情况更好。末行未见ASR为52.0%、49.0%、10.0%，与Table V无元初始化、300 epoch相同，论文未说明是否同一设置。
    • 视图数未见（Table IV）：m=2时ASR为42.0%、39.3%、9.0%；m=8为64.7%、60.3%、14.3%；m=16为61.7%、60.7%、17.3%（GPT-4o、Gemini-2.0、Claude）。m=4一行与Table I本文未见结果相同。
    • 视图数已见（Table IV）：m=2为69.0%、57.0%、23.5%；m=8为88.0%、81.0%、28.5%；m=16为84.0%、80.5%、31.0%。作者称m增大后收益递减，并偶有小幅波动。

  5. What are some points that can be further explored?

    The paper does not explicitly list limitations or future directions.

    作者指出的局限与后续方向

    • 无专节：Conclusion没有列出局限或后续工作，正文也没有Limitations、Discussion或Future Work专节。论文未专门讨论局限。

    实验覆盖范围

    • 受害模型：主结果表是GPT-4o、Gemini-2.0、Claude。正文称附录另报告GPT-5/5.2、Gemini-2.5/3、Claude-Opus-4.5。
    • 数据规模：目标图100张，来自MSCOCO验证集；每目标20张优化图和30张未见图，来自NIPS 2017竞赛数据集。
    • 对照：包括逐样本的AnyAttack、M-Attack、FOA-Attack，以及通用的UAP重实现和以文本为目标的UnivIntruder。
    • 已做分析：正文有源图数N、TVA/AFV/TR、目标视图数m、有无元初始化及Stage-2的50至300 epoch。正文称附录还写了防御预处理、ε和未见目标适配。
    • 正文未报告：代理编码器名称，算法2中E、B、I、η、M、α的取值，主表所用ε，重复次数，以及GPTScore与人工判定的一致性。

  6. Summarize the main content of the paper

    TarVRoM-Attack用视图聚合、路由和元初始化做通用定向迁移，未见图GPT-4o ASR为61.7%。

    TarVRoM-Attack研究闭源MLLM上的通用定向迁移：一个目标图像对应一条扰动，并作用于任意输入。

    • 问题：逐样本定向扰动换图后难以保持目标。改成通用设定后，三重随机带来高方差，token无差别对齐不可靠，少源适配又依赖初始化。
    • 方法：在代理图像编码器上聚合多个目标视图，并加注意力峰值处的锚点视图；再按可对齐性把局部对齐路由到更相容的token。跨目标的初始化用一阶Reptile学习，然后为每个目标做投影符号梯度适配。
    • 未见图像：Table I中本文ASR为GPT-4o 61.7%、Gemini-2.0 56.7%、Claude 15.9%，AvgSim为0.27、0.25、0.07。作者称前两者相对最强通用基线绝对提高23.7%与19.9%。该表三个逐样本基线的未见ASR为2.6%–6.4%。
    • 已见图像：同一扰动在GPT-4o、Gemini-2.0上为85.5%、75.5%，低于FOA-Attack的93.0%、85.4%；Claude上为25.0%，高于该表逐样本基线。
    • 作者结论：作者称一条扰动可以在商用MLLM上跨未见图像做定向引导，源图上仍与逐样本方法可比；元初始化下较少更新即可接近从零开始的更长优化。
Read originalarxiv.org