通过目标视图路由元优化对闭源 MLLM 的通用对抗攻击

一条通用扰动要让任意图像在未知闭源MLLM上稳定偏向指定目标。

• 场景：作者称商用闭源MLLM会被代理模型上的扰动以黑盒迁移命中。定向攻击要引出指定错误输出，而不是任意预测失败。
• 不足：已有定向迁移多为逐样本优化。作者称扰动易过拟合局部视觉线索，换未见图像后效力下降，且逐图优化不实用。
• 困难：直接做成通用设定时，三重随机使目标监督高方差，无差别token对齐不可靠，少源每目标适配又对初始化敏感。
• 做法：作者提出TarVRoM-Attack，用目标视图聚合、注意力聚焦视图、token路由和元初始化应对这三点。作者称这是闭源MLLM上UniTTAA的首次系统研究。
• 威胁模型：
  • 目标：每个目标图像只学一条扰动，加到任意干净图像上，使未知受害模型的输出或视觉嵌入偏向该目标。
  • 知识：受害MLLM闭源、未知。优化在可访问的视觉-语言预训练图像编码器集成上完成，再做black-box迁移。
  • 能力：向图像加共享扰动。定义里的可行域示例为无穷范数不超过16/255；每目标源图规模正文写N≤20。
  • 受害系统：未知商用闭源MLLM。主表报告GPT-4o、Gemini-2.0、Claude。

论文按MLLM、可迁移攻击、定向攻击和通用攻击组织相关工作，并在实验节列出对照。

MLLM

• 模型：论文列举LLaVA（Liu等，2023）、DeepSeek-VL（Lu等，2024）等开源模型，以及闭源的GPT-4o、Claude-4.5、Gemini-2.0。
• 任务：论文提到图像描述、视觉问答和视觉复杂推理，并称已有模型会被对抗攻击影响。

可迁移对抗攻击

• 做法：在可访问代理上构造对抗样本，再迁到未见受害模型。论文把改进分成梯度优化、输入随机变换和特征层操作三类。
• 文献：梯度一侧写到FGSM及迭代变体、动量与平滑；输入一侧写随机缩放、平移、混合等；特征一侧写突出神经元或对齐中间模式。此处没有点名批评。

MLLM定向攻击

• 区分：论文把攻击分成非定向（恶化回答）和定向（引向指定目标）。定向迁移包括代理迁移（Zhao等，2023）、扩散引导优化（Guo等，2024）、频率或集成增强的黑盒方法（Dong等，2023）。
• 近期方法：论文还写到更强代理或生成器（AnyAttack，Zhang等，2025）、轻量随机增强（M-Attack，Li等，2025），以及专有模型上的全局-局部特征对齐（FOA-Attack，Jia等，2025；Hu等，2025）。

通用攻击与定位

• 已有通用攻击：论文引用Chen等（2020）、Zhang等（2024）、Zhou等（2025），并称自己做的是更难的定向通用设定。
• X-Transfer：论文点名X-Transfer（Huang等，2025），称其目标限于10条固定文本描述，而本文支持任意目标图像。

基线方法：AnyAttack、M-Attack、FOA-Attack是逐样本定向可迁移攻击。UAP（Moosavi-Dezfooli等，2017）由作者重实现，把FOA-Attack的优化换成定向通用扰动目标。UnivIntruder（Xu等，2025）以文本提示为定向通用目标。

基准/数据集：100张目标图来自MSCOCO验证集；每个目标的优化图和未见图来自NIPS 2017 Adversarial Attacks and Defenses Competition数据集。

作者把本文放在输入无关的定向迁移上，用来区别逐样本攻击，并用任意目标图像区别于固定文本目标的X-Transfer。

TarVRoM-Attack在代理图像编码器集成上，为每个目标图像学习一条跨输入共享的扰动，再用元初始化支持少源适配。

问题设定

• UniTTAA：一条扰动跨输入共享，使任意干净图加扰后，未知受害模型相对目标图的输出差异期望最小。
• 代理目标：受害模型闭源，故在编码器集成和小源图集上对齐特征。训练损失是特征空间代理，论文举例为余弦或MSE距离。
• 目标式：δ^⋆∈argmin_{δ∈ S}𝔼_{x∼ D}𝔼_f̂∼F̂L_eval(x+δ,x_tar;f̂)。它同时对自然图像分布和未知受害模型取期望。

目标视图聚合

• 三重随机：每步从源图池抽样，并独立抽取源视图和目标视图。作者称梯度会被局部token波动主导。
• TVA：用多个原分辨率目标视图代替单视图监督。命题IV.1把多视图均值写成无偏蒙特卡洛估计，并称梯度方差按1/m下降。
• AFV：另加一个注意力聚焦视图作锚点。方形窗口锚在代理模型最后一层注意力峰值，边长取最近图像边界并设最小尺寸，裁入图内后缩放。
• 全局项：对抗源视图与目标视图的全局特征做余弦对齐。Fig. 2注称，300个epoch上TVA与TVA+AFV相对基线收敛更好，并降低梯度随机性；所附文本没有曲线数值。

Token路由

• 原因：通用扰动不能保留单图特有线索。作者称对全部源token一视同仁对齐，会产生虚假对应和噪声监督。
• 门控：对目标token与对抗源token做K-means。可对齐性是源token与目标原型的最大余弦相似度，再经sigmoid变成软权重。阈值γ和锐度β正文未给数值。
• 传输：局部对齐写成加权最优传输，核温度θ=0.1，传输计划用Sinkhorn。源边际均匀，目标边际由路由权重诱导。
• 总损失：L=∑_i W_i(Lⁱ_global+Lⁱ_route)。各编码器上全局项与路由项相加，再乘自适应权重求和；权重做法引用FOA-Attack。

元初始化与两阶段适配

• 少源：新目标不断到来，每个目标通常只有小支持集，正文写N≤20。作者称从零初始化容易漂向目标或样本特有捷径。
• Reptile：把每个目标当一个任务，用一阶Reptile学习共享初始化。内层适配与测试时的多视图损失一致，使初始化服务的是适配后的目标。
• 流程：阶段一在目标池上把初始化推向各任务适配结果的平均，并做无穷范数投影。阶段二从该初始化出发，用投影符号梯度（projected FGSM）为每个目标更新扰动。
• 未给数值：算法2中的元训练轮数、任务批大小、内层步数和两种步长，正文没有具体数字，实现细节指向附录。

实验设置

• 受害模型：主表为GPT-4o、Gemini-2.0、Claude。正文称附录另有GPT-5/5.2、Gemini-2.5/3、Claude-Opus-4.5，数字不在所附文本。主表未写Claude是否即引言中的Claude-4.5。
• 数据：MSCOCO验证集100张目标图。每目标从NIPS 2017竞赛数据集取20张优化、30张不交叠未见图，作者称无数据泄漏。
• 基线：逐样本为AnyAttack、M-Attack、FOA-Attack；通用为作者重实现的UAP，以及以文本提示为目标的UnivIntruder。未见评测把已优化扰动直接迁移，不再更新。
• 指标：同一闭源模型为目标和对抗图写描述，GPTScore衡量语义相似度。ASR为相似度>0.3；另报AvgSim，以及至少匹配1/2/3个标注关键词的KMRa/KMRb/KMRc。
• 未写明：正文未给代理编码器名称、主表所用扰动预算、重复次数，也未给GPTScore与人工判定的一致性。GPTScore对应的模型版本论文未说明。

主结果

据Table I，下表只列ASR（相似度>0.3）。未见列是主设定。

表格较宽，可左右滑动

设定与模型	UAP ASR	UnivIntruder ASR	TarVRoM ASR	FOA-Attack ASR
未见 GPT-4o	38.0%	17.9%	61.7%	3.3%
未见 Gemini-2.0	36.8%	21.1%	56.7%	3.1%
未见 Claude	8.7%	10.9%	15.9%	2.6%
已见 GPT-4o	66.7%	15.0%	85.5%	93.0%
已见 Gemini-2.0	61.3%	15.0%	75.5%	85.4%
已见 Claude	13.8%	9.2%	25.0%	18.0%

• 未见：作者称三模型上本文给出最好的通用迁移。结果节写GPT-4o的ASR从UAP的38.0%到61.7%，Gemini-2.0从36.8%到56.7%；摘要写绝对提高23.7%与19.9%。未见GPT-4o的KMRa/KMRb/KMRc为52.0%/34.5%/9.9%，UAP为37.5%/23.3%/5.6%。
• 已见：作者称高于通用基线，并接近逐样本方法。表外的M-Attack已见ASR为GPT-4o 91.2%、Gemini-2.0 80.3%，高于本文；Claude为14.5%，低于本文。AnyAttack已见ASR为6.2%、6.4%、5.0%，未见为6.1%、6.4%、5.3%。
• Claude：绝对ASR低于另外两模型。作者称未见趋势相同；已见设定下本文高于全部逐样本基线。本文已见AvgSim为0.13，FOA-Attack为0.10。

少源样本数

• 设置：Table II改变每目标优化图数N，取2、5、10、20，对照本文与UAP。
• 未见：作者称三模型随N上升，且始终优于UAP。例外是N=2的Claude：本文ASR 2.3%、AvgSim 0.02，UAP为3.0%、0.03。N=20时GPT-4o/Gemini-2.0为61.7%/56.7%，与Table I相同，Claude为15.0%，与Table I的15.9%不同。
• 已见：作者称ASR多在N为2或5时最高，N更大则拟合略弱。作者认为更大的N带来更多样源梯度，并抑制实例特有捷径。GPT-4o上本文N=5为98.0%，N=20为85.5%。

元初始化

• 设置：Table V让Stage-2从元初始化或零初始化出发，epoch取50、100、200、300。
• 结果：有元初始化、50 epoch的未见ASR为54.7%、49.0%、11.8%，无元初始化为25.0%、22.0%、4.3%（GPT-4o、Gemini-2.0、Claude）。同预算已见ASR为77.5%/70.0%/24.0%，对照45.5%/40.5%/16.0%。
• 作者解读：作者称少量更新即可接近从零开始的更长训练。引言举例写50 steps对比300 steps；表的单位是epoch，论文未说明二者是否相同。300 epoch有元初始化时Claude未见ASR为15.0%，与Table I的15.9%不同，论文未解释。

可视化与附录

• Fig. 1：源图上FOA-Attack与本文都成功；未见图上前者未保持目标概念「cat」，后者仍引向该概念。图中的模型描述原文不复述。
• Fig. 3：作者称未见样本上本文更保持自然外观，扰动更有结构、语义上更可迁移。所附文本没有图像中的数值。
• 附录：作者称若干防御预处理下攻击仍然有效，不同ε下表现稳定，且能适配元初始化阶段未出现的目标。这些数字不在所附文本。

其他消融与分析

• 组件（Table III）：勾选列在文本转换中丢失。无组件行与Table I的UAP相同。作者称单组件即可提升，TVA+AFV增益最大，再加TR后多数情况更好。末行未见ASR为52.0%、49.0%、10.0%，与Table V无元初始化、300 epoch相同，论文未说明是否同一设置。
• 视图数未见（Table IV）：m=2时ASR为42.0%、39.3%、9.0%；m=8为64.7%、60.3%、14.3%；m=16为61.7%、60.7%、17.3%（GPT-4o、Gemini-2.0、Claude）。m=4一行与Table I本文未见结果相同。
• 视图数已见（Table IV）：m=2为69.0%、57.0%、23.5%；m=8为88.0%、81.0%、28.5%；m=16为84.0%、80.5%、31.0%。作者称m增大后收益递减，并偶有小幅波动。

作者指出的局限与后续方向

• 无专节：Conclusion没有列出局限或后续工作，正文也没有Limitations、Discussion或Future Work专节。论文未专门讨论局限。

实验覆盖范围

• 受害模型：主结果表是GPT-4o、Gemini-2.0、Claude。正文称附录另报告GPT-5/5.2、Gemini-2.5/3、Claude-Opus-4.5。
• 数据规模：目标图100张，来自MSCOCO验证集；每目标20张优化图和30张未见图，来自NIPS 2017竞赛数据集。
• 对照：包括逐样本的AnyAttack、M-Attack、FOA-Attack，以及通用的UAP重实现和以文本为目标的UnivIntruder。
• 已做分析：正文有源图数N、TVA/AFV/TR、目标视图数m、有无元初始化及Stage-2的50至300 epoch。正文称附录还写了防御预处理、ε和未见目标适配。
• 正文未报告：代理编码器名称，算法2中E、B、I、η、M、α的取值，主表所用ε，重复次数，以及GPTScore与人工判定的一致性。

TarVRoM-Attack研究闭源MLLM上的通用定向迁移：一个目标图像对应一条扰动，并作用于任意输入。

• 问题：逐样本定向扰动换图后难以保持目标。改成通用设定后，三重随机带来高方差，token无差别对齐不可靠，少源适配又依赖初始化。
• 方法：在代理图像编码器上聚合多个目标视图，并加注意力峰值处的锚点视图；再按可对齐性把局部对齐路由到更相容的token。跨目标的初始化用一阶Reptile学习，然后为每个目标做投影符号梯度适配。
• 未见图像：Table I中本文ASR为GPT-4o 61.7%、Gemini-2.0 56.7%、Claude 15.9%，AvgSim为0.27、0.25、0.07。作者称前两者相对最强通用基线绝对提高23.7%与19.9%。该表三个逐样本基线的未见ASR为2.6%–6.4%。
• 已见图像：同一扰动在GPT-4o、Gemini-2.0上为85.5%、75.5%，低于FOA-Attack的93.0%、85.4%；Claude上为25.0%，高于该表逐样本基线。
• 作者结论：作者称一条扰动可以在商用MLLM上跨未见图像做定向引导，源图上仍与逐样本方法可比；元初始化下较少更新即可接近从零开始的更长优化。