IAU-FOA：面向闭源多模态大模型的可迁移对抗攻击方法

闭源 MLLM 的 targeted 迁移，不能只靠全局特征对齐。

• 场景：作者称 MLLM 依赖视觉编码器感知图像，会继承视觉前端的对抗脆弱性；被操纵的视觉输入可能误导下游多模态推理，关系到真实基础模型服务的安全。
• 现有不足：既有 targeted transfer 多最小化对抗图与目标图的全局对比损失，全局表示常取开源编码器的 [CLS]。作者称这会压掉 patch 级结构；即便做局部对齐，固定边际也会把没有可靠对应的簇强行匹配，梯度偏向代理上的偶然相似。
• 作者的切入：扰动应保住可跨视觉编码器与预处理迁移的视觉语义，而不是只利用代理特有弱点。输入变换上，作者在 DI 的缩放、填充与 SIM 的像素强度缩放之外，考察双向强度缩放与逐通道增益。
• 本文提出：提出 IAU-FOA，在开源代理上做全局余弦对齐、簇级自适应不平衡最优传输、动态集成加权与视觉不变性增强（VIA）。本文是会议版本 FOA 的扩展，把平衡传输换成置信度相关的边际惩罚，并加入 VIA 与防御评测。
• 威胁模型：
  • 目标：targeted。使未见 MLLM 走向攻击者指定的目标语义或输出，而不是只产生任意错误响应。
  • 知识：论文将该框架称为 targeted black-box、transfer-based。受害 MLLM 的参数、梯度与中间特征不可用，不能在受害模型上直接优化。
  • 能力：给定源图与目标图，在可访问的开源代理视觉编码器集成上优化 ℓ∞ 有界扰动，再把对抗样本迁移到未见模型。
  • 受害系统：闭源商用 MLLM 与开源 MLLM；图像先经视觉编码器，再进入语言模型。成功判定见第 4 问。

多模态大语言模型

• 论文综述 LLM 向视觉–语言扩展的路线：Flamingo（Alayrac 等，2022），BLIP-2 用 Q-Former 连接冻结编码器与 LLM（Li 等，2023），LLaVA 用 MLP projector（Liu 等，2023）。
• 开源模型以视觉指令微调与高分辨率处理加强细粒度感知，论文举 Qwen2-VL 与 InternVL。作者称商用模型（如 GPT-5.5、Claude-Opus-4.8）的架构、编码器、对齐模块与训练配方差异，使内部表示难以访问或逼近。

对抗攻击与可迁移性

• 按对受害模型的访问，论文把攻击分为 white-box 与 black-box；按目标分为 untargeted 与 targeted。分类模型可在固定标签上优化，MLLM 则生成开放文本，目标常在语义或指令跟随层面。
• 可迁移性指一个模型上的对抗样本在未见模型上仍然有效。论文把基于迁移的攻击视为在不访问内部状态时探测闭源 MLLM 的途径，并称 targeted black-box 尤其难，因为扰动要跨异构模型一致传达目标语义。

针对 MLLM 的迁移式目标攻击

• Guo 等 AdvDiffVLM（2025）用扩散模型生成自然、可迁移的目标对抗样本；Zhang 等 AnyAttack（2025）用自监督框架大规模生成无标签目标样本；Xie 等 COA（2025）在视觉与文本模态间迭代做多模态语义更新。
• Li 等 M-Attack（2025）加强与目标相关的视觉模式；Zhao 等 M-Attack-v2（2026）强调细粒度细节对准；Li 等 MPCAttack（2026）协同聚合多范式视觉–语言特征，以降低代理表示偏差。会议版本 FOA（Jia 等，2025）做平衡的特征最优对齐。
• 作者称这些方法对先进闭源 MLLM 仍然有限，部分因为依赖代理特有的全局表示，或未充分处理局部对应的可靠性；细粒度自适应对齐与视觉不变性优化仍探索不足。

基线与数据

• 比较基线为 AdvDiffVLM、AnyAttack、COA、M-Attack、FOA-Attack、M-Attack-v2、MPCAttack。源图来自 NIPS 2017 对抗攻防竞赛数据集，目标图来自 MSCOCO 验证集。

作者将 IAU-FOA 定位为在多个代理视觉编码器上联合做双粒度对齐、自适应不平衡局部传输、按对齐分数变化的动态加权与 VIA，以捕捉可跨模型共享的视觉线索。

IAU-FOA 在开源代理视觉编码器集成上，把对抗图拉向目标图的全局语义与局部簇，并用光度变换和动态加权减轻对单一渲染、单一编码器的依赖。Fig. 2 概括这四部分。

问题设定

• 对齐对象：M 个代理编码器各自给出全局表示（如 [CLS]）和 patch token。对抗图为源图加扰动，在 ℓ∞ 预算内最小化各编码器上的特征对齐目标。受害模型闭源，代理上得到的扰动直接迁移。
• 一次迭代：当前目标视图送入各编码器，得到全局特征与聚类后的局部目标特征。对抗图生成多个光度变换副本；每个副本计算加权集成损失，再对有效副本的梯度取平均。
• 损失组成：每个编码器内，全局项与局部项由固定系数 λl 相加。集成权重按对齐分数更新，反传时保持固定。

视觉不变性增强

• 作者不用完整成像模型，而用两个可微运算近似常见光度变化：全局强度缩放，以及逐通道增益。
• 尺度取 2 的整数次幂，默认范围给出 0.25、0.5、1、2、4。小于 1 变暗，大于 1 变亮。逐通道增益在 1 附近独立均匀采样，默认幅度使区间为 [0.5, 1.5]；幅度为 0 则关闭该调整。
• 全局尺度在像素与通道间共享，通道增益只作用于对应通道。作者称尺度近似亮度与曝光，通道增益近似白平衡与光照颜色；多副本梯度平均后再更新扰动。

全局对齐与自适应局部传输

• 全局：先对全局特征做 ℓ2 归一化。损失为 L^m_g=1−cos(X_m,Y_m)，即对抗图与目标图全局特征的余弦距离。最小化它，就是提高二者的全局余弦相似。
• 局部：作者称直接匹配全部 patch token 会引入冗余和噪声对应。K-means 把对抗侧与目标侧 patch 特征各分成 K 个簇，默认 K=10。参考质量均匀为 1/K，与簇内点数无关。匹配代价为簇中心的余弦距离。
• 为何改平衡传输：平衡 OT 要求规定质量全部运出，即使背景、含糊区域或代理特有 patch 没有可靠对应。作者称这种强行匹配可能把扰动推向代理特有的偶然相似。
• 自适应不平衡传输：在熵正则下用 Sinkhorn，温度默认 0.1，最多 100 轮，缩放向量的平均变化低于给定阈值即停。对抗侧边际惩罚随匹配置信度变化：置信度取该簇对目标簇的最大余弦相似，再按均值归一化。调制强度取满，高置信簇约束更强，低置信簇更松；默认边际权重使零置信簇不再受边际惩罚。传输计划与置信度调制不回传梯度，梯度经相似度、在固定传输权重下更新。单编码器目标为 J_m=L^m_g+λ_l L^m_l，默认 λl=2.0。局部损失是归一化计划下的余弦距离，熵项与边际惩罚不加入该损失。

动态加权与理论比较

• 集成损失为各编码器损失的加权和。对齐分数另行计算，含全局余弦与局部传输相似度。权重由当前分数与上一次评估分数的比值经 softmax 得到，温度默认 1，权重和等于编码器个数。正分数且分母稳定时，相对增幅更大的编码器权重大。首次评估把历史分数设为当前分数。比值也会反映不同增强视图之间的差异。
• 附录定理在固定编码器、视图、目标特征与簇分配下，比较平衡 OT 与均匀局部匹配。作者给出条件：代理代价可分、跨模型梯度可分，且步长满足约束时，一步普通梯度后，OT 在受害对齐目标上相对均匀匹配至少有正间隙。作者认为这与第 IV 节的经验增益一致。附录写明，该结论不证明完整攻击或离散 ASR 的无条件改进，也不确立闭源受害模型满足这些假设。

优化流程的位置

• 附录 Algorithm S1 汇总视图安排、VIA、自适应传输、加权与投影符号更新。预算、迭代次数与成功阈值放在实验设置，不在此重复成操作清单。

实验设置

• 受害模型：开源 6 个：Qwen2.5-VL-7B/72B、InternVL3-14B/78B、MiniCPM-o-2.6、LLaVA-1.6-7B。商用主比较 6 个：Gemini-3.5-Flash、Gemini-3.1-Flash-Lite、GPT-5.5、GPT-5.4、Claude-Sonnet-4.6、Claude-Opus-4.8。2026 年 8 月另评 GPT-5.6-Luna、GPT-5.6-Sol、GPT-5.6-Terra、Claude-Opus-5、Gemini-3.7-Flash。合计 17 个。
• 代理：ViT-B/16、ViT-B/32、ViT-G/14（LAION-2B）、InternVL3-1B、DINOv2。除 AdvDiffVLM 外，基线与 IAU-FOA 共用这些代理、预算与迭代。AdvDiffVLM 按原文设置，不受 ℓ∞=16/255 约束。
• 数据与预算：源图 1,000 张，来自 NIPS 2017 对抗攻防竞赛，缩放到 224×224×3；目标图 1,000 张，随机取自 MSCOCO 验证集。主表每模型 1,000 对。超参、消融、防御与组件分析为每模型 100 对。默认 ϵ=16/255，步长 1/255，300 次迭代，K=10，λl=2.0，ρ=0.2。
• 指标：受害模型对两张图作描述，提示词固定为不超过 25 词的图像描述请求。GPT-4o 计算 GPTScore，≥0.5 视为成功（判为共享目标主体）。ASR 为成功率，AvgSim 为平均分。附录 Fig. S3 给出完整评审提示词。论文未报告评审采样设置与重复次数。
• 基线：COA、AnyAttack、AdvDiffVLM、M-Attack、FOA、M-Attack-v2、MPCAttack。2026 年 8 月的 5 个模型只与后两者比较。
• 设备：Ubuntu，一块 80 GB 的 NVIDIA H100。论文未报告对受害模型的查询次数。

主结果

下表为各 1,000 对上的数字。MPCAttack 是对照列，不是每一行的最强基线。表内 IAU-FOA 的最低 ASR 为 GPT-5.6-Luna。

表格较宽，可左右滑动

目标模型	IAU-FOA ASR	IAU-FOA AvgSim	MPCAttack ASR	出处
GPT-5.6-Luna	0.557	0.471	0.250	Table III
GPT-5.4	0.672	0.553	0.390	Table II
GPT-5.5	0.696	0.561	0.453	Table II
Claude-Sonnet-4.6	0.744	0.605	0.621	Table II
Gemini-3.5-Flash	0.776	0.616	0.673	Table II
Qwen2.5-VL-7B	0.821	0.645	0.697	Table I
Claude-Opus-4.8	0.822	0.641	0.724	Table II
InternVL3-14B	0.910	0.710	0.853	Table I

省略：Qwen2.5-VL-72B、InternVL3-78B、MiniCPM-o-2.6、LLaVA-1.6-7B、Gemini-3.1-Flash-Lite、GPT-5.6-Sol、GPT-5.6-Terra、Claude-Opus-5、Gemini-3.7-Flash。

• 作者称 IAU-FOA 在 Table I 的 6 个开源目标、Table II 的 6 个商用目标上，ASR 与 AvgSim 都是该列最高。开源平均为 0.863 与 0.685，MPCAttack 为 0.785 与 0.623。作者称相对各目标、各指标的最强基线，ASR 高 3.0–11.6 个百分点，AvgSim 高 3.7–8.1 个百分点；最大增益在 Qwen2.5-VL-7B，对照为 M-Attack-v2。
• 商用六模型平均为 0.750 与 0.600，MPCAttack 为 0.589 与 0.493。作者称相对最强对照，ASR 高 9.8–28.2 个百分点，AvgSim 高 6.0–18.8 个百分点，最大增益在 GPT-5.4。Table I–II 中 COA 的平均 ASR 为 0.002 与 0.001，AnyAttack 为 0.012 与 0.006。
• Table III 五模型平均 ASR、AvgSim 为 0.667 与 0.542。作者称相对平均最强的 MPCAttack 高 21.5 与 13.4 个百分点；相对更强基线的 ASR 增益为 7.3–30.7 个百分点，最大 ASR 增益在 GPT-5.6-Luna。

输入防御

• 六种防御：JPEG 质量 75、4-bit 位深缩减、3×3 中值滤波、TVM、ComDefend、DISCO。含无防御在内，每模型 100 对。Table IV 报 6 个商用模型的平均 ASR。
• 无防御时 IAU-FOA 为 0.855，MPCAttack 为 0.690，M-Attack-v2 为 0.638。六种防御的平均（不含无防御）为 0.688、0.495、0.428。IAU-FOA 各项为 JPEG75 0.803、BDR 0.778、TVM 0.737、ComDefend 0.618、Median 0.605、DISCO 0.587。
• 作者称相对 MPCAttack，各防御上的增益为 16.3–22.5 个百分点，并称优势在常规预处理和学习式净化之后仍然存在。该 0.855 来自 100 对，与 Table II 的 1,000 对平均 0.750 不是同一设置。

组件消融与局部传输

• Table V，同一 100 对、六个商用模型。完整方法平均 ASR/AvgSim 为 0.855/0.659。去掉局部 OT 为 0.692/0.543，作者称下降 16.3 与 11.6 个百分点。用平衡 OT 替换自适应传输为 0.812/0.635，下降 4.3 与 2.4 个百分点。去掉 VIA 为 0.675/0.551，作者称 ASR 降幅最大，为 18.0 个百分点，AvgSim 降 10.8 个百分点。等权集成为 0.800/0.646；五个目标 ASR 下降，G-3.5-F 仍为 0.850。
• 作者称四个消融都降低平均表现；所评设置下 VIA 对 ASR 贡献最大，局部 OT 对 AvgSim 贡献最大。
• Fig. 6 在三个商用模型上比较局部对齐，各 100 对。Adaptive-UOT 的 ASR 为 G-3.5-F 0.85、GPT-5.5 0.81、Cl-O-4.8 0.92，均值 0.860；去掉局部对齐、平衡 OT、普通不平衡 OT 的均值为 0.703、0.823、0.820。普通不平衡 OT 在 Cl-O-4.8 上为 0.84，低于平衡 OT 的 0.85。作者称只均匀放松边际、不做置信度自适应，在此并未优于平衡 OT。

其他消融与分析

• ρ 与 λl（Fig. 3，每模型 100 对，每族两模型均值）：ρ=0.2、λl=2.0 时 Gemini/GPT/Claude 的 ASR 为 85.0%、81.0%、90.5%，AvgSim 为 65.8%、63.2%、68.7%。
• K（Fig. 4，六商用模型各 100 对）：K=10 的平均 ASR 为 0.855；K=6 为 0.822，K=8 为 0.793；K 大于 10 时平均在 0.828–0.838。G-3.1-FL 与 Cl-O-4.8 在 K=14 为 0.910 与 0.940，高于 K=10。
• 输入增强（Fig. 5，各 100 对）：VIA 平均为 0.855/0.6590，No Aug 为 0.675/0.5510，Admix 为 0.818/0.6340。SIM、Admix、SSA、SIA 与 VIA 一样用 5 个副本，平均仍低于 VIA；SSA 为 0.685/0.5547。DI 用 1 个副本，为 0.708/0.5700。作者称增益不只来自副本数量。
• 加权（Table VI，各 100 对，只改变加权规则）：Dynamic 平均 ASR 0.855，Equal 0.800，Random 0.817，Score-Proportional 0.832。相对 Score-Proportional，GPT-5.4 从 0.740 到 0.810。G-3.5-F 与 Cl-S-4.6 上 Dynamic 与某一对照并列最高。
• 迭代（Fig. S2，各 100 对）：100 到 300 次，六模型平均 ASR 从 69.5% 到 85.5%；400 次为 82.5%，500 次为 84.5%。相对 300 次，500 次在 G-3.5-F 与 GPT-5.4 上升，Cl-S-4.6 不变，其余三个下降。
• 附录三例的 PSNR 为 29.8、30.3、32.5 dB，SSIM 为 0.808、0.770、0.729，均值 30.9 dB 与 0.769；该三例上 COA 的均值为 30.1 dB 与 0.702。作者写明未在全量评测集上评估图像质量。Table S1：12 个主比较目标上，成功攻击的源–目标 CLIP 相似度均高于失败攻击；开源按样本量加权的组均值为 0.474 对 0.466，闭源为 0.475 对 0.466。作者称差异小，且该事后分组不建立因果。

作者指出的局限与后续方向

论文未专门讨论局限。正文与附录没有 Limitations、Future Work 专节，也没有把某项结果写成待做工作。

实验覆盖范围

• 被测 MLLM 为 6 个开源模型、6 个商用主比较目标，以及 2026 年 8 月的 5 个商用模型，共 17 个；主比较每个目标 1,000 对（Table I–III）。
• 扰动在 5 个代理视觉编码器上优化：ViT-B/16、ViT-B/32、ViT-G/14（LAION-2B）、InternVL3-1B、DINOv2。除 AdvDiffVLM 外，预算为 ℓ∞、ϵ=16/255，步长 1/255，300 次迭代。
• 判定用受害模型的描述和 GPT-4o 的 GPTScore，阈值 0.5，并报告 AvgSim；提示词固定。论文未报告该评审与人工判定的一致性，也未报告重复次数或对受害模型的查询次数。
• 防御评测包括 JPEG75、BDR 4-bit、Median 3×3、TVM、ComDefend、DISCO；每设置每模型 100 对，Table IV 报告六个商用模型的平均 ASR。
• 组件消融、VIA 与 DI/SIM/Admix/SSA/SIA、OT 变体、四种加权、ρ、λl、K 与迭代次数，均在每模型 100 对上报告。附录给出三个源–目标对的 PSNR/SSIM，并写明未在全量评测集上评估图像质量。

IAU-FOA 是面向闭源 MLLM 的 targeted black-box 迁移攻击：在开源视觉编码器上生成有界扰动，再迁到参数与梯度不可见的受害模型。

• 问题：只对齐 [CLS] 会丢掉 patch 结构；平衡传输还会强行匹配没有可靠对应的局部簇。闭源服务不能直接反传。
• 方法：余弦距离提供全局方向；patch 特征先聚成簇，再用置信度调节边际惩罚的不平衡最优传输做局部对齐。多个代理按对齐分数的相对变化加权。VIA 用双向强度缩放和逐通道增益，使优化经过曝光与白平衡一类变化。
• 主结果：各 1,000 对上，6 个开源模型的平均 ASR/AvgSim 为 0.863/0.685，6 个商用模型为 0.750/0.600（Table I–II）。作者称这两项在这 12 个目标上都高于所比较方法。Table II 中 GPT-5.4 的 ASR 为 0.672，MPCAttack 为 0.390。
• 其他结果：2026 年 8 月 5 个商用模型的平均 ASR 为 0.667（Table III）。六种输入防御下，六个商用模型的平均 ASR 为 0.688；同为 100 对的无防御设置为 0.855（Table IV）。去掉 VIA 后，Table V 的平均 ASR 为 0.675，完整方法为 0.855。
• 作者结论：作者称开源与闭源实验支持所比较方法之外的这一组合，消融与组件分析支持局部传输、自适应边际、动态加权和 VIA。附录同时写明，传输相对均匀匹配的理论间隙依赖明确假设，不构成对完整攻击或离散 ASR 的无条件结论。