多模态大语言模型的对抗鲁棒性研究
Investigating Adversarial Robustness of Multi-modal Large Language Models
AI 导读
研究者系统研究了多模态大语言模型（MLLM）的视觉对抗鲁棒性，提出诊断性 CLIP 对齐协议，可在完整 MLLM 训练前预测哪些鲁棒视觉编码器能有效迁移，并发现大规模多模态对抗预训练而非单纯单模态规模是鲁棒性迁移的关键。将此类编码器经端到端多模态训练集成进 MLLM，在强对抗攻击下相比受约束的即插即用基线，图像描述平均提升 28 个 CIDEr 点，VQA 准确率提升 11.7%。论文还发现直接对标准非鲁棒 MLLM 做对抗训练会同时降低干净与对抗性能，表明鲁棒视觉表示是严格前提，而从鲁棒骨干出发的端到端对抗训练可再增加 1.9 个 CIDEr 点和 4.3% 的 VQA 准确率。测试阶段的轻量视觉随机变换可作为黑盒防御，把非鲁棒模型的对抗性能从接近零提升到与鲁棒模型相当的水平；鲁棒模型在白盒视觉越狱攻击下还显著减少有毒生成，代码与预训练权重将公开发布。