探索多语言多模态大语言模型的对抗鲁棒性与安全对齐
Exploring Adversarial Robustness and Safety Alignment in Multilingual Multi-Modal Large Language Models
AI 导读
研究者对12种语言下的开源多模态大语言模型做了对抗鲁棒性与多模态安全的系统评估，对象是通过指令微调获得多语言能力的模型。基于梯度的攻击显示出可迁移的多语言脆弱性，在一种语言中优化的对抗图像在其他语言中仍能引发失效。安全表现取决于模型检索和解读有害指令的能力，文本输入时语言基础越强越容易引出可促成滥用的回答，而嵌入图像的排版文字中英文能被可靠识别并遵循，非英文文字很少被视觉编码器解析。论文把低资源语言表面更安全的现象称为 safety-by-failure，即理解与视觉定位失败造成的假象而非真正对齐；在训练各阶段构建多语言能力的 Qwen3-VL 保持跨语言主动拒答，仅在指令微调阶段做浅层多语言适配可能在低资源语言上产生虚假安全。