优化面向语音语言模型的多模态越狱攻击
On Optimizing Multimodal Jailbreaks for Spoken Language Models
AI 导读
研究者提出 JAMA（Joint Audio-text Multimodal Attack），用 GCG 优化文本后缀、PGD 优化音频扰动，同时扰动两种模态，在四个语音语言模型上把越狱成功率提升到单模态攻击的 1.5 到 20 倍。评估覆盖 Audio Flamingo 3、Qwen2 Audio、Gemma 3N 和 Qwen2.5 Omni，使用 AdvBench 数据以及有声书、Switchboard 对话、音乐等音频类型；对 GCG 单模态攻击较鲁棒的 Gemma 3N 在较长 PGD 扰动下仍被越狱。作者基于梯度动态提出顺序近似方法 SAMA，在越狱率相近的情况下把计算时间减少 4 到 6 倍，并认为单模态安全评估不足以保障语音语言模型的鲁棒性。
推荐理由
论文在四个语音语言模型上对比单模态与联合优化攻击，显示只做单模态安全评估会高估模型鲁棒性。