优化面向语音语言模型的多模态越狱攻击
On Optimizing Multimodal Jailbreaks for Spoken Language Models
论文速读
据论文全文整理（AI 生成），以原文为准
研究者提出 JAMA（Joint Audio-text Multimodal Attack），用 GCG 优化文本后缀、PGD 优化音频扰动，同时扰动两种模态，在四个语音语言模型上把越狱成功率提升到单模态攻击的 1.5 到 20 倍。
- Spoken Language Models（SLM）整合语音与文本后，继承了 LLM 的安全漏洞并扩大了攻击面。已有越狱攻击大多只在单一模态上优化，作者质疑仅靠单模态鲁棒性是否足以保障多模态安全。
- 作者提出 JAMA，用 GCG 优化文本后缀、PGD 优化音频扰动，在冻结模型上同时扰动两种模态以最大化肯定回复概率；并基于梯度动态提出顺序近似方法 SAMA，先优化文本再优化音频。
- 在四个 SLM 和四种音频上评估，JAMA 的越狱成功率比单模态攻击高 1.5× 到 20×；SAMA 在较大 GCG/PGD 长度下接近 JAMA 效果，计算时间减少 4× 到 6×。分析显示两种模态作用于部分独立的越狱子空间。
- 作者指出单模态安全评估不足以保障 SLM 鲁棒性，呼吁在复合攻击空间设置防护；SAMA 与 JAMA 仍有约 10% 差距，且 SAMA 偶尔优于 JAMA 的梯度交互效应留待未来研究。
研究者提出 JAMA（Joint Audio-text Multimodal Attack），用 GCG 优化文本后缀、PGD 优化音频扰动，同时扰动两种模态，在四个语音语言模型上把越狱成功率提升到单模态攻击的 1.5 到 20 倍。评估覆盖 Audio Flamingo 3、Qwen2 Audio、Gemma 3N 和 Qwen2.5 Omni，使用 AdvBench 数据以及有声书、Switchboard 对话、音乐等音频类型；对 GCG 单模态攻击较鲁棒的 Gemma 3N 在较长 PGD 扰动下仍被越狱。作者基于梯度动态提出顺序近似方法 SAMA，在越狱率相近的情况下把计算时间减少 4 到 6 倍，并认为单模态安全评估不足以保障语音语言模型的鲁棒性。
推荐理由论文在四个语音语言模型上对比单模态与联合优化攻击，显示只做单模态安全评估会高估模型鲁棒性。