Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2603.19127· Aravind Krishnan, Karolina Stańczak, Dietrich Klakow·Indexed by this site · Originally publishedSelectedAttention53

Optimizing multimodal jailbreak attacks against speech language models

On Optimizing Multimodal Jailbreaks for Spoken Language Models

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

作者用JAMA在AdvBench上联合优化四个SLM的文本与音频，作者称越狱率达单模态的1.5×–20×。

Threat model白盒（white-box）：同时优化文本后缀与音频扰动δ，提高安全对齐SLM对恶意查询给出肯定性有害应答的概率。

Questions
SLM同时接收语音与文本，现有越狱多只优化一个模态。作者问：对单模态对抗优化的鲁棒性，能否迁移到文本与音频同时被优化的设定。
Methods
提出JAMA：用GCG优化离散文本后缀、用PGD优化连续音频扰动，在一批恶意查询上降低肯定性目标串的损失。SAMA改为先GCG、后PGD。
Experiments and results
四个SLM在AdvBench上用LLaMA Guard 3评测。作者称JAMA越狱率比单模态高1.5×–20×；Qwen2 Audio的GCG-only（长度16）为90.9%，Gemma 3N的4×后缀为3.0%。SAMA耗时少4×–6×。
Limitations and future work
论文未设专门局限节。附录把SAMA有时高于JAMA的梯度交互留给后续研究。实验为四个可微特征提取的SLM、AdvBench 480条测试、四种基音频；正文报告LLaMA Guard 3，未报告防御评测。
Experimental setupAudio Flamingo 3、Qwen2 Audio (7B, Instruct) et al. · AdvBench、Switchboard · Jailbreak Success Rate、string matching
Threat model
白盒（white-box）：同时优化文本后缀与音频扰动δ，提高安全对齐SLM对恶意查询给出肯定性有害应答的概率。模型冻结、可对输入反传；δ投影到[-ε,ε]。受害系统为可微音频特征提取的SLM。
Evaluated models
Audio Flamingo 3Qwen2 Audio (7B, Instruct)Gemma 3N (E2B, IT)Qwen2.5 Omni (7B)Gemini
Benchmarks
AdvBenchSwitchboard
Metrics
Jailbreak Success Ratestring matching
AI summaryand selection rationaleThe researchers propose JAMA (Joint Audio-text Multimodal Attack), which uses GCG to optimize text suffixes and PGD to optimize audio perturbations, perturbing both modalities simultaneously, and increases jailbreak success rates on four speech language models to 1.5 to 20 times that of unimodal attacks. Evaluation covers Audio Flamingo 3, Qwen2 Audio, Gemma 3N, and Qwen2.5 Omni, using AdvBench data as well as audio types such as audiobooks, Switchboard conversations, and music; Gemma 3N, which is relatively robust to GCG unimodal attacks, is still jailbroken under longer PGD perturbations. The authors propose a sequential approximation method SAMA based on gradient dynamics, reducing computation time by 4 to 6 times with similar jailbreak rates, and argue that unimodal safety evaluation is insufficient to ensure the robustness of speech language models.

The researchers propose JAMA (Joint Audio-text Multimodal Attack), which uses GCG to optimize text suffixes and PGD to optimize audio perturbations, perturbing both modalities simultaneously, and increases jailbreak success rates on four speech language models to 1.5 to 20 times that of unimodal attacks. Evaluation covers Audio Flamingo 3, Qwen2 Audio, Gemma 3N, and Qwen2.5 Omni, using AdvBench data as well as audio types such as audiobooks, Switchboard conversations, and music; Gemma 3N, which is relatively robust to GCG unimodal attacks, is still jailbroken under longer PGD perturbations. The authors propose a sequential approximation method SAMA based on gradient dynamics, reducing computation time by 4 to 6 times with similar jailbreak rates, and argue that unimodal safety evaluation is insufficient to ensure the robustness of speech language models.

Why it was selectedThe paper compares unimodal and jointly optimized attacks on four speech language models, showing that unimodal-only safety evaluation overestimates model robustness.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者问单模态对抗优化的鲁棒性，能否迁移到文本与音频同时优化。

    单模态鲁棒性在文本与音频同时被对抗优化时是否仍成立。

    • 场景：SLM把语音处理与语言生成放进同一端到端流程，用于口语对话、口语问答和语音翻译。作者认为安全对齐已是开发中的固有阶段，但越狱仍在；把LLM转成SLM，或把恶意文本转成语音，会让原本会拒绝的查询更容易被越狱。
    • 现有不足：作者称现有攻击大体仍是单模态，通常只优化语音，另一模态在场但不被优化。作者认为，只按单模态做的鲁棒性声明会高估多模态系统的安全性。
    • 核心提问：作者认为攻击者会在所有可用输入模态上放大恶意信号，并问：对单模态对抗优化的鲁棒性，能否迁移到多模态设定。
    • 提出的方法：white-box框架JAMA，用GCG与PGD同时扰动文本后缀和音频；再用SAMA做顺序近似。作者称代码与数据已提供。
    • 威胁模型：
      • 目标：诱导有害应答，做法是提高肯定性目标串的概率。
      • 知识：论文写为white-box。模型冻结，对后缀嵌入和音频扰动计算梯度。
      • 能力：同时改离散后缀和连续扰动δ，并把δ投影到[-ε, ε]。基音频可以是语音或非语音。
      • 受害系统：带可微音频特征提取、且做过安全对齐的SLM。

  2. What related research exists?

    引言讨论单模态语音越狱、视觉-语言优化攻击，以及非优化的文本-音频组合攻击。

    论文没有独立的Related Work，相关讨论在引言。

    跨模态漏洞与声学扰动

    • Yang et al.（2025）[8]：LLM转成SLM后，LLM原本会拒绝的查询出现越狱。Chen et al.（2026）[9]：把恶意文本转成语音会降低拒绝率。作者用这两项讨论接入语音会加重越狱。
    • 噪声或背景[8, 10]、音高、音量或语速[11, 12]、不同口音[12, 13]被写成会提高越狱率。论文未逐篇对比这些手工扰动与JAMA。
    • AdvWave（Kang et al., 2025）[14]与Gupta et al.（2025）[15]：对语音输入做梯度扰动以迫使越狱。作者称这类文献通常只优化一个模态。

    基准与邻近的多模态攻击

    • Jailbreak-AudioBench [12]、JALMBench [16]、AudioJailbreak [17]：用输入扰动评估SLM的越狱基准。论文只说明这些基准的存在。
    • Wang et al.（2025）[18]：在视觉-语言模型上做多模态优化攻击。作者称这是最接近的工作之一，但模态是视觉-语言。
    • Yang et al.（2026）[19]：文本-音频组合攻击，但是非优化立场，并讨论SALMONN-Guard。作者明确把它与优化式攻击分开。

    优化方法、基线与数据集

    • 作者称GCG [20]与PGD [22]是各模态上流行的SOTA越狱优化方法。GCG优化离散后缀，PGD优化连续扰动。
    • 基线方法：PGD-only（S为空，只优化δ）[15]，以及GCG-only（有后缀、x=0）[20]，其余超参与联合攻击相同。基准：AdvBench [23]。

    作者把本文放在单模态优化之外：在SLM上同时用GCG和PGD优化文本与音频，并检查单模态鲁棒性是否迁到该设定。SAMA是对JAMA计算开销的顺序近似。

  3. How does the paper address this problem?

    JAMA在同一损失上先更新音频扰动，再做GCG后缀搜索；SAMA改为两阶段。

    在冻结的SLM上，JAMA对同一批恶意查询同时更新离散后缀和连续音频扰动，使肯定性目标串的损失下降。SAMA先只优化后缀，再固定后缀优化音频。

    问题设定

    • 每条恶意查询qi配一段基音频x和肯定性目标yi。文本侧追加N个可优化后缀token；音频侧加扰动δ。论文以同意提供所求内容的英文起句为例，此处不转写原句。
    • 模型冻结。波形先经该模型的特征提取器变成频谱再进入SLM。作者选择没有gradient shattering的提取器，并把numpy实现改写成torch以便反传。
    • 为使攻击泛化，损失在Q条查询上平均。实验里这批查询是从AdvBench train split前40条中随机抽的8条；得到的后缀和加噪音频再用于其余测试查询。
    • 联合损失为Ljoint=1/Q∑i=1Q L(yi∣ qi,s1,…,sN,x+δ)，即当前后缀与加噪音频下，肯定性目标的平均损失。

    PGD与GCG

    • PGD：对连续扰动做L2归一化梯度步，再投影回[-ε, ε]，以保持与原音频的感知相似。论文写ε=0.001，学习率0.01，1000步，设置跟随[15]。
    • 更新为δ(t+1)=Πϵ(δ(t)−η g(t))，其中g是损失对δ的L2归一化梯度，Π按元素夹到[-ε, ε]。
    • GCG：对后缀嵌入求梯度，每个位置取Top-K，随机替换一个位置形成候选，选损失最低者。搜索宽度32，top-k为16，1000步。特殊token在梯度中被mask。最终后缀取优化过程中损失最低的那个。

    JAMA的更新顺序

    • Algorithm 1：δ初始化为U(-ε, ε)。每步先算联合损失，做一次PGD，再评估GCG候选。
    • 正文写GCG的前向以当前扰动音频x+δ^(t)为条件；Algorithm 1的GCG步使用刚更新的x+δ^(t+1)。论文未解释这一差别。
    • 联合优化共1000步。评测使用联合损失最低的后缀与扰动对。

    SAMA

    • 动机来自梯度能量：联合优化早期文本梯度相对更大。作者假设可以先优化GCG token，再优化PGD。
    • 第一阶段无音频，GCG跑1000步，记下训练中最好的后缀。第二阶段固定该后缀，引入音频再做1000步PGD。其余超参与§3相同。
    • GCG候选评估因此不再以对抗音频为条件。作者用这一点降低长音频上的计算开销。

    成功判定

    • 测试集为AdvBench其余480条，greedy decoding，五个随机种子。
    • 成功由string matching [20]与LLaMA Guard 3判定。正文报告LLaMA Guard 3；作者称string matching趋势一致，数值不在正文。
    • 论文未写LLaMA Guard 3的判定阈值或有害类别。

  4. What experiments did the paper conduct?

    作者称JAMA相对单模态为1.5×–20×；Gemma 3N的GCG-only为3.0%。

    实验设置

    • 被测模型：Audio Flamingo 3、Qwen2 Audio (7B, Instruct)、Gemma 3N (E2B, IT)、Qwen2.5 Omni (7B)。均为可微音频特征提取的安全对齐SLM。附录B另提到Gemini上的干扰试验，无越狱率。
    • 数据：AdvBench。优化用train split前40条中随机8条；测试其余480条。五个随机种子。解码为greedy。同一组后缀和加噪音频用于测试查询。
    • 基音频：男声有声书朗读、Switchboard对话（一男一女）、音乐。Figure 7按Switchboard-Male、Switchboard-Female、Music、Audiobook排列。
    • 基线与超参：PGD-only（S为空）与GCG-only（x=0）。1000步；PGD为L2归一化、lr=0.01、ε=0.001；GCG宽度32、top-k 16。
    • 长度轴：Figure 2/7中，两个Qwen模型为GCG 0/2/4/8/16、PGD 0/1/2/4秒；Audio Flamingo 3为GCG 0/2/4/8/32、PGD 0/1/2/4秒；Gemma 3N为GCG 0/8/16/32/64、PGD 0/2/4/8秒。
    • 指标：越狱率（%），误差为标准误。正文用LLaMA Guard 3。论文未做显著性检验，也未写每条查询的重复次数。

    主结果

    下表是Figure 7中Music初始化的角点，不是该网格最大值。无攻击与GCG-only不随基音频变化。

    Swipe horizontally to read the table

    模型无攻击GCG-only（最长后缀）PGD-only（最长）JAMA（最长×最长）
    Qwen2.5 Omni (7B)11.2±0.059.5±3.8（16）11.3±5.9（4s）84.5±1.6（16×4s）
    Qwen2 Audio (7B, Instruct)1.5±0.090.9±1.6（16）61.8±15.0（4s）91.2±1.4（16×4s）
    Audio Flamingo 33.5±0.032.6±10.7（32）31.3±2.0（4s）68.7±5.7（32×4s）
    Gemma 3N (E2B, IT)0.8±0.03.0±0.9（64）18.8±11.1（8s）68.1±5.0（64×8s）
    • 作者称四个模型上联合优化高于任一单模态，相对单模态为1.5×–20×（摘要与贡献列表；结论写up to 20×）。Figure 7并非每格都同时高于两个单模态：Qwen2.5 Omni、Switchboard、PGD 4秒、GCG 2为16.9%±12.0，低于同列PGD-only的31.4%±11.9；两格标准误重叠，论文未做检验。
    • 正文把长度16的GCG-only写成59%与90.9%；前者对应表中59.5%。作者认为PGD-only弱于GCG-only，可能因为语音编码器削弱扰动；音乐作为PGD初始化最好，可能因为频率范围比人声更宽。
    • 作者称Qwen上GCG已经较强时，JAMA主要是放大器；短后缀或弱PGD单独失败时出现交互。附录A.1称Gemma 3N是例外，较强成功率主要出现在音乐初始化。该网格峰值为GCG 32、PGD 8秒的73.6%±6.1，高于表中右上角。作者的定性分析认为，有声书或语音的语义可能干扰顺从、降低成功率。

    优化动态与表示

    • 梯度能量比ρ为文本梯度范数除以维度，再除以音频侧同样的量。Figure 3a纵轴约0–0.25、横轴0–1000步，图中无逐点标注。图注称早期GCG梯度占优；Figure 5b上，作者称联合损失先像GCG急降，后像PGD缓降。
    • Figure 3b是Qwen2.5 Omni最后层t-SNE，配置来自Figure 2，左图GCG 16、PGD 4秒，右图GCG 4、PGD 4秒。图注称GCG较长时攻击子空间分开，左图越狱率79%、右图49%，未写基音频。这两个百分数与Figure 7中该模型Switchboard、PGD 4秒、GCG 16与GCG 4的79.1%±1.0和49.2%±8.2相同，论文未说明是否同一设置。
    • §5写四类线性分类器只用前两个主成分即达99%。附录称降维前接近或达到完全分开，两维已够用；Figure 5c含Gemma 3N、Qwen2.5 Omni、Qwen2 Audio，正文未逐模型列出图中其他准确率。作者称未能分清成功与失败的JAMA，并推测信息在非线性空间。Figure 8写明音乐为PGD基信号，且不含Audio Flamingo 3。Figure 5a图例写Gemma 3B，正文模型名为Gemma 3N；正文未给出质心距离比的数字。

    顺序近似SAMA

    • Figure 4a画越狱率差（JAMA−SAMA），横轴为GCG长度，取各模型最大PGD长度，音频为Audiobook与Music。作者称差距平均约10%，随GCG变长而缩小；两边都足够长时接近。作者称SAMA有时高于JAMA，可能因为避开了方向相反的梯度。
    • 计时为8个GCG token、4秒PGD、单张NVIDIA-H100 80GB。作者称SAMA耗时比JAMA少4×–6×（§6、Figure 4b）；摘要写4× to 6× faster，结论写up to 6×。SAMA每阶段各1000步，总步数多于JAMA的1000步。
    • 附录Figure 6a在Switchboard上的趋势与§6大体一致。Gemma在Switchboard上是异常点：作者称最优条件下SAMA比JAMA高20%，并认为可能是梯度交互。Figure 6b中，作者称两边绝对损失在结束时看起来收敛到可比的值。

    其他消融与分析

    • 作者称Qwen上音频时长与越狱率正相关；并称该趋势在先前SALMONN工作[15]中不存在。本文未测SALMONN。
    • Gemma 3N、Audiobook、GCG 64、PGD 8秒为38.7%±9.7；Switchboard同角点为24.1%±3.3，Switchboard 2为27.9%±9.7（Figure 7），均低于音乐网格的68.1%。
    • 附录B.1：作者称Qwen2 Audio上文本攻击的越狱率高于其骨干LLM，但未给骨干名称和数字；静音或高斯干扰未稳定迁移，Gemini上无效果。
    • 附录B.2：联合优化初期在Qwen2 Audio与Gemma 3N上little to no improvements；缩短GCG后前者出现交互，后者要加长PGD才出现作者所称有意义的越狱率。无单独数字。
    • string matching的数值不在正文。附录A.4的表1–4给出四个模型在指定配置下的回复前64 token，此处不转述。

  5. What are some points that can be further explored?

    论文未专门讨论局限，只把梯度交互导致的SAMA反超留给后续研究。

    作者指出的局限与后续方向

    • 论文没有Limitations、Discussion或Future Work专节。结论主张单模态安全评估不够，并呼吁在复合攻击空间加防护，未把某项实验缺口写成局限。
    • 附录A.3写明：Gemma在Switchboard上SAMA高于JAMA，作者认为可能来自梯度交互，并把该问题留给未来研究。
    • 附录B.3再次把梯度交互造成的性能差留给未来工作。

    实验覆盖范围

    • 正式评测的模型为Audio Flamingo 3、Qwen2 Audio (7B, Instruct)、Gemma 3N (E2B, IT)、Qwen2.5 Omni (7B)。§3写明只选没有gradient shattering、并能把特征提取改成可反传的模型。
    • 数据为AdvBench：优化8条，测试480条，5个随机种子，greedy decoding。基音频为男声有声书、Switchboard男/女各一条、音乐。
    • 攻击为white-box的GCG、PGD、JAMA、SAMA。步数1000；PGD的lr=0.01、ε=0.001；GCG宽度32、top-k 16。正文指标为LLaMA Guard 3越狱率。
    • 分析包括梯度能量比、最后层t-SNE、PCA线性分类和质心距离（§5、附录A.2），以及SAMA的越狱率差与单张H100上的耗时（§6，配置为8个GCG token、4秒PGD）。
    • 论文未报告防御或自适应攻击评测，未报告LLaMA Guard 3的阈值，未报告string matching的正文数字，未报告各模型质心距离比的具体数值。附录B对Gemini只报告干扰试验无效果，无越狱率。

  6. Summarize the main content of the paper

    JAMA联合优化文本与音频，作者称越狱率可达单模态的1.5×–20×。

    JAMA是针对SLM的白盒文本-音频联合越狱。作者要回答的是：只在一个模态上做对抗优化时看到的鲁棒性，在两个模态一起优化时是否还在。

    • 做法：在8条AdvBench查询上平均肯定性目标的损失；每步先用PGD更新音频噪声，再在该音频上用GCG挑选后缀。得到的一对后缀和加噪音频用于其余480条测试。SAMA先无音频地优化后缀1000步，再固定后缀优化噪声1000步。正文成功率由LLaMA Guard 3判定。
    • 单模态：长度16时，Qwen2 Audio的GCG-only为90.9%，Qwen2.5 Omni在正文中写为59%（Figure 7为59.5%）。Gemma 3N在4×后缀上为3.0%。作者认为PGD-only更弱。
    • 联合攻击：作者称四个SLM、四种音频上，JAMA相对单模态为1.5×–20×；结论另写up to 20×。Qwen2 Audio、Music、后缀16、4秒时JAMA为91.2%（Figure 7）。Gemma 3N、Music、后缀32、8秒为73.6%；作者称该模型较强的联合成功率主要出现在音乐初始化。短后缀格子不一定同时高于两个单模态。
    • 近似与表示：作者称SAMA与JAMA的越狱率差平均约10%，在8 token、4秒、单张H100上耗时少4×–6×。作者称成功的联合攻击在最后层表示上离无攻击区域更远；§5的四类线性分类器用前两个主成分达到99%。
    • 作者的结论：多模态场景里只做单模态安全评估不够，发布前需要针对组合攻击的防护。
Read originalarxiv.org
#Jailbreaks and attacks