研究者提出 Multi-AudioJail，多语言多口音音频越狱攻击成功率最高提升 57.25 个百分点

LALM 的音频越狱几乎只覆盖英语，多语种与多口音叠加声学扰动后的黑盒越狱成功率仍缺系统测量。

• 场景： 作者称 LALM 已用于 ASR、语音问答和情绪检测，但音频越狱可绕过安全机制并引出有害输出。文本侧的多语越狱已有工作，音频侧仍以英语（含口音与非口音）为主。
• 不足： 作者称并发研究把口音当作独立因素，未系统考察它与多语输入、声学扰动的组合。
• 假设： 作者认为语言与声学变异会放大攻击成功，且多模态模型中只需打中最弱环节，例如非英语音频。
• 提出： MULTI-AUDIOJAIL 包含对抗扰动的多语/多口音音频数据集，以及从文本、干净音频到扰动音频的分层评测。作者计划发布数据集。
• 威胁模型：
  • 目标： 让 LALM 对带对抗扰动的多语种或多口音音频，输出符合恶意意图的有害回复。
  • 知识： black-box。提交查询、接收文本回复，不知内部参数。
  • 能力： Text-Only Attack 为基线，用文本提示尝试绕过文本安全过滤；Audio-Only Attack 只走音频，可含扰动、语言改动或二者兼有。
  • 受害系统： 被评测的 LALM。论文未指定单一产品部署。

相关讨论分成 LALM 本身、音频越狱，以及引言中点到的文本多语越狱。

LALM

• SpeechGPT（Zhang et al., 2023）： 用离散语音 token 统一理解文本与语音。
• Qwen-Audio / Qwen2-Audio（Chu et al., 2023; 2024）： 前者用 Transformer 处理 30 余种音频任务并支持多语言；后者把 Whisper 编码器与大 LLM 用于音频–文本对齐。
• 其他被介绍的模型： Ichigo（Dao et al., 2024）与 SALMONN（Tang et al., 2023）把语音转为离散 token。DiVA（Held et al., 2024）与 MERaLiON（He et al., 2024）侧重高效训练和多语适配。MiniCPM（Yao et al., 2024）与 Ultravox（Fixie.ai, 2024）面向实时应用，如情绪控制、声音克隆和翻译。

音频越狱

• Gupta et al. (2025) 与 VoiceJailbreak（Shen et al., 2024b）： 前者把不可感知的语言特征嵌入音频以触发有害输出；后者用虚构叙事和双语输入绕过 GPT-4o 的防护。论文对二者主要是描述。
• 编辑、红队与 Best-of-N： Xiao et al. (2025) 用音频编辑工具箱做音调调整和噪声注入，作者称其攻击成功率最高 45%。Yang et al. (2024a) 用非语音干扰等红队策略评测 LALM。Hughes et al. (2024) 的 Best-of-N 独立生成带口音和声学改动的提示变体。
• 作者点名的差别： 作者称 Hughes et al. (2024) 与 Xiao et al. (2025) 把口音当独立因素；本文还考察口音与多语输入、声学扰动的组合。Section 7 把 Kang et al. (2024)、Zhou et al. (2024a)、Hsu et al. (2025)、Shen et al. (2024a)、Gupta et al. (2025)、Hughes et al. (2024) 列为使用优化技术的先前工作，本文未采用。

文本多语越狱与基线

• 引言点名： Deng et al. (2023)、Upadhayay & Behzadan (2024)、Li et al. (2024b) 已在文本 LLM 上研究多语越狱。论文未逐篇写与本文方法的差别。
• 基线方法： Text-Only Attack，以及未加扰动的 Audio-Only 多语/多口音输入。模型按 VoiceBench 换算后的低 JSR 筛选。
• 基准/数据集： AdvBench 的 520 条英语有害指令，翻译并 TTS 后作为音频输入；能力侧另有每种语言 100 道常识语音问答。

作者把本文放在黑盒设置下，用跨语言语音差异加上混响、回声、耳语来测 LALM，而不是只改口音或只做文本多语攻击。作者称这是首个系统利用该漏洞的框架，并称所发布数据是首个专用的多语对抗音频数据集。

MULTI-AUDIOJAIL 先把有害文本合成多语或口音音频，再在信号级加混响、回声和耳语。比较顺序是 Text-Only、未扰动 Audio-Only，然后是扰动音频。

数据构建

• 来源： AdvBench 的 520 条英语有害指令，用 Azure Text Translation API 译入五种语言，再用 TTSMaker 转为音频。
• 两类语音： Multilingual 直接以目标语言合成。正文列出 English (USA)、German、Italian、Spanish、French、Portuguese。Multi-Accent 分 Natural Accent（口音英语上训练的声音：Australia、Singapore、South Africa、Philippines、Kenya、Nigeria）和 Synthetic Accent（母语声音读英语；正文列出 China、Korean、Japanese、Arabic、Portuguese、Spanish、Tamil）。
• 规模： Table 4 共 102,720 个文件，扰动使数量变为 5 倍，对应 echo、whisper 和三种 reverberation。Natural：6 locales、1 speaker、400 prompts、2,400，加扰动 12,000。Synthetic：8 locales、2 speakers、400 prompts、6,400，加扰动 32,000。Native：8 locales、2 speakers、520 prompts、8,320，加扰动 41,600。正文列出的语种数与 Table 4 的 8 locales 不一致，论文未解释差额。

信号级扰动

• 混响： 与冲激响应卷积。三种 IR 为 Reverb Teisco、Reverb Room（混响时间约 0.6 秒）和 Reverb Railway。卷积后归一化，以避免削波。
• 回声： x_echo(t)=x(t)+α· x(t−Δ t)，即原信号加一段固定延迟的衰减副本。论文写 α 通常为 0.3，Δt 通常约 0.2 秒。与混响的一串反射不同，回声是一次离散重复。
• 耳语： 先把幅度乘以 γ（通常约 0.3），再低通削减高频，最后加低幅白噪声。末步写作 x_whisper(t)=x_soft(t)∗h_lp(t)+β· n(t)，β 约 0.005。附录 A.1 给出代码。
• 作者的说法： 扰动加在干净录音上，用来模拟真实声学条件并保持感知有效性。

成功判定

• JSR： Llama Guard 3 按安全策略把回复标为 safe 或 unsafe，unsafe 占比即 JSR。附录 B.4 说明选用理由，并给出人工抽查。
• WER： 用 Whisper-large-v3 测转录，用来看多语音频是否被听清。作者称它是多数被测 LALM 的骨干。
• SQA Accuracy： 每种语言 100 道常识题，共 600，由 ChatGPT 生成。Llama-3.1-8B instruct 判断回复是否对齐标准答案。

推理时文本防御

• 位置： 不改架构，也不改音频，只在推理时提供文本系统提示，利用上下文学习。除 DiVA 外，各模型允许文本系统提示。
• 模板： 含三组不安全问题与理想安全回复的示范，并译成与音频输入相同的语言。Figure 4 给出模板；此处不引其中的示例问句。

实验比较文本、干净音频和五种声学扰动；JSR 由 Llama Guard 3 判定。

实验设置

• 被测模型： 按 VoiceBench 拒答率换算的低 JSR 选取，换算值为 Qwen2-Audio 3.27%、DiVA-llama-3-v0-8b 1.73%、MERaLiON-AudioLLM-Whisper-SEA-LION 5.19%、MiniCPM-o-2.6 2.31%、Ultravox-v0-4.1-Llama-3.1-8B 3.08%。这些是筛选数字，不是本文攻击结果。
• 骨干： 附录 A.3 写 Qwen2-Audio 来自 Whisper-v3，DiVA 用 Whisper 解码器初始化 Q-former，MERaLiON 从 Whisper-large-v2 微调编码器，MiniCPM 用 Whisper-medium-300M，Ultravox 基于 Whisper-large-v3-turbo。
• 数据： AdvBench 520 条；多语为原生语言音频，多口音表使用 400 prompts（Table 4）。语言和口音见上一问。
• 基线与指标： 基线为同内容 text-only 和未扰动 audio-only。JSR 为 Llama Guard 3 判 unsafe 的比例；WER 用 Whisper-large-v3；SQA 由 Llama-3.1-8B instruct 判断。
• 人工与未报告项： 多语 Echo 下每种语言 50 条人工标注（Table 10，五种语言）。论文未报告 JSR 的重复次数。作者称另试过 JailbreakEval 和蒸馏 DeepSeek-R1，非英语 FP/FN 更高，未给出二者的比率。
• 防御设置： 除 DiVA 不能加系统提示外，Table 9 只报告德语、意大利语上对 Reverb Teisco 的文本防御。

主结果

下表前一列是 Table 8 的 audio-only 总平均，后两列是 Table 1 的 Reverb Teisco。增量相对各模型的 audio-only 基线。表头 Qwen2 即 Qwen2-Audio，其余简称同 Section 4.2。

Swipe horizontally to read the table

模型	Audio-only 总平均	Reverb Teisco 平均	该表最大增量
Qwen2	6.99%	44.42%（+37.43）	German +48.08，至 57.79%
DiVA	4.20%	27.68%（+23.48）	Spanish +30.86
MERaLiON	10.14%	34.44%（+24.30）	French +41.64，至 51.06%
MiniCPM	6.78%	27.42%（+20.64）	Italian +40.68，至 47.12%
Ultravox	3.05%	34.23%（+31.18）	German +42.21，至 47.79%

• 作者称 Reverb Teisco 的平均增益为 +27.41 个百分点，表右下角平均 JSR 为 33.64%。Table 1 各格增量均为正；最小是 MiniCPM 的 Spanish，+1.73，至 7.02%。作者未解释这一格。
• 正文写 Qwen2 德语由 9.71% 到 57.79%（+48.08）。这与 Table 8 的德语 audio 基线和 Table 1 一致。引言里的 57.8%、51.3%、54.2% 是对同表 Qwen2 德语、西班牙语、葡萄牙语的约写；表中为 57.79%、51.25%、54.23%。
• 作者假设英语因高资源、ASR 更充分而 JSR 较低，并引用 Deng et al. (2023)。作者还假设德语、意大利语、西班牙语、葡萄牙语训练数据较少、音频安全条件有限。这是假设，不是检验结果。

文本与干净音频

• 语言平均： 正文配合 Figure 2：德语 audio 12.31%、text 3.92%；意大利语 6.54% 对 4.07%；西班牙语 5.44% 对 3.15%；葡萄牙语 6.29% 对 6.13%。英语相反，text 2.38% 高于 audio 2.02%。
• 倍数的两种写法： 摘要称多语 audio-only 成功率是 text-only 的 3.1×；引言把 3.1× 写在德语 12.31% 与 3.92% 旁边。Table 8 五模型总平均是 audio 6.23% 对 text 3.86%，正文另称 1.6×。
• 模型例外： Table 8 中 audio 高于 text 的有 Qwen2 6.99% 对 4.04%、DiVA 4.20% 对 1.57%、MERaLiON 10.14% 对 4.48%、Ultravox 3.05% 对 2.05%。MiniCPM 相反，text 7.18% 高于 audio 6.78%。作者假设音频更高是因为缺少音频安全训练，转录误差或语言语音特征可能放大线索。

口音扰动

• 未扰动： Table 11 与 Figure 3：Natural 平均 2.54%，Synthetic 平均 11.42%。Synthetic 口音平均最高为 Japan 19.33%，最低为 China 2.78%。Natural 的口音平均从 Nigeria 2.10% 到 Singapore 3.15%。
• 混响峰值： Table 2 中 MERaLiON、Kenya、Reverb Room 为 61.25%（+57.25），即摘要中的例子；该表六口音平均 32.49%（+29.83）。同表 Reverb Teisco 的 Natural 平均为 35.39%（+32.85），其中 Qwen2 的 Kenya 为 50.88%（+48.63）。Table 3 的 Synthetic + Reverb Teisco 平均 34.74%（+23.27）；China 上 MiniCPM 为 57.38%（+55.00）。Table 15 的 Reverb Room 下，MERaLiON 的 China 为 59.75%（+55.87），与引言的 59.75% 同格。
• 例外与不一致： Table 15 里 Ultravox 的若干 Synthetic 口音在 Reverb Room、Reverb Railway 下为负增量，例如 Reverb Railway 的 Arabic 为 4.75%（−14.38）。5.3.2 末段写 Natural 强混响最多 +25.00 个百分点、Synthetic 最多 +31.74；Table 2 已有 +57.25，Table 3 已有 +55.00。作者另写 Synthetic 增量标准差为 +23.27±7.3、Natural 为 +32.85±9.1，这两项只出现在正文。

文本防御

• Table 9： 只覆盖德语、意大利语和 Reverb Teisco。MERaLiON 德语从 44.71% 到 30.48%（−14.23 个百分点），意大利语从 31.25% 到 18.75%（−12.50）。Ultravox 意大利语从 39.33% 到 19.42%（−19.91），德语 −17.41。Qwen2 德语从 57.79% 到 52.31%（−5.48），意大利语 −5.86。
• 与正文不符处： 正文写 Qwen2 意大利语下降 19.91%；Table 9 中 −19.91 属于 Ultravox，Qwen2 意大利语是 −5.86。
• MiniCPM： 德语从 22.88% 到 25.38%（+2.50），意大利语从 47.12% 到 48.08%（+0.96）。作者称防御在多数模型上提高稳健性，但 MiniCPM 并不一致受益。

其他消融与分析

• Echo 的 delay/decay 只测德语（Table 12）。delay 0.3 基线：Qwen2 23.56%、MERaLiON 37.02%；delay 0.6 时 Qwen2 35.87%。decay 0.9：Qwen2 40.38%、MERaLiON 41.63%、Ultravox 31.54%。decay 0.1 时五模型都低于各自基线，Ultravox 为 8.27%。该基线与公式中的典型 α、Δt 以及附录默认值不同；Table 13 德语 Qwen2 的 Echo 也是 23.56%，论文未说明主实验用的参数。
• Table 13：Reverb Room 平均增量写作 +23.33 个百分点；Echo 总平均 11.73（+11.73），Whisper 总平均 11.72（+11.72）。Whisper 的英语平均为 +0.14；Qwen2 德语 Whisper 为 1.44%（−8.27）。Reverb Room 下 MERaLiON 西班牙语为 51.35%（+42.50），基线 8.85% 见 Table 8。
• WER（Table 5，Whisper-large-v3）：多语扰动平均 0.365；Reverb Railway 0.712，Reverb Room 0.646，Reverb Teisco 0.258，Echo 0.108，Whisper 效应 0.102。正文另写 Railway 1.581、Room 1.490、Echo 0.743、Whisper 0.245，与 Table 5 不一致。Table 6 多口音平均 0.522，其中 Whisper 的 en-KE 为 3.460。
• SQA（Table 7，每语言 100 题）：英语平均 90.4%，法语 58.0%，六语言总平均 67.4%。MERaLiON 73.5%，Qwen2 59.7%。
• Llama Guard 3（Table 10，每语言 50 条，多语 Echo）：平均 FN 3.0%、FP 1.6%。Portuguese 的 FN 为 8.0%；French 的 FN 与 FP 均为 0.0%。
• 全扰动总平均：Table 14 的 Natural 为 22.16%（+19.62）；Table 15 的 Synthetic 为 24.32%（+12.89）。附录 Figure 5、6 给出 Qwen2 的生成示例，用来对照干净与扰动输入的判定，此处不引原文。

作者明确写成局限的一点，是没有用优化技术微调音频越狱提示，也没有用这类技术做对应防御。

作者指出的局限与后续方向

• 未用优化： Section 7 写，本文没有采用先前工作里的优化技术去微调音频越狱提示或开发相应防御。作者认为这类方法可能在各语言、模型和场景上得到更高 JSR。
• 音频侧方法： Ethics Statement 写，文本防御能降低 JSR，但针对音频输入的方法还应进一步发展。
• 跨模态防御： Section 8 称，随着 LALM 演进，需要加强防御，不止覆盖音频漏洞，也包括多模态系统里更广的攻击面。
• 发布范围： 摘要写作者计划发布数据集。伦理声明写不发布完整攻击框架，只发布整理后的对抗数据集和部分音频修改代码。这是发布安排，不是实验结果上的局限。

实验覆盖范围

• 模型： 攻击结果来自 Qwen2-Audio、DiVA-llama-3-v0-8b、MERaLiON-AudioLLM-Whisper-SEA-LION、MiniCPM-o-2.6、Ultravox-v0-4.1-Llama-3.1-8B，共 5 个，均按 VoiceBench 换算后的低 JSR 选取（Section 4.2）。
• 攻击设置： 威胁模型为 black-box。输入是翻译后的 AdvBench 音频，加上 echo、whisper 和三种 reverberation（Section 3）。Section 7 写明未做优化式提示微调。
• 语言与口音： 文本–音频对比和多语扰动表使用正文列出的六种语言。口音表覆盖 Natural 的六个地区，以及表中七种 Synthetic 口音。Table 4 把 Synthetic 与 Native 写成 8 locales，与正文名单数量不同。多口音使用 400 prompts，多语 Native 使用 520（Table 4）。
• 防御与消融： Table 9 只有德语、意大利语、Reverb Teisco，以及除 DiVA 外的四个模型。Table 12 的 delay/decay 只报告德语。
• 判定： JSR 用 Llama Guard 3。人工对照是五种语言、每种 50 条、条件为多语 Echo（Table 10）。论文未报告 JSR 的重复次数。WER 用 Whisper-large-v3；SQA 为每语言 100 题，由 Llama-3.1-8B instruct 评判（Section 4.1）。

MULTI-AUDIOJAIL 在 black-box 设定下，测量多语、多口音音频加上信号级声学扰动时 LALM 的越狱成功率。

• 问题： 既有音频越狱以英语为主。作者要看跨语言语音与混响、回声、耳语一起出现时，JSR 相对纯文本和干净音频如何变化。
• 做法： AdvBench 的 520 条英语指令经翻译和 TTS，做成原生多语、Natural Accent 与 Synthetic Accent，再加五种扰动。成功标准是 Llama Guard 3 判为 unsafe。另有一种推理时文本示范防御，不改音频。
• 干净输入： 德语 audio JSR 为 12.31%，text 为 3.92%。五模型总平均是 audio 6.23%、text 3.86%（Table 8）。英语和 MiniCPM 的方向相反。未扰动时 Synthetic 口音平均 11.42%，Natural 为 2.54%（Table 11）。
• 扰动： Reverb Teisco 使 Qwen2 的德语 JSR 到 57.79%（相对 audio 基线 +48.08，Table 1），五模型平均 33.64%（+27.41）。Natural 的 Kenya、Reverb Room、MERaLiON 为 61.25%（+57.25，Table 2）。并非每格都上升：Table 15 中 Ultravox 的部分 Synthetic 混响为负增量。
• 防御与作者结论： 文本示范使 MERaLiON 德语从 44.71% 降到 30.48%，MiniCPM 上升（Table 9）。作者认为非英语音频可以成为多模态模型的弱环节，并认为需要随模态增加更新防御。作者计划发布数据集，同时写明不发布完整攻击框架。