攻击arXiv 2610.09819
FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵
提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门
- arXiv
- 2610.09819
- 发表
- 场景
- 模型与 API
- 被测模型
- HuBERT-base、WavLM-base
摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。
- 其他arXiv 2610.05264
面向音频深度伪造检测的任务感知联合剪枝与蒸馏框架
提出任务感知的跨域蒸馏与剪枝方法以压缩音频深度伪造检测器
- arXiv
- 2610.05264
- 发表
- 场景
- 模型与 API
- 被测模型
- XLSR-AASIST
- 组件音频
- 分析与理论arXiv 2610.07005
研究审计 Qwen2-Audio 音频越狱 AdvWave-P 的频率与解码层归因
遮挡审计 AdvWave-P 音频越狱的频带必要性与解码层关联
- arXiv
- 2610.07005
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Qwen2-Audio-7B-Instruct、LLaMA-Omni
摘要AdvWave-P 的八频带排序与能量相关。
这是对加性音频越狱 AdvWave-P 的频率与解码器深度审计，受害模型主要是 Qwen2-Audio-7B-Instruct，不提出新攻击。
- 防御arXiv 2610.01058
MOMAT：面向量化 LLM 低功耗越狱防御的多图集混合框架
提出 MOMAT 多图集检索与轻量判定，防御量化模型越狱
- arXiv
- 2610.01058
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Llama2-13B、Llama2-7B、Mistral-7B
- 评测与基准arXiv 2609.34092
机器遗忘在 ASR 中是否有效：arXiv 论文评估现有算法与评测工具
- arXiv
- 2609.34092
- 发表
- 场景
- 模型与 API
- 被测模型
- E-Branchformer
摘要梯度上升类方法更接近简单评测下的重训参照，复杂方法会被知情攻击认出，多说话人更差。
- 防御arXiv 2609.12623
SteerDuplex：可操控的全双工语音对话模型
提出 SteerDuplex，用监督微调与两阶段强化学习提升全双工语音对话可控性
- arXiv
- 2609.12623
- 发表
- 场景
- 模型与 API
- 被测模型
- SteerDuplex-SFT、SteerDuplex-RL
摘要SteerDuplex 用 SFT 提升语音可控，用两阶段 RL 改时序，并记录奖励黑客。
SteerDuplex 是基于 Moshi 的全双工语音模型，目标是在保留轮替、打断和一般任务能力的同时，按用户指令改变内容与发声。
- 攻击arXiv 2609.04260
GhostWord：针对自动语音识别的细粒度后门攻击
提出 GhostWord 词级触发后门，对自动语音识别做数据投毒
- arXiv
- 2609.04260
- 发表
- 场景
- 模型与 API
- 被测模型
- Whisper-Small、Whisper-Medium、MMS 等 4 个
- 防御arXiv 2608.18607
VA-Judger：面向联合视频-音频生成的人类偏好反馈奖励建模
提出 VA-Judger，用人类偏好训练联合音视频奖励模型
- arXiv
- 2608.18607
- 发表
- 场景
- 模型与 API
- 被测模型
- VA-Judger、LTX-2 + VA-Judger
摘要VA-Judger 用易到难的人类偏好学习做联合音视频奖励，并用于 LTX-2 后训练。
VA-Judger 是面向联合音视频生成的思维链全模态奖励模型，用来替代由分维度专家指标拼成的强化学习奖励。
- 攻击arXiv 2608.15578
ARENA：面向大型音频语言模型的自动化红队框架
提出 ARENA 音频红队框架，自动构造文本安全且音频接地的越狱输入
- arXiv
- 2608.15578
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Audio Flamingo 3、Qwen2-Audio-7B-Instruct、MiMo-Audio-7B-Instruct 等 4 个
- 评测与基准arXiv 2606.06037
SpeechJBB：语码转换语音下大型音频语言模型的越狱基准
提出 SpeechJBB，评测语码转换语音下音频语言模型的越狱稳健性
- arXiv
- 2606.06037
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B-Instruct、Voxtral-Small-24B 等 9 个
摘要SpeechJBB 用五语语码转换语音和伪词探针评测九个 LALM，作者将越狱归为对齐失败而非听不懂。
SpeechJBB 用合成语音测量 LALM 在五语、语码转换和局部伪词混淆下的安全对齐，并另设口语理解对照。
- 攻击arXiv 2605.20519
CodecAttack：在音频编解码器潜空间构造对抗扰动，绕过有损压缩防御
提出 CodecAttack，在编解码器隐空间构造可穿透有损压缩的对抗音频
- arXiv
- 2605.20519
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- Qwen2-Audio-7B-Instruct、Audio Flamingo 3、Qwen2.5-Omni
- 攻击arXiv 2604.14604
AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入
提出 AudioHijack，用不可感知对抗音频对语音模型做上下文无关提示注入
- arXiv
- 2604.14604
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- SpeechGPT、GLM-4-Voice、VITA-Audio 等 15 个
摘要提出了 AudioHijack 框架，揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。
- 攻击arXiv 2601.23255
研究者提出音频叙事越狱攻击
提出音频叙事越狱，以嗓音投递风格绕过端到端语音模型拒答
- arXiv
- 2601.23255
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-4o Realtime、Gemini 2.0 Flash、Qwen2.5-Omni-7B
- 攻击arXiv 2511.10692
StyleBreak：利用风格化音频越狱揭示大型音频语言模型的对齐漏洞
提出 StyleBreak 风格化音频越狱，利用语音属性绕过音频语言模型对齐
- arXiv
- 2511.10692
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Qwen2-Audio-7B-Instruct、MERaLiON-AudioLLM-Whisper-SEA-LION、Ultravox-v0.4.1-Llama-3.1-8B 等 6 个
- 评测与基准arXiv 2501.13772
Jailbreak-AudioBench：面向大型音频语言模型的越狱评测基准
提出 Jailbreak-AudioBench 评测音频语言模型的音频编辑越狱
- arXiv
- 2501.13772
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- BLSP、SpeechGPT、Qwen2-Audio-7B 等 10 个
已经到底了