评测与基准arXiv 2610.08585
研究：无关信息污染患者病历并干扰 LLM 临床推理
构建 MedDistract 基准，测量偶发信息对临床文书与推理的污染
- arXiv
- 2610.08585
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GPT-5.4、GPT-5.6 Sol、Claude Opus 5 等 9 个
- 评测与基准arXiv 2610.06339
BabelFake：面向多语言音视频 DeepFake 检测的基准数据集
构建多语言音视频 DeepFake 基准 BabelFake 并评测检测器
- arXiv
- 2610.06339
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SpeechForensics、AVH-Align、(B)RAVEn
摘要BabelFake 为五语同意采集基准。
BabelFake 是经同意与 IRB 批准采集的多语音视频 DeepFake 检测基准，用来把视觉操纵和语音合成拆开比较。
- 分析与理论arXiv 2610.07005
研究审计 Qwen2-Audio 音频越狱 AdvWave-P 的频率与解码层归因
遮挡审计 AdvWave-P 音频越狱的频带必要性与解码层关联
- arXiv
- 2610.07005
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Qwen2-Audio-7B-Instruct、LLaMA-Omni
摘要AdvWave-P 的八频带排序与能量相关。
这是对加性音频越狱 AdvWave-P 的频率与解码器深度审计，受害模型主要是 Qwen2-Audio-7B-Instruct，不提出新攻击。
- 防御arXiv 2610.04235
Thrive：面向自回归 TTS 的抗重建攻击多比特语音水印框架
提出 THRIVE，为自回归 TTS 嵌入抗重建的多比特语音水印
- arXiv
- 2610.04235
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-TTS (0.6B)、Dots.tts (2B)
- 防御arXiv 2610.02999
OmniConfess：用 Token 级「忏悔」缓解全模态幻觉
提出 OmniConfess，冻结候选并按通道重打分以缓解全模态幻觉
- arXiv
- 2610.02999
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B、Nemotron-3-Nano-Omni-30B
- 防御arXiv 2609.37568
SECRET：用源条件化中继引导缓解音视频大语言模型的幻觉
提出训练无关的 SECRET，对问题表征做源条件转向以缓解音视频模型幻觉
- arXiv
- 2609.37568
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- VideoLLaMA2-AV-7B、Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B
摘要SECRET 在问题状态上做源条件转向，三个 AVLLM 上减轻了跨模态接地幻觉。
SECRET 是一种训练无关的问题状态转向方法，用来减轻 AVLLM 的 source-confused grounding hallucination。
- 防御arXiv 2609.29287
AEGIS：用内部信号在中间层拦截大型音频语言模型越狱
提出 AEGIS，用中层内部信号选择性激活后层适配器拦截音频越狱
- arXiv
- 2609.29287
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- Qwen2-Audio-7B、VITA-1.5、Ultravox v0.5 等 6 个
- 防御arXiv 2609.27378
PALS：面向全双工语音对话模型对抗鲁棒性的心理声学对齐潜空间平滑
提出 PALS，用潜空间平滑防御全双工语音对话的对抗扰动
- arXiv
- 2609.27378
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- Moshi-style agent
- 评测与基准arXiv 2609.06991
AV-SafetyBench：面向文本到音视频生成的安全基准
提出 AV-SafetyBench 评测文生音视频模型的不安全生成
- arXiv
- 2609.06991
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- LTX-2.3、Ovi-1.1、JavisDiT++ 等 7 个
摘要AV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。
AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。
- 攻击arXiv 2609.04260
GhostWord：针对自动语音识别的细粒度后门攻击
提出 GhostWord 词级触发后门，对自动语音识别做数据投毒
- arXiv
- 2609.04260
- 发表
- 场景
- 模型与 API
- 被测模型
- Whisper-Small、Whisper-Medium、MMS 等 4 个
- 攻击arXiv 2608.15578
ARENA：面向大型音频语言模型的自动化红队框架
提出 ARENA 音频红队框架，自动构造文本安全且音频接地的越狱输入
- arXiv
- 2608.15578
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Audio Flamingo 3、Qwen2-Audio-7B-Instruct、MiMo-Audio-7B-Instruct 等 4 个
- 评测与基准arXiv 2606.06037
SpeechJBB：语码转换语音下大型音频语言模型的越狱基准
提出 SpeechJBB，评测语码转换语音下音频语言模型的越狱稳健性
- arXiv
- 2606.06037
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B-Instruct、Voxtral-Small-24B 等 9 个
摘要SpeechJBB 用五语语码转换语音和伪词探针评测九个 LALM，作者将越狱归为对齐失败而非听不懂。
SpeechJBB 用合成语音测量 LALM 在五语、语码转换和局部伪词混淆下的安全对齐，并另设口语理解对照。
- 攻击arXiv 2605.20519
CodecAttack：在音频编解码器潜空间构造对抗扰动，绕过有损压缩防御
提出 CodecAttack，在编解码器隐空间构造可穿透有损压缩的对抗音频
- arXiv
- 2605.20519
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- Qwen2-Audio-7B-Instruct、Audio Flamingo 3、Qwen2.5-Omni
- 攻击arXiv 2604.14604
AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入
提出 AudioHijack，用不可感知对抗音频对语音模型做上下文无关提示注入
- arXiv
- 2604.14604
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- SpeechGPT、GLM-4-Voice、VITA-Audio 等 15 个
摘要提出了 AudioHijack 框架，揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。
- 攻击arXiv 2603.13847
SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱
提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示
- arXiv
- 2603.13847
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等 9 个
- 攻击arXiv 2601.23255
研究者提出音频叙事越狱攻击
提出音频叙事越狱，以嗓音投递风格绕过端到端语音模型拒答
- arXiv
- 2601.23255
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-4o Realtime、Gemini 2.0 Flash、Qwen2.5-Omni-7B
- 攻击arXiv 2511.10692
StyleBreak：利用风格化音频越狱揭示大型音频语言模型的对齐漏洞
提出 StyleBreak 风格化音频越狱，利用语音属性绕过音频语言模型对齐
- arXiv
- 2511.10692
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Qwen2-Audio-7B-Instruct、MERaLiON-AudioLLM-Whisper-SEA-LION、Ultravox-v0.4.1-Llama-3.1-8B 等 6 个
- 评测与基准arXiv 2501.13772
Jailbreak-AudioBench：面向大型音频语言模型的越狱评测基准
提出 Jailbreak-AudioBench 评测音频语言模型的音频编辑越狱
- arXiv
- 2501.13772
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- BLSP、SpeechGPT、Qwen2-Audio-7B 等 10 个
已经到底了