FAB 攻击:给 HuBERT/WavLM 植入后门,背景警笛声即可让下游语音任务失灵
提出 FAB 攻击,向声学基础模型植入可由环境声触发的后门
- arXiv
- 2610.09819
- 发表
- 场景
- 模型与 API
- 被测模型
- HuBERT-base、WavLM-base
摘要论文提出了针对声学基模的 FAB 后门攻击,在弱威胁模型下实现了任务无关、物理可触发的后门植入。
提出 FAB 攻击,向声学基础模型植入可由环境声触发的后门
摘要论文提出了针对声学基模的 FAB 后门攻击,在弱威胁模型下实现了任务无关、物理可触发的后门植入。
提出 PMA,用流形对齐从 E2EO 混淆向量恢复明文
提出 GhostWord 词级触发后门,对自动语音识别做数据投毒
提出针对微调 TTS 的黑盒成员推断攻击
作者给出一个针对微调文本转语音模型的黑盒成员推断框架,分别审计说话人是否进入微调集,以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成,既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询,认为只有 recitation(用目标转写和干净目标语音要求模型复现)同时满足两条,并把它作为主查询。
提出 ARENA 音频红队框架,自动构造文本安全且音频接地的越狱输入
提出 CodecAttack,在编解码器隐空间构造可穿透有损压缩的对抗音频
提出声学干扰攻击 AIA,用良性音频潜语义越狱音频语言模型
提出 AudioHijack,用不可感知对抗音频对语音模型做上下文无关提示注入
摘要提出了 AudioHijack 框架,揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。
提出 Zero2Text,无需训练地跨域反演文本嵌入
Zero2Text 是一种不训练 decoder、也不使用泄漏文本–向量对的文本 embedding 反演,针对 RAG 向量库在严格黑盒、目标域未知时的还原。
提出音频叙事越狱,以嗓音投递风格绕过端到端语音模型拒答
提出 SOUNDBREAK,用仅音频共享对抗扰动使三模态模型答错
提出 StyleBreak 风格化音频越狱,利用语音属性绕过音频语言模型对齐
提出 MULTI-AUDIOJAIL,以多语多口音和声学扰动越狱音频模型
摘要黑盒多语多口音音频加声学扰动可抬高 LALM 的 JSR,文本示范防御并非在每个模型上都下降。