SoundBreak: A systematic study of pure audio adversarial attacks against trimodal models

核心问题是：只扰动音频、不改视频和文本时，无目标对抗扰动能否系统性让三模态音视频语言模型答错。

• 场景：作者认为音视频语言基础模型推理与生成强，但对对抗操纵的鲁棒性仍不清楚；只改一个模态就可能间接影响全部模态的推理，而这一攻击面理解不足。
• 现有不足：作者认为既有工作多在单模态或双模态，或需同时改多通道、或依赖训练数据投毒；定向攻击还容易露出可被监控的行为异常。协调多模态在技术上更难，也更容易被发现。
• 核心设定：作者强调攻击不是逐样本优化，而是在训练数据上学习的共享扰动；只控制音频、用梯度优化，且不改视觉与文本。
• 提出内容：作者提出 SOUNDBREAK，用六种互补的仅音频目标，分别作用编码器表示、注意力、隐状态与输出似然，并分析跨模型、跨编码器行为。
• 威胁模型：
  • 目标：untargeted，改变模型答案，而不是诱导某个指定的恶意输出。
  • 知识：主设定为 white-box，可访问参数 θ、输出和内部可微表示，并可计算 ∇δ L。迁到其他模型时，作者称按 black-box 使用同一扰动音频。
  • 能力：只做加性音频扰动，受 ℓ∞ 预算 ε 约束；视频与问题固定。扰动是共享 δ，不是逐样本噪声。
  • 受害系统：三模态 audio–video–language 模型；评测还包含语音识别系统 Whisper。

对抗样本基础

• Szegedy 等（2013）、Nguyen 等（2015）、Papernot 等（2016）：作者概述小扰动如何动摇当时对深度网络鲁棒性的假设。
• Goodfellow 等（2015）的 FGSM，DeepFool（Moosavi-Dezfooli 等，2016），Carlini–Wagner（2017）：作者概述从近似线性到优化式攻击的发展，并称浅层防御不足以获得对抗鲁棒性。
• Geisler 等（2024）：在松弛输入表示上用投影梯度下降攻击大语言模型。

视觉侧多模态攻击

• QAVA（Zhang 等，2025c）：一张对抗图像可跨多个下游问题，干扰视觉–语言对齐。
• VEAttack（Mei 等，2025）：只攻击视觉编码器即可跨任务降低表现。方法节称编码器余弦损失受该方向启发。
• Hao 等（2025）与 AnyAttack（Zhang 等，2025b）：情景感知多损失，以及用自监督预训练做可迁移攻击。作者称这类工作主要依赖视觉扰动，未考察脆弱性如何跨两种以上模态传播。

音频对抗

• Muting Whisper（Raina 等，2024）、Ma 等（2025）、Sadasivan 等（2025）：用声学片段抑制或终止识别、按说话人或内容做条件操纵，以及空中传播攻击。
• Liu 等（2025a）、AdvWave（Kang 等，2025b）：在语音翻译上使用扰动或对抗音乐；AdvWave 用双阶段优化应对音频模型的梯度破碎。作者称这些工作主要面向语音中心模型，不处理多模态推理。
• SPIRIT（Djanibekov 等，2025）：用激活修补缓解此类攻击，并暴露鲁棒性与模型效用的权衡。

对比定位与实验对照

• Table 1 并列 QAVA、VEAttack、Muting Whisper、AdvWave，以及 Mustakim 等（2025）的 Multimodal Attacks。作者称后者需要协调多模态操纵；△ 表示部分支持。
• 基线与基准：论文没有把上述攻击当作数值基线复现。实验内部对比六种损失及组合，任务基准为 AVQA、Music-AVQA、AVSD，Whisper 评测用 LibriSpeech。
• 作者称 SOUNDBREAK 是在其所述现实威胁模型下，研究三模态模型无目标、仅音频攻击的首次工作，并系统分析编码器、注意力与隐状态脆弱性。

SOUNDBREAK 在固定视频与文本的前提下，用投影梯度下降学习一段共享音频扰动，并用六种损失分别施压音频到输出管线的不同阶段。

问题设定

• 输入输出：模型接收音频 xa、视频 xv 与问题 q，输出答案分布。攻击只改音频。
• 约束：可行集为 C={δ:|δ|_∞≤ε}，即扰动逐点振幅不超过预算 ε。更新后投影回该集合。
• 白盒信息：可访问参数、输出和内部可微表示，并对所选损失求 ∇δ L。K 步后的扰动音频再用于其他模型的 black-box 评测。
• 共享扰动：优化的是全体训练样本共用的 δ，不是每个样本各一份噪声。附录 D 给出算法，这里不展开逐步实现。

六种攻击目标

• 负语言建模 L_negLM：把标准语言建模损失取反，压低干净答案在扰动音频下的概率。定义为 L_negLM=−L_LM。作者将其联系到对语言模型做投影梯度下降的工作。
• 编码器余弦 L(cos)：最小化干净与扰动音频在音频编码器及投影层嵌入上的余弦相似度，不依赖具体输出监督。
• 视觉注意力抑制 L(visionatt)：把各层各头分配给视觉 token 的注意力质量加总并最小化，降低对未改视频的依赖。
• 音频注意力放大 L(audioatt)：对音频 token 注意力质量取负后最小化，迫使模型更依赖被扰动音频。

随机化、隐状态与组合

• 注意力随机化 L(randatt)：在保留自回归下三角掩码的前提下，把注意力推向该矩阵取值范围内均匀采样的随机目标，用 KL 散度衡量偏离。随机目标每次前向独立采样。
• 隐状态余弦 L(hidden-cos)：对各层隐状态位置计算余弦相似度并最小化，使扰动后的内部表示偏离干净方向。作者将其联系到表示操控与激活导向。
• 组合 L(combined)：六项等权相加。作者称没有调单项权重，只看简单叠加是否强于单项。

优化设定

• 波形：采样率 16 kHz；δ 长 10 秒，更长音频循环铺贴后相加，再做幅度归一化。梅尔滤波器组为 128 bin。整条预处理保持可微。
• 优化器：Adam，学习率 10^-4，β1=0.9，β2=0.999；批大小 1；最多 150 epoch；连续 10 epoch 无提升则早停。梯度裁剪范数 1.0。预算取自 {0.3, 0.5, 0.7, 1.0}。
• 初始化与缩放：默认用一段从训练集移除的铃声，并裁到预算内；作者称也试过均匀随机初始化。梯度缩放 γ 取 1、10^-5 或 10^4，按原始梯度量级选择。论文未按损失给出对应 γ。
• 精度：VideoLLAMA2 用 FP32；Qwen 实验用 FP16。种子为 NumPy 42、PyTorch CUDA 30。

成功判定

• ASR：只统计干净输入原本答对、扰动后答错的样本，分母是干净正确数。
• AVSD：LLM 裁判把判定从 CORRECT 翻成 INCORRECT 记为成功。Figure 5 给出裁判提示词；输入是参考描述与模型生成，输出是分析、二值判定和置信档。
• 其余指标：log-mel 上的 LPIPS、SI-SNR；Whisper 使用 WER 及攻击前后差值。

实验设置

• 被测模型：VideoLLAMA2（28 层，Table 8 记音频编码器为 BEATs，语言骨干 Qwen2-7B-Instruct）训练全部六种目标。Qwen 2.5 Omni 与 Qwen 3 Omni（28 层，Whisper-style 音频编码器）训练 L_negLM 与 L(cos)，并做黑盒评测。Whisper Large-v2 在 LibriSpeech 上测语音识别。PANNs 只作外部编码器，比较余弦相似度。
• 数据：AVQA 约 57,015 段视频、57,335 个问答；Music-AVQA 为音乐表演短答；AVSD 基于 Charades，超过 11,000 段视频，做开放式描述。Table 2 评测 2000 条 AVQA、2000 条 Music-AVQA 和完整 AVSD 验证集。LibriSpeech 约 1,000 小时，只用于 Whisper。
• 协议：Table 2、Table 4 写明训练 150 epoch。Table 2 未写训练集规模和所用 ε。预算实验另训到收敛。学习率调度默认在损失平台期下降。
• 指标：ASR 分母为干净正确样本。另报告准确率、序列置信度（生成 token 平均对数概率的指数）、LPIPS、SI-SNR、WER。
• 评审：AVSD 用 openai/gpt-oss-20b，温度 0。论文未报告与人工的一致性。
• 算力：作者报告全部实验约 2,500 GPU 小时，单次攻击训练约 20–25 GPU 小时。

主结果

据 Table 2，VideoLLAMA2 以 AVQA 训练 150 epoch 的 ASR（%）：

| 目标 | AVQA | Music-AVQA | AVSD | | L_negLM | 10.27 | 10.74 | 50.43 | | L(cos) | 89.12 | 12.92 | 57.03 | | L(visionatt) | 18.72 | 7.94 | 49.34 | | L(audioatt) | 56.21 | 9.81 | 43.85 | | L(randatt) | 17.24 | 9.81 | 45.67 | | L(hidden-cos) | 15.13 | 10.28 | 41.53 | | L(combined) | 96.03 | 13.80 | 59.48 |

• 作者解读：编码器空间攻击占优。同表 AVQA 上 L(cos) 为 89.12%，次高单项是 L(audioatt) 的 56.21%。作者认为音频编码器是瓶颈，嵌入方向的小偏移足以破坏下游跨模态推理。
• 组合与迁移：L(combined) 在 AVQA 为 96.03%、AVSD 为 59.48%，均为该表最高；Music-AVQA 只有 13.80%。作者称 AVQA 训练的攻击迁到 AVSD 尚可，迁到音乐场景则低。
• 例外：AVSD 上 L_negLM 为 50.43%，接近 L(cos) 的 57.03%。Qwen 的六目标 ASR 未报告；Table 3 只给 L_negLM。

跨模型、跨域与编码器

• 跨模型：Table 3 为 L_negLM。VideoLLAMA2 白盒 10.27%，迁到 Qwen 2.5 Omni 为 4.61%、Qwen 3 Omni 为 3.62%。Qwen 2.5 Omni 白盒 5.10%，迁出为 1.97% 与 1.12%；Qwen 3 Omni 白盒 4.40%，迁出为 1.80% 与 3.80%。作者认为攻击利用模型特定表示。Table 3 未写明 Qwen 训练轮数；对角线上的 10.27% 与 Table 2 的 L_negLM、AVQA 相同。
• 跨域：Table 4，Music-AVQA 上训练 150 epoch 后，L(cos) 源域 89.07%，AVQA 2.30%，AVSD 24.55%。L(hidden-cos) 源域 55.32%，AVQA 2.20%，AVSD 21.93%。L_negLM 源域只有 16.60%。作者认为声学特性不同时迁移有限。Table 4 未重述评测条数。
• 编码器相似度：作者称 VideoLLAMA2 编码器上的 L(cos) 把同一编码器余弦相似度降到 0.50，在 Qwen 2.5 Omni、Qwen 3 Omni、PANN 上分别为 0.75、0.70、0.62。Table 5 网格中，0.50、0.75、0.70 位于 VideoLLAMA2 行；0.62 位于 PANN 行、VideoLLAMA2 列。同表 Qwen 3 Omni 行为 0.96、0.93、0.93。作者认为扰动利用编码器特定几何，而非通用声学失真。

失真、迭代与预算

• 感知指标：Table 6，VideoLLAMA2 上 L(cos) 的 LPIPS 为 0.08、SI-SNR 为 −1.77；L(audioatt) 为 0.06 与 0.33；L_negLM 为 0.22 与 −11.48；组合为 0.14 与 −6.23。摘要写可在 LPIPS ≤ 0.08、SI-SNR ≥ 0 时成功；Table 6 中同时满足的有 L(audioatt)、L(randatt)、L(hidden-cos)，L(cos) 的 SI-SNR 为负。
• 迭代与规模：Figure 2 与 Table 10 只针对 L_negLM。1,000 样本、372,000 次迭代 ASR 为 87.00%；10,000 样本、500,000 次迭代为 93.15%；20,000 样本、200,000 次迭代为 1.93%，同规模 400,000 次迭代为 73.64%。作者认为延长优化比扩大数据更影响 ASR。
• 预算：Figure 3，L(cos) 训到收敛。ε=0.3 时 ASR 49.2%（213 epoch），ε=0.7 时 51.89%（265 epoch），ε=1.0 时 73.51%（209 epoch）。作者认为预算与优化动态的关系并非单调。Figure 3 未报告 ε=0.5。

层、准确率、置信度与 Whisper

• 层子集：Table 7，音频注意力在 1–10 层 ASR 39.75%，11–18 层 11.98%，19–28 层 2.04%，全层 56.21%。视频注意力在 11–18 层为 27.92%，全层 18.72%。隐状态在 1–10 层 32.85%，全层 15.13%。作者认为低层对音频驱动攻击贡献更大，全层联合能利用互补脆弱点。
• 干净准确率：Table 14，AVQA 干净准确率 0.956，Music-AVQA 0.807。L(cos) 把 AVQA 降到 0.110，组合降到 0.039；视觉注意力只降 0.036。作者称高 ASR 来自攻击造成的失真，不是干净性能低。
• 置信度与语音识别：Table 13，组合攻击在 AVQA 上干净置信度 0.930、对抗 0.850，而 Table 2 的 ASR 为 96.03%。作者认为失败来自内部错位，而非不确定。Table 15，Whisper Large-v2 上 L_negLM ASR 98.20%（ΔWER 0.972），L(cos) 97.38%（0.959），组合 66.88%（0.491），L(hidden-cos) 7.37%（0.036）。作者称 WER 增幅与更高感知失真相关，论文未报告统计检验；并认为语音识别主要响应失真幅度。

其他消融与分析

• Table 12：VideoLLAMA2 音频 token 注意力，干净 9.01，组合攻击 29.23；Qwen 2.5 Omni 音频侧干净 13.01、组合 13.17。
• Table 16：组合攻击下音频注意力均值 29.23，最大 30.34，最小 25.96；L_negLM 均值 9.55。作者称 Figure 6 中干净音频注意力约为 5–17，组合攻击升到 25–30；转写文本看不到逐层曲线点。
• Table 11：L(cos) 的 ΔWER 0.959、LPIPS 0.08；L_negLM 的 ΔWER 0.972、LPIPS 0.22。
• Table 13：AVSD 上 L(visionatt)、L(audioatt)、L(hidden-cos) 的置信度差为 −0.010。作者未另作解释。
• Table 17：视频 token 注意力在各攻击下均值约 13.30–14.94，作者称相对音频注意力更稳定。
• 预算集合包含 0.5，但 Figure 3 未报告该档 ASR。

作者指出的局限与后续方向

• 白盒：Limitations 写明只研究可获得梯度与内部表示的白盒攻击；有效黑盒攻击仍是开放问题。作者称低迁移率意味着实际使用需要按模型优化。
• 数字施加：Limitations 写明扰动都加在数字波形上。环境噪声、房间混响、扬声器–麦克风频响和有损压缩下是否仍然有效，需要进一步研究。
• 模型与基准：Limitations 写明评测限于三个多模态模型和三个基准；不能假定泛化到音频编码或跨模态融合机制不同的其他架构。
• 未评防御：Limitations 写明没有评估针对这些攻击的防御。作者列出输入预处理、对抗训练和跨模态一致性检查，并称效果与计算成本尚未探索。
• 后续：Conclusion 写未来工作应探索监测跨模态一致性的自适应防御，并研究空中传播与环境干扰下攻击是否持续。

实验覆盖范围

• 被测多模态模型为 VideoLLAMA2、Qwen 2.5 Omni、Qwen 3 Omni；另在 Whisper Large-v2 上测黑盒语音识别，并用 PANNs 比较编码器余弦相似度（第 4 节、Table 5、Table 15）。
• 任务基准为 AVQA、Music-AVQA、AVSD；Whisper 使用 LibriSpeech（第 4.2 节）。Table 2 的评测规模为 2000 条 AVQA、2000 条 Music-AVQA 和完整 AVSD 验证集。
• 六种损失及组合在 VideoLLAMA2 上以 AVQA 训练 150 epoch（Table 2）。Music-AVQA 训练只报告 L_negLM、L(cos)、L(hidden-cos)（Table 4）。
• 跨模型黑盒表只覆盖 L_negLM（Table 3）。第 4.1 节写明 Qwen 上训练的是 L_negLM 与 L(cos)。
• 论文未报告 AVSD 裁判与人工的一致性，也未在 Table 2 写明训练集规模和 ε。防御实验作者在 Limitations 中说明未做。

SOUNDBREAK 研究三模态音视频语言模型上的无目标、仅音频对抗：攻击者只加一段共享音频扰动，不改视频和文本。

• 问题：作者认为单通道扰动即可间接影响全部模态推理，而既有工作多改视觉、同时改多通道，或依赖训练时投毒。主设定是 white-box；迁到其他模型时按 black-box 使用同一扰动音频。
• 方法：六种损失分别压低正确答案似然、拉开音频编码器或隐状态的余弦、抑制视觉注意力、放大音频注意力、把注意力推向随机矩阵；组合损失等权相加。优化用投影 Adam，扰动长 10 秒，最多 150 epoch。
• 主结果：VideoLLAMA2 以 AVQA 训练 150 epoch 时，组合 ASR 为 96.03%，L(cos) 为 89.12%，L(audioatt) 为 56.21%（Table 2）。同一组合迁到 AVSD 为 59.48%，迁到 Music-AVQA 为 13.80%。
• 迁移与失真：L_negLM 从 VideoLLAMA2 迁到 Qwen 2.5 Omni 为 4.61%、Qwen 3 Omni 为 3.62%（Table 3）。L(cos) 的 LPIPS 为 0.08，SI-SNR 为 −1.77；L(audioatt) 为 0.06 与 0.33（Table 6）。Whisper Large-v2 上 L_negLM 的 ASR 为 98.20%（Table 15）。
• 作者结论：作者认为音频编码器是关键脆弱点，延长优化比扩大数据更影响 ASR，跨模型与跨编码器迁移有限，语音识别主要响应失真幅度。作者认为这些结果支持做跨模态一致性防御，并称物理传播与防御效果仍待研究。