研究审计 Qwen2-Audio 音频越狱 AdvWave-P 的频率与解码层归因

核心问题是：AdvWave-P 的频带重要性究竟来自频带位置，还是来自划分宽度、扰动能量和移除结构。

• 场景： 作者称音频语言模型可能拒绝有害文本，却在同一指令以对抗音频呈现时服从。AdvWave 与 AdvWave-P 在 AdvBench 上展示这一风险；Qwen2-Audio、LLaMA-Omni 把 log-mel 前端接到指令微调语言模型上。
• 现有不足： GRM 按攻击–效用梯度比给 mel 频带排序，ALMGuard 选择 mel bin 施加防御性通用扰动，Gupta 等用编码器注意力指出约 1–8 kHz 的宽区域。作者认为这些工作并不都在主张攻击扰动的哪些成分是必要的。
• 观察： 要评价频率定位，必须把频带位置与宽度、能量、被移除信号的结构分开。作者要看表观重要性如何随分析划分、扰动能量和移除结构变化。
• 本文做法： 在 Qwen2-Audio 上审计加性攻击 AdvWave-P：于 STFT 域遮挡扰动成分，测攻击成功与解码器音频跨度表示。作者称八频带排序与能量密切相关，更细的等能量结果仍有一条窄带未解决，深度上的关联也不是因果层定位。

音频越狱

• Qwen2-Audio 与 LLaMA-Omni（Chu 等，2024；Fang 等，2025）： 把 log-mel 前端接到指令微调语言模型。作者称文本侧安全并不总是迁移到音频。
• SpeechGuard、AdvWave、ALMGuard / AdvWave-P： Peri 等（2024）记录对抗波形漏洞。Kang 等（2025）用双阶段优化处理编码器梯度破碎，论文转述其在 AdvBench 上报告超过 90% ASR。Jin 等（2025）提出 ALMGuard，以及本文审计的加性攻击 AdvWave-P。
• AudioJailbreak 及相关评测（Song 等，2025；Yang 等，2025）： 把评测扩展到更多攻击和音频语言模型。作者要问的是，带宽、扰动能量和解码器深度经匹配对照后，表观频率模式是否还在。

经典音频对抗与心理声学

• Carlini & Wagner（2018）： 构造针对语音识别的目标音频攻击。
• Qin 等（2019）、Schönherr 等（2019）： 用心理声学方法降低可听度。作者称这些工作促使关注频谱结构，但 AdvWave-P 只约束 ‖δ‖∞，没有显式掩蔽阈值目标；本文谈的是如何分析其频谱，不是心理声学机制。

频域选择与检测

• GRM（Wang 等，2026）与 ALMGuard（Jin 等，2025）： 前者按攻击–效用比扰动选定 mel 子集，后者为防御性通用扰动选择 mel bin。
• Gupta 等（2025）： 用编码器注意力识别约 1–8 kHz 的宽区域，用于通用音频越狱。
• Yang 等（2019）： 研究基于时间依赖的检测。作者写明这不是带阻防御。

可解释性与移除式归因

• 探针、CKA 与激活修补： 作者使用表示空间探针和线性 CKA（Alain & Bengio，2017；Kornblith 等，2019），并引用因果中介与激活修补（Vig 等，2020；Meng 等，2022；Wang 等，2023；Conmy 等，2023）。Heimersheim & Nanda（2024）被用来说明单层修补的限制。
• 移除式解释： Zeiler & Fergus（2014）遮挡输入区域，ROAR（Hooker 等，2019）在修改后的数据上重训，Adebayo 等（2018）做显著性图健全性检查，RISE（Petsiuk 等，2018）对随机掩码取平均，Covert 等（2021）给出统一表述。作者把同样的谨慎用到频谱遮挡。

基线与语料： 行为对照包括随机连续区、等赫兹与等能量划分、能量匹配的分散移除、全局缩放，以及能量占比和梯度归因排序。先验频带审计使用 ALMGuard 与 GRM 的选定支撑，但作者称并不评估二者的原始目标。语料为 AdvBench，另有 JailbreakBench、MaliciousInstruct、StrongREJECT。

作者把本文定位为：用划分、能量和移除结构的匹配对照，检验频率排序如何变化，再看其与解码器表示的关联。

整体是对已有加性越狱做受控遮挡审计：分解扰动、按分析频带掩蔽或保留，重建波形后同时记行为 ASR 与解码器音频跨度散度。不提出新攻击。

设定与频带遮挡

• 输入： 干净波形 x 为 16 kHz 的 AdvBench 提示词音频；xadv = x + δ 为 AdvWave-P 对应样本。δ 满足 ‖δ‖∞ ≤ 0.01，Adam、学习率 10−3、3000 次迭代。扰动加在整段波形上。
• 受害模型路径： Qwen2-Audio-7B-Instruct 使用 Whisper-large-v3 编码器，解码器 L=32、dllm=4096；LLaMA-Omni 作另一臂。二者都有 128-bin log-mel 前端，与分析基分开。
• 分析基： 0–8 kHz 上的连续 mel 频带。Qwen 主分析 K=8（每带 10 个分析 bin），另有 K=16 细化（每带 5 bin）；Omni 用其 128-bin 分析基上的 K=13。频带边界以 Hz 报告，再映射到 STFT bin。
• 遮挡定义： 对频带 bk，掩蔽波形为

\tilde{x}^{(k)}_{\mathrm{mask}}=x+\mathrm{ISTFT}\big(\mathrm{STFT}(\delta)\odot m^{(k)}\big)

m(k) 在 bk 覆盖的 bin 上为 0、其余为 1，只去掉扰动在带内的能量，干净波形不变。重建为单一 float32、不削波的 STFT–mask–ISTFT，nfft=400、hop=160、16 kHz，精确反演、不做 16-bit 量化。白盒读取解码器隐藏状态只为深度分析所需。

行为重要性

• 扫描： mask 测必要性，keep-only 测充分性。每个扫描有 K+2 个条件：干净、完整对抗、每个频带一个变体。同扫描内固定种子、贪心解码。
• 定义： 必要性 I+(bk)=ASR(adv)−ASR(mask(bk))，越大表示遮住该带越降低 ASR。充分性 I−(bk)=ASR(adv)−ASR(keep(bk))，越小表示只保留该带越能维持攻击。另有累积保留：按顺序保留 k 个频带。
• 不确定度： 报告 bootstrap 95% CI，以及排序之间的 Spearman 相关。

层间表示与调整模型

• 散度： 在生成体制的前向中记录投影器输出、解码器残差流和音频 token 跨度 [s, e)。每层对跨度做均值池化，再算对抗条件与频带条件均值向量的 L2 距离，记为 Δllm(ℓ)(bk)。
• 原始相关： ρℓ 是 K 个频带上 ASR Drop 与该层散度的 Pearson 相关；Spearman 作敏感性分析。用 ℓ≥15 的晚期斜率概括。作者写明这只用八个频带，是描述性统计。
• 能量调整模型： 因频带能量与散度强相关，在提示词×频带层面拟合混合效应逻辑回归，而不是只用八个频带均值。样本限于被完整对抗输入越狱的提示词。每层

logit P(mask breaks attack=1)=α+β_ℓlog E_p,k+γ_ℓΔ^(ℓ)_llm,p,k+u_p

能量按提示词和频带测量，散度按层归一化，up 为提示词随机截距。预指定关注层 30 的 γℓ，以及层 30 减投影器输出的对比。

对照、零假设与判定

• 对照： 带宽匹配的随机连续区；等赫兹与等能量划分；与连续遮挡匹配 STFT bin 数和扰动能量的分散移除；按 √(1−ek) 做全局缩放；3/6/12 dB 分级衰减。Figure 1 还列出均匀缩放与这些对照。
• 深度零假设： 用保持功率谱的相位随机化替代序列检验原始晚期斜率（Theiler 等，1992；Schreiber & Schmitz，2000）。另有 2000 次提示词级 bootstrap 估计 Δρ=ρ30−ρ0，该区间以八频带划分为条件。
• 成功判定： 主 K=8 结果用 AdvWave 的 LLM-as-a-judge 提示词、其默认阈值，以及 temperature 0 的 GPT-4o-mini。等赫兹、等能量、分散移除、分级衰减、全局缩放和 ALMGuard 抑制扫描改由 Meta-Llama-3-8B-Instruct 评分；GRM 重优化试点用 GPT-4o-mini。作者写明不同评审的 ASR 不合并。

实验设置

• 受害模型： Qwen2-Audio-7B-Instruct（Whisper-large-v3 编码器，L=32，dllm=4096）与 LLaMA-Omni。二者前端均为 128-bin log-mel，不同于 Qwen 的 80-bin 分析基。
• 攻击与语料： AdvWave-P，‖δ‖∞≤0.01。主扫描为 AdvBench 520 条。跨语料为 JailbreakBench（去重 89 条）、MaliciousInstruct（100）、StrongREJECT（不在 AdvBench 中的 276 条）。AdvBench 干净音频用 tts-1-hd、alloy、速度 1.0，24 kHz MP3 后重采样为 16 kHz 单声道；另三套语料用 edge-tts、en-US-AriaNeural。
• 扫描规模： 主 K=8 的 mask、keep-only 与深度估计用全部 520 条。K=16 行为扫描也是 520 条，其隐藏状态深度估计为 n=50。ε 与分辨率阶梯为 n=50。主扫描贪心解码，每提示词每条件一条回复。
• 评审： 主结果为 GPT-4o-mini、AdvWave 评审提示词、默认阈值、temperature 0；供应商未提供不可变快照，n=520 分数收集至 2026-09-02。等能量等次要扫描用 Meta-Llama-3-8B-Instruct。n=50 的 K=8 敏感性另用 GPT-5.6-sol（2026-09-05 评分），作者称这不是头条 ASR。
• 人工核验： 220 条条件盲、人工标注回复：120 条对抗、40 条干净对照、60 条来自分歧层。一名作者标注，第二名标注者不可得。
• 指标： ASR；ASR Drop=ASR(adv)−ASR(bk)；Spearman / Pearson；音频跨度 L2 散度；检测 AUROC。随机解码只作敏感性检查（Appendix A.7）。

主结果

Qwen2-Audio、AdvBench、n=520、ε=0.01、K=8 连续 mask、float32、GPT-4o-mini。干净 ASR 为 0.008，对抗 ASR 正文为 0.767（Table 6 与 Figure 2 写作 0.77）。下表 ASR 据 Table 4，降幅据 Table 5。

频带（mel bin）	mask后ASR	Table 5降幅
0–9	0.24	0.53
10–19	0.17	0.60
20–29	0.29	0.48
30–39	0.14	0.63
40–49	0.11	0.66
50–59	0.07	0.70
60–69	0.09	0.68
70–79	0.05	0.72

• 作者对 b8 的更细数字： 遮挡 b8=[70, 79] 使判定 ASR 从 0.767 降到 0.054（降幅 0.714，95% CI [0.671, 0.754]）。Table 4/5 将该带记为 0.05 与 0.72。上四带 b5–b8 覆盖 1.7–8 kHz，约为所分析频谱的 79%。
• 排序与能量： 作者称能量占比单独预测标准八频带排序，Spearman ρ=0.95；梯度归因 ρ=0.97（p<0.001）。1 kHz 以下含扰动能量的 23.0%。keep-only 在 Qwen 上各保留带 ASR 均 ≤0.02（Table 6 说明）。
• Omni： Table 6 中干净 ASR 0.41、对抗 ASR 0.61，顶带降幅 0.08。Figure 2 与 Figure 9 的 mask 降幅 95% bootstrap CI 与零重叠。作者将其读作余量不足的空臂，而不是功效研究。

主评审在 120 条对抗回复上的 FPR 为 0.095（2/21），FNR 为 0.131（13/99）。对 n=520 的 0.767 做 Rogan-Gladen 校正约为 0.87（附录写 0.868），传播端点后约 0.83–0.95。作者明确不把该校正用于遮挡条件。

划分、移除结构与受限支撑

• 划分： 等赫兹 K=8 下，遮挡任一频带的残差 ASR 不高于 0.30。八频带等能量划分中，各带残差 ASR 在 0.07 到 0.16；作者称这不足以把各带说成同等重要。16 频带等能量下，遮挡 b15=[7520, 7960] Hz 的残差 ASR 为 0.10（降幅 0.667，能量占比 0.065），是该分辨率最大降幅，但没有匹配随机对照。Section 4 将等赫兹与等能量划分列入 Meta-Llama-3-8B-Instruct 评分，与主评审分开。
• 移除结构： n=520、每带 20 次的能量匹配分散移除中，连续移除在每个频带都留下更低 ASR；差异在低频更大，高频两者都接近地板。全局缩放在 Meta-Llama-3-8B-Instruct 下 ASR 为 0.75–0.79（均匀移除 1/8 能量为 0.76）。作者称这只检验幅度：掩蔽相对 L2 位移为 0.27–0.49，缩放位移为 0.037–0.13。
• 重优化与已有频带选择： JailbreakBench 上 n=20、GPT-4o-mini 的重优化中，完整扰动 ASR 为 0.95（19/20）；限制到 [20, 29]、[70, 79] 及其并集时为 0.00、0.25、0.40。约覆盖一半 STFT bin 的随机支撑平均 ASR 为 0.86。ALMGuard 等能量抑制（n=520，Meta-Llama-3-8B-Instruct）ASR 为 0.15，20 个匹配随机掩码均值 0.17、范围 [0.150, 0.187]。GRM 选定支撑 ASR 为 0.75（15/20），带宽匹配随机支撑均值 0.86、范围 [0.75, 0.95]。作者称两个试点均不能得出结论，且未评估原方法的原始目标。

深度关联与激活修补

• 原始曲线： ρ0=+0.568，ρ30=+0.877（Figure 6 标注峰值约 0.88）。配对提示词 bootstrap 的 Δρ=+0.307（95% CI [0.271, 0.342]），以该八频带划分为条件。相位随机化零假设 p=0.183，未拒绝。留一频带散布为 0.172，约为提示词 bootstrap 标准误的两倍。末音频帧相关约 0.45–0.49；长度与位置匹配的随机 token 跨度能复现池化水平。作者称这不支持把原始趋势说成越狱行为特有。
• 调整后模型： 在 399 条被完整对抗输入越狱的提示词上，散度系数每层为正，从投影器输出的 +0.63 到层 30 的 +0.93（95% CI [0.70, 1.19]）。层 30 减投影器对比在 Section 5.3 写为 +0.29，摘要与 Table 2 写为 +0.293，区间均为 95% CI [0.11, 0.51]。晚期系数均值 +0.52（95% CI [0.31, 0.76]）。所测与行为无关的频带统计没有对应的深度对比。作者称这是该攻击与该划分上的能量调整后关联，不是因果层位置。
• 单层修补： 自修补门通过全部 312 项检查。恢复率从投影器输出的 0.83 降到层 18–30 的 0；对照带模式相似。n=12，零恢复后 Clopper–Pearson 95% 上界为 0.26。作者称这是设计上的空结果：下游位置已在更低层处理过被遮挡音频，不能检验累积形成的表示。

迁移、语料与检测

• 跨模型： Figure 11 的 n=50 匹配子集上，Qwen 白盒 ASR 0.76（[0.64, 0.88]），转到 Omni 为 0.34（[0.22, 0.48]）；Omni 白盒 0.62（[0.48, 0.76]），转到 Qwen 为 0.02（[0.00, 0.06]）。Qwen→Omni 的迁移带均值 ASR 为 0.37，排序 Spearman ρ=0.53（p=0.18）。作者称双向迁移为空结果，未找出可迁移的频带或深度签名。
• 跨语料： 只有 JailbreakBench 的 K=8 mask 使用全部越狱池（n=70/89，对抗 ASR 0.914）。Table 8 中，遮挡 70–79 的归一化降幅最大（+0.89），遮挡 20–29 最小（+0.45）。MaliciousInstruct、StrongREJECT 使用越狱池中必要性最高的 50 条（池大小 93/100、190/276），作者称不能独立复现该排序。三套语料的 n=50 深度曲线均未拒绝相位随机化零假设（p=0.195、0.230、0.499；主实验 p=0.183）。
• 检测： Table 7（n=50）中，层 30 线性探针在干净对对抗、对抗对良性扰动上的 AUROC 均为 1.00；监督 log-mel 逻辑回归为 1.00 与 0.999。作者称该实验没有显示残差流特征相对可比监督输入基线的可测 AUROC 优势。只在 ε=0.01 上训练的探针，对 ε=0.005 与 0.02 的 AUROC 仍为 1.00；作者称它检测的是扰动族，不一定是成功越狱。

其他消融与分析

• 随机连续 40/80 分析 bin，n=50、20 次：平均 ASR 0.015，对比遮挡 b8 的 0.05；作者称宽区域对照不能区分特定位置。
• 累积保留，n=50：重要性路径在 k=6 前接近地板，k=7 为 0.28，k=8 为 0.80；图例另标对抗基线 0.76（Figure 8）。
• 随机解码，n=520、三种子：对抗 ASR 0.56–0.75（均值 0.67），低于贪心 0.77；作者称这不能复现完整排序。
• 优化种子：20 条提示词、3 次初始化，20/20 最大能量份额在 b8；配对 Spearman 均值 0.97（最小 0.88）。
• 分辨率阶梯，n=50 的原始增量：K=8 为 +0.36，K=16 为 +0.13，K=20 为 +0.094；全量 K=8 为 +0.309。K=4 因频带效应饱和而未给出可靠深度估计。
• n=50 参考评审：对抗 ASR 0.64，对比主评审 0.76（Table 3）；带顺序仍一致。ε=0.005 与 0.02 冷启动后 ASR 从优化时的 0.84、0.76 降到 0.32、0.40（n=50），行为结果因此都用 ε=0.01。
• 重建：相对 RMSE 1.76×10−5，量化信噪比约 70.5 dB。Table 5 中检查过的回注残差低于 5%，邻带泄漏低于带内衰减的 1.5%。遮挡 b1=[0, 9] 使 ASR 从 0.77 降到 0.24；作者称这不是已验证防御，且未测量语音效用。

作者指出的局限与后续方向

• 攻击与受害模型范围： 正面结果来自一种攻击 AdvWave-P（ε=0.01）和一个有可用余量的受害模型 Qwen2-Audio。LLaMA-Omni 已把 40% 的干净有害提示词判为越狱，余量不足以测每带效应。协议面向与干净波形对齐的加性扰动，不直接用于后缀追加、语义或 mel 域攻击（Section 7）。结论另称，能否推广到其他攻击、受害模型或扰动域仍开放。
• 扰动预算： ε=0.005 与 0.02 在冷启动重推断下不稳定，ASR 从优化时的 0.84 与 0.76 降到 n=50 上的 0.32 与 0.40，原因未分离。行为结果因此都用 ε=0.01。未训练 ε 的探针检测的是扰动族，不一定是成功越狱（Section 7）。
• 遮挡对象： 只从扰动中移除成分、固定干净波形。这不检验必须处理干净加对抗混合信号的可部署滤波器。Appendix A.8 的陷波应读作扰动分析，不是已验证防御（Section 7）。
• 等能量分辨率： K=8 等能量的残差 ASR 为 0.07–0.16，支持“遮挡任一频带会破坏攻击”，不支持各带同等重要。K=16 的 b15=[7520, 7960] Hz 残差 ASR 为 0.10，且能量占比最大；没有该分辨率的匹配随机对照，作者将其视为未解决观察，不是定位结果（Section 7）。
• 深度因果： 调整后的深度结果是关联，不是因果定位。原始相关只用八个频带；留一频带散布 0.172，相位随机化检验 p=0.183。单层激活修补不能检验跨层累积形成的效应。作者列出的后续包括累积或 KV-cache 修补、拒绝方向读出，以及 massive-activation 通道检查（Section 7）。
• 评审与跨语料： 只有一名作者标注，第二名不可得；Rogan-Gladen 校正不能搬到遮挡条件。GPT-5.6-sol 没有存档的不可变快照，n=50 上对抗 ASR 为 0.64，对比主评审 0.76。跨语料使用不同 TTS；只有 JailbreakBench 的 K=8 扫描覆盖全越狱池。重优化充分性与 GRM 对比是 n=20 试点（Section 7）。

实验覆盖范围

• 被测受害模型为 Qwen2-Audio-7B-Instruct 与 LLaMA-Omni；主行为结果在 AdvBench 520 条、AdvWave-P、ε=0.01、K=8 的 mask 与 keep-only 上，主评审为 GPT-4o-mini（Section 4、Table 6）。
• 等赫兹、等能量、分散移除、分级衰减、全局缩放和 ALMGuard 抑制扫描由 Meta-Llama-3-8B-Instruct 评分；GRM 重优化试点用 GPT-4o-mini。不同评审的 ASR 不合并（Section 4）。
• 人工核验是一名作者对 220 条条件盲样本的标注；论文写明第二名标注者不可得，因而未报告标注者间一致性（Section 3.4、Section 7）。
• 跨语料中，JailbreakBench 的 K=8 mask 使用全越狱池 n=70；MaliciousInstruct 与 StrongREJECT 为各自越狱池中必要性最高的 50 条。三套深度曲线均为已有的 n=50 高必要性样本（Section 5.5、Appendix A.11）。
• 单层激活修补为每层 12 个样本；重优化与 GRM 支撑比较为 n=20。Appendix A.8 写明未测量语音效用。几何可视化包括层 30 的线性 CKA，以及 PCA 与 t-SNE（Appendix A.2、A.3）。

这是对加性音频越狱 AdvWave-P 的频率与解码器深度审计，受害模型主要是 Qwen2-Audio-7B-Instruct，不提出新攻击。

• 问题： 音频语言模型可能拒绝有害文本、却服从对抗音频。GRM、ALMGuard 与编码器注意力方法按不同目的选频段。作者要区分频带位置与宽度、能量、移除结构，再看行为重要性是否与解码器音频跨度散度相关。
• 做法： 在 STFT 域把扰动的选定频带置零或保留，float32 重建后测 ASR。必要性是完整对抗 ASR 减去遮挡后 ASR；充分性看只保留该带能否维持攻击。对照包括随机连续区、等赫兹、等能量、能量匹配的分散移除和全局缩放。深度侧用提示词与能量调整后的混合效应模型，并用单层激活修补检查因果层。
• 行为结果： AdvBench 520 条上，干净 ASR 为 0.008，GPT-4o-mini 对抗 ASR 为 0.767（摘要写作 76.7%）。遮挡 b8 后正文报残差 ASR 0.054。能量占比与标准八频带排序的 Spearman ρ 为 0.95。等能量八频带残差 ASR 在 0.07–0.16；7520–7960 Hz 遮挡后为 0.10，作者称缺匹配对照，定位未解决。
• 支撑与深度： n=20 重优化中，被测单带及两带并集的 ASR 为 0.00、0.25、0.40，约一半 STFT bin 的随机支撑平均为 0.86。399 条上，散度系数从投影器的 +0.63 到层 30 的 +0.93，对比为 +0.293（95% CI [0.11, 0.51]）。原始深度曲线未拒绝相位随机化零假设（p=0.183），单层修补也未确定因果层。
• 作者结论： 结果支持对频率主张做划分感知的审计。LLaMA-Omni 余量不足，跨模型迁移为空，ALMGuard 与 GRM 试点不能得出结论。作者称细分辨率顶带、因果层，以及对其他攻击、受害模型或扰动域的推广仍开放。