PALS：面向全双工语音对话模型对抗鲁棒性的心理声学对齐潜空间平滑

全双工语音对话的常开声道，可被压在心理声学掩蔽阈值下的加性扰动操纵。

• 场景：全双工 speech-to-speech 模型边听边说，逐帧摄入始终打开的麦克风，并维持可被提前投毒、事后利用的对话状态；音频直接变成口语动作，没有可检查的转写。作者认为这比 ASR 的攻击面更危险。
• 不足：作者称不可听扰动已能欺骗 ASR 和语音 LLM，但全双工 S2S 能否被保护、代价多高，仍是开放问题。
• 做法：把掩蔽扰动威胁移植到全双工设定，形式化三类目标，并提出后训练防御 PALS；另设推理时的蒙特卡洛变体 PALS-Certify。作者强调两个算子不混用。
• 威胁模型：
  • 目标：targeted semantic hijack；mute，把智能体流推向 natural-pause code；policy jailbreak，用可复用对抗音频前缀推向肯定开头。
  • 知识：对编码器 Ec、量化器 Q、对话模型 fϑ 为 white-box，并完全知道防御。自适应评估要求梯度经 straight-through estimator 穿过 Q。
  • 能力：在感知球内用 Adam 加投影优化加性波形；预算记为 ∆=20 log10 η dB，∆=0 触及可听阈值。over-the-air 把目标包在房间冲激响应与噪声的期望上。
  • 受害系统：流式全双工 S2S。实验对象是 Moshi 式智能体：24 kHz 用户声道，12.5 Hz、d=512 的潜变量，八本码本、每本 2048。

作者按语音对抗、音频越狱、防御和全双工建模四条线定位本文。

语音对抗与心理声学隐藏

• 从视觉到语音：Szegedy 等（2014）刻画视觉分类器上的对抗样本；Carlini and Wagner（2018）把目标攻击迁到 speech-to-text，作者称扰动接近不可感知。
• 掩蔽与出沙箱：Schönherr 等把扰动压在 MPEG 式掩蔽阈值下；Qin 等再对房间变换取期望。通用扰动、物理回放，以及静音语音基础模型的通用片段，作者称预示了本文的 mute。Abdullah 等给出 ASR/说话人识别攻击的 SoK。
• 本文未逐篇批评：这些工作在文中主要作为威胁来源，论文没有逐篇写它们相对 PALS 的差距。

音频语言模型越狱

• 半双工与助手：SpeechGuard、AdvWave、针对商业助手的 voice-mode jailbreak，以及评测套件 JALMBench。作者称 SpeechGuard 的 white-box jailbreak 成功率近 90%。相关系统还包括 SALMONN、Qwen2-Audio。
• 论文点名的空白：作者称这些工作针对半双工音频 LLM 或专有助手；没有为流式全双工 S2S 形式化掩蔽扰动攻击者，也没有在 codec 潜变量界面给出认证防御。

防御与随机平滑

• 经验路线：作者称 PGD 对抗训练及其 TRADES 改进仍是最强经验防御，但增加训练成本，且需要自适应评估。从感知输入变换到扩散净化的音频净化，可被穿过净化器求导的攻击绕过。
• 认证平滑：Cohen 等的 randomized smoothing；Olivier and Raj 的序贯平滑在不可听噪声预算下认证 ASR 转写，代价是 WER。数据相关方差、ANCER 的各向异性椭球、center smoothing，以及正交编码器上的潜空间平滑已有。作者称本文认证变体属于这一族，新意在与掩蔽威胁匹配的平滑分布，而不是证书推导本身。

全双工建模与本文基线

• 对话模型：dGSLM 做双通道生成式口语对话；Moshi 把文本 LLM 与流式 Mimi codec 合成实时全双工智能体。同步 LLM、低延迟级联和端到端 chatbot 扩展了设计空间。
• 基准与语料：Full-Duplex-Bench 量化轮替，Speech Robust Bench 量化失真敏感性。CANDOR、SSSD 等双人语料也提供挂载攻击的载波对话。
• 实验基线：无防御智能体、匹配功率的高斯增强、input-space randomized smoothing、PGD-AT、Demucs 前端。评测用 held-out 载波、AdvBench 派生请求和 Full-Duplex-Bench。

作者称本文补的是全双工上的掩蔽扰动形式化，以及 codec 瓶颈处与该攻击者对齐的平滑。

PALS 在攻击必经的 RVQ 潜变量界面加各向异性高斯噪声，并用与掩蔽预算对齐的输入噪声做 KL 一致性后训练。一个标量 σ 缩放全部增强；训练时不跑攻击，也不改架构。

系统与感知球

• 链路：用户波形为 24 kHz。流式卷积编码器给出 12.5 Hz、d=512 的连续帧，RVQ（八本、每本 2048，Mimi 设计）得到离散码。对话模型同时吃用户与智能体 token 及 inner-monologue 文本。外部评审把回复收成有限集 Y 上的语义决策。
• 感知球：论文将允许的加性扰动写成 P_x(η)={δ:|(Dδ)_f,k|²≤η²θ_x(f,k)}，即 STFT 逐 bin 功率不超过按掩蔽阈值缩放的预算。∆=20 log10 η dB。θx 来自 MPEG-1 psychoacoustic model 1。投影是逐 bin 幅度裁剪再逆 STFT。
• 三目标：劫持最小化指定回复的负对数概率；mute 最小化 natural-pause code 的负对数概率；越狱在感知球内优化可复用前缀，接在有害口语请求之前，推向肯定开头。优化器为 Adam，梯度用 straight-through 穿过量化器。

码本几何上的潜变量噪声

• 各向异性：作者称高胞内方差沿编码器波动方向，能活过量化的扰动必须跨过胞边界。校准阶段把每帧分到最近的第一码本项，并累积残差协方差。
• 抽样：平滑协方差是收缩后再迹归一的局部协方差，ρ=0.1 以保证正定。每帧加 σ ε，模型吃再量化后的码；straight-through 使训练停在推理时的离散支撑上。
• 旋钮：σ 同时缩放潜变量噪声和输入噪声。部署取 σ=0.25。

掩蔽匹配的输入对偶

• 波形噪声：STFT 系数为独立、零均值、圆对称复高斯，方差按掩蔽阈值匹配，再逆 STFT。增益 η(σ)=κσ 只校准一次，使潜变量位移的中位数与直接注入潜变量的位移匹配。κ 的数值论文未给出。
• 与感知球的关系：Lemma 1 称，在逐 bin 期望功率约束且各 bin 独立、零均值时，该高斯是微分熵最大且唯一的分布。作者按 Jaynes 的原则，把它当作只知道功率预算时最少假定的攻击者模型。这是协方差约束，不是感知球的逐点上确界。作者称该高斯以接近 1 的概率落在球外，二者经 Corollary 1 联系，而不是恒等。
• 训练目标：在常规后训练的下一 token 交叉熵上加一致性项，写作 L(ϑ)=E[L_post+β KL(p_ϑ(·|ẑ,h)|p_ϑ(·|z̃,h))]，即干净码与双重增强码上输出分布的 KL。β=4，按发出的 token 计算再平均。作者称开销是多一次前向，墙钟约 1.4 倍；文中对照的十步 PGD 对抗训练约 3.4 倍。

两个算子与证书

• PALS-Train：后训练权重在推理时原样运行，不做平滑、不加成本。文中的攻击成功率都记在这个算子上。
• PALS-Certify：在干净点所在胞冻结协方差 Σ，对噪声做蒙特卡洛。n0=100，n=1,000，单侧 Clopper–Pearson，α=10^{-3}；pA≤1/2 时弃权。作者称必须冻结 Σ，因为 Train 按帧重选协方差，平滑前提不成立。该算子付出 n 倍推理成本。
• 半径：Theorem 1 给出椭球（Mahalanobis）半径；ℓ2 球只是内切球。迹归一使最小特征值不超过 1，故 ℓ2 半径不超过椭球半径。σ=0.25 时协议上限为 0.616。作者称这对应输入预算约 ∆=−26 dB，换算用的是经验局部 Lipschitz：10,000 个五秒片段上中位数 2.4、95 分位 3.7，报告用后者。作者称输入半径是启发式，硬证书在潜空间。
• 风险分解：Theorem 2 把感知球上的平滑损失上界写成干净平滑损失、KL、增强样本到最坏扰动的距离，以及高斯落在球外的尾概率。作者称这对应训练里的各项，且不把尾概率当成 0。量化器不需要连续性，因为平滑证书不要求基函数连续。

实验设置

• 被测模型：一个 Moshi 式智能体：7B temporal transformer、RVQ 上的 depth transformer、12.5 Hz 八码本 Mimi 式 codec、inner-monologue 文本流。从预训练检查点后训练。
• 数据：3,118 小时英语双通道对话：otoSpeech 处理后 141 h、SSSD 727 h、CANDOR 约 850 h（1,656 次视频通话）、Seamless Interaction 子集 1,300 h、AMI 头戴分区 100 h。重采样 24 kHz。劫持用 200 个指定回复、1,000 条 held-out 载波；越狱用 520 条 AdvBench 派生请求；轮替用 Full-Duplex-Bench。
• 后训练：80k AdamW 步，学习率 2×10^{-5}，余弦衰减，权重衰减 0.1，全局批 64 个五分钟片段；32 张 H100，约 5 天。σ 在前 10k 步爬升。PALS 取 σ=0.25、β=4、ρ=0.1，协方差在 20 h held-out 上校准。
• 攻击协议：1,000 次 Adam，学习率 10^{-3}，五次重启，投影到感知球；∆ 取 −20、−15、−10、−5、0 dB。掩蔽阈值用 MPEG-1 model 1，2048 点 Hann 窗、hop 512。mute 成功定义为活动低于 5% 帧并持续 10 s。越狱使用每类 3 s 通用前缀。基线都按自适应攻击评估。
• 基线：无防御、匹配功率高斯增强、Demucs 前端、input-space randomized smoothing、PGD-AT。
• 指标与评审：劫持、静音、越狱、OTA 劫持，以及 UTMOS、Whisper large-v3 的 WER、TT-F1。含 9 类回复意图的受审量用 Gemini 2.5 Pro，温度 0，3 次采样多数票；200 条审计上 Cohen's κ=0.88。区间为 10^4 次 bootstrap 的 95% 半宽。模拟 OTA：pyroomacoustics，120 个房间，T60∈[0.2, 0.9] s，MUSAN babble 10–20 dB。论文写明也使用 DNSMOS 与 ITU-T P.808，表格未给二者数值。AMI 上 Whisper large-v3 约 16% WER 是语料说明，不是表中防御 WER。

主结果

下表据 Table I，攻击预算 ∆=0 dB。± 为该表 bootstrap 95% 半宽。PALS 的攻击列是 PALS-Train，不含推理时平滑。

表格较宽，可左右滑动

防御	Hijack	Mute	Jailbreak	OTA hijack	UTMOS
无防御	91.7±1.7	88.4±2.0	76.2±3.7	46.3±3.1	3.91
高斯增强	41.5±3.1	39.8±3.0	33.0±4.1	21.7±2.6	3.78
Demucs	53.7±3.1	49.2±3.1	44.6±4.3	18.9±2.4	3.84
Input smoothing	28.9±2.8	26.1±2.7	24.4±3.7	15.2±2.2	3.62
PGD-AT	19.4±2.5	17.2±2.3	15.8±3.2	9.6±1.8	3.70
PALS-Train σ=0.25	8.3±1.7	11.2±1.9	9.1±2.5	4.7±1.3	3.82

• 作者解读：作者称无防御智能体几乎可被随意攻破，并称 PALS-Train 比 PGD 低 1.5× 到 2.3×。UTMOS 绝对下降 0.09，作者称这在 3.91 的 2.3% 以内。表外的 WER：无防御 7.4%，PALS 7.7%；TT-F1 为 0.71 与 0.70，作者称轮替 F1 不变。
• 证书列：Table I 的 [email protected] 只有 input smoothing 的 31.5 和 PALS-Certify 的 47.0，其余格为破折号。dagger 写明 47.0 来自 n=1,000 的推理时蒙特卡洛。
• 其余说法：作者称输入平滑牺牲质量与轮替（该行 WER 9.8、TT-F1 0.65），净化前端在自适应攻击下失效，PGD 最强但训练成本约增至三倍。另一处把 PALS 写成约 1.4 倍、十步 PGD 约 3.4 倍。Table I 的 OTA 列未写房间；Table II 中等房间一行数字与之相同，论文未写明是否同一设置。

预算曲线与认证

• Figure 3(b)：数字 white-box 劫持对 ∆，带 bootstrap 95% 区间。作者称 PALS-Train 从 −20 到 0 dB 保持低于 9%，相对 PGD 的差距随预算变大，并超出认证半径。文本未列出该图逐点读数。
• Figure 3(a)：PALS-Certify 的认证语义准确率对潜变量 ℓ2 半径。图注列出 σ=0.125、0.25、0.5、1.0 及各向同性 σ=0.25（虚线）；曲线在各自上限终止，σ=0.25 时为 0.616，图中标有 47.0%。作者称半径 0.5 处 47.0% 的决策被认证，对应约 ∆=−26 dB，覆盖不了已演示攻击。作者称各向同性平滑在大部分范围最多少 10 个认证点，接近上限时差距变窄。
• Figure 3(c)：作者称 PALS-Train 的 σ 扫描在经验鲁棒性对干净 UTMOS 的图上支配全部基线，拐点在 σ=0.25。图注坐标为 robust accuracy (%) 与 clean quality (UTMOS)。逐点坐标文本未给出。

切片与不依赖评审的静音

• Table II 左，∆=0 dB 劫持，无防御 / PGD-AT / PALS-Train：数字 white-box 为 91.7 / 19.4 / 8.3。OTA 小房间 T60≈0.2 s 为 52.8 / 11.0 / 5.4；中房间 T60≈0.5 s 为 46.3 / 9.6 / 4.7；中房间加 babble 10 dB 为 29.4 / 6.2 / 2.9。女/男数字白盒为 92.4/90.9、20.6/18.3、8.9/7.8。
• 作者解读：作者称混响和 babble 削弱攻击多于削弱防御，最难条件下 PALS-Train 为 2.9%；说话人性别与语料差异可忽略。语料分片的数字未出现在 Table II 文本中。
• mute 的判定：活动低于 5% 帧并持续 10 s，不用 LLM 评审。从 88.4±2.0% 到 11.2±1.9%。作者称这用来核对约 10 倍的下降不是评审偏差。

其他消融与分析

• 去掉 KL 一致性：劫持 12.7%，OTA 6.9%，UTMOS 3.74（Table II 右，∆=0 dB）。
• 各向同性协方差 Σ=I：13.6%，7.5%，3.80。
• 去掉输入空间对偶：14.9%，9.8%，3.85；作者称模拟 OTA 成功率翻倍。
• 去掉再量化：10.9%，5.8%，3.69。
• σ=0.0625 / 0.125：劫持 21.5 / 14.2，OTA 11.6 / 7.9，UTMOS 3.90 / 3.88。
• 作者称 KL 或对抗训练单独解释不了收益，输入对偶和码本协方差是主要驱动。

作者指出的局限与后续方向

• 证书所在空间：硬证书在潜空间；到波形半径的回推经过估计的局部 Lipschitz，作者称为启发式。把谱范数约束做成结构界留待后续（Section VII-C；Section V 把同一事项推迟到 VII-C）。
• 转移所用的范数：认证下界只在加权 ℓ2 意义下从潜变量转到输入，而不是感知球的逐点上确界范数（Section VII-C，Corollary 1）。
• 语料：语料是英语双人对话（Section VII-C）。

实验覆盖范围

• 被测系统是一个 Moshi 式 7B 智能体。攻击为 white-box 自适应优化，目标为劫持、静音、越狱，∆ 取 −20、−15、−10、−5、0 dB（Section III、VI，Table I）。
• 对照防御为高斯增强、Demucs、input smoothing、PGD-AT。证书数字来自 PALS-Certify，n=1,000、α=10^{-3}；Table I 同时列出 input smoothing 的 [email protected]（Section V，Table I）。
• 模拟 OTA 为 120 个房间、T60∈[0.2, 0.9] s、MUSAN babble 10–20 dB。Table II 另给小房间、中房间、10 dB babble 和女/男切片。
• 语义类判定用 Gemini 2.5 Pro，200 条审计上 κ=0.88。mute 用帧活动规则，不用 LLM 评审。攻击有五次重启，区间用 10^4 次 bootstrap；论文未另报独立重复实验次数。
• 后训练为 3,118 小时、五个英语双人来源、80k 步。论文写使用 DNSMOS 与 ITU-T P.808，表格未报告二者数值。

PALS 是全双工语音对话模型的后训练防御，对象是限制在心理声学掩蔽阈值内的对抗音频。

• 问题：模型边听边说，常开麦克风和可提前污染的对话状态把音频直接变成口语动作，中间没有可检查的转写。攻击者被写成 white-box，在载波的感知球内做 targeted semantic hijack、mute 和 policy jailbreak，可数字投递或 over-the-air。
• 方法：在 RVQ 量化前按局部码本协方差加高斯噪声并再量化；波形侧加掩蔽阈值形状的噪声；用 KL 一致性把干净输出和增强输出拉在一起。一个 σ 缩放两路，训练时不跑攻击。PALS-Train 推理不加平滑；PALS-Certify 冻结协方差做 n=1,000 的蒙特卡洛，σ=0.25 时椭球半径协议上限 0.616。
• 主结果：Table I、Moshi 式智能体、∆=0 dB，无防御 white-box 劫持、静音、越狱为 91.7%、88.4%、76.2%，OTA 劫持 46.3%。PALS-Train（σ=0.25）为 8.3%、11.2%、9.1% 和 4.7%，UTMOS 从 3.91 到 3.82；作者称绝对下降 0.09，在 3.91 的 2.3% 以内。静音按帧活动规则判定，不经 LLM 评审。
• 证书：PALS-Certify 在潜变量半径 0.5 认证 47.0% 的决策。作者称这是小半径下界，对应约 ∆=−26 dB，覆盖不了文中的强攻击，而 PALS-Train 的经验鲁棒性超出该下界。
• 作者的限制：输入半径靠估计的局部 Lipschitz，证书只按加权 ℓ2 转移，语料是英语双人对话。