事件持续更新
研究者发现语音分词器存在可迁移语义攻击漏洞
先了解这件事
AI 综述
研究者发现语音分词器存在语义脆弱性，小扰动即可破坏语义编码，导致下游ASR和大型音频语言模型性能严重下降。论文提出可迁移语义攻击T-SemAttack，联合漂移多个语义编码器表示空间，在保持语音感知质量的同时扰乱语义，并提出鲁棒分词器ROSETok，实验覆盖9个ASR系统和4个大型音频语言模型。
AI 根据报道生成 · 2 天前更新
走势与进展
每小时关注度
现在 37，24 小时 +3%·峰值 37（11月15日 11:00）
11月14日11月15日现在 37
相关研究
这件事的论文
- 语音分词器很脆弱：可迁移语义攻击与鲁棒分词器
arXiv · 2026-11-11 · 深度解读
后续时间线
11月15日
- 小红书小红书 上海交通大学 王烁老师· 讨论语音分词器也会被误导？可迁移语义攻击（新标签页打开原帖）
11月11日
- arXiv：其他 AI 安全论文语音分词器很脆弱：可迁移语义攻击与鲁棒分词器
研究者发现语音分词器在语义层面存在脆弱性，小扰动即可破坏其语义编码，导致下游 ASR 和大型音频语言模型（LALM）性能严重下降。论文提出基于语义编码器集成的可迁移语义攻击 T-SemAttack，通过联合漂移多个语义编码器的表示空间，在保持语音感知质量的同时扰乱语义内容。逐层表示漂移与跨模型梯度对齐分析显示，扰动可使深层语义表示发生大幅偏移，不同代理编码器的输入梯度方向一致，提示输入空间中共享的对抗敏感方向可能是跨模型攻击可迁移的关键因素。论文同时提出鲁棒语音分词器 ROSETok，结合噪声训练与鲁棒语义蒸馏，提升重建保真度和下游 SpeechLLM 的鲁棒性。实验覆盖多个数据集、9 个开源与黑盒 ASR 系统和 4 个 LALM，代码与演示见 https://wxzyd123.github.io/t-semattack。
相关讨论
共1条
- 小红书小红书 上海交通大学 王烁老师语音分词器也会被误导？可迁移语义攻击（新标签页打开原帖）
关注度走势
每天新增来源
- 11月11日新增1个来源（1家媒体、0个账号）
- 11月12日新增0个来源（0家媒体、0个账号）
- 11月13日新增0个来源（0家媒体、0个账号）
- 11月14日新增0个来源（0家媒体、0个账号）
- 11月15日新增1个来源（0家媒体、1个账号）