Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 21 papers

Another 261papers do not have category tags yet and are not included in filtered results.

  1. 用路由稀疏自编码器解耦语音编码器中的语言学与副语言学信息

    提出路由 TopK SAE,把语音编码器稀疏码拆成语言与副语言通路

    Published
    Evaluated models
    SPEAR XLarge, WavLM Large
    Abstract路由 SAE 在冻结 SPEAR 与 WavLM 上分开语言和副语言因子,探针与交换支持通路分工。

    TopK SAE 的稀疏码被分成语言通路与副语言通路,用来分开冻结语音编码器里同时存在的音素信息和说话人、情感、韵律。只重构不能得到作者选定的这一分解。语言通路由音素识别监督,副语言通路由说话人识别、情感分类和韵律预测监督,作用在对方通路上的梯度反转对抗用来压低交叉因子。

    Paper analysisRead analysis
  2. AttacksarXiv 2610.09819

    FAB 攻击:给 HuBERT/WavLM 植入后门,背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击,向声学基础模型植入可由环境声触发的后门

    Published
    Evaluated models
    HuBERT-base, WavLM-base

    Abstract论文提出了针对声学基模的 FAB 后门攻击,在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    Paper analysisRead analysis
  3. Moshi 全双工语音模型的情感引导遵循几何结构而非标签

    用均值差激活转向检验全双工语音模型的情感方向几何

    Published
    Evaluated models
    kyutai/moshika-pytorch-q8
    Abstract转向跟方向几何走而不跟标签走:sad 可单独对准,高唤醒情感共享方向。

    Moshi 上的情感激活转向跟方向之间的几何关系走,不跟被请求的标签走。

    Paper analysisRead analysis
  4. BabelFake:面向多语言音视频 DeepFake 检测的基准数据集

    构建多语言音视频 DeepFake 基准 BabelFake 并评测检测器

    Published
    Evaluated models
    SpeechForensics, AVH-Align, (B)RAVEn
    AbstractBabelFake 为五语同意采集基准。

    BabelFake 是经同意与 IRB 批准采集的多语音视频 DeepFake 检测基准,用来把视觉操纵和语音合成拆开比较。

    Paper analysisRead analysis
  5. 从孤立特征到轨道:通过多重 SAE 对齐发现音乐概念

    提出多 SAE 对齐方法,从音乐模型表征中发现和弦与调性轨道

    Published
    Evaluated models
    MuQ, MusicFM
    Abstract用移调对齐的多 SAE 恢复和弦、调与旋律轨道,并用少量锚点做下游音乐理解。

    作者提出一套面向音乐基础模型的结构可解释性框架:不把 SAE 特征当作孤立概念,而用半音移调把它们连成有序轨道。

    Paper analysisRead analysis
  6. 剪枝提效却牺牲公平:剪枝语音 LLM 中的群体差异

    测量剪枝对语音 LLM 群体转写公平性的影响

    Published
    Evaluated models
    Whisper Small (12 layers), Whisper Medium (24 layers), Whisper Large-v2 (32 layers)

    Abstract剪枝后的 Speech-LLM 不能只看总体 WER:Fair-Speech 上族群差扩大,作者建议看最差组。

    Paper analysisRead analysis
  7. DefensesarXiv 2609.37568

    SECRET:用源条件化中继引导缓解音视频大语言模型的幻觉

    提出训练无关的 SECRET,对问题表征做源条件转向以缓解音视频模型幻觉

    Published
    Evaluated models
    VideoLLaMA2-AV-7B, Qwen2.5-Omni-7B, Qwen3-Omni-30B-A3B
    AbstractSECRET 在问题状态上做源条件转向,三个 AVLLM 上减轻了跨模态接地幻觉。

    SECRET 是一种训练无关的问题状态转向方法,用来减轻 AVLLM 的 source-confused grounding hallucination。

    Paper analysisRead analysis
  8. 大型音频语言模型中的时间绑定机制研究

    用激活交换分析音频语言模型的事件时间绑定

    Published
    Evaluated models
    AF-Next, MOSS-Audio, Qwen3-Omni
    Abstract事件名表示在中间层编码相对时间,可改先后判断,但不能稳定改 onset。

    这项工作用机制干预检查三个开源 LALM 如何把时间位置绑到声音事件。

    Paper analysisRead analysis
  9. 通过稀疏自编码器实现神经音频编解码器的可解释框架:面向年龄、性别与口音的探索

    用 SAE 分析神经音频编解码器如何编码年龄、性别与口音

    Published
    Evaluated models
    EnCodec (24 kHz, 6 kbps), DAC, SpeechTokenizer and others5
    AbstractSAE steering 被用作探测 NAC 说话人属性编码的代理。

    作者用 SAE steering 探测 NAC 表示如何编码说话人属性,目标是可解释性,不是属性转换。

    Paper analysisRead analysis
  10. DefensesarXiv 2609.27399

    GUARD:在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    提出 GUARD,在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

    Published
    Evaluated models
    CosyVoice2-0.5B, F5-TTS, FireRedTTS
    AbstractGUARD 用门控激活转向把退出说话人推向冒充相似度,以抑制再识别并保住音质。

    GUARD 用门控激活转向做说话人身份遗忘,使零样本 TTS 对退出说话人难以再识别。

    Paper analysisRead analysis
  11. DefensesarXiv 2609.12623

    SteerDuplex:可操控的全双工语音对话模型

    提出 SteerDuplex,用监督微调与两阶段强化学习提升全双工语音对话可控性

    Published
    Evaluated models
    SteerDuplex-SFT, SteerDuplex-RL
    AbstractSteerDuplex 用 SFT 提升语音可控,用两阶段 RL 改时序,并记录奖励黑客。

    SteerDuplex 是基于 Moshi 的全双工语音模型,目标是在保留轮替、打断和一般任务能力的同时,按用户指令改变内容与发声。

    Paper analysisRead analysis
  12. AV-SafetyBench:面向文本到音视频生成的安全基准

    提出 AV-SafetyBench 评测文生音视频模型的不安全生成

    Published
    Evaluated models
    LTX-2.3, Ovi-1.1, JavisDiT++ and others7
    AbstractAV-SafetyBench 用三视角评五个 T2AV 模型,显示只看视频会漏掉音频与联合风险。

    AV-SafetyBench 是面向文本生成音视频(T2AV)的安全基准:一条提示词同时规定画面和音频,评测同时看两轨以及它们的交互。作者要测的是,不安全含义不只出现在画面上:它可以主要由语音或声音承载,也可以只有两轨合起来才成立。T2VSafetyBench 不评音频,TTA-Bench 不评与画面的交互,作者认为二者都盖不住这些路径。

    Paper analysisRead analysis
  13. AttacksarXiv 2609.01723

    研究者提出针对微调 TTS 模型的黑盒成员推断攻击

    提出针对微调 TTS 的黑盒成员推断攻击

    Published
    Attacker
    Black-box
    Evaluated models
    CosyVoice2, F5-TTS, XTTS-v2
    Abstract黑盒 TTS 成员推断以 recitation 加分层语音表示为分数,说话人级强于记录级,DP-SGD 可压到随机附近。

    作者给出一个针对微调文本转语音模型的黑盒成员推断框架,分别审计说话人是否进入微调集,以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成,既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询,认为只有 recitation(用目标转写和干净目标语音要求模型复现)同时满足两条,并把它作为主查询。

    Paper analysisRead analysis