可解释性arXiv 2610.10865
用路由稀疏自编码器解耦语音编码器中的语言学与副语言学信息
提出路由 TopK SAE,把语音编码器稀疏码拆成语言与副语言通路
- arXiv
- 2610.10865
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SPEAR XLarge、WavLM Large
- 组件音频
摘要路由 SAE 在冻结 SPEAR 与 WavLM 上分开语言和副语言因子,探针与交换支持通路分工。
TopK SAE 的稀疏码被分成语言通路与副语言通路,用来分开冻结语音编码器里同时存在的音素信息和说话人、情感、韵律。只重构不能得到作者选定的这一分解。语言通路由音素识别监督,副语言通路由说话人识别、情感分类和韵律预测监督,作用在对方通路上的梯度反转对抗用来压低交叉因子。