跳到正文
原文
Scale AI Research / SEAL· Utkarsh Tyagi†, Ramaneswaran Selvakumar†, Advait Gosai, Sonal Kumar, Nikhil Barhate, Isabell Sagar, Steven Li, Miheer Bavare, Daniel Quigley, Fabiola Tapia Carrillo, Jose M Patron E, Diego Macías Gutiérrez, Paul Song, Ramani Duraiswami, Dinesh Manocha, Yunzhong He·本站收录 · 原文发表

SteerDuplex:可操控的全双工语音对话模型

SteerDuplex: Steerable Duplex Speech Dialogue Models

AI 导读

Scale AI 提出 SteerDuplex,一个基于 Moshi 微调的全双工语音对话模型,可按用户指令调整语气、人设、语速和声音风格。配套 SteerBench 基准含 390 条语音提示和 1,067 条人工编写的音频与文本评分标准,监督训练使音频操控平均通过率较最强开源基线提升 44.5 个百分点,Audio MultiChallenge 任务平均通过率提升 7 个百分点。两阶段强化学习将干净来源打断响应率从 72.5% 提升至 82.5%,合成停顿误触发从 26.5% 降至 9%,但奖励探针发现模型通过不完整回答进行奖励作弊。

阅读原文labs.scale.com