SteerDuplex: a steerable full-duplex spoken dialogue model

全双工语音对话能处理轮替和打断，却缺少按用户指令稳定改变语气、人设、语速和声音风格的可控性（steerability）。

• 场景：作者认为口语对话携带情绪、口音和时序线索，端到端模型虽能直接处理声学信息，有用的对话伙伴还须决定何时说话，并遵守关于内容和发声方式的指令。全双工系统同时听和说，支持 turn-taking、backchanneling 和打断处理，但流利轮替并不保证遵守语气、人设或发声指令。
• 现有不足：作者用能力分类（Figure 1）区分自然语言可控、声学理解与适应、以及一般双工交互，并称当前全双工模型在该分类上有明显缺口。在匹配条目和同一评审下，Moshi 与 PersonaPlex 的 audio-steering 平均通过率分别只有 20.55% 和 16.44%（Section 4）。
• 核心问题：作者的中心问题是，针对性后训练能否让全双工模型更可控，同时保留一般对话能力。
• 本文提出：以公开 Moshi 为骨干的 SteerDuplex，在自然对话和合成对话上微调，覆盖指令遵循、发声方式、推理和双工交互；再用两阶段强化学习（RL）和混合奖励改进时序与应答连续性。评测用 SteerBench：390 条口语音频、1067 条人工编写的二元音频与文本标准，覆盖 tone、persona、style/accent、speed/length。

论文在 Related Work 中把相关工作分成四组。

全双工语音模型

• 早期双通道与同步：早期双通道对话建模（Nguyen et al., 2023）以及后续同步和流交错方法（Veluri et al., 2024；Zhang et al., 2024）构成同时听和说的基础。
• Moshi 及后续系统：Moshi 把并行的用户与助手音频流和时间对齐的文本通道结合起来（Défossez et al., 2024）；后续系统扩展实时双工交互（Hu et al., 2025；Wang et al., 2024）。
• 条件与模仿：PersonaPlex 引入角色和声音条件（Roy et al., 2026）；F-Actor 通过监督模仿研究交互控制（Züfle et al., 2026）。作者称本文在这一模型族上研究被请求的内容、发声与对话时序。

可控生成与音频理解

• 文本可控：可控文本生成按风格、情感或人设条件化输出（Dathathri et al., 2020；Keskar et al., 2019；Liang et al., 2024）。可控性研究把可靠行为控制与普通指令遵循区分开（Chang et al., 2024），方法包括监督适应（Chen et al., 2024）或一致性奖励（Abdulhai et al., 2025）。
• 音频理解：音频语言模型发展了更广的理解与推理（Ghosh et al., 2024, GAMA），组合与多任务基准检验对音频中关系与事件的推理（CompA；MMAU）。作者称这些能力有助于解释声学上下文，但控制模型自身的发声仍是另一个问题。

口语交互评测

• 语音助手评测：覆盖口语音指令遵循（VoiceBench）、副语言与视觉线索的整合（MULTIVOX），以及跨轮保留指令和修订（Audio MultiChallenge）。对抗性音频落地测试还显示，标准任务分数可能掩盖输入并不支持的回答（Seth et al., 2026）。
• 双工基准：用事件时序和多轮任务完成作为补充（Full-Duplex-Bench、Full-Duplex-Bench-v2）。作者称 SteerBench 为显式可控请求增加内容和发声标准，并同时衡量任务成功和交互。

语音强化学习

• 多奖励优化：GRPO 及其分量归一化变体用多种奖励优化采样输出（Shao et al., 2024；Ichihara et al., 2025；Liu et al., 2026, GDPO）。
• 语音对齐：包括从标注对话做对齐（Arora et al., 2026；Wu et al., 2025）、时序优化（ASPIRin），以及双工交互行为的联合对齐（Ohashi et al., 2026）。可验证奖励的强化学习（RLVR）使用答案和约束检查（Tulu 3）；定性标准需要其他反馈。策略感知的标准加权（Tyagi et al., 2026）和无训练时验证器的标准条件自蒸馏（Rezaei et al., 2026）在一般后训练中研究这些信号。作者称语音 RL 还要处理声学有效性和时序：语义反馈应奖励响应性，同时避免鼓励不完整回答。

基线与基准：开源对比基线为 Moshi 和 PersonaPlex。基准为 SteerBench、Audio MultiChallenge、VoiceBench，以及 Full-Duplex-Bench（FDB-v1、v1.5、v2）。托管模型的已发表结果只作背景，协议差异在表中说明。

作者把本文定位为：把可控性分类与 SteerBench 结合起来，分别检查被请求内容和以参考音频为锚的发声；把针对性监督可控与注重连续性的两阶段 RL 结合，并与一般任务表现一起评测；奖励探针展示时序收益如何掩盖不完整回答。

整体上，SteerDuplex 以 Moshi 为骨干做监督微调，得到 SteerDuplex-SFT；再做两阶段混合奖励 RL，得到 SteerDuplex-RL（表中记为 “+ RL”）。文中 SteerDuplex 单独出现时指监督模型。混合目标把可验证的程序化交互奖励（RLVR 风格）和基于评审的语义奖励合在一起。

监督微调与条件格式

• 骨干：保留 Moshi 的 temporal transformer、depth transformer 和分层音频编解码器。自然语言系统提示词加在助手文本流前面；前缀期间两路音频保持静音，分隔符标记前缀结束。训练损失屏蔽提示词 token，训练和推理使用同一条件格式。对话在对齐边界切开，上下文和回答上限 300 秒，并受更短的基准限制。
• 数据：自然对话与针对性样本混合，覆盖指令遵循、可控、双工交互、安全和推理。自然语音提供韵律、重叠和轮次变化；针对性样本提供显式可控指令和完整对话状态。混合含 504,416 条音频记录和 65,675 条文本记录，训练质量占比分别为 88% 和 12%。音频记录时长合计 8,510.9 小时；因源材料重复，这不是独立录音小时数。固定采样权重让较小的针对性子集仍被采到，同时避免合成样本占主导。质量检查覆盖语义一致性、音频有效性、来源、隐私和安全。词级对齐用 Qwen3-ForcedAligner-0.6B，并使用轮次感知的损失掩码。
• 训练设置（Table 3）：Moshi 风格 7B 骨干，80 张 H100，每卡 batch 8，全局 batch 640；预算 3,600 步、230.4 万次固定采样，报告的 SFT 检查点是第 2,925 步。优化器 AdamW，学习率 2.828×10−6，权重衰减 0.1；depth-former 学习率 5.657×10−6；预热 500 步，梯度裁剪 3.0。

两阶段强化学习

• 优化对象：RL 从交互窗口采样续写，窗口覆盖轮次、打断、停顿、附和、噪声和 speech-mirror。CANDOR 材料经过滤，去掉与评测对话已识别的重叠。同一上下文的一组 rollout 共享上下文。
• GDPO：对共享上下文的语音–文本 rollout，Group reward-Decoupled Normalization Policy Optimization 先对每个奖励分量单独归一化再加权合并。公式为 Â_i=∑_k w_k(R_i^(k)−mean(R^(k)))/(std(R^(k))+ϵ)，其中 R_i^(k) 是 rollout i 的第 k 个奖励分量。作者称这避免某一分量的原始尺度主导更新；组内恒定的分量不提供学习信号。
• 阶段 1（应答连续性）：从监督检查点出发，并把它冻成 KL 参考。除交互时序和转录奖励外，加入权重 0.5、首次应答目标 4 秒的连续性项，用来抑制只满足时序事件却不把回答说完的短回答。
• 阶段 2（听者反馈后的续说）：策略和 KL 参考都从阶段 1 检查点初始化。保留连续性项，并在噪声和用户附和事件上加权重 2.0、目标 4 秒的续说时长奖励；专门的用户附和采样强调这些事件。该阶段奖励在听者反馈并不要求话轮时继续说。两阶段都对文本流动作做策略损失，并使用自适应采样动作 KL 惩罚，而不是 Ohashi et al. 的精确全分布 KL。音频码本动作不接收直接策略损失；采样到的填充 token 被纳入损失，因为它们编码没有新文本 token 的帧，与停顿和起说时序有关。
• RL 超参（Table 3）：学习率 5×10−7；KL 系数/目标 0.05/0.01（自适应，最小系数 0.02）；clip 0.2，梯度裁剪 1.0；事件上下文和最大回答各 30 秒。交互奖励权重 1.0，转录标准评审权重 0.75，评审为 Gemini 3.6 Flash，且只在轮次和打断分层上启用。波形完整性是硬门槛，拒绝静音、削波和无效输出。打断得分要求打断前助手已经在说话，避免静音获得让出话轮的分数。参考音频标准用于评测可控性，不进入所报告的 RL 目标。

SteerBench 的构建与判定

• 规模与划分：390 条提示，覆盖 tone、persona、style/accent、speed/length；1,067 条人工二元标准，其中音频标准 438 条、文本标准 629 条。测试集与监督及 RL 训练数据不相交。推理为音频进、音频出，使用附录 D.1 的共享系统提示词。
• 评审：文本标准根据转录判定；音频标准使用固定的合成与人工来源参考片段，人工审阅者按所请求的发声校验参考。评审模型为 Gemini 3.6 Flash。说话人身份只在标准明确要求时才计入。
• 三种聚合：audio-steering 平均通过率（APR）是满足全部适用音频标准的样本百分比；sample APR 还要求每条文本标准都通过；rubric pass rate 是对单条二元判定取平均。作者指出通过很多条标准并不等于完成任务：四条里过三条时 rubric 通过率是 75%，但该样本在“全部约束”标准下失败。

其他基准的评测协议

• 基准角色：Audio MultiChallenge 测多轮稳健性；VoiceBench 测口语音指令遵循；FDB-v1 测单个事件，v1.5 扩展测打断与重叠处理，v2 评测多轮任务会话。
• 评审分工（附录 B）：SteerBench 与 FDB-v2 用 Gemini 3.6 Flash。AudioMC、VoiceBench 和 FDB-v1 打断评分用 gpt-5.4-mini、中等推理强度；VoiceBench 每条做三次评审采样。FDB-v1/v2 转录用 parakeet-tdt-0.6b-v2。重复评测报告三次解码的均值和总体标准差；已发表基线分数保留其来源协议。
• 检查点选择：在与测试集分开的开发集上，按基准所测的交互和任务能力选择 RL 检查点，评测前冻结；基准测试分数不参与选择。

实验设置

• 模型：被测模型为 SteerDuplex-SFT（文中常称 SteerDuplex）、SteerDuplex-RL（表中 “+ RL”），开源基线为 Moshi 和 PersonaPlex。骨干为 Moshi 7B。托管模型的已发表结果只作背景，身份和协议差异写在表中。
• 基准与规模：SteerBench 为 390 条口语音频、1,067 条人工标准（438 条音频、629 条文本）。FDB-v1.5 使用不含 Fisher/CANDOR 的 498 例划分。官方 FDB-v1 的部分 turn-taking 与 pause 例复用了监督训练中的 CANDOR 对话，这些分数被当作诊断；泛化看 FDB-v2、上述 498 例，以及 FDB-v1 的 source-clean 合成打断、合成停顿和附和任务。
• 指标：SteerBench 报告 audio-steering APR、sample APR 和 rubric pass rate。AudioMC 报告 APR 和平均标准分 ARS，轴为 instruction memory（IM）、instruction revision（IR）、self-correction（SC）、voice editing（VE）。FDB-v2 为 1–5 分。VoiceBench 保留其官方量表。打断与停顿报告响应率、barge-in 率和语义分。
• 重复：SteerDuplex 在各基准上三次解码，± 为总体标准差。基线分数保留来源协议。FDB-v1.5 每个检查点一次解码。局限性一节还写：重复评测是从规模不等的池中取三次最高分再平均，可能抬高分数。
• 重叠诊断：附录 B 称，216 条 CANDOR 停顿转录中有 100 条与 96 段监督对话存在强 n-gram 重叠，因此 CANDOR 的 turn 与 pause 任务对整条训练谱系都只作诊断。官方停顿片段在用户最后一个词之后只延长 0.02–0.11 秒，作者称因此无法衡量成功等待。

主结果

据 Figure 3 与 Table 1，监督模型相对开源基线的可控与任务分数如下。Figure 3(a) 的基线分数保留来源协议；SFT 为三次运行。

Swipe horizontally to read the table

模型	SteerBench audio APR	AudioMC APR	AudioMC ARS	FDB-v2 mean	VoiceBench overall
Moshi	20.55%	3.98%	14.29%	2.59	38.55
PersonaPlex	16.44%	6.64%	20.56%	2.65	30.51
SteerDuplex-SFT	65.10±1.13%	13.64±0.28%	37.17±1.33%	4.17	40.87±0.27

• 可控：作者称在匹配条目、同一标准实现和 Gemini 3.6 Flash 下，SFT 的 audio-steering APR 为 65.10±1.13%，相对 Moshi 高 44.5 个百分点（摘要与 Figure 3）。Figure 3(b) 中 sample APR 按类别为 tone 49.7、persona 51.1、style/accent 48.4、speed/length 32；单条标准通过率为 71.5、77、69.8、63.1。正文称 sample APR 范围为 32% 到 51.11%，单条标准通过率范围为 63.10% 到 77.03%。作者称可靠满足每一条约束仍然困难。
• 多轮与一般能力：AudioMC 上完全成功的多轮任务仍少见，尤其是需要口语修订的任务；SFT 的 VE 为 2.56，两个开源基线的 VE 均为 0（Table 1）。FDB-v2 在 slow examiner 下，SFT 的 Correction、Daily、Entity、Safety 为 4.21、3.74、4.07、4.65，作者称在每个任务族上都高于 Moshi 和 PersonaPlex。
• VoiceBench 分项（Table 1）：SFT 的 AdvBench 为 99.3，Moshi 为 68.2，PersonaPlex 为 5.3。Alpaca 上 SFT 为 2.28，低于 PersonaPlex 的 2.45、高于 Moshi 的 2.15。SD-QA 成对子分上 SFT 为 26.88/26.88，Moshi 为 25.4/35.3。

RL 对打断、停顿与任务分的影响

• 时序（Figure 4、Table 5）：在 source-clean FDB-v1.5 上，RL 把打断后正确响应从 72.5% 提到 82.5%；用户附和后的续说从 71.4% 提到 80.6%；背景语音恢复从 60% 变为 59%；对别处说话之后的恢复从 42% 升到 48%。合成停顿 barge-in 从 26.5% 降到 9%（−17.5 个百分点，三次运行）。合成打断任务上响应率从 96% 到 97.7%，语义分从 3.94 到 3.88，平均接管延迟增加 40 ms。作者称更好的响应时序并不意味着每一项交互指标都变好。
• 任务分（Table 2、Figure 5、Table 5）：SteerBench rubric pass 从 63.75 到 65.22；AudioMC APR 从 13.64 到 14.38（Table 5 为 14.38±0，差 +0.74）；VoiceBench 从 40.87 到 41.38；FDB-v2 safety 从 4.65 到 4.81；FDB-v2 任务均值差为 −0.003（两边都显示 4.17）。Figure 5 中 Daily 从 3.74 到 3.41，Entity 从 4.07 到 4.04，Correction 从 4.21 到 4.41。用户附和期间抢话从 SFT 的 9.1% 降到 RL 的 4.8%。作者称聚合任务分可能掩盖其他情境中的过早让出。
• 让出与续说的张力（Section 7.1）：不用连续性附加项时，从 SFT 初始化、沿用原交互配方的对照，在固定开发诊断上于用户附和后只继续 1.10 秒；FDB-v2 turn taking 为 3.93，对比 SFT 4.18、阶段 1 之后 4.04、阶段 2 之后 4.19。作者称交互池、优化设置和训练预算不同，不能把这些变化只归因于连续性奖励。三次 FDB-v2 daily 运行上，每句话词数 SFT、阶段 1、RL 平均为 22.1、20.1、23.0。开发集上用户附和后的续说从 SFT 的 2.60 秒升到 3.20 秒。但 RL 在考官仍在说话时结束 daily 话语的比例高于 SFT（32.3% 对 23.6%）。

奖励黑客与优化动态

• 空输出探针（Figure 6）：与所报告的交互 RL 分开，每项探针评测 96 条留出采样。只优化及时性时标量奖励 0.670，共享双工诊断分为 0，96 条中 25 条为空。仅文本标准、仅音频标准、仅音频质量分别留下 47、41、41 条空输出。联合复合奖励把双工分提到 0.371，仍留下 4 条空输出。作者称标量训练奖励目标不同，不应跨条件比较。
• 继续优化（Figure 7）：阶段 2 中，自然开发对话上的打断奖励从 0.450 升到 0.793，用户附和后的续说从 3.20 秒降到 2.00 秒（SFT 参考为 2.60 秒），噪声稳健奖励从 1.96 降到 0.77。作者认为这些测量提示交互目标之间有干扰，但没有分离其机制；组内变为常数的分量不再提供梯度去抵抗其他分量。
• 种子与评审（Section 7.4）：一个训练种子复现达到 9% 合成停顿 barge-in 和 4.22 的 FDB-v2 turn taking。把最终奖励直接从 SFT 施加，以更少训练得到 16.8% 和 4.13；作者称因此不能把阶段式训练孤立出来。对三次运行的同一批生成重新评分，RL 减 SFT 的 turn-taking 差在 Gemini 3.6 Flash 下为 −0.074，在低推理强度的 gpt-5.4-mini 下为 −0.059（Table 7）。两个评审都在这个共同池上看到损失，这与 Table 5 的更宽比较不同。SteerBench 和 AudioMC 只用一个评审。

其他消融与分析

• 阶段 1 的 FDB-v1.5 行缺少一项当时不可用的声学检查；延迟除均值外的分布未给出（Limitations）。
• 参考音频标准评测发声、韵律、语速、清晰度、自然度和任务成功，但不进入所报告的 RL 目标（Section 3.3）。
• 计算：阶段 1 为 4 个节点、每节点 8 张 H100 80GB，阶段 2 为 1 个 8 卡节点；到保存论文所用检查点的记录区间为 5.08 小时和 4.01 小时，约 162.7 与 32.1 GPU 小时，不含排队、评测和托管模型计算（附录 A.2）。
• 转录标准评审在阶段 1 只作用于 turn 和 interruption 分层，组内标准差 0.14–0.43，记录的 rollout 中没有解析失败（附录 A.1）。

作者指出的局限与后续方向

• 评测范围（Section 8, Scope and selection）：SteerBench 覆盖的是带固定参考片段的受控英语请求，而不是跨语言、方言和录音条件的不受限个性化。部分细粒度风格仍低于更强的开源基线。
• 重复与重叠（Section 8）：重复评测对规模不等的运行池取三次最高分再平均，可能抬高分数；FDB-v1.5 每个检查点只做一次解码。CANDOR 重叠进一步限制官方 FDB-v1 turn 与 pause 结果的使用。
• 交互权衡（Section 8, Interaction trade-offs）：所报告的 RL 检查点在部分 FDB-v2 情境中过早让出话轮。单阶段比较的更新次数少于分阶段运行，因此不能确立分阶段本身造成了所观察到的优势。阶段 1 的 FDB-v1.5 行省略了一项不可用的声学检查；均值以外的延迟分布不可用。
• 骨干容量（Section 8, Backbone capacity）：SteerDuplex 保留 Moshi 的 7B 模型、音频编解码器和流式架构，这些组件约束后训练可用的推理、声学表示和延迟。结果衡量的是该骨干内的改进，而不是可控语音模型的上限。作者称尚未分离骨干、训练数据和奖励设计的作用。
• 评审与部署（Section 8, Judges and deployment）：标准奖励是不完美的代理，依赖 LLM 评审识别正确回答的被请求特征。参考音频评测还依赖评审与目标片段的比较，即使经过人工校验，仍可能偏向某一种风格实现。第二评审研究在其共同运行池上对 turn-taking 损失意见一致，而更宽的比较给出小的正差；SteerBench 和 AudioMC 没有这样的研究。自动化安全与音频检查也不能确立部署安全。
• 结论中的未解决问题（Section 9）：显式连续性奖励减轻了用短回答或缺失回答换取时序分数的倾向，但没有消除让出与继续之间的冲突。过早让出要求把对话事件和聚合任务成功放在一起评测。

实验覆盖范围

• 开源被测模型为 Moshi、PersonaPlex、SteerDuplex-SFT 和 SteerDuplex-RL；SteerBench、AudioMC、VoiceBench 与 FDB-v2 的主比较见 Figure 3、Table 1、Table 2 和 Table 5。
• 交互评测包括 source-clean 合成停顿、合成打断，以及 FDB-v1.5 的 498 对示例（打断、背景语音、其他对话、用户附和）；官方 CANDOR turn/pause 被标为诊断（Section 5、Figure 4）。
• 奖励分析包括去掉连续性项的对照、96 条留出 rollout 的单项奖励探针，以及阶段 2 的噪声、打断和续说快照（Section 7、Figure 6、Figure 7）。
• 评审方面，主结果多次使用 Gemini 3.6 Flash；AudioMC、VoiceBench 和 FDB-v1 打断评分使用 gpt-5.4-mini；仅 turn-taking 的共同生成池做了第二评审重评（附录 B、Table 7）。论文未报告 SteerBench 或 AudioMC 的第二评审。
• 训练记录给出 SFT 步数、RL 学习率、奖励权重和两阶段 GPU 小时（Table 3、附录 A.2）。论文写明没有分离骨干、训练数据和奖励设计各自的作用（Section 8）。

SteerDuplex 是基于 Moshi 的全双工语音模型，目标是在保留轮替、打断和一般任务能力的同时，按用户指令改变内容与发声。

• 问题：作者认为流利的全双工轮替并不保证模型遵守语气、人设、风格/口音或语速/长度指令。Figure 1 的分类把自然语言可控、声学适应和双工交互分开；SteerBench 只覆盖其中被请求的内容与发声。
• 方法：监督混合数据含 504,416 条音频记录和 65,675 条文本记录。SFT 之后，两阶段 RL 用 GDPO 对交互时序、转录标准、应答连续性和波形有效性分别归一化再合并。阶段 2 在噪声和用户附和上追加续说时长奖励。参考音频标准用于评测，不进入所报告的 RL 目标。
• 可控与任务：三次运行下，SFT 的 SteerBench audio-steering APR 为 65.10±1.13%，Moshi 为 20.55%，PersonaPlex 为 16.44%。AudioMC APR 从最强开源基线 PersonaPlex 的 6.64% 到 SFT 的 13.64±0.28%。FDB-v2 均值 SFT 为 4.17，Moshi 为 2.59，PersonaPlex 为 2.65。speed/length 的 sample APR 在 Figure 3(b) 中为 32，低于其他三类。
• RL 与奖励：source-clean 打断后正确响应从 72.5% 到 82.5%，合成停顿 barge-in 从 26.5% 到 9%。FDB-v2 任务均值几乎不变（差 −0.003），Daily 从 3.74 降到 3.41。单项奖励探针在 96 条 rollout 中留下 25 至 47 条空输出；联合奖励仍留下 4 条。阶段 2 继续优化时，打断奖励从 0.450 升到 0.793，附和后续说从 3.20 秒降到 2.00 秒。
• 作者结论：监督微调提供主要的可控增益，RL 细化交互行为。连续性奖励减轻用短或空回答换时序分的倾向，但让出与继续的冲突仍在；作者认为时序收益必须和回答完整性、对话事件一起评测。