Moshi 全双工语音模型的情感引导遵循几何结构而非标签

全双工语音模型能否用免训练的均值差激活转向，按指定情感调节表达。

• 场景：作者称实时对话要调节情感与表达，例如缓和投诉、传递调度紧迫感、放缓临床结果；全双工模型边听边说，正在取代轮流式语音智能体。
• 现有不足：提示词条件与参考音频条件合成主要适合轮流式或 TTS。PersonaPlex 在双工模型上控制身份，不控制情感。作者称 Moshi 以 12.5 Hz 经神经 codec 逐帧出音频并自带对话状态，均值差方向在这些条件下是否仍有效尚未检验。
• 观察：情感可从残差流线性读出，但转向只部分达成且不均衡。happy、angry、surprise 偏向共享方向，sad 可单独转向；作者称共享成分不能对所有情感同等投影掉。
• 做法：在开源全双工语音语言模型 Moshi 上，对 angry、sad、happy、surprise 做均值差激活转向（activation steering），每帧几次向量加法、不重训练，并诊断方向几何与模型自身的音频渲染上限。

引言与 §2 把相关工作分成文本/语音转向、全双工控制，以及轮流式情感合成。

激活转向与几何

• 文本模型：Turner 等（2023）与 Rimsky 等（2024）向隐藏状态加方向，以控制文本语言模型的行为。
• TTS 转向：EmoSteer-TTS（2025）把差分向量加到流匹配合成器里搜索到的一部分激活上，无需训练。
• 单一方向是否够用：论文转述 Du 等（2026）用稀疏自编码器发现，基于 LLM 的 TTS 中情感变异分布在多个潜特征上，干预子集优于全局转向。Wang 等（2026）报告流匹配模块因说话人与情感纠缠而跨说话人泛化差，speech-LM 模块有更干净的低维情感子空间。Braun 等（2025，2026）用同一行为内部激活差的余弦预测转向可靠性；论文称本文测的是情感之间。

全双工中的控制

• 非表达转向：Chang 等（2026）加感知向量，减轻使模型漏掉打断开头的状态惯性，免训练，对象包括 Moshi。论文称这不是表达控制。
• 训练式表达：F-Actor（2026）以声音、话题和对话行为为条件；JoyAI-Talker（2026）在有表现力的语音上微调后，推理时接受表达指令。
• 身份而非情感：PersonaPlex（2026）是 Moshi 的扩展，用提示词条件控制身份。论文称它不控制动态表达或情感。

轮流式情感合成

• 条件合成：EmoSphere-TTS（Cho 等，2024）用球面情感向量建模风格与强度；Bott 等（2024）用自然语言提示词控制 TTS 情感。论文称这些机制适合轮流式或 TTS。

基线与数据

• 基线：未转向；同范数、同钩子与同日程的随机方向；同一分类器对真实 ESD 的分数（天花板）；把真实录音写入输出码本后的重渲染（prime）。
• 数据与评分：英文 ESD；强制文本用 Harvard 句。情感概率与嵌入用 emotion2vec+ large，词错误率用 Whisper large-v3。

作者称本文结果是上述观察在双工模型上的对应，并称未见先前工作通过编辑激活来控制流式双工模型中的情感。

在冻结的 Moshi 上，用真实录音构造相对中性的均值差方向，只在三层、每帧相加；再用线性探针、说话人折半余弦和共享成分投影，检查转向是否跟标签走。

方向如何取出

• 写入：把真实 ESD 写入 Moshi 的输出码本，转写强制走内心独白（inner monologue），做一次前向。这些帧上模型在产生该录音；音频输出是可被覆盖的 Mimi 码本 token。
• 取值：在覆盖结束前的最后几帧读残差流。作者称此时模型已被整句带过，而不是只看到开头。对帧和片段平均，再减去中性录音上的同一量。
• 定义：v_l=mean(h_l∣ e)−mean(h_l∣neutral)，即层 l 上情感 e 相对中性的均值差，随后单位归一化。该状态是否真含情感，放到 §5.6 用重渲染检验。

注入位置与强度

• 加在哪：从说话开始的每一帧，只改层 0、8、24 的输出，加上 α·w(l)·r_l·单位方向。r_l 是该层残差范数的中位数，使 α 相对被加的激活；w(l)=1−l/31，更深的层权重更低。
• 不动的部分：时间变换器为 32 层、宽度 4096（Figure 1）。预测音频码本的 depformer、codec 和其余 29 层不改。注入在文本头与音频 depformer 分叉之前。
• 固定超参：全文 α=0.30、这一三层日程。作者称在留出句上，强度在 0.30 达到峰值，再加大时可懂度下降快于情感提升；分散到这三层优于集中在特定层。

线性探针

• 拟合：每层一个多项逻辑回归，用构造方向的同类状态，每种情感 60 条。
• 划分：输入标准化后，在每个划分内降到 30 个主成分。五折，每折留出十名说话人中的两名，训练与测试的说话人不重叠。

共享方向与生成前余弦

• 共享方向：四个单位化方向堆成 4×4096，取第一右奇异向量，即关于原点而非均值的第一主成分。在层 0、8、24，它占平方奇异值总和的 61–64%。
• 保留比例：β=1 为原向量，β=0 去掉全部共享成分；注入前再单位归一化。作者称 β=0 时，层 24 上 angry 与 happy 的余弦从 +0.69 变为 −0.56。
• 形式：v_e,l(β)=v_e,l−(1−β)(v_e,l^⊤ s_l)s_l，即按比例减去沿共享方向的分量。
• 折半余弦：每个方向用十名说话人的一半构造，与另一半比较，使被比的方向不共享嗓音（Figure 2 右）；左图用全部说话人，用来看共享身份占多少。

两种生成与如何计分

• 强制文本：全部 720 句 Harvard 句强制走内心独白。词相同，情感分的变化归到表达。这些句子内容在情感上是中性的。
• 自由双工：模型听到一条带情感的 ESD，用自己的词回答，五种输入情感各 50 条。分数混合表达与用词，回复往往很短。两种模式的方向、注入日程和 α 相同。
• 情感分：emotion2vec+ large 给出概率和嵌入。只对有声至少 1.5 秒的片段打分，因为该分类器把静音读成 sad。天花板是它对被请求情感的真实 ESD 的均分，且与相似度质心所用片段分开；作者称这不是人类语音的理论上界。
• 相似度与 WER：相似度用均值中心化余弦；无关真实录音之间的原始余弦已是 0.713。WER 用 Whisper large-v3：强制文本相对被指定的句子，自由双工相对模型自己的内心独白，只在同一设置内比较。作者称 int8 量化抬高词错误，故相对同一句、同一种子的未转向基线看差值。

实验设置

• 模型：全部实验用 kyutai/moshika-pytorch-q8，即 Moshi 的 int8 发布版，Mimi codec 为 12.5 Hz，单张 16 GB RTX 4090。
• 方向数据：英文 ESD 每种情感 800 条，十名说话人，覆盖 angry、happy、sad、surprise、neutral。
• 生成规模：强制文本为 720 句 Harvard 句。自由双工为五种输入情感各 50 条，合计 250 条。共享方向扫描与随机方向对照各用 240 句强制文本。prime 为每种情感 100 条录音。
• 探针与注入：探针每种情感 60 条、五折、每折留出两名说话人。全文 α=0.30，层 0、8、24。
• 指标与天花板：emotion2vec+ large 给概率、嵌入和 arg%（top 标签为被请求情感的片段占比）。附录 A：文中天花板占比比较的是过滤后的生成语音，与未过滤的另 64 条/情感真实语音。Table 8 的录音列是另一套测量，sad 为 0.720，不同于 Table 9 的 0.448。WER 用 Whisper large-v3。论文未报告人工听测、统计检验和重复次数。
• 过滤：情感分只保留有声至少 1.5 秒的片段。附录 B：强制文本丢掉未转向片段的 8.1%、转向条件的 0.3–1.4%；双工丢掉 58–71%，250 条中保留 72–105。

主结果

据 Table 2。括号内是占真实语音天花板的比例；未转向行没有这一比例。其 P(tgt) 与 Table 4 未转向行的 neutral 列数值相同，Table 2 未写明 tgt 指哪种标签。

Swipe horizontally to read the table

条件	强制文本 P(tgt)	自由双工 P(tgt)	强制文本竞争者	强制文本 WER	自由双工 WER
未转向	0.635	0.505	—	24.3%	10.7%
angry steered	0.177（25%）	0.189（26%）	happy 0.328	32.2%	13.5%
happy steered	0.481（76%）	0.331（52%）	surprise 0.276	61.8%	20.2%
sad steered	0.650（145%）	0.313（70%）	happy 0.037	51.4%	23.5%
surprise steered	0.136（30%）	0.143（31%）	happy 0.463	71.5%	35.6%

• 作者称只有 sad 达到自身目标，并在强制文本中超过真实 ESD 的 sad 分数；angry 约为天花板的四分之一，surprise 不到三分之一，两者最强竞争者都是 happy。自由双工的对应竞争者为 happy 0.370、0.464，happy 的竞争者是 surprise 0.150（Table 2）。
• 作者称两种设置的天花板占比接近。双工里 angry 的 WER 低于强制文本；作者称两种 WER 分别衡量对稿忠实度，以及计划文本与 codec 输出是否一致，设置之间不可直接比。
• 作者称 angry、surprise、happy 的概率走向是系统性的，都朝 happy 集中（Table 4）。同范数、同日程的四条随机方向几乎不改变情感分布（Table 3）。

探针与方向余弦

• 探针：Table 1，angry/happy/surprise 在层 8、24 为 0.661、0.678，机会率 0.333；全层最好为 0.683（层 19）。五类在层 8、24 为 0.603、0.547，机会率 0.200。层 0 在各对比上都更低。作者称区分信息在残差流里，转向上的限制来自转向向量而不是表示。五类在层 24 低于层 8；angry vs surprise 也是层 8 的 0.908 高于层 24 的 0.875。论文未对这一回落单独解释。
• 折半余弦：Figure 2 右、层 24。angry 与自身 0.65、与 surprise 0.60，边际 +0.05；happy 与自身 0.60、与 surprise 0.59，边际 +0.01；sad 的最近邻相距 0.58。作者称对高唤醒情感，另一种情感几乎和换一批说话人的同一情感一样近。
• 与目标是否对齐：作者称边际 0.01–0.05 对 0.58 把能否到达自身目标分开，且在生成前就出现在方向里。Table 2 中 happy 的强制文本分数高于竞争者，angry 低于竞争者；两者边际分别为 +0.01 与 +0.05。surprise 的边际为 +0.24，且未超过竞争者。作者称全员余弦里大约三分之一来自共享说话人身份（Figure 2 左相对右）。

去掉共享方向

• 完全去掉：Table 7 为 240 句，不是 Table 2 的 720 句。β=1.0 时 angry 的 P(tgt) 为 0.184（26%），不是 Table 2 的 0.177（25%）。β=0 时 angry 降到 0.016，低于该次未转向。作者称共享方向带着让 angry 听起来愤怒的成分。
• 去掉一半：angry 从 0.184 升到 0.288，天花板占比从 26% 到 40%，happy 竞争者从 0.334 降到 0.162，WER 从 32.2% 降到 22.6%。作者称略低于该次未转向的 24.7%，且是此处第一次把 angry 与 happy 分开。
• 并非四种都分开：sad 在各 β 上为 0.647 到 0.701。作者称它与共享成分不对齐（层 24 上 |cos|=0.245，其余为 0.89–0.94），故几乎不动。surprise 在任何 β 都不超过最强竞争者，β 到 0 时从 0.139 降到 0.031。作者称部分去除只分开三个混在一起的情感中的一个。

重渲染上限

• prime：Table 8，每种情感 100 条，括号为通过 1.5 秒阈值的条数。重渲染保留录音 happy 分数的 85%（0.563/0.663），angry 为 40%（0.315/0.791）。作者认为丢失的概率主要到 neutral，codec 可能丢掉韵律极端以保住可懂重建。surprise 的 prime 为 0.459、录音 0.593，自由延续降到 0.151。延续里通过阈值的条数为 15、16、15、14；silent% 为 85、84、85、86。作者称该列不是保留率。
• 两个参照：Table 9，angry 相对真实语音为 25%、相对 codec 重渲染为 56%；happy 从 76% 到 85%。作者称 angry 的缺口大约一半在 codec 而不是方向。surprise 相对 codec 仍为 30%。作者称其缺口主要属于注入的方向。
• 仍未解释的部分：作者称转向向量造成的许多混淆，在加方向之前就在共享方向和 Moshi 自身的渲染能力里；surprise 在这些分析之后仍未得到解释。附录 A 说明 Table 9 的真实语音列与 Table 8 的录音列不是同一次测量。

其他消融与分析

• Table 5：强制文本前 1.2 秒，angry 的 P(tgt) 为 0.122，对 happy 0.241（n=710）；surprise 为 0.125，对 happy 0.376（n=714）。happy、sad 在该窗已较大，为 0.409、0.361。作者称排序不是句尾效应。
• Table 6：angry steered 对 angry 质心的中心化余弦为 −0.023，对 happy 为 0.284；surprise steered 对 surprise 为 0.139，对 happy 为 0.381。作者称两种读数都来自 emotion2vec，并不相互独立。
• Table 3：四条随机方向的 P(neutral) 为 0.569、0.526、0.601、0.537，未转向为 0.599；angry、happy、sad、surprise 转向后为 0.042、0.018、0.134、0.013。
• Table 11：β=0.25 时 angry 的 P(tgt) 为 0.119。作者称已过最优点、朝 0.016 下降，且相对最强竞争者的排序与相邻设置相同。
• 附录 B：作者称转向使有声时长从未转向的 1.91 秒升到 2.30–3.58 秒，因此未转向基线与被比较条件的过滤子集不同；双工数字更吵。

作者指出的局限与后续方向

• 范围：只测一个模型、一个语料、一个提取点和一套注入日程。作者称并未确立其他双工语音模型同样如此（§6）。
• 量化：int8 检查点使未转向词错误在干预前即为 24.3%。作者称不能排除 bf16 模型以不同方式携带情感（§6）。
• 定位：许多转向样本的 WER 高。作者称因此提供的是诊断，而不是完整的表达控制方法（§6）。
• 评审：所有测量来自 emotion2vec，没有人类听测（§6）。
• 情感集合：四种情感是 ESD 的。作者称不对情感如何组织作一般性主张（§6）。
• 未探索的估计器：SAE、LoRA 或完整重训练/微调在文中未探索（§6）。结论把会判别而不是平均的估计器，以及在为可控性微调过的模型上做同样比较，列为后续扩展（§7）。

实验覆盖范围

• 被测检查点为 kyutai/moshika-pytorch-q8，codec 为 Mimi、12.5 Hz，实验在单张 16 GB RTX 4090 上运行（§4）。
• 方向来自英文 ESD、十名说话人、每种情感 800 条；生成包括 720 句 Harvard 强制文本，以及自由双工五种输入情感各 50 条（§4）。
• 情感分由 emotion2vec+ large 给出，WER 由 Whisper large-v3 给出。论文未报告人工听测与人工的一致性，也未报告重复次数（§4、§6）。
• 注入固定为 α=0.30、层 0、8、24。共享方向扫描在 240 句上比较 β=1.0、0.5、0.25、0.0（§3.2、Table 7、Table 11）。
• 另有五折说话人留出探针（Table 1）、四条随机方向（Table 3）、前缀打分（Table 5）、质心余弦（Table 6），以及每种情感 100 条的 prime 与延续（Table 8）。

Moshi 上的情感激活转向跟方向之间的几何关系走，不跟被请求的标签走。

• 问题：全双工对话需要实时改表达。作者称均值差方向在边听边说、以 12.5 Hz 逐帧出码的 Moshi 上是否仍按情感生效，此前未测。
• 做法：用英文 ESD 相对中性的残差均值差得到 angry、happy、sad、surprise 方向，以 α=0.30 加到冻结模型的层 0、8、24。说话人留出探针和折半余弦在生成前检查表示与方向；再按比例去掉四个方向的共享主成分。
• 读出与分数：angry/happy/surprise 的探针在层 8 为 0.661，机会率 0.333（Table 1）。强制文本下 sad 的 P(tgt) 为 0.650，占真实语音天花板 145%；angry、surprise 为 25%、30%，竞争者是 happy（Table 2）。自由双工中这三者为天花板的 70%、26%、31%。
• 几何：层 24、说话人折半时，angry 与自身的余弦为 0.65、与 surprise 为 0.60；happy 与自身为 0.60、与 surprise 为 0.59；sad 的最近邻相距 0.58（Figure 2）。240 句上保留一半共享方向后，angry 从天花板的 26% 到 40%；surprise 在任何 β 都未超过竞争者（Table 7）。
• 渲染与作者结论：angry 的重渲染只保留录音分数的 40%；相对该上限为 56%，surprise 仍为 30%（Table 8、Table 9）。作者称共享成分是必要的：全部去掉就转不动，保留一半只恢复一个被混在一起的情感。该结果在强制文本和自由双工中都成立。作者称这是诊断，不是完整的表达控制方法。