机制可解释性揭示脑到语音解码器中的共享因果子空间

解码器内部哪些神经元承载跨语音形式的信息，这些神经元是否在不同形式之间共享。

• 场景：作者称，从脑活动重建出声语音已经可行，但默读（mimed）和内心生成（imagined）等隐蔽语音的响应更弱、更噪，也更难大量采集，因而更难解码。用一种语音形式的信息帮助解码另一种，被作者视为绕开这一限制的途径。
• 已有结果的缺口：作者称，vocalized、mimed、imagined 的神经响应有共同结构，一种条件上训练的解码器用于另一种仍能达到合理表现；响应相似性已被直接研究，解码器内部如何处理不同语音形式仍不清楚。
• 要分开的两问：同一解码器接到不同条件的脑活动时，哪些内部成分改变，哪些改变真的影响解码语音。迁移是由少数单个神经元承载，还是由一组神经元共同承载；同一批神经元是否跨句子和不同源条件复用。
• 做法：用同一句子在三种条件下的 sEEG 配对，对目标条件上训练的解码器做 activation patching，把源条件选定神经元的激活插入目标条件的处理，用解码变化回答上述两问。

引言把讨论放在脑信号解码、隐蔽语音和机制可解释性三条线上；实验对照是未替换预测和置换零分布，而不是另一套解码算法。

脑信号语音解码

• 重建语音：作者称神经网络已能从出声和隐蔽语音的脑活动重建语音，并引用 EEG 机器学习综述、跨架构与记录模态的深度学习解码、sEEG 深度解码，以及颅内 EEG 上的自然语音语义解码 [1–4]。论文没有逐篇比较这些解码器。

隐蔽语音与跨条件关系

• 难度：作者称隐蔽语音的神经响应更弱、更噪，且难以大量采集 [5–7]，因此比出声语音更难解码。
• 共同结构：作者引用 [8]，称 vocalized、mimed、imagined 的神经响应有共同结构。
• 跨条件套用：作者引用 [9]，称在一种条件上训练的解码器用于另一种仍能达到合理表现。作者同时称，响应相似性已被直接研究，解码器内部如何处理不同形式仍不清楚。

机制可解释性

• 因果成分：作者把 [10–13] 概括为找出训练网络里哪些内部成分对预测有因果贡献的工具，未与这些工作做数值对比。
• activation patching：Heimersheim and Nanda（2024）[14] 用一个输入上记录的内部激活替换另一个输入上的激活，再测输出变化。本分析使用的就是这一技术。

基线与数据

• 对照：未替换的目标模式预测；跨源神经元集合重叠的对照，是从该层神经元中随机抽两组、重复 1000 次的置换零分布。论文未把其他解码方法列为基线。
• 数据：VocalMind [15]，同一参与者在三种语音形式下产生相同句子的 sEEG；所用 Conv1D–BiGRU 解码器也来自该工作。

作者把区别放在内部机制：不重复测响应是否相似，也不只是把一个条件的解码器套到另一个条件，而是用同一句子的配对输入问迁移由哪些神经元承载、这些神经元是否共享。

在目标条件上训练的同一解码器上做 activation patching：把同一句子、源语音形式的内部激活换进目标形式的前向计算，看解码是否变好。

问题设定

• 三种 mode：vocalized（出声）、mimed（默读）、imagined（内心生成）。ms 是 patch-from，mt 是 patch-to。
• 配对输入：同一句子的 sEEG 对都送入在 mt 上训练的模型 Mθ。句子相同，作者将内部活动差异归因于语音条件。
• 激活与基线：层 ℓ 的源、目标激活为 As、At，形状为 Tℓ×Dℓ。未替换基线是 ŷ^base = Mθ(x^(mt))，y 是该句的 ground-truth mel-spectrogram。

解码器与位点

• 结构：采用 [15] 的神经语音解码器。Conv1D 提取局部时空特征（Fig. 1：64 通道，k=4）；三层双向 GRU，每方向 256 个隐藏单元；线性层预测 80 维 mel-spectrogram，再由 HiFi-GAN 转成语音。
• 两处替换：卷积编码器输出 conv，Dℓ=64，作者称为早期；循环网络输出 rnn，Dℓ=512，作者称为后期。
• 训练范围：每个目标 mode 使用在该 mode 上训练的 Mθ。论文未说明损失函数、优化器、训练轮数或学习率。

替换规则与 ∆PCC

• 替换：对神经元集合 S，把目标激活轨迹里属于 S 的单元换成对应源激活，其余保持目标激活，再继续目标模式前向，得到 ŷ^(S)。单神经元是 S 只含一个下标的特例，记为 ∆PCCi。
• 定义：ΔPCC(S)=PCC(ŷ^(S), y)−PCC(ŷ^base, y)。这是预测与真值 mel-spectrogram 的 Pearson 相关减去未替换基线；作者将正值解释为这组源激活改善了目标模式解码。
• 协议：VocalMind 含一名参与者、100 句普通话，每句在三条件下各重复两次。六折交叉验证，每条件 200 个样本；全部 source–target 对的 patching 都在留出测试样本上做，跨折汇总为 ∆PCC 的均值和标准差。

实验一：单个还是成组

• 单神经元：每个神经元单独替换，看 ∆PCCi 在神经元和样本上的分布。作者预设：若单个神经元驱动迁移，其效应应与其余群体分开。
• top-k：对每个层和每个 source–target 对，按跨样本平均的单神经元效应排序，联合替换前 k 个，看 ∆PCC(Sk) 随 k 的变化。作者预设：快速上升后进入平台表示因果信息集中在紧凑子集；峰值之后下降表示再加入神经元会引入干扰。

实验二：是否复用

• 跨样本：给定 source–target 和层，每个输入样本的 winner 是单独替换时 ∆PCC 最大的神经元。复用用 unique winners 个数，以及最常见的 k 个 winner 覆盖的样本比例（top-k coverage）来记。作者将更少的 unique winners 和更高的 coverage 读作跨样本复用更强。
• 跨源：固定目标 mt，两个源按成为 winner 的次数排序，平局用平均 winner ∆PCC 打破。前 k 名的 Jaccard 为交集大小除以并集大小。对照是从该层 Dℓ 个神经元里随机抽两组大小为 k 的集合，重复 1000 次，报告零分布均值和 95% 置信区间。

留出样本上的 patching 比较单神经元与神经元组，并检查后期神经元是否跨样本、跨源复用。

实验设置

• 数据：VocalMind，一名参与者的 sEEG；100 句普通话，每句在 vocalized、mimed、imagined 下各说两次，每条件 200 个样本。
• 模型：在目标 mode 上训练的 [15] 解码器：Conv1D、三层 BiGRU（每方向 256 单元）、线性层输出 80 维 mel-spectrogram。HiFi-GAN 把 mel 转成语音；文中 PCC 算在 mel-spectrogram 上。
• 干预：六个 source–target 方向；位点为 conv 输出（64 个神经元）和 RNN 输出（512 个神经元）。源和目标是同一刺激。
• 指标：∆PCC 为替换后 PCC 减去未替换基线 PCC。另报告 frac>0、unique winners、top-k coverage，以及跨源 top-k 集合的 Jaccard。
• 汇总：六折交叉验证，patching 只在留出测试样本上；跨折给 ∆PCC 的均值和标准差。Fig. 3 阴影为跨折 ±SEM。重叠零分布为每层 1000 次随机抽取，并给 95% CI。
• 未写出的设置：论文未说明训练损失与优化超参，也未给出各折 ∆PCC 的具体标准差，未报告听辨或词错误率。

主结果

Swipe horizontally to read the table

条件	层	指标	数值	出处
六个 source–target 对	conv 与 RNN	单神经元 mean ∆PCC	量级 10^{-4}	第 3 节
Vocalized→Mimed	Conv	frac>0	0.65	Fig. 2
Vocalized→Mimed	RNN	frac>0	0.94	Fig. 2
Vocalized→Mimed	RNN	unique winners	69/200 样本	第 3 节
Vocalized→Mimed	RNN	top-5 coverage	35%	第 3 节
各目标的两源集合	RNN	Jaccard 相对置换零分布	约 5–8×，稳定约 0.3–0.4	Fig. 4

• 作者称没有单个神经元与群体分开，因此没有单个神经元主导跨模态迁移；Fig. 2 的效应集中在零附近，卷积层分布比 RNN 更宽。
• 作者称效应方向依赖迁移方向：以 vocalized 为目标时，正效应神经元不到一半。这与 Fig. 3 中 vocalized 作目标时未见改善同向。
• 作者由此改查多个神经元的集体效应，而不是继续把迁移归于单个单元。

按排名联合替换

• 测了什么：按平均单神经元效应排序后联合替换前 k 个（Fig. 3）。纵轴是相对 k=1 的 PCC，横轴是 patched 的 top-k 神经元数；实线为 RNN，虚线为卷积，阴影为跨折 ±SEM。
• 结果：作者称对 Mimed 和 Imagined 目标，曲线先升后降；对 Vocalized 目标未见改善。卷积曲线的峰一般出现在比 RNN 更大的 k。Imagined→Mimed 有一定增益，Mimed→Imagined 改善很少。论文未给出各曲线峰值的 ∆PCC 或对应 k。
• 作者的解读：超出紧凑子集后再加神经元会引入干扰；卷积层贡献更分散，循环层子集更紧凑。作者称 vocalized 是最有用的源，把其激活换入 mimed 或 imagined 增益最大，反向则更小或可忽略。作者认为这可能是因为出声时参与者听得到自己的语音，神经响应含更丰富的声学信息。

复用与跨源重叠

• 跨样本：winner 是单样本上 ∆PCC 最大的神经元。作者称有影响力的 RNN 神经元跨样本复用比卷积神经元更一致（p < 0.05）；正文未写出检验名称。最强的一例是表中的 Vocalized→Mimed RNN。
• 跨源：Fig. 4 比较同一目标、两个源的 top-k 集合。卷积层 Jaccard 处于或低于置换零分布。RNN 远高于零分布；Mimed 目标最强，小 k 约 0.8，之后约 0.4–0.6。脚注把 causal subspace 定义为直接影响模型输出的激活方向。
• 作者的解读：早期按源条件招募不同神经元，后期多个源汇到同一批循环神经元。作者认为 mimed 与 vocalized、imagined 共享表征结构，并称这与其被提出的中间位置一致：保留出声语音的发音结构，又像想象语音那样没有外显声学输出。

其他消融与分析

• 以 vocalized 为目标：正效应神经元不足一半（第 3 节）；Fig. 3 对该目标未见改善。
• Imagined→Mimed：作者称有一定增益；Mimed→Imagined：作者称改善很少。两处都未给 ∆PCC。
• Mimed、Imagined 目标上，卷积 top-k 曲线的峰一般晚于 RNN；论文未给该 k。
• 作者称 mimed 或 imagined 作源时增益更小或可忽略；论文未给各方向峰值 ∆PCC。
• 卷积层跨源重叠处于或低于置换零分布（Fig. 4 左列）。
• 作者对 vocalized 优势的听觉反馈解释引用 [19, 20]，不是本文新的对照实验。

作者把范围写成一名参与者和一种 Conv1D–BiGRU，并写出跨参与者、语言模型解码器和电极解剖三类后续工作。

作者指出的局限与后续方向

• 参与者与架构：作者称本研究限于一名参与者和一种 Conv1D–BiGRU 架构，并称这提供了隔离跨模态表征的受控设置（第 4 节）。
• 推广：作者称后续应检验这些机制能否推广到不同参与者，以及基于语言模型的解码器，其中语言先验可能与神经证据相互作用（第 4 节）。
• 解剖：作者称后续应把找出的因果子空间与电极的解剖组织联系起来（第 4 节）。

实验覆盖范围

• 数据为一名参与者的 VocalMind sEEG：100 句普通话，vocalized、mimed、imagined 各重复两次，每条件 200 个样本；六折交叉验证，patching 在留出测试样本上（第 2 节）。
• 被分析的是 [15] 的 Conv1D–三层 BiGRU 解码器；干预 conv（64）与 RNN（512）；六个 source–target 对都做了单神经元、top-k、winner 和 Jaccard 分析（第 2–3 节，Fig. 2–4）。
• 成功指标是预测与真值 mel-spectrogram 的 PCC 及其差值 ∆PCC；跨折给均值和标准差，Fig. 3 给 ±SEM；重叠对照为 1000 次置换及其 95% CI（第 2 节）。
• 论文报告 RNN 跨样本复用强于卷积层（p < 0.05），正文未写出检验名称；Fig. 3 未标出各曲线峰值的具体 ∆PCC 或对应 k。
• 论文未报告 HiFi-GAN 波形上的可懂度、词错误率或听辨；文中 patching 数字对应 mel-spectrogram 的 PCC。

这项工作用机制可解释性检查脑到语音解码器如何处理不同语音形式。要查的是：跨条件的解码收益由哪些内部神经元承载，这些神经元是否跨句子和源条件共享。

• 设置：一名参与者的 VocalMind sEEG 中，同一普通话句子有 vocalized、mimed、imagined 三种记录。在目标条件上训练的 Conv1D–BiGRU 上，把源条件、同一句子的 conv（64）或 RNN（512）激活换入目标前向。
• 判定：∆PCC 是替换后 mel-spectrogram 的 Pearson 相关减去未替换基线。正值被作者解释为源激活改善了目标模式解码。
• 单神经元：六个方向、两层的 mean ∆PCC 都在 10^{-4} 量级。Vocalized→Mimed 的 frac>0 在 Conv 为 0.65、在 RNN 为 0.94（Fig. 2）。作者称没有单个神经元主导迁移；以 vocalized 为目标时，正效应神经元不到一半。
• 小组与共享：对 mimed 和 imagined 目标，按效应排序后联合替换先改善后变差；vocalized 作目标时未见改善。作者称 vocalized 是最有用的源。Vocalized→Mimed 的 RNN 在 200 个样本中有 69 个 unique winners，前五名覆盖 35%。RNN 跨源 Jaccard 约为置换零分布的 5–8 倍，稳定在约 0.3–0.4；mimed 目标在小 k 约 0.8（Fig. 4）。卷积层重叠处于或低于零分布。
• 作者的结论：迁移来自小群神经元；早期更随源条件而变，后期循环层复用同一批神经元。作者认为，主要从 vocalized 学到的共享后期表征，可以通向更省数据的隐蔽语音解码，例如让隐蔽表征向 vocalized 对齐，或共享后期、只让早期适应各条件。作者同时把证据范围写成一名参与者和这一种架构。