从孤立特征到轨道：通过多重 SAE 对齐发现音乐概念

如何判断音乐基础模型学到的内部表征是否按音高关系组织成结构，而不只是孤立特征。

• 场景与重要性：作者指出，预训练音乐音频基础模型的表征支持多种下游任务，但这些表征编码了哪些音乐信息、信息在架构或激活中如何组织，仍然难以解释。
• 现有方法的不足：探测用带标签样本检测预定义概念；SAE 分析通常事后把单个特征匹配到外部标签。作者认为这在音乐中受限，因为和弦、调等概念常组织成关系结构，例如大三和弦在音级循环上的 12 个移调。
• 核心观察：许多音高相关概念在半音移调下等变。把 C 大和弦上移半音得到 C♯ 大和弦，音高分量改变，和弦性质不变。轨道上共享的不变量构成抽象概念，例如“大和弦”。
• 本文提出什么：作者提出用音高移调作归纳偏置、经多视角 SAE 对齐诱导有序轨道的框架。生成移调输入对并对齐 SAE 表征，以发现音高相关特征组。少量锚点即可解释整族概念。作者称该框架把解释单元从孤立特征转到结构化音乐概念。

音乐基础模型的可解释性

• 线性探测（Castellon 等，2021；Koo 等，2024；Wei 等，2024；Papaioannou 等，2025）：在隐藏激活上训练监督分类器，检测体裁、情绪或音高等属性。论文称探测确认模型编码大量音乐信息，但受多义性限制，单个神经元可表示多个无关概念。
• SAE 用于生成音乐模型（Singh 等，2025）：把 SAE 用于 MusicGen 等模型，发现可与音色、织体、风格标记相联系的特征。论文称这些研究关注单个特征，忽略多义音乐概念中的结构化关系。下游表征质量也可由音乐理解基准间接评估（Yuan 等，2023，MARBLE）。

SAE 架构与稀疏性

• L1 正则自编码器（Gao 等，2024）：论文称其常有“收缩问题”，重建时特征幅度被压低。
• Top-K SAE（Makhzani 与 Frey，2013）：激活函数恰好保留 K 个潜变量，以改善重建–稀疏前沿。本文使用同一 Top-K 机制。

SAE 对齐与关系可解释性

• Universal Sparse Autoencoders（Thasarathan 等，2025）：跨多个模型联合训练词典，发现通用概念空间。
• 事后特征匹配（Cunningham 等，2023）：用表征相似度在模型之间匹配特征。论文称本文在此基础上，通过多视角 SAE 对齐恢复整条音高相关特征轨道，焦点从“模型学到了什么”转到定义其音乐理解的关系结构。

基线与数据集

• 基线方法：和弦与调检测的单层线性探针（与 SAE 同一训练数据与冻结表征）；和弦转录系统 LVCR；调估计模型 S-KEY（其公开检查点在外部数据上训练）。标准 SAE（文中记为 s-SAE）用作无轨道结构的消融。
• 基准/数据集：SAE 与探针在 Slakh2100 上训练。和弦评测用 POP909、RWC-POP-100 与 Slakh2100 测试划分；调检测用 FMAKv2、GTZAN-Key、GiantSteps。

作者把本文定位为：把 SAE 可解释性从识别单个特征扩展到基于结构的分析，并用音乐中的移调归纳偏置恢复音高相关轨道。

整体思路是 多 SAE 对齐（multi-SAE alignment）：对同一音频的相邻半音移调视图各训一个 Top-K SAE，训练时同步 Top-K 选择，使同一索引倾向于编码相邻移调；训练后只凭解码器把跨 SAE 的移调关系收成单个 SAE 内的后继映射，再生成环、不动点或开序列。

问题设定与形式化

• 概念轨道：设 TC 为概念上移一个半音。反复作用得到 Orb(c)。音高不变概念（配器、节奏型）满足 TC(c)=c，轨道为单点。音高相关概念（旋律、和弦、调）等变，形成非平凡有序轨道。十二平均律下音级概念的轨道通常周期为 12。
• 抽象概念：沿大和弦轨道，音高分量移动，和弦性质不变；轨道共享的不变量即抽象概念。
• 输入视图：对音频 a 构造 S 个相邻移调 a(s)=TsA(a)。冻结基础模型 H 抽取帧级表征，维度 d。各视图时间对齐。

共享 Top-K 的多 SAE

• 模型：每个移调视图一个 Top-K SAE，潜变量数同为 M，编码器与解码器独立学习，并共享可学习的预编码偏置 b。预激活为 ReLU(Wenc(x−b))。
• 共享支撑：各视图激活按 RMS 归一化后，对每个索引取跨视图最大值作为共享分数；取最大的 K 个索引构成公共掩码 m，再作用到未归一化激活上。归一化只影响哪些索引进入支撑，重建仍用各视图自己的幅度。
• 训练目标：各 SAE 重建自己的移调视图，联合优化平均重建损失 Lrec。每次更新后把解码器列归一化到单位范数，以便比较方向。
• 对齐为何出现：共享掩码在初始化时只强制索引级共选。训练中，索引 i 被选中时，各 SAE 上该索引的参数在时间对齐、彼此为移调的样本上联合更新。作者称这是归纳偏置而不是保证；重建歧义、多义性和不完美的音高等变性仍可能造成错配。

恢复环与序列

• 后继关系：以某个 SAE 为参考空间。从 fi(0) 先走到相邻 SAE 的同索引特征（近似上移半音），再用单位解码器向量的余弦相似度匹配回参考 SAE。置信度低于阈值 τ 则后继不定。
• 双向校验：实验用 S=3，以中间 SAE（s=1）为参考。候选转移同时用上邻和下邻的余弦，目的地取两方向相似度的平均最大者，置信度取两方向中较强者，再与 τ 比较。这是双向评估的最小设置。
• 映射与轨道类型：多个转移指向同一特征时只保留置信度最高者。反复作用 TF：回到起点且步数大于 1 为非平凡环；映到自身为不动点（候选音高不变概念）；后继不定则终止为开序列。
• 语义传播：不用输入或标签即可从解码器词典恢复结构。一个或少数特征用可解释样例锚定后，后继关系迭代解释其余特征。

下游使用方式

• 和弦：大、小和弦轨道各 12 个按根音排序的特征。帧激活做九帧滑动平均。Oracle Bd 用参考和弦边界；Est. Bd 用发现的和弦边界特征上的局部峰。段内对激活取平均，再同时选取性质与根音。无和弦证据在 Est. Bd 下来自静音特征，在 Oracle Bd 下来自标注。
• 调：下属（以及分析中的主音、属音）方法各给出 12 个音级激活。30 秒段上对时间平均，取最活跃音级为该功能的根，再推断主音。该法只预测 12 类调号，不区分关系大调与小调。由和弦轨道推调时，用附录 D.3 的、基于音乐理论模板的规则，对帧级和弦激活按主、下属、属功能加权聚合。不在轨道激活上再拟合分类器。

实验配置写在第 4 问：S=3，K=48，学习率 1e-3，基础模型 MuQ 与 MusicFM。

实验设置

• 被分析模型：MuQ 与 MusicFM，各 12 层，隐藏维 d=1024，帧率 25 fps。表中括号为层号，例如 MuQ (2)、MusicFM (4)。
• 训练数据：Slakh2100 训练划分 326 首、验证 164 首（合成、无声乐）。按 24 个大、小调近似均衡抽样，随机种子 42。SAE 训练不用和弦/调标签。每批 32 条 30 秒表征，学习率 1e-3。五档移调 {−2,−1,0,+1,+2} 半音；S=3 时每次随机取三个连续视图。表中 SAE 结果均为 K=48。
• 评测数据：和弦为 POP909（810）、RWC-POP-100（100）、Slakh2100 测试（151）。调为 FMAKv2（5,434）、GTZAN-Key（830，九种体裁）、GiantSteps（604）。评测曲目不用于训练或模型选择。
• 基线：同一数据上的单层线性探针。和弦探针 25 类（12 大、12 小、无和弦），交叉熵。调探针 12 输出，用二元交叉熵检测和弦根是否等于当前调的关系大调下属。另有 LVCR（和弦）与 S-KEY（调），使用在外部数据上训练的公开检查点。消融 s-SAE 无显式轨道，用冻结探针权重向量按余弦相似度检索 SAE 编码器权重。
• 指标：和弦为 13 类 Root WCR 与 25 类 MajMin WCR。调号检测为歌曲级与片段级准确率，忽略关系大调/小调之差。其余调检测报告标准准确率与放宽的 MIREX 准确率。
• 锚点与后处理：静音特征与和弦边界特征由少量音乐样本识别；批实验用一小组标注锚点近似该手工步骤。和弦激活九帧滑动平均。论文未在正文给出 τ 的默认数值（附录有不同 τ 的分析）。

主结果

Table 1 为和弦 Weighted Chord Recall（%）。Est. Bd 为 SAE 估计边界，Oracle Bd 为参考边界。探针行只有 Oracle Bd。

表格较宽，可左右滑动

方法	表征	POP909 Root	RWC Root	Slakh Root	POP909 MajMin	RWC MajMin	Slakh MajMin
s-SAE Est. Bd	MusicFM (4)	71.08	67.56	70.32	65.93	64.68	68.39
s-SAE Est. Bd	MuQ (2)	77.42	78.08	78.10	73.11	76.92	76.53
o-SAE Est. Bd	MusicFM (4)	74.01	69.65	75.35	70.09	67.68	73.99
o-SAE Est. Bd	MuQ (2)	80.03	79.79	78.45	73.68	77.40	75.61
o-SAE Oracle Bd	MusicFM (4)	80.39	77.49	81.11	76.52	75.63	80.05
o-SAE Oracle Bd	MuQ (2)	85.29	86.21	84.67	78.96	83.76	82.06
Probe Oracle Bd	MusicFM (4)	83.60	82.80	85.49	80.13	80.19	85.66
Probe Oracle Bd	MuQ (2)	84.17	86.01	86.05	81.49	84.66	86.42

据 Table 1，LVCR 的 Root WCR 为 POP909 84.25、RWC 87.96、Slakh2100 85.65；MajMin WCR 为 81.37、87.47、83.81。s-SAE Oracle Bd 的 Root WCR：MusicFM (4) 为 80.31 / 78.43 / 79.85，MuQ (2) 为 83.84 / 84.91 / 84.08（顺序均为 POP909、RWC、Slakh2100）。

• 作者解读：发现的大、小和弦环支持和弦识别；尽管标签监督很少，仍与全监督方法竞争。MuQ 上的环在各设置中都高于 MusicFM。两个模型都出现大和弦环与小和弦环。
• Table 2（忽略关系大小调差异的调检测准确率，%）：探针 MusicFM (3) 的歌曲级为 FMAKv2 50.92、GTZAN 48.31、GS 40.89，片段级为 44.92、48.31、36.39。探针 MuQ (5) 歌曲级 54.66、48.80、47.68，片段级 48.33、48.80、40.33。s-SAE MusicFM (3) 歌曲级 35.09、30.60、25.99，片段级 32.07、30.60、25.50。s-SAE MuQ (5) 歌曲级 56.61、48.80、47.19，片段级 50.00、48.80、41.20。o-SAE 只报告 MuQ (5)：歌曲级 56.92、51.57、50.50，片段级 50.32、51.57、44.56。MusicFM 的 o-SAE 调号结果未报告；作者写明在 MusicFM 表征中没有发现下属环。
• 作者解读：MuQ 上的下属环捕获与调有关的信息，且在全部评测中高于 MusicFM。Figure 2 展示 MuQ 特征在不同调歌曲上的激活：横轴为带和弦根标注的歌曲时间，纵轴为特征索引，底部附加钢琴卷真值；四个 12 元轨道与和弦进行对应，一条长链模仿旋律。作者在 B♭ 大调片段上把环中一特征标成 E♭（音级 4̂）后，按环的循环顺序标记其余特征；在其他大调样本上观察到类似行为，小调上该环倾向于跟随关系大调而不是主音小调。作者称这是此前未报告的、以下属为中心、编码相对调结构的表征模式。

由和弦特征推断调

• 测了什么：Table 3 用探针或 SAE 的帧级和弦激活，经附录 D.3 的规则聚合主、下属、属功能，推断大调与小调。层号为 MusicFM (2) 与 MuQ (2)。
• 结果（%）：MIREX / 标准准确率，顺序为 FMAKv2、GTZAN、GS。探针 MusicFM：62.75/60.29/65.98 与 53.26/49.76/56.95；探针 MuQ：66.13/63.22/69.70 与 56.90/52.89/61.92。s-SAE MusicFM：68.89/63.76/63.96 与 60.42/55.66/54.47；s-SAE MuQ：68.87/66.63/69.34 与 61.08/58.92/62.42。o-SAE MusicFM：69.89/64.40/61.76 与 61.76/56.51/52.32；o-SAE MuQ：70.17/67.09/71.14 与 64.07/58.67/62.35。S-KEY：MIREX 73.24/74.22/72.09，准确率 64.92/65.54/64.40。
• 作者解读：调可以经由和弦激活的手工线性组合重建，因而调信息可以分散在其他概念里。作者认为，线性探针即使在表征缺少明确主音概念时仍可能预测主音信号；无监督的轨道 SAE 只发现显著结构，即下属环。

主音、属音与探针的差别

• 测了什么：作者预期算法也会恢复主音环或属音环，实际没有。用线性探针检查底层表征是否含这些信号。Figure 3 比较探针与标准 SAE 的调检测准确率；图注称给定标签时，探测在不同基础模型和概念性质上总体准确率较高，而 SAE 得到对比度高、且随音乐概念而变的结果。正文未给出 Figure 3 的逐点数字。
• 结果：作者称 Figure 3a 确认主音与属音信号存在，但弱于下属。把 s-SAE 编码器权重匹配到探针权重后，Figure 3b 显示如此选出的下属特征保持较强表现，主音与属音特征仍然缺失。
• 作者解读：作者认为，标准线性探针能检出较弱的主音与属音信号，但 SAE 不把它们评估为活跃或显著特征。探测与 SAE 的分歧被作者解释为：主音与属音信息可能不是基础模型里显式、易取得的概念，而是由监督线性探针重新合成。作者进一步称，线性可恢复并不保证相应信息在表征中组织成显式概念，而 SAE 捕捉显著且稀疏的概念。相对先前把帧表征做 max 或平均池化再预测全局调的探测，本文识别的是暗示调的局部下属概念；作者称即便线性探测也显示下属是调感知上最显著的局部概念（Figure 3a）。

其他消融与分析

• 激活案例：附录 G.4 与 I.3 含更多激活示例，包括失败例子；正文未给出这些失败例的定量指标。
• 层、K、τ、随机种子：附录 H 与 I 给出不同层隐藏状态、不同稀疏度 K、不同 τ 和不同随机种子的附加结果。正文未转写这些表的数字，故不列入。
• GTZAN 分体裁：Figure 20 为 MuQ 下属环的分体裁调号准确率，图中可见按 Blues、Country、Disco、Hiphop、Jazz、Metal、Pop、Reggae、Rock 分组的标注数值；正文未逐体裁解读。Figure 21 为这些体裁上的歌曲激活图，无汇总数字。
• 固定点与音高不变轨道：第 4.2 节称在两种表征中都恢复了若干音高不变轨道和不动点，并与 12 元环、链（大和弦、小和弦、类钢琴卷链）一并提及；正文未给固定点的计数。
• o-SAE 相对探针：Table 1 中 MuQ (2) 的 Oracle Bd Root WCR，o-SAE 在 POP909 为 85.29，探针为 84.17；在 RWC 为 86.21 对 86.01。MajMin 上探针更高（例如 POP909 81.49 对 78.96）。MusicFM 上探针的 Root 与 MajMin 均高于 o-SAE Oracle Bd。

作者指出的局限与后续方向

• 音高不变概念（第 6 节）：本文轨道由音高移调刻画。节奏等音高不变概念若无额外归纳偏置，无法被组织。
• 时间聚合（第 6 节）：方法关注帧级；基础模型如何在时间上组织并聚合帧级概念，仍然未探索。
• 十二元环与数据分布（第 6 节）：12 元环从无监督 SAE 对齐中出现，可能与移调步长为八度的 1/12 有关；再加上所用数据的分布，得到的大多是西方音乐概念。其他变换如何解释其他形式的音乐，尚待研究。
• 跨领域（第 7 节）：作者认为框架不限于音乐；把已知变换作为归纳偏置，可能在其他领域做基于结构的可解释性，并与现有特征级方法互补。
• 多义性（第 7 节）：作者称方法并未在单个特征层面消除多义性，而是把分析单元转到结构化群体，用关系一致性降低特征级噪声。
• 表征评价标准（第 7 节）：作者认为，呈现一致的变换诱导结构的模型，可能反映更深的概念组织；这被写成一条潜在的表征评价准则，而不是已经完成的评测协议。

实验覆盖范围

• 模型与训练：被分析的基础模型为 MuQ 与 MusicFM。SAE 与监督探针只在 Slakh2100 的 326 首训练曲、164 首验证曲上训练；SAE 不用和弦或调标签。下游数字来自真实录音或 Slakh2100 官方测试划分（151 首），评测曲不参与训练或模型选择。
• 任务与指标：和弦识别报告 Root WCR 与 MajMin WCR，并区分 Est. Bd 与 Oracle Bd；调检测报告忽略关系大小调差异的歌曲级/片段级准确率，以及由和弦轨道推出的 MIREX 准确率与标准准确率。Table 2 的 o-SAE 行只有 MuQ (5)。
• 对照系统：对照包括同一表征上的线性探针、无轨道的 s-SAE、LVCR 与 S-KEY。后两者使用在外部数据上训练的公开检查点，论文写明未做微调（S-KEY）。
• 数据构成：调检测集的大调/小调计数在 Table 5：FMAKv2 为 2,777/2,657（合计 5,434），GTZAN-Key 为 357/473（合计 830），GiantSteps 为 93/511（合计 604）。GTZAN-Key 按 S-KEY 的九体裁协议排除古典子集。
• 未写入正文的量：论文未在正文报告默认阈值 τ 的数值、轨道恢复的重复次数，也未报告 SAE 特征与人工标注的一致性系数。不同层、K、τ 与随机种子的结果放在附录 H 与 I，正文未给出这些表的数字。

作者提出一套面向音乐基础模型的结构可解释性框架：不把 SAE 特征当作孤立概念，而用半音移调把它们连成有序轨道。

• 问题：探测和既有 SAE 分析多停在单个特征与外部标签的对应。和弦、调、旋律在十二平均律下沿移调形成循环或链条，轨道上不变的部分才是抽象概念。
• 方法：对同一片段的相邻移调视图各训一个 Top-K SAE，用共享 Top-K 支撑让同一索引编码相邻移调；再用单位解码器的余弦相似度，把该关系收成参考 SAE 内的后继映射。置信度低于 τ 的转移被拒绝。实验取 S=3、中间 SAE 为参考，并做上下两个方向的核对。环、映到自身的不动点、以及后继缺失而断开的序列分别对应不同结构。少量锚点沿后继关系标注整条轨道。
• 发现：在 MuQ 与 MusicFM（各 12 层，d=1024）上，两种表征都出现大和弦环、小和弦环和类钢琴卷的旋律链（Figure 2）。仅 MuQ 出现 12 特征的下属中心环：大调上它跟踪音级 4̂，小调上倾向跟随关系大调。作者称这是此前未报告的相对调编码方式。主音环与属音环没有被恢复；线性探针仍能检出较弱的主音与属音信号（Figure 3a），匹配后的 s-SAE 则保持下属、缺少主音与属音（Figure 3b）。
• 下游数字：和弦上，K=48 的 MuQ (2) o-SAE 在 Oracle Bd 的 POP909 Root WCR 为 85.29%，RWC 为 86.21%（Table 1），与同层探针（84.17%、86.01%）及 LVCR（84.25%、87.96%）同量级；MusicFM (4) 对应 Root WCR 为 80.39% 与 77.49%。调号上，MuQ (5) o-SAE 的 FMAKv2 歌曲级准确率为 56.92%，GiantSteps 为 50.50%（Table 2）；MusicFM 没有下属环，其 s-SAE 在 FMAKv2 歌曲级为 35.09%。用和弦激活按规则推调时，MuQ (2) o-SAE 的 FMAKv2 MIREX 为 70.17%，S-KEY 为 73.24%（Table 3）。
• 作者结论：作者认为，线性可恢复不等于表征里存在显式概念，SAE 轨道反映的是显著且稀疏的结构；一致的变换诱导轨道或可作为表征的一种评价准则。同时，音高不变概念、帧以上的时间组织，以及其他音乐形式，都还在该偏置之外。