CircuitTree：将电路组合为音节转写器

如何把多个独立剪枝出的音素电路合成共享模型，并让它完成任何一个源电路都未被剪枝去解决的音节转写。

• 场景：作者把多任务网络看成大量各做可识别子任务的电路。找出原语电路后，就可以拼接去解复杂任务，而不必为每种组合从头再发现电路。
• 现有不足：作者称组合证据仍初步：结果停在一对或至多少数电路，成功标准是合并后仍能做被剪枝的原任务。Mondorf等的实验限于Tracr合成模型；Yu等只报告两个GPT-2电路的简单mask union。
• 作者的问题：原语电路能否一次合并到数十个，并形成新能力。作者同时把朴素mask union的掉点归为density domination与interference。
• 提出的做法：密度缩放的贪心成对合并，再用CircuitTree和树式调度扩到N个电路。摘要把该调度写成Θ(N log N)，正文写成Θ(kn log n)。对象是从HuBERT剪出的15个元音与24个辅音电路，接成音节转写流水线。

电路发现

• 手工与自动：Wang等（2022）在GPT-2 small中定位间接宾语识别电路。Conmy等（2023）的ACDC把发现收成：选定指标和数据，再对激活做patch，直到负责组件出现。
• 剪什么：权重级方法在参数上学习mask，如Louizos等（2018）的hard-concrete L0、Sanh等（2020）的movement pruning，稀疏子网仍留在稠密计算图上。边级方法剪残差流图本身，如ACDC与Bhaskar等（2024）的Edge Pruning。作者称Yu等（2025）的DiscoGP同时做权重与边剪枝。

电路组合与复用

• Merullo等（2024）：GPT-2里一个任务的电路被相关任务大量复用；对四个注意力头做手工补丁就足以改变行为。
• Mondorf等（2025）：把一般的电路可组合性当作开放问题，用mask级集合运算组合十种字符串编辑电路。作者写其实验限于Tracr生成的合成玩具模型。
• Yu等（2025）：两个独立发现、从GPT-2剪出的电路做简单mask union后，功能表现大体保留。作者自己把现有组合概括为停在一对或少数电路，且只检验原任务。

模块化与模型合并

• 分解再重组：Pan与Rajan（2020）、Kingetsu等（2021）讨论把深度网络拆成模块再重组。作者把电路发现的实用回报说成这种可拼接模块化，并引到这些工作以及Mondorf、Yu与Wei等。
• TIES-merging：Yadav等（2023）用权重平均处理合并时的干扰。作者称被合并对象是二值mask时，这类技术不适用。

基线与数据

• 基线：独立未合并电路、逐元素mask并集、Linear / Balanced / Kruskal三种N路调度，以及Table 1中密度100%的HuBERT Frozen。
• 数据与剪枝：Articulatory Index；电路按Wei等（2026）从HuBERT-base剪出。

作者把自己的位置放在：组合要从手工核对的一对，跨到一次合并数十个独立发现的电路，并且共享电路要完成39个源电路都未被单独剪枝去解决的更复杂任务。

先用密度缩放和按key贪心接受合成两个音素电路，再用CircuitTree在balanced树上把N个电路并成一个模块，最后把元音模块和辅音模块接到音节类型门控上。

电路来源与合成目标

• 剪枝设置：按Wei等（2026），从HuBERT-base剪15个元音、24个辅音DiscoGP电路。分类头是冻结的mean-pooled线性头，二分类目标是判断该元音或辅音是否出现在音节中。
• 电路形状：权重电路为144个logit张量，即12层×{Q,K,V,O,MLP-in,MLP-out}×{weight,bias}。边电路为49个logit张量，每个下游节点一个，对合格上游head或MLP各有一个logit。
• 成对任务：两个二分类器合成三路输出pi、pj、other。每个音素有验证集上调好的阈值τi；置信度超过阈值且超出最多的音素为预测，两者都未超过则预测other。两套分类器可独立运行，也可合成共享权重与边的一个系统。

成对合并

• 朴素并集的两个问题：作者把相对独立运行的下降归为density domination与interference。前者指电路权重密度可以差很多，作者称有的音素为2–3%，有的为15–20%，并集被更密电路主导。后者指同一权重或边对一个电路关键、对另一个有害。
• 密度缩放：对共享key k，di(k)是音素pi的mask中活跃条目比例。先取各密度的几何平均t(k)，再令σi(k)为t(k)/di(k)并裁剪。实验中裁剪到[0.05, 5.0]。前向时先对N个电路做逐元素并集，选出保留的参数或边，再逐元素乘上σi(k)。
• 缩放式：σ_i(k)=clip(t(k)/d_i(k),[s_min,s_max])，t(k)是d1(k)到dN(k)的几何平均。
• 贪心接受：Algorithm 1对计算图拓扑排序，每个key只访问一次，提议对该矩阵取两个电路mask的并集。作者称先对权重mask、再对边mask做这一提议。仅当每个电路的二分类F1仍不低于其独立前向减去ε时才接受；ε=0.02绝对F1。作者另写要合并“a subset of 90% the matrices”，即不使各元音F1下降超过某阈值的矩阵子集；算法正文只给出ε规则。

调度与CircuitTree

• 还要决定的两件事：15个元音或24个辅音按什么顺序加入，以及早先已验证的共享如何保留。一次调用Algorithm 1回答不了这两点。
• Linear：Algorithm 2从第一个电路起逐个并入。第i步要把新成员并入已有i−1个成员的簇，并对k个key重验全部成员。作者给出总前向次数为Θ(kn²)。
• Balanced：Algorithm 3把单电路收成对、对再收成四。作者称每一轮代价都是kn，共log2 n轮，总计Θ(kn log n)。簇数为奇数时，最后一个原样进入下一轮。摘要把这一调度写成Θ(N log N)。
• Kruskal：距离由第4节的merge ratio定义，共享mask少的音素放得远，反复合并尚未相连的最近两簇。作者把它当作性能上界；复杂度从最好Θ(kn log n)到最坏Θ(kn²)。Linear与Balanced只按簇大小决定顺序，作者称它们是blind schedule。
• 树：CircuitTree的叶子是音素原始电路，内部节点只记录该层两个孩子的成员共享哪些key（Figure 3）。成员在key k上的有效mask，取离根最近的成功共享层；从未共享则用叶子私有mask。缩放沿同一路径累积。作者称共享沿根到叶单调非减，根上失败不能撤销更下层已同意的共享。图中文字：根{v0,v1,v2,v3}只共享{k1}；{v0,v1}共享{k1,k3}；{v2,v3}共享{k1,k2}。

音节流水线

• 两阶段：单独剪枝的DiscoGP电路做门控，判断辅音/元音顺序，例如CV或VC；再把输入路由到对应的元音或辅音CircuitTree，解析具体音素并填进该模板。门控使用与Algorithm 1相同的协议。
• 不针对转写优化：作者称该转写不是单个电路的训练任务，组合算法也不针对它优化。正文写的是英语CV与VC音节；摘要把同一流水线写成转写open syllables。

实验设置

• 模型：电路剪自HuBERT-base，头为冻结的mean-pooled线性头。Table 1另有HuBERT Frozen一行，密度100%，表注称之为Full HuBERT model。论文未使用LLM裁判。
• 数据：Articulatory Index，10,329个CV与VC单音节，20名英语说话人（12男、8女）。各音素分train、validation、test；报告结果为test，集成阈值在validation上调。论文未报告三个划分的条数，也未报告重复次数。
• 电路：15个元音、24个辅音二分类电路，另有一个音节类型门控。成对热力图与Table 1只覆盖元音。
• 成对指标：三路分类的macro-F1（Figure 2）。接受与否看二分类F1是否仍在独立结果的0.02绝对F1以内。
• N路与转写：Table 1是15类元音准确率及密度，调度为Unmerged、Linear、Balanced、Kruskal、HuBERT Frozen。Table 2是CV/VC转写准确率，以及Merge Ratio的All与Partial，系统只有Unmerged和CircuitTree。
• 固定参数：ε=0.02；缩放裁剪到[0.05, 5.0]。论文未报告显著性检验。

主结果

表格较宽，可左右滑动

系统	准确率	All	Partial
Unmerged	66.0%	0.0%	0.0%
CircuitTree	64.8%	30.3%	99.5%

据Table 2。列为Accuracy (%)，以及Merge Ratio (%)下的All、Partial。

• 作者称把39个独立二分类音素电路收成两个共享CircuitTree，相对不共享任何电路的ceiling只差1.2个百分点。转写不是这些电路的剪枝目标，组合过程也没有为转写优化。
• 第6节把Partial写成部分共享的key，把All写成在所有音素间共享。摘要把99.5%说成circuit components shared；引言大纲写99.5% of matrices shared across phonemes。与“全部音素共享”对应的表值是All一列。
• 摘要把同一准确率写成open syllables；Table 2表题是CV/VC-syllable transcription。Table 2不是15类元音准确率，也不是完整HuBERT的转写结果。

成对策略（Figure 2）

• 图是15个元音两两的macro-F1热力图。色标名为Macro F1，标注从0.0到1.0。子图文字为(a) Independent circuits、(b) Naive union、(c) Circuit Composition (ours)。
• 正文称独立未合并（其称为Figure 2a）在所有元音对上优于朴素并集（其称为Figure 2b），Circuit Composition（其称为Figure 2c）与独立运行相当。图注则写成(a) naive union、(b) unmerged union、(c) merged circuits，与子图文字和正文不一致。
• 转写后的格子可能错列，这里不引用单个格子。作者把朴素并集的下降归为density domination和interference。

N路元音调度（Table 1）

调度	准确率	密度
Unmerged	82.3%	1.13%
Linear (Θ(kn²))	77.9%	1.11%
Balanced (Θ(kn log n))	81.8%	1.10%
Kruskal merge	82.2%	1.10%
HuBERT Frozen [6]	86.4%	100%

据Table 1，15类元音准确率与Density(%)。

• 作者称Balanced与Kruskal表现相当，同时保持Θ(kn log n)，因此实践中更倾向Balanced。
• Linear低于Unmerged。论文未解释这一差距。该表没有24个辅音的对应行；86.4%是15类元音上的完整模型，不是音节转写。

其他消融与分析

• 缩放区间与ε固定为[0.05, 5.0]和0.02；论文未给这两个参数的扫参表。
• 逐音素权重密度只写出2–3%与15–20%两个范围，没有逐音素表。
• 音节类型门控的单独准确率未报告。
• 完整HuBERT的CV/VC转写准确率未报告。
• 作者称在所有元音对上，朴素并集低于独立电路（Figure 2正文）；Table 1中Linear为77.9%，Unmerged为82.3%。

作者指出的局限与后续方向

论文未专门讨论局限。第7节只写作者相信该方法有望用于语音及其他领域中更复杂的问题，没有把它写成不足或待做实验。伦理声明只说明使用已有Articulatory Index语料、未新采集人类或动物数据、未另申请伦理审批。

实验覆盖范围

• 被测模型为HuBERT-base；电路为15个元音与24个辅音的DiscoGP二分类电路，外加一个音节类型门控（第3、6节）。
• 数据为Articulatory Index的英语CV与VC单音节，10,329条、20名说话人；结果报在test，阈值在validation上调（第3节）。论文未报告各划分条数，也未报告重复次数。
• 成对macro-F1热力图覆盖全部15个元音和三种组合策略（Figure 2）。N路准确率表只报告15类元音的Unmerged、Linear、Balanced、Kruskal与HuBERT Frozen（Table 1）。
• 音节转写只比较Unmerged与CircuitTree（Table 2），指标为准确率以及Merge Ratio的All、Partial。论文未报告门控单独准确率，也未报告完整HuBERT的CV/VC转写准确率。
• 接受规则为绝对F1容差ε=0.02，缩放裁剪到[0.05, 5.0]（第3节）。论文未报告统计显著性检验，也未报告辅音单独的N路准确率表。

CircuitTree把HuBERT上的音素电路收成共享模块，用来转写英语CV/VC音节。

• 问题：独立剪出的二分类音素电路若直接做mask并集，会被更密电路主导，并发生电路间干扰。作者称已有组合多停在一对电路，而且只检验合并后能否仍做原任务。
• 做法：按各电路在每个key上的密度做几何平均缩放，拓扑序上只收下仍使各电路二分类F1留在ε=0.02以内的共享key。CircuitTree记住下层已经同意的共享；balanced调度的前向次数作者写为Θ(kn log n)。元音树、辅音树再加一个音节顺序门控，把预测音素填进CV或VC模板。
• 转写：在Articulatory Index上，两个共享模块的CV/VC准确率是64.8%，电路各自运行为66.0%；Partial共享99.5%，全部音素共享30.3%（Table 2）。作者称相对不共享电路的ceiling差1.2个百分点。
• 元音调度：15类元音上Balanced为81.8%，Kruskal为82.2%，未合并为82.3%，Linear为77.9%，密度100%的HuBERT Frozen为86.4%（Table 1）。作者称因此实践中更倾向Balanced。
• 作者的结论：原语电路可以一次合并到远超过少数几个，并接出它们都未被单独剪枝去解决的能力。作者相信该做法有望用于更复杂的语音和其他领域问题。