S^3martCirc：自监督智能电路发现框架

节点是否重要取决于它承担的功能，但现有流程把发现和解释拆开，而且角色又细、又靠主观判断。

• 场景：作者认为 LLM 是黑盒，人不能直接查看内部决策，因而担心不希望的行为，并认为这妨碍在医疗、金融等领域使用；作者称这些领域把 reliability 与 trustworthiness 放在首位。机制可解释性希望把网络逆推成可被人理解的算法。
• 现有流程：常见做法先做电路发现，选出注意力头或前馈神经元，再解释其任务角色。作者认为重要性与功能相互依赖；顺序也可以倒过来，先定功能再找节点（Méloux et al. 2025a），但二者应写成同一个联合优化问题。
• 两个障碍：name mover、S-inhibition head 这类角色绑在特定节点和任务上，难以跨任务、也难以放进自动流程；现有解释依赖人的判断，缺少可量化指标。
• 观察与方法：作者认为矩阵乘法主要支撑计算变换和信息传递，因此把任务专用角色收成两类可量化角色。S³martCirc（Self-supervised Smart Circuit Discovery）用可学习掩码同时发现电路并分配角色。

补丁定位再人工解释

• where-then-what：作者把 Bereska and Gavves (2024)、Sharkey et al. (2025)、Rai et al. (2024) 所述的机制可解释收成以电路为中心的抽象，并把多数工作概括为先定位、再解释（Méloux et al. 2025b；García-Carrasco, Maté, and Trujillo 2024a；Chandna, Bashir, and Sen 2025）。引言里的两阶段例子还包括 Wang et al. (2022)、Nanda et al. (2023)、Liu, Mao, and Wen (2025)。
• 定位手段：补丁类干预包括 Wang et al. (2022)、Meng et al. (2022)、García-Carrasco, Maté, and Trujillo (2024b)、Heimersheim and Nanda (2024)；梯度近似包括 Syed, Rager, and Conmy (2023)、Hanna, Pezzelle, and Belinkov (2024)。作者称这类干预代价高，而且逐个组件孤立评估，随后的人工解释主观、难扩展。

跨任务复用

• 角色并不专属于一个任务：作者引用 Merullo, Eickhoff, and Pavlick (2024)，称组件会跨任务复用且角色一致；Nikankin et al. (2026) 被用来说明角色可以落到单个神经元；Haklay et al. (2026) 被用来说明结构不同的电路可以功能等价。作者称这促使他们使用抽象、可量化、能写进发现目标的角色。

连续掩码优化

• 只建模哪些组件重要：Frankle and Carbin (2019)、Bhaskar et al. (2024) 在稀疏约束下学习连续掩码。IBCircuit（Bian et al. 2026）用信息瓶颈平衡行为保真与压缩；Li and Janson (2024) 优化掩码以分离特定行为的组件。作者称它们比补丁更能反映组件交互，但多数只表示哪些组件重要，不表示如何起作用。

基线与数据集

• 基线：Activation Patching（Act.）、Attribution Patching（Attr.）、Attribution Patching with Integrated Gradients（Attr. IG）、IBCircuit、改到节点级的 Pruning（Prune.），以及随机选节点的 Random。
• 任务：IOI（Wang et al. 2022）与 Acronym Prediction（García-Carrasco, Maté, and Trujillo 2024b）。作者称二者先前都在 GPT-2 上有人工整理过的电路。

作者把区别概括为三点：角色来自激活上的任务无关定量指标，而不是手工标准或消融的正负号；重要性与角色交替联合优化，而不是从单一掩码读出；搜索同时覆盖注意力头和 MLP 神经元。

S³martCirc 为每个节点学习“不重要、passthrough、functional”三类概率，先找对任务有贡献的节点，再用激活上的相似度变化分配角色；warmup 之后两阶段交替，使重要性与角色互相约束（Figure 2）。

计算图与两类角色

• 图：模型被看成计算图。节点是注意力头或前馈层神经元，边是经残差流的信息传递。电路是负责某任务表现的子图。节点输入为上一层表示 X，输出为 Y；前馈神经元的输出维为 1，注意力头的输出维由结构决定。各对比方法共用同一节点集和图抽象。
• 角色：functional node 主动变换输入，输出在表示或语义上与输入差别大；passthrough node 主要把特征送到下游，改动小。区分的是如何处理信息，而不是处理什么内容。Figure 1 把 IOI 中的 S-inhibition、previous token 对应到 passthrough，把 name mover、negative name mover 对应到 functional；Acronym 中 previous token 与 bridge 传递信息，letter mover 做变换。作者认为同一小组计算角色会在不同任务里重复出现。

掩码与重要节点发现

• 系数：节点 n 有 cn,u、cn,p、cn,f，分别表示不重要、passthrough、functional，三者之和为 1。训练时用这些系数做软掩码；评测时取 argmax 做硬分配。满足 cn,p+cn,f > cn,u 的节点为候选电路节点。P_mask 是不重要节点被遮住后的输出分布。
• 发现损失：要让保留下来的节点既复现完整模型的输出，又给出正确答案。L_disc.=α∑_vP_orig(v)log(P_orig(v))/(P_mask(v))−(1−α)log P_mask(y)。前一项是完整模型与 P_mask 的 KL，后一项是正确答案 y 的对数概率；α 在 0 到 1 之间，权衡对原模型行为的忠实程度和任务表现。附录把 α 称为 logit coefficient。

用 FI 做角色分类

• 指标：对激活做按行 L2 归一化，计算 token 两两相似度并去掉自身项。FI(X,Y)=|Sim(X)−Sim(Y)|_F/|Sim(X)|_F，即输入、输出相似度矩阵之差的 Frobenius 范数，再除以输入相似度矩阵的范数。
• 用法：作者认为非平凡计算会改变 token 之间的关系结构，信息传递则大体保持该结构。分类损失只加在重要节点上：FI 大则提高 cn,f，FI 小则提高 cn,p。论文写明该指标依赖任务。发现损失使用正确答案 y；FI 不使用人工角色标签。

正则、warmup 与交替

• 稀疏项：对全部系数有三项，分别把每个系数推向 0 或 1、约束三项之和为 1、惩罚 cn,p+cn,f，以得到更小的电路。
• 日程：作者称训练开始时用随机系数分配角色得不到可用信号，因此 warmup 只优化发现损失；之后交替进行发现与分类，让两边互相更新。附录按模型与任务给出学习率、权重衰减、epoch、warmup epoch、sparsity coefficient 和 α，随机种子为 42。RQ3 把一轮定义成一次发现步加 k 次分类步；附录超参表没有列出主实验的 k。

评测时如何取电路

• 与训练不同：训练时遮住不重要节点，看保留的节点能否复现行为。评测时只遮住电路节点，得到 P_circ，再删掉不与输入或输出相连的节点；Circuit Size 是剩余端到端电路的规模。
• 指标：Acc. 是原模型与 P_circ 之间的准确率下降百分比；Logit. 是二者在原模型预测答案上的 logit 之差。Table 1 把更负的结果标为更好。作者称目标是较小电路配合更大的准确率下降和 logit 差。

实验设置

• 模型与硬件：GPT-2、Llama 3.2 1B、Qwen 3 1.7B。除 Qwen 上的 Attr. 与 Attr. IG 使用 RTX A6000 48GB 外，实验在 RTX A4000 16GB 与 A16 16GB 上完成。
• 数据：IOI 与 Acronym。附录按各模型的分词约束生成样本：IOI 为平衡的 1000 条，Acronym 打乱后取前 1000 条。姓名与地点、物体搭配来自先前的 IOI 工作；缩写词来自随机词表。
• 基线：Act.、Attr.、Attr. IG、IBCircuit、节点级 Prune.、Random。Random 随机选取 k 个节点，正文没有给出这个 k 的取值。
• 指标与次数：Circuit Size、Acc.、Logit. 的定义见上问。Table 1 一般为三次运行的均值±标准差。Qwen 的 Act. 因 48 小时上限只完成一次，表中标 *。空单元格表示在该方法选出的节点里找不到电路。论文未报告统计检验。
• 已知电路：IOI 对照 Wang et al. (2022)，Acronym 对照 García-Carrasco, Maté, and Trujillo (2024b)；作者称这些电路来自先前在 GPT-2 上的分析。Figure 3 在 50、100、150、200 个节点的阈值下报告恢复比例。
• 超参：附录写全部实验随机种子为 42，并分模型与任务给出学习率、权重衰减、epoch、warmup、sparsity coefficient 与 α。主实验的分类步数 k 不在该表中。

主结果

下表来自 Table 1。S³martCirc 为三次运行；* 表示 Qwen 的 Act. 只跑一次。Llama 3.2 1B 的 Acronym 上 Act. 找不到电路，记为未报告。

| 模型与任务 | S³规模 | S³ Acc. | S³ Logit. | Act.规模 | Act. Acc. | | GPT-2 / Acronym | 60.33±7.93 | -97.50±1.08 | -5.00±1.08 | 35.00±4.32 | -54.67±38.33 | | GPT-2 / IOI | 76.00±5.72 | -95.99±2.85 | -10.42±2.85 | 39.33±10.40 | -70.71±25.89 | | Llama 3.2 1B / Acronym | 47.33±2.05 | -57.33±3.40 | -3.17±3.40 | 未报告 | 未报告 | | Llama 3.2 1B / IOI | 35.00±3.74 | -69.00±42.43 | -2.96±42.43 | 13.00±2.00 | -59.17±41.90 | | Qwen 3 1.7B / Acronym | 12.00±1.63 | -100.00±0.00 | -10.97±0.00 | 32.00±0.00* | -100.00±0.00* | | Qwen 3 1.7B / IOI | 16.33±4.50 | -100.00±0.00 | -12.01±0.00 | 12.00±0.00* | -33.00±0.00* |

• 作者的总判断：作者称在所有任务和模型上都以较大幅度优于基线，并认为可优化掩码能看到逐节点补丁错过的交互，功能解释则提供仅靠掩码没有的指导。上表里有一处 Acc. 与 Act. 相同：Qwen 3 1.7B 的 Acronym。若干 Acc. 的标准差与均值同量级，论文未做统计检验。
• 规模：作者称电路并不总是最小，但节点选得更关键。正文另举 Llama 的 IOI：Attr. IG 平均规模 47.67±3.30，Acc. 为 -5.67±3.70（Table 1）。
• 空电路与零下降：GPT-2 上 IBCircuit 的两项任务、Llama 的 Acronym 上 Act. 与 Attr.、Qwen 的 IOI 上 IBCircuit，Table 1 为空。Prune. 与 Random 在已报告格子上的 Acc. 都是 0.00±0.00。

已知电路恢复

• IOI：Figure 3 比较各方法恢复 Wang et al. (2022) 电路的百分比，阈值取 50、100、150、200 个节点。图中纵轴刻度为 0、20、40、60，横轴刻度写到 150。作者称 S³martCirc 高于多数基线，只与 Activation Patching 相当；优化类基线放到 200 个节点仍然更低。作者称候选节点很多，因此达不到 100%。正文没有列出各点的百分比。
• Acronym 节点：Figure 4 的已知电路有 8 个节点，记法为 layer.head。图中 previous token 为 1.0、2.2、4.11，bridge 为 5.8、8.11、10.10，letter mover 为 8.11、9.9、10.10、11.4。作者称 S³martCirc 恢复 4 个（50%）：1.0 标为 passthrough，11.4 标为 functional；8.11 标为 passthrough，10.10 标为 functional。先前工作认为 8.11 与 10.10 随干预不同，既可以是 bridge 也可以是 letter mover。作者认为方法度量的是多样本上的主导贡献，分歧来自这些头的多功能，而不是分错。
• Acronym 曲线：Figure 7 重复该恢复实验。纵轴刻度到 80，横轴刻度到 150。作者称 S³martCirc 的恢复比例仍高于各基线。正文没有列出各点数值。

超参 α 与 k

• 范围：只在 IOI、GPT-2 上扫描（Figure 5）。k 取 2、4、6、8、10，α 取 0.0、0.25、0.5、0.75、1.0。每轮是一次发现步加 k 次分类步。同时看 Acc. 和 IOI 原电路的恢复比例。
• k：作者称 k 增大时性能大体变好，到 k=6 后稳定。accuracy drop 从 k=2 的 -71% 到 k=6 的约 -96%，恢复比例单调上升。正文没有给出 k=8 与 k=10 的数字。
• α：作者称 0.75 在准确率和电路恢复上都高于其他取值，因此这项任务上 KL 的权重大于任务损失；α=1.0 去掉交叉熵后变差，但正文没有给出该点的数字。作者认为这可以解释主要依赖输出分布差异（如 KL）的基线较弱：有些关键组件贡献正确行为，却不造成很大的 logit 变化。

训练组件消融

• 变体：S³martCirc-NW 去掉 warmup；DF 先做完发现再分类；IF 先分类再发现（Figure 6）。纵轴名为 Accuracy Difference，横轴为 IOI 与 Acronym。论文未说明模型。
• 数字：DF 在 Acronym 上的 accuracy drop 为 -4.33%，对照完整方法的 -97.5%。IF 约为 IOI 88%、Acronym 42%；NW 为 IOI 67%、Acronym 66%。后四个数正文没有说明正负号。
• 作者的解释：作者认为 DF 的候选集过宽，功能解释被噪声淹没，电路会纳入非关键节点并漏掉关键节点。IF 说明功能信息对发现有用，但没有交替仍不够。去掉 warmup 后，早期没有一批候选节点，梯度分不开重要与不重要组件，优化更不稳定。

其他消融与分析

• Table 2 运行时间（秒）：S³martCirc 在 GPT-2 上为 Acronym 197.14、IOI 264.44，Llama 上为 507.67、901.02，Qwen 上为 982.16、1047.59；Qwen 的 Act. 为 168689.44 与 187663.88。作者称取得上述结果不需要过长运行时间。
• 附录学习率：GPT-2 的 Acronym 为 0.01、IOI 为 0.005，其余为 0.001。权重衰减除 GPT-2 的 IOI 为 0.0005 外均为 0.005。
• sparsity coefficient 取 0.3、0.5、0.7、0.9 或 1.0。主实验的 α：Acronym+GPT-2 与 IOI+Llama 为 0.25，其余四组为 0.75。
• epoch 与 warmup：Acronym+GPT-2 两者都是 60；IOI+GPT-2 为 60 与 5；IOI+Llama 为 75 与 5；Qwen 的 IOI warmup 为 10；其余 epoch 为 50、warmup 为 5。
• 主实验没有报告分类步数 k；k 只在 Figure 5 的 IOI+GPT-2 扫描里定义。

作者指出的局限与后续方向

• 角色粒度：两种角色是有意取得较粗的，不能恢复人工分析中的细粒度角色（Conclusion）。
• 随任务变化：角色是相对该任务的激活定义的，不是节点的内在属性，因此同一节点在不同任务上可能得到不同标签（Conclusion）。作者称这些局限指向未来工作，该段没有写出具体实验计划。

实验覆盖范围

• 模型与数据：被测模型为 GPT-2、Llama 3.2 1B、Qwen 3 1.7B。任务为 IOI 与 Acronym；附录按模型生成样本，IOI 为 1000 条，Acronym 取 1000 条。
• 比较协议：Table 1 的基线为 Act.、Attr.、Attr. IG、IBCircuit、节点级 Prune. 与 Random，指标为 Circuit Size、Acc.、Logit.，一般为三次运行；Qwen 的 Act. 为一次。评测是遮住电路节点后的准确率与 logit，论文没有使用 LLM 评审，也没有报告统计检验。
• 已知电路：IOI 的恢复曲线在 Figure 3，阈值含 50、100、150、200；Acronym 为 Figure 4 的 8 个节点和 Figure 7。正文给出 Acronym 恢复 4/8，没有列出 Figure 3 与 Figure 7 各点的百分比。作者在 RQ2 称 100% 恢复达不到。
• 扫描与消融：α 与 k 只在 IOI、GPT-2 上扫描（Figure 5）。消融为 NW、DF、IF（Figure 6），论文未说明该图的模型。附录给出训练超参和 Table 2 的运行时间，没有给出主实验的 k，也没有给出 Random 基线的 k。
• 节点类型：发现同时覆盖注意力头和 MLP 神经元，各方法共用同一节点集。Conclusion 写到同一节点跨任务可能标签不同；论文没有报告对此的定量实验。

S³martCirc 把电路成员和节点功能放进同一次优化。

要处理的情况是：先选注意力头或前馈神经元，再人工指定 name mover 一类任务专用角色。作者认为节点重要与否取决于它做的计算，两步拆开会丢掉这种依赖，细粒度角色也难以自动使用。

每个节点有三项和为 1 的概率，表示不重要、passthrough 或 functional。前者大体保持 token 之间的相似度，后者改变它，变化用 FI 度量。发现损失用 α 混合 KL 与正确答案的交叉熵；warmup 只做发现，之后交替更新，并用稀疏正则压低电路规模。训练时遮住不重要节点，评测时改为遮住电路节点。

Table 1 在 GPT-2、Llama 3.2 1B、Qwen 3 1.7B 的 IOI 与 Acronym 上比较遮住电路后的 Acc. 与 Logit.。GPT-2 的 Acronym 上，S³martCirc 的 Acc. 为 -97.50±1.08%，Activation Patching 为 -54.67±38.33%。Qwen 3 1.7B 的 IOI 上 Acc. 为 -100.00±0.00%，Logit. 为 -12.01±0.00；其 Acronym 上 Acc. 与 Act. 同为 -100.00%。Llama 3.2 1B 的 IOI 上 Acc. 为 -69.00±42.43%，规模 35.00±3.74。Acronym 已知电路恢复 4/8（Figure 4）。先发现后分类的消融在 Acronym 上为 -4.33%，对照正文中的 -97.5%（模型未说明）。

作者称该方法能找出与任务相关的电路，并恢复人工验证过的电路；同时两种角色有意取得较粗，同一节点换任务后标签可能不同。