跳到正文
原文

Anthropic Fellows 论文:多数转码器特征其实就是 MLP 神经元,神经元或足以做电路分析

论文追踪· arXiv:2610.24521· Stepan Shabalin, Mateusz PiotrowskiAnthropic Fellows; Georgia Institute of Technology; Anthropic本站收录· 2026-10-21· 原文发表对齐

论文速读

可解释性

据论文 PDF 整理(AI 生成),以原文为准

作者在13个开源transcoder上比较稀疏化MLP,称晚期激活多来自对齐单个神经元的特征。

问题
MLP神经元被广泛视为多义,电路分析因而改用transcoder。Arora等与Ye等显示,阈值化神经元也能恢复稀疏电路。作者追问transcoder相对开箱即用的神经元还多贡献了什么。
方法
把门控MLP按符号拆成encoder/decoder并做top-k。neuron feature指encoder与decoder同时对齐同一神经元,余弦阈值用0.6或0.7。再比较Jacobian、跨种子复现和相对初始化的移动。
实验与结果
线性校正后,稀疏神经元的KL低于transcoder,FVU更高。Gemma 3 27B在66%层深,激活中NF占82.8%(Table 4)。1500个bigram上Gemmascope命中75.6%,神经元为0.0%。
局限与可以继续做的
作者写明限于基座模型和主要为英文的数据,以及1B–27B稠密模型上的逐层transcoder,且只分析高幅度单token激活。未做系统人工评估。跨层与MoE结果作者称为初步。
实验设置Gemma 2 2B、Gemma 3 1B 等 · Kantamneni et al. 113 binary tasks、1500 FineWeb phrase bigrams 等 · FVU、KL divergence 等
被测模型
Gemma 2 2BGemma 3 1BGemma 3 4BGemma 3 12BGemma 3 27BGemma 3 27B-itQwen 3 0.6BQwen 3 1.7BQwen 3 4BQwen 3 8BQwen 3 14BLlama 3.2 1BLlama 3.1 8BGemma 4 26B-A4BQwen 3.5 35B-A3B
基准
Kantamneni et al. 113 binary tasks1500 FineWeb phrase bigramsFineWebSmolLM2Pile-10kPride and PrejudiceTruthfulQAMMLU
指标
FVUKL divergenceReplacement ScoreAUCsort eval accuracyJacobian alignmentneuron feature fraction
AI 导读Anthropic Fellows 的论文发现,转码器(transcoder)特征中相当一部分与单个 MLP 神经元强对齐,作者将其定义为 neuron features,并称其在 13 个开源转码器的后层中占活跃特征的相当比例。论文指出,只有 neuron features 与底层 MLP 存在稳定对应:其他特征在不同训练运行之间变化更大、不匹配 MLP 的 Jacobian,相对随机初始化的变化也更小。作者据此认为 MLP 神经元作为可解释性基元比通常假设的更强,并呼吁改进对模型所用非神经元结构的归因方法。论文共 60 页,发表于 NeurIPS InterpScience workshop。

Anthropic Fellows 的论文发现,转码器(transcoder)特征中相当一部分与单个 MLP 神经元强对齐,作者将其定义为 neuron features,并称其在 13 个开源转码器的后层中占活跃特征的相当比例。论文指出,只有 neuron features 与底层 MLP 存在稳定对应:其他特征在不同训练运行之间变化更大、不匹配 MLP 的 Jacobian,相对随机初始化的变化也更小。作者据此认为 MLP 神经元作为可解释性基元比通常假设的更强,并呼吁改进对模型所用非神经元结构的归因方法。论文共 60 页,发表于 NeurIPS InterpScience workshop。

相关热点

1 个事件 · 1 条新闻提到

提到这篇论文的新闻

Goodfire 报告称神经元可作可解释单元

  • Goodfire Research引用了论文编号或链接
    神经元作为可解释的基础
    Comparing Sparsified MLPs and Transcoders: Many Transcoder Features Are Neurons in Disguise.

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者追问:电路分析是否必须用transcoder,还是稀疏化后的MLP神经元已经够用。

    transcoder相对按符号拆分并top-k稀疏化的MLP神经元,为电路分析多贡献了什么?

    • 场景:作者称多义性是直接分析MLP的标准障碍,领域因此用学习到的稀疏词典替换神经元,并用于归因图和前沿模型行为案例。
    • 已有结果的张力:作者称Arora等(2026)在若干设置下,用原始MLP神经元也能得到与学习特征同样稀疏、忠实的电路;Ye等(2025)把阈值化神经元当作SAE,可在标准基准上匹配学习词典。transcoder是否必要因此成为问题。
    • 作者的问题:若符号拆分加top-k之后神经元已能做电路,transcoder多学到的词典项是在对应模型计算,还是主要改善重构。
    • 核心定义:作者把encoder、decoder和激活都跟踪单个MLP神经元的transcoder特征称为neuron features,并称扣掉它们之后,与底层MLP对齐的结构所剩不多。
    • 本文内容:在13个开源transcoder上量化这类特征的比例、Jacobian对齐、跨种子复现和相对初始化的移动,并比较稀疏化神经元与transcoder的替换和探测。
  2. 有哪些相关研究?

    作者把相关工作分成神经元电路、transcoder归因图,以及词典训练的已知伪影。

    按第4节归成四组。

    神经元电路

    • Elhage等(2022)用叠加玩具模型讨论多义性;Voita等(2024)、Gurnee等(2024)在语言模型上刻画多义神经元。Hanna等(2023)、Nikankin等(2025)记录经由神经元的算术与计数电路。
    • Bills等(2023)到Choi等(2024)扩展单神经元自动描述。论文转述Arora等(2026):若干设置下,适当归因可使电路在神经元基上稀疏。论文转述Ye等(2025):把阈值化神经元当作SAE,可以在标准基准上匹配学习词典。

    SAE到归因图

    • Bricken等(2023)、Cunningham等(2024)在激活上训练SAE,Templeton等(2024)扩到前沿模型。Dunefsky等(2024)提出transcoder,用更宽的稀疏替换近似MLP的输入输出。
    • Marks等(2025)、Ameisen等(2025)、Lindsey等(2025b)在这类词典上构建归因图。论文写道Gurnee等(2025)报告跨模型大小复现的特征族,但未与单个神经元比较。

    与学习特征的评测

    • Paulo等(2025a)报告学习特征的可解释性得分高于单个神经元;Paulo等(2025b)报告transcoder高于SAE。作者称本文是在解释这一差距,而不是消除它。
    • Kantamneni等(2025)报告SAE在113个稀疏探测任务上不优于逻辑回归基线。Karvonen等(2025)给出SAEBench。论文称归因图设定下的比较见于Arora等(2026)。

    伪影与本文基线

    • Gurnee等(2023)显示概念常可从少量神经元读出。Dreyer等(2024)、Kopf等(2025)、Liu等(2026)事后聚类多义神经元;作者称NFT与SNRL是训练时干预。对Chanin等(2025)的分裂与吸收,作者称默认不出现在自己的transcoder里,但第R节干预可以诱导。
    • Paulo与Belrose(2026)报告不同种子的SAE在多数特征上不一致。作者把该分析用于transcoder,并称不稳定集中在非神经元对齐子集。对Lange等(2026)的跨层不忠实,作者称本文支持证据有限。
    • 基线是符号拆分后的top-k神经元,以及recon、skip、rank-1校正。对照词典包括Gemmascope、作者的TopK与JumpReLU、mwhanna、LXTC和mntss。任务包括113个二分类、1500个bigram、FVU与KL、sort eval,以及Pile提示上的归因图。

    作者把本文放在这些工作之后:与MLP对齐且更常跨种子复现的,主要是neuron features;这被用来说明自动可解释性分数为何更高,而不是宣称差距已经消失。

  3. 论文如何解决这个问题?

    neuron feature指encoder与decoder同时对齐同一符号拆分后的MLP神经元。

    作者把符号拆分并top-k稀疏化的门控MLP与transcoder放在同一套encoder/decoder比较里,并把对齐单个神经元的词典项称为neuron features。

    门控神经元的方向

    • 对象是gated MLP。第i个神经元的隐藏激活写成 ai=σ(gi)ui:g_i、u_i分别是gate、up第i行与输入的积。
    • 高激活时近似双线性。u_i>0时有效encoder为Wup加Wgate,u_i<0时为两者之差;decoder为带符号的Wdown。两个有效encoder近似正交。此后每个神经元按符号看成两个特征。
    • 为与transcoder对齐,对符号拆分后的激活做逐层top-k。正文使用的k包括32、64、128,并称k≈50可以把连续激活变成开/关;第5节建议比较时用大约64。
    • 没有post-feedforward LayerNorm的模型,激活幅度随层上升,所以按层取阈值,而不是全模型共用一个绝对阈值。

    操作定义

    • 定量标准:特征的encoder和decoder,与同一神经元的有效encoder、decoder的余弦相似度都超过阈值。Figure 1使用大于0.7。正文称分开簇与主体的阈值在不同transcoder上为0.6到0.9,后文主张用0.6或0.7。
    • 作者还用激活模式、最高和最低logits、电路角色描述这种对应;占比统计主要靠权重余弦。
    • 早期层占比依赖初始化与训练动态。作者给出一种可能原因:早期MLP神经元更多义,目标更不容易把它们选成特征。

    忠实性与稳定性怎么量

    • 重构用FVU,即归一化L2、未解释方差比例。替换用替换模型相对原模型的KL,以及top-1准确率。归因图用Replacement Score。
    • 每个特征对Jacobian的贡献是decoder与有效encoder的秩1外积,再乘该token上的激活导数;活跃特征求和得到transcoder的Jacobian。对齐是与MLP Jacobian的Frobenius余弦相似度。
    • 跨种子:只改初始化种子。若另一跑次存在encoder与decoder余弦都大于0.7的对应特征,则计为复现。
    • 相对初始化:保存step 0的随机权重,比较训练后encoder与初始encoder的余弦。TopK与JumpReLU的encoder初始化尺度不同,附录A写出这一差异。

    训练与两种干预

    • 作者的TopK用Dion,学习率取10的负2次方;NFT与SNRL取5乘10的负3次方。k从256退火到32,退火在第1500到10000步,共15000步。batch为256,序列长128,数据为SmolLM2。
    • JumpReLU用另一代码库,学习率2乘10的负4次方,稀疏系数10,训练token数为4乘10的8次方。稀疏项是带decoder范数权重的tanh损失。
    • 神经元初始化(NI):encoder行设为随机符号的gate与up之和或之差,加10%高斯噪声,decoder置零,其余训练不变。
    • NFT给每个神经元G=16个子特征,只有父神经元处于其top-K时子特征才能进入最终选择,再取r=4。SNRL把每个特征的encoder和decoder拉向最多4个神经元方向的稀疏重构,系数λ=0.05。
    • 神经元替换模型在剪枝输出上训练线性映射,可选skip,以及按符号门控的rank-1项。损失是逐层FVU加KL,在FineWeb上训练10000步。优化器细节在附录A。

    评测协议

    • 稀疏探测沿Kantamneni等(2025):按训练组平均激活差选特征,再做L1逻辑回归,k取1、2、4、8、16、32。bigram探测在FineWeb上构造正例与缺词负例,并检查被选特征的最大激活例子是否含目标短语。
    • sort eval沿Lindsey等(2024)。Claude Haiku 4.5看两组各10段、最多40个token的上下文,判断留出样本属于哪一组。每种配置500次。缓存来自10M token的SmolLM2。
    • 归因图把神经元激活当作特征基,使用RelP与circuit-tracer。附录J用encoder和decoder余弦都大于0.6来标注图中的neuron features。
  4. 论文做了哪些实验?

    作者称晚期层里neuron features贡献大量激活,但占比随模型和transcoder变化。

    实验设置

    • 模型:Gemma 2 2B,Gemma 3 1B、4B、12B、27B与27B-it,Qwen3 0.6B,Qwen 3 1.7B、4B、8B、14B,Llama 3.2 1B,Llama 3.1 8B,Gemma 4 26B-A4B,Qwen 3.5 35B-A3B。附录N另用Qwen3-Coder-Next-Base。都是门控MLP。
    • 词典与基线:Table 4的13个开源transcoder,含Gemmascope、mwhanna、LXTC和mntss跨层;作者另训TopK与JumpReLU。神经元基线是符号拆分后的逐层top-k,可加线性重构、skip和rank-1。
    • 指标:FVU、KL、Replacement Score、稀疏探测AUC、sort eval准确率、Jacobian的Frobenius余弦、neuron feature在词典和激活中的占比。
    • 评审与次数:sort eval和distress过滤用Claude Haiku 4.5;聚类判别用Claude Sonnet 4.6。sort eval每种配置500次。宽度扫描每个格子n=2个种子。论文未给全部实验一个统一重复次数。
    • 数据:113个二分类任务;1,500个FineWeb短语bigram;替换评测用FineWeb;训练和sort eval缓存用SmolLM2。归因图来自过滤后的Pile-10k提示,每套最多200张,Gemma 3 27B与Qwen 3 14B为90张。
    • 阈值:Table 4与附录J用encoder、decoder余弦都大于0.6;Figure 1与部分主张用0.7。

    主结果

    下表据Table 4:FineWeb,层深66%,余弦阈值0.6。省略GS-big(1B、4B)、Gemma 3 12B GS-small、Qwen 3 4B与8B、LXTC-32x。激活占比最低的一行已列入。

    模型与transcoder词典中NF激活中NF
    Gemma 3 1B GS-small5.9%57.9%
    Gemma 3 4B GS-small8.9%63.8%
    Gemma 3 27B GS-small37.1%82.8%
    Qwen 3 1.7B mwhanna4.5%47.1%
    Qwen 3 14B mwhanna11.8%57.7%
    Llama 3.1 8B LXTC-8x39.4%64.9%
    Llama 3.2 1B mntss(跨层)13.0%38.0%
    Gemma 2 2B mntss(跨层)28.7%49.3%
    • 作者在Figure 1称晚期层超过50%的激活来自neuron features。表中有低于50%的行,包括Qwen 3 1.7B和两个跨层transcoder。作者称在Qwen上这一说法并不严格成立,并称那些transcoder较弱。
    • 作者称neuron features在词典中仍是少数,但激活更频繁,所以激活份额更高。Figure 6在Gemma 3 4B、Gemmascope small、L22标注:NF平均频率1.2e-03,非NF为7.2e-05,标题写16.9倍。
    • 作者称扣掉neuron features之后,其余词典项跨种子变化更大,对不上MLP的Jacobian,相对初始化的移动也更小。

    替换、重构与概念探测

    • 作者复现未校正剪枝神经元在Gemma 3 4B上KL高、FVU高于1。加上作用在剪枝输出上的线性映射后,KL低于transcoder,FVU仍更高。skip和rank-1降低FVU,但不降低KL(Figure 3a)。附录A称这一KL模式在多个模型上重复。Figure 12没有可摘的端点数字。
    • Table 5在八个模型、k=1、113个任务上,神经元平均AUC都不低于transcoder。例如Gemma 2 2B为0.851对0.780(Δ +0.071±0.012),Llama 3.1 8B为0.856对0.845(Δ +0.011±0.007)。Table 6按层取峰值后,k=1时神经元胜出任务数仍更多,Gemma 2 2B为87对8,平局18。
    • Table 7的top-1命中:Gemma 3 4B上Gemmascope为75.6%,符号拆分神经元为0.0%;Qwen 3 4B的Matryoshka TopK为21.7%,神经元0.6%,普通TopK为2.6%。Gemma 4 26B-A4B的路由专家神经元为20.1%,不限路由的神经元为0.9%。作者称神经元在该扩展集上的平均AUC为0.988,因此单凭AUC难以判断是否找到了神经元没有的bigram。sort eval上,作者称分布顶端两者相当,分位数采样下神经元得分下降更明显(Figure 3b);论文未给出各点读数。

    对齐、跨种子与初始化

    • 作者称Gemma 3 4B L22上,全体特征与MLP的Jacobian对齐≈0.3,只加总neuron features也能达到这一水平,非对齐子集≈0.05(Figure 8正文)。Figure 7上,晚期层的top-k神经元不经学习校正,也对得上或超过完整transcoder。两个开源跨层transcoder上,跨层decoder用量与最近神经元的对齐呈负相关,Pearson ρ从−0.59到−0.93(附录Q)。作者称这提示跨层连接并不忠实,并称证据是初步的。
    • Table 1是Gemma 3 4B L22、TopK、k=64。作者称对多数配置,跨种子共享的特征有超过50%的可能是neuron feature。1M宽的共享特征为22.0k,作者把它和按符号计的20,480个神经元相比。JumpReLU在262k宽有13k个neuron features和67k个跨种子稳定特征;作者称其中有大量并非neuron feature的复现项,且未给出机制说明(附录D.3)。
    • TopK流水线中,非neuron features与初始化encoder的余弦中位数为+0.48,neuron features为0.03(Figure 9;262k,k=64,15000步)。NI在同模型L22、256k宽把encoder相似度大于0.5的占比从11%提到92%,decoder侧从12%到93%,对齐特征占激活质量从65%到95%。

    电路与案例

    • 附录J:除Llama 3.2 1B mntss外,晚期三分之一层里neuron features占节点至少40%。Table 12中Gemma 3 4B small的晚期层,在每token保留L0=10、25、100时为60±1、56±1、60±1。早期层不超过33%,更紧的剪枝下进一步下降。Figure 15图例标注神经元(RelP,k=128)0.64、TopK(k=64)0.55、Gemmascope L0-small 0.56、L0-big 0.74。作者称在L0为10到100时,Gemmascope而不是TopK的Replacement Score高于稀疏化MLP;完整MLP在极限处为1.0。
    • 换行:Gemma 3 4B L20、Gemmascope L0-small,8个干净峰形特征里7个跟踪单个神经元的字符位置曲线;另有1个只在曲线上相似、权重不对齐(Figure 10)。
    • 算术:Llama-3.1-8B第18层,三个词典选出50、48、87个写入子空间的特征。消融全部87个,加法准确率从94.3%降到30.6%;把28个神经元置零则从94.3%降到23.6%。high特征单独降到75.2%;作者称mid特征在转向强度1到4没有可注意到的效果(附录K)。附录L的distress转向后,分数从5.1降到3.9,评分不低于5的比例从66%降到31%;TruthfulQA与MMLU到小数点后三位不变。

    其他消融与分析

    • Table 10,Gemma 3 4B L22,|cos|≥0.7:被匹配神经元在32k、256k、1M为78.3%、93.3%、93.0%。
    • Table 14,同层作者TopK:k=64的FVU为0.166、KL为0.77;NI且k=32的FVU为0.209、KL为1.16。论文注明该表FVU与Gemmascope的重构目标不同。
    • Table 13吸收率p1(神经元top-K=128):Baseline k=32为0.64,NI为0.66,SNRL为0.71,NFT为1.00,Gemmascope L0-small为0.63。
    • Table 15:k-means(K=16)的top-neuron匹配准确率为0.764±0.027,NFT为0.598±0.033。
    • 附录O,Qwen 3.5 35B-A3B第26层、TopK k=32:NF占词典在随机初始化为15.8%,NI为30.7%;被表示的神经元为25.6%与44.0%。
    • 所测设置下NFT把FVU提高0.026;SNRL的FVU比基线高0.018,其KL为1.38,同表基线k=32的KL为1.29。
  5. 有什么可以进一步探索的点?

    作者写明结果限于基座与英文数据、稠密逐层transcoder,且只分析高幅度单token激活。

    作者指出的局限与后续方向

    • 结果限于基座模型,且大多使用英文数据(第6节)。
    • 13个transcoder覆盖1B–27B,但是稠密模型上的逐层transcoder。MoE与跨层只是初步结果,作者称需要发展能用于MoE的技术(第6节)。
    • 只刻画稀疏、高幅度、单token激活;低激活和跨多个token的机制超出本文范围(第6节)。
    • 只研究两个代码库中的Top-k与JumpReLU。占比依赖架构和0.6、0.7或0.9的阈值;作者称没有对架构因素给出完整解释,也未量化接近neuron feature、更像神经元稀疏组合的特征(第6节)。
    • 跨层分析只用两个窄模型;忠实性只做一阶Jacobian,未做干预,也未扩到非JumpReLU transcoder(第6节)。
    • 没有系统人工评估,定量可解释性都用自动指标。作者称稀疏探测可能选到只与目标变量相关、最高激活却是另一概念的特征。Discussion还称,对bigram和颜色这类不在原基中的特征是否真由原模型表示仍不确定(第6节、Discussion)。

    实验覆盖范围

    • 开源transcoder为13个,模型族包括Gemma、Qwen、Llama;作者另训练TopK与JumpReLU,宽度扫到1M,种子扫描的格子为n=2(Table 4、附录A、D.3)。
    • 稀疏探测使用113个二分类任务;bigram任务为1,500个FineWeb短语,并检查top-1最大激活例子是否含目标短语(附录B、Table 7)。
    • 替换与重构在FineWeb上报告FVU和KL。sort eval每种配置500次,评审为Claude Haiku 4.5。归因图每套最多200张,其中Gemma 3 27B与Qwen 3 14B为90张(附录B.3、J.1)。
    • 论文写明未做系统人工评估。聚类sort eval的评审是Claude Sonnet 4.6(附录B.4)。distress过滤同样使用Claude Haiku 4.5(附录L)。
    • 论文未在正文给出Figure 3b各采样设置的准确率读数;Figure 12的逐模型曲线也没有可摘的端点数字。
  6. 总结一下论文的主要内容

    作者称稀疏化神经元更能做替换,而transcoder的晚期激活多来自neuron features。

    作者比较稀疏化的门控MLP神经元与transcoder,追问后者对电路分析的额外贡献。

    多义性被当作直接分析MLP的障碍,归因图因而建在学习词典上。Arora等与Ye等的结果使是否必须换掉神经元成为问题。作者把与单个神经元强对齐的词典项定义为neuron features。

    做法是把每个门控神经元按激活符号拆成一条有效encoder和一条decoder,再做逐层top-k。特征若在两侧都超过余弦阈值,就记为neuron feature。随后比较Jacobian、跨种子复现和相对初始化的移动。

    作者报告的主要结果:

    • 线性校正后,剪枝神经元的替换KL低于transcoder,FVU仍更高。
    • Table 4在FineWeb、66%层深、余弦大于0.6:Gemma 3 27B GS-small的激活中NF占82.8%,Llama 3.2 1B跨层transcoder为38.0%。
    • 1500个bigram上,Gemmascope的top-1命中75.6%,同设置神经元为0.0%(Table 7)。
    • Gemma 3 4B L22上,全体特征的Jacobian对齐≈0.3,非neuron features≈0.05。
    • 消融87个加法相关特征后,加法准确率从94.3%降到30.6%(附录K)。

    作者的结论是:neuron features可能是transcoder里与MLP一致的主要结构;非神经元部分对一阶计算贡献小,且更依赖种子。作者建议宽度扩张低于4倍时不要用transcoder,并称对MoE这实际上意味着不用。与神经元基线比较时,作者建议用大约64的TopK,并把正负激活当成不同单元。

阅读原文arxiv.org