研究揭示 Transformer 中影响超常的削弱型神经元

研究者提出一种分析 GLU 神经元输入输出行为的方法，通过计算每个神经元读写权重向量的余弦相似度，将强负相似度的神经元称为削弱型神经元，即削弱其在残差流中检测到的方向。研究发现，九个不同大语言模型呈现相似模式：削弱型神经元主要出现在后层，而条件强化型神经元多见于早中期层。削弱型神经元数量虽少，却激活频繁且对模型行为影响很大。当门控值为负时，削弱型神经元对模型输出有强烈影响，而负门控值此前被认为不编码功能。该工作已被 EMNLP 2026 接收，取代 arXiv:2505.17936。