跳到正文
原文

大规模神经元社区发现揭示 LLM 中的神经元稀疏行为

Large-scale Neuron Community Discovery Reveals Neuron-Sparse Behaviors in Language Models

arXiv· arXiv:2611.23112· Igor Shilov, Thomas Fel, Tal Haklay, Lucius Bushnaq, Owen Lewis·本站收录· 2 天前· 原文发表对齐· 扫描记录里的位置 →
AI 导读

研究者提出无监督的神经元社区发现方法,寻找跨提示复用、在其所跨层内对常见计算因果必要且充分的神经元组。方法结合梯度归因、连接反复共同归因神经元的图与社区检测,在 Llama-3.1-8B 上用 1000 万条提示发现数千个候选社区,并以社区必要性、层子集内充分性和层必要性三项因果检验在留出提示上评估。发现的社区支持语法一致、token 概率校准、固定短语、上下文复制、加法和乘法等功能。社区跨所有层上限 128 个神经元时,10.3% 的留出提示至少有一层的贡献得到神经元稀疏解释;要求至少四层时覆盖率为 8.7%,至少十二层时为 3.3%。结果表明少量现有神经元组成的小组可充当跨提示复用的计算组件,且能被大规模发现。

阅读原文arxiv.org