Goodfire 发现语言模型中的神经元社区
Discovering Neuron Communities in Language Models
AI 导读
Goodfire Research 报告一种无监督方法,在 Llama-3.1-8B 上用 1000 万条提示自动发现协同实现模型行为的小型神经元社区,这类社区常少于十个神经元。方法先用基于梯度的归因找出驱动各预测的神经元,把反复共同驱动同一预测的神经元连成图,再用社区检测分组,并在留出提示上检验必要性与充分性。案例中,跨六层的六个神经元在以 an 结尾的提示上支持元音开头的预测,移除它们会使预测转向辅音开头的词,保留它们并移除这六层其余 MLP 神经元则大体保持原预测。其余社区涵盖 there 之后 is/are 的语法选择、检索与计算、主题、格式、常用短语和 token 抑制,方法也在 Qwen 3.6 35B-A3B 上复现。作者说明充分性仅限于含社区神经元的层,社区具体如何计算、如何与模型其余部分交互仍未解释。
推荐理由
Goodfire 无需预设功能即可在 Llama-3.1-8B 中发现常不足十个神经元的社区,为研究模型内部计算的组织方式提供可规模化的切入点。
相关论文