Goodfire 在 Llama 3.1 8B 中发现通用加法模块

Goodfire Research 在 Llama 3.1 8B 第 18 层发现一个通用加法模块，可同时处理算术、星期与月份等具有加法结构的任务。该模块把数字表示为激活空间中的一组圆，每个圆对应数字对某一模数的余数，类似傅里叶分解；计算 6+8 时，模块并行求解各模数下的加法，再组合出结果 14。研究者通过追踪跨层与跨 token 位置的信息流定位该模块，并用因果方法验证其跨任务通用性；同时沿这些圆进行引导可改变模型对月份问题的回答，说明这些流形是网络真实使用的计算对象。作者指出，这一发现依赖此前关于 LLM 用傅里叶特征表示数字的工作，并希望未来研究补全经验证据。