大语言模型用三角函数做加法
Language Models Use Trigonometry to Do Addition
Quick read
Based on 论文全文 （AI 生成）; refer to the original
MIT 研究者用机制可解释性方法逆向分析了 GPT-J、Pythia-6.9B 与 Llama3.1-8B 如何计算加法，发现这些模型把数字表示为广义螺旋，并以 Clock 算法旋转 a、b 的螺旋得到 a+b 的结果螺旋。
- LLM 在数学推理上表现不错，但人们不清楚它们如何处理哪怕简单的加法。理解这一点对 LLM 的可靠性、可解释性和对齐很重要。
- 对 GPT-J、Pythia-6.9B、Llama3.1-8B 做机制可解释性逆向工程：用 PCA 与傅里叶分析刻画数字表示，提出广义 helix 参数化，并用 activation/path patching 等因果干预验证。
- 三个模型都把数字表示为 helix，并用 Clock 算法算加法：注意力头把 a、b 的 helix 移到末 token，MLP 14-18 构造 a+b helix，MLP 19-27 读出答案。helix 拟合在因果干预中常优于 PCA 基线，神经元预激活也可用 helix 建模。
- 作者未分离出从 helix(a,b) 构造 helix(a+b) 的具体机制，猜测可能用三角恒等式；Llama3.1-8B 的 helix(a+b) 因果性较弱，可能用了不同算法；helix 在部分其他数值任务上不如 PCA，说明还有额外结构。
MIT 研究者用机制可解释性方法逆向分析了 GPT-J、Pythia-6.9B 与 Llama3.1-8B 如何计算加法，发现这些模型把数字表示为广义螺旋，并以 Clock 算法旋转 a、b 的螺旋得到 a+b 的结果螺旋。研究在 a,b 取 0 到 99 的 10000 道加法题上测试，三个模型准确率分别为 80.5%、77.2% 和 98.0%。作者用激活修补、路径修补和神经元拟合提供因果证据，螺旋拟合在多数设置下优于 PCA 基线；在 GPT-J 中进一步定位出搬运 a、b 螺旋的注意力头、构建 a+b 螺旋的 MLP 14-18，以及向 logits 输出答案的 MLP 19-27。作者指出，模型具体如何由 a、b 螺旋算出 a+b 螺旋仍未确定，Llama3.1-8B 的 a+b 螺旋因果性弱于另两个模型。
Why it was selected论文用激活修补、路径修补与神经元拟合，给出 LLM 计算加法的表示层面解释，可作为研究其他算术能力的可迁移方法。