论文将 LLM 数学应用题求解拆为四阶段并定位干扰致错的机制脆弱点
A Four-Stage Decomposition of Word-Problem Solving and Mechanistic Fragility in LLM Math Reasoning
AI 导读
论文提出大语言模型解小学数学应用题时内部计算可分解为四阶段串行流水线：Schema Abstraction、Operation Planning、Operand Binding 和 Computation，每个阶段在可识别的层区间内产生不同的中间表示。作者用同一框架诊断无关干扰句导致的失败，将错误定位到单一阶段 Operation Planning，并指出该阶段由一组注意力头实现，其因果作用经双向验证。研究给出了 LLM 数学应用题推理及其受干扰时失败的机制解释。