论文将 LLM 数学应用题求解拆为四阶段并定位干扰致错的机制脆弱点

大语言模型解小学数学应用题时，内部计算是否按固定阶段组织，以及插入一句不相关的 NoOp 从句后失败落在哪一阶段。

• 场景：作者对照两条相反观察。Mirzadeh et al. (2025) 报告，在小学应用题中插入一句不增加计算信息的 NoOp 从句，准确率最多可降 65%，并认为这更接近表面模式匹配。Cheng et al. (2025) 则报告先抽象、后计算的两阶段流水线。
• 现有不足：干扰项研究停在行为层面，没有把失败定位到模型内部模块。Cheng et al. (2025) 用的是受限词汇的合成单步题，且只在直接提示、关闭 Chain-of-Thought 的设置下，并且关注成功求解而非脆弱性。
• 核心假设：作者把两阶段观点细化为四阶段：Schema Abstraction、Operation Planning、Operand Binding 和 Computation。每一阶段在残差流中产生不同的中间表示，且可以独立失败；任一阶段的错误会传播并导致错误答案。
• 提出的内容：作者称三种方法收敛到同一分解；再用这个框架把 NoOp 失败定位到 Operation Planning，并用一组注意力头的双向缩放做因果验证。作者还报告一个无训练的全局标量，可拉回 0.51 的 NoOp 失败。

干扰项与脆弱性

• Mirzadeh et al. (2025)：提出 GSM-Symbolic，用模板重新实例化 GSM8K（Cobbe et al., 2021），并报告插入 NoOp 从句后准确率最多降 65%，认为模型更接近模式匹配而非真正推理。作者指出，这一线停在行为层面，没有把失败定位到内部计算。
• Shi et al. (2023)、Li et al. (2024)、Yang et al. (2025)：通过向 GSM8K 注入计算上无关的文本来检查数学推理鲁棒性。作者称这些批评在行为层面一致，但同样没有做内部定位。
• Han et al. (2026)：与本文同期，分析模型对保持语义的扰动的敏感性，并提出按架构划分的失败模式分类。作者称它刻画不同架构上脆弱性的差异，而本文把失败定位到模型内部。

数学求解的机制账户

• Gurnee and Tegmark (2024)、Wang et al. (2022)、Stolfo et al. (2023)：分别研究属性表示、实体绑定和算术计算。作者称它们各自考察一种技能，没有分析这些技能如何组成完整解答。
• Cheng et al. (2025)：识别先抽象、后计算的两阶段机制，并定位抽象与算术所在的层。作者指出其限于合成单步题、直接提示，且不分析脆弱性。
• Kintsch and Greeno (1985)、Hegarty et al. (1995)：认知科学帐户通常区分三到四种认知操作：把叙事解析成情境模型、选择解法、执行计算。作者称四阶段假设受这一分类启发。

机制可解释方法

• 线性探针：Alain and Bengio (2016)、Conneau et al. (2018) 在残差激活上训练线性回归，检查目标特征是否线性可解码。作者引用 Elhage et al. (2021, 2022)，说明注意力、MLP 的输入投影和 unembedding 都线性读取残差流，探针下降表示特征离开了该位置的线性可访问表示。
• 激活补丁：Vig et al. (2020)、Meng et al. (2022) 用供体激活替换目标残差并测量输出变化，不假设线性。
• Direct Logit Attribution：Wang et al. (2022) 把各组件输出投影到目标 token 的 unembedding 方向，区分写向该 token 与写离该 token 的组件。

基线与数据集：机制实验的对照是带外随机头，而不是另一套攻击或防御方法。数据集来自 Mirzadeh et al. (2025) 的 GSM-Symbolic 与 GSM-P1，作者自建 GSM-NoOp、GSM-Filler、GSM-Filler-DF 和 padded-Symbolic；跨域探针用 SVAMP（Patel et al., 2021）和 PhantomWiki（Gong et al., 2025）。

作者把本文定位为：在真实多步 GSM8K 风格题上，于直接提示和 CoT 两种设置下给出四阶段流水线，并标出对 NoOp 失败有因果责任的模块。

作者在 Llama-3.3-70B-Instruct（80 层）的答案前缀位置残差上，把应用题求解拆成四个依次产生中间表示的阶段，再用同一框架诊断 NoOp 失败。

问题设定与四阶段

• 读出位置：取模型发出最终数字答案之前那个 token 的残差流。提示词要求模型在 #### 之后写出整数答案；直接提示要求不展示推理，CoT 则要求逐步思考。
• 四个阶段：Schema Abstraction 去掉表面叙事、保留关系；Operation Planning 形成运算计划；Operand Binding 把题面数值绑进计划；Computation 计算并读出答案。Figure 1 把 Llama-3.3-70B 的边界标在 L0、L22、L36、L40、L80。
• 边界判据：层间余弦相似度下降 ≥ 0.025 且 z ≥ 3。同模板对共享题目大纲，跨模板对不共享。

相似度与线性探针

• 探针目标：在同一答案前缀位置，逐层训练四类二分类线性探针：表面实体名、运算符、作为操作数的数字 token、标准最终答案。训练与测试按模板互斥划分。
• 边界解读：L22 实体不再可解，对应 Schema Abstraction；L40 操作数进入残差，对应 Operand Binding；L80 最终答案出现，对应 Computation。L36 的跨模板相似度也下降，但直接探针没有可解读的变化；作者称完整运算计划没有客观标签，因果补丁用来补上这一阶段。

两类跨提示词补丁

• Operation Planning：在 padded-Symbolic 与 GSM-P1 上做。两者叙事、操作数和 token 长度匹配，差在多一步运算。问题跨补丁替换 P1 每个题面 token 的残差，再让模型自由生成 CoT；注入 CoT 末尾补丁只替换该轨迹最后一个 token。归一化效应 ρ=(ℓ^∗_tgt−ℓ_tgt)/(ℓ_src−ℓ_tgt)，ρ=0 表示无迁移，ρ=1 表示完全迁移。前者读 log P(标准答案)，后者读 log P(####)。
• Operand Binding：在同一模板、长度匹配、只有操作数不同的题对上做。CoT 下替换整个题面跨；直接提示下只替换答案前缀位置，并把效应分成 attention 与 MLP。

NoOp 失败的头级定位

• 阶段定位：在 Filler 正确、NoOp 错误的配对上，用 Filler 的题面残差覆盖 NoOp，看效应是否在 L36 前消失。
• 锚点 DLA：目标 token t☆ 是模型自己的 CoT 第一次用到只出现在干扰项中的数字时，该句的第一个 token；读出位置 r 是 t☆ 之前一格。每个头的分数只累计它通过对 NoOp 从句的注意力写向 log P(t☆) 的部分。附录给出完整公式。
• 头集与缩放：在 L23–L36 内，DLA 小于 −10⁻⁴ 的头为反向集 H−，大于 +10⁻⁴ 的为正向集 H+，并集为 H。每个头的输出乘以全局标量 α：α=1 为原模型，α=0 消融，α=2 加倍。对照是从 L23–L36 之外抽取、规模匹配的随机头。
• 失败分类：消融后抽取推理轨迹，两名标注者只看题目和轨迹、不知道关掉了哪些头。只有两人都标为“读对题但用错或漏掉运算”才计 Operation Planning 失败。

实验设置

• 模型：主模型 Llama-3.3-70B-Instruct（80 层）；附录 F 用 Qwen-2.5-14B-Instruct 和 Gemma-2-9B-it 做复现。
• 数据：GSM-Symbolic、GSM-P1 来自 Mirzadeh et al. (2025)。原 NoOp 数据未发布，作者用人机协作重建 GSM-NoOp，并构造长度匹配的 GSM-Filler、去掉从句数字的 GSM-Filler-DF，以及与 P1 额外从句等长的 padded-Symbolic。跨域探针用 SVAMP 与 PhantomWiki。各集规模见 Table 4 的模板数与每模板实例数。
• 指标：先对每个模板的实例取均值，再对模板取均值；置信区间是以模板为重抽样单位的 95% 自助法区间。补丁用归一化效应 ρ，探针用准确率。
• 主要子集：直接提示下模型做对的 GSM-Symbolic 为 n=1,200、75 个模板；Stage 2 补丁为两侧都正确的 n=3,763、87 个模板；操作数绑定的问题跨补丁 n=1,387、99 个模板，答案前缀补丁 n=333、50 个模板；Filler 正确、NoOp 错误为 n=346、25 个模板；DLA 用主动使用干扰项数字的 NoOp-wrong，n=720、37 个模板。
• 干预：Symbolic-correct 上消融 n=4,752、100 个模板；失败分类每组头抽取 60 条轨迹，两名标注者独立标注，只有一致才计入。论文未报告标注者一致率。

主结果

据 Table 1–3，Llama-3.3-70B 上对规划头的双向缩放：

Swipe horizontally to read the table

头集	规模	消融后 Symbolic-correct	放大后 NoOp-wrong	诱导失败中的规划失败比例
H−	134	0.47 ± 0.04	0.51 ± 0.06	未报告
H+	163	0.06 ± 0.01	0.33 ± 0.06	未报告
H	297	0.02 ± 0.01	0.45 ± 0.07	0.91
Random-135	135	0.98 ± 0.01	0.19 ± 0.05	未报告
Random-297	297	0.98 ± 0.01	未报告	0.10

• 作者称：消融前 Symbolic-correct 的正确率按构造为 1，放大前 NoOp-wrong 的正确率按构造为 0。H 相对随机头使正确率下降数个数量级，损失差距约 10–20σ。
• 作者称：放大 H− 相对带外随机头的 0.19 有约 4σ 的差距；放大 H+ 到 0.33，约 2σ。H+ 单独消融对清洁求解的损伤是 H− 的 7–8 倍。
• 作者认为：单一全局标量拉回一半失败并不是修复上限；它把失败放在这些头上，并表明那里存在一个无训练的杠杆。摘要写的是拉回 0.51 的 NoOp 失败，与 Table 2 中 H− 的 0.51 ± 0.06 一致。

四阶段边界

• 测了什么：在直接提示、模型做对的 GSM-Symbolic 上，比较同模板与跨模板的答案前缀余弦相似度，并训练四类 token 存在性探针（Figure 2）。
• 结果：相似度在 L22、L36、L40、L80 出现下降。实体探针从 0.78 降到机会水平 0.53；数字 token 在 L40 升到 0.77；最终答案从 L40 的机会水平升到 L80 的 0.93。图上还标出跨模板相似度 0.80、0.36、0.11，同模板相似度 0.99、0.95、0.47、0.32，以及运算符探针 0.83、0.76、0.71。
• 作者的解读：两种读出没有共享参数，却在 L22、L40、L80 上一致。L36 的内容由后面的补丁补上。

补丁与 NoOp 定位

• Operation Planning：Figure 4a 中，问题跨补丁效应在 L22 之前为 ρ=1.00，到 L36 降为 0.21。Figure 4b 中，注入 CoT 末尾的效应从 L30 的 0.08 升到 L36 的 0.88，attention 与完整残差同时上升。
• Operand Binding：Figure 5a 中，问题跨效应在 L39 为 0.62，L40 降到 0.26。Figure 5b 中，答案前缀的完整残差从 L39 的 0.12 升到 L40 的 0.48；只补丁 attention 输出在 L40 达到 0.32，随后回到 0，MLP 在 Computation 之前接近 0。作者称这类似 Wang et al. (2022) 的 mover-head 签名。
• NoOp：Figure 6a 中，CoT 问题跨效应在 L22 前保持 1.00，到 L36 降到 0.10。Figure 6b 中，直接提示下完整残差从 L22 附近的接近 0 升到 L36 的 0.52，attention 同步上升。作者称这把腐败放在 Operation Planning，而不是 L22 的抽象或 L40 的操作数绑定。两类头的最高单层集中都在 L36（附录 D、Figure 11）。

其他消融与分析

• 行为基线：Table 4 中 Llama-3.3-70B 的模板级正确率，GSM-Symbolic 直接提示 0.94、CoT 0.95；GSM-P1 分别为 0.89、0.93；GSM-NoOp 为 0.62、0.71；GSM-Filler 为 0.90、0.93；GSM-Filler-DF 为 0.93、0.95；padded-Symbolic 为 0.93、0.95。
• 失败类型：Table 3 中，消融 H 后 0.91 的诱导失败是 Operation Planning 失败；消融带外规模匹配随机头后该比例为 0.10，其余为误读和算术错误。附录 E 用一道例题对比这两种轨迹。
• 跨模型：Table 7 中，消融后 Gemma 的 H−、H+、随机头正确率为 0.27±0.06、0.00±0.01、0.82±0.05；Qwen 为 0.00±0.00、0.23±0.07、0.91±0.03。头数分别为 Gemma/Qwen：H− 为 74/122，H+ 为 134/118。
• 跨模型放大：Table 8 中，Gemma 的 H−、H+、随机头为 0.31±0.08、0.37±0.10、0.22±0.07；Qwen 为 0.26±0.09、0.24±0.09、0.21±0.08。聚合限于至少有 5 对 NoOp-wrong 的模板。
• SVAMP：直接提示下模型做对的子集 n=861。作者称四个签名都出现，但层索引沿用 GSM-Symbolic 上的值，没有在 SVAMP 上重估。
• PhantomWiki：正确题 n=4,672。关系词在 L22 可解码性为 0.98，L40 仍为 0.96；链上名字的探针在 L38 前为 0.50–0.53，L39 升到 0.59，L80 为 0.66；答案实体到 L80 才饱和到 1.00。作者称这是概念性证明，操作数绑定与计算在检索任务上压缩成同一级联，不是完整复现。

作者指出的局限与后续方向

• 任务范围：Limitations 称分析集中于数学应用题推理，以及 GSM 风格任务上由干扰项引起的失败。
• 跨任务深度：同一节称，§5 和附录 G 的迁移只是探针级复现，不是正文那一套探针、补丁和因果干预；把其他任务的流水线做到同样深度仍是开放问题。
• 修复：Limitations 称，§6 的放大结果标出了修复位置，把它变成有针对性、可部署的干预是后续工作。

实验覆盖范围

• 主分析：四阶段边界、NoOp 补丁和头级缩放的主结果在 Llama-3.3-70B-Instruct 上；Qwen-2.5-14B-Instruct 与 Gemma-2-9B-it 的结果在附录 F 的 Table 7、8。
• 提示与数据：主文比较直接提示与 CoT；数据集为 GSM-Symbolic、GSM-P1、GSM-NoOp、GSM-Filler、GSM-Filler-DF、padded-Symbolic，另有 SVAMP 与 PhantomWiki 的探针。
• 因果对照：头级干预的对照是 L23–L36 之外、规模匹配的随机头；消融用 α=0，放大用 α=2。
• 人工标注：失败分类每组抽 60 条，由两名不看到头集的标注者独立判断；论文未报告一致率。
• 跨任务：SVAMP 沿用 GSM-Symbolic 的层索引；PhantomWiki 只报告探针读出，作者在附录 G 把它称为概念性证明而非完整复现。

Llama-3.3-70B 解 GSM 风格应用题时，残差流依次经过抽象、规划运算、绑定操作数和计算四个阶段；NoOp 干扰项主要损坏第二阶段。

• 问题：行为上，一句无关从句能使准确率下降；机制上，既有工作认为模型先抽象再计算。作者要把两者放进同一条流水线，并指出失败的那一段。
• 方法：在答案前缀位置，用层间余弦相似度、四类线性探针和跨提示词激活补丁划边界。再用以干扰项句首为锚点的按头 DLA 找到 L23–L36 内的正向头 H+ 与反向头 H−，用 α=0 与 α=2 做双向检查。
• 边界：在模型做对的 GSM-Symbolic 上，实体探针在 L22 从 0.78 降到 0.53，数字 token 在 L40 升到 0.77，最终答案在 L80 为 0.93。运算规划的问题跨补丁效应在 L36 降到 0.21，注入 CoT 末尾的提交就绪度升到 0.88。
• NoOp：用 Filler 的题面表示补丁 NoOp，CoT 下效应在 L36 降到 0.10。在 Symbolic-correct 上消融全部 297 个头，正确率从 1 降到 0.02；在 NoOp-wrong 上把 H− 放大一倍，正确率从 0 升到 0.51。消融 H 产生的失败中，0.91 被两名标注者一致判为规划失败，随机头为 0.10。
• 作者的结论：作者认为，干扰项失败来自中间阶段 Operation Planning 的局部腐败，而不是整体推理崩溃；这一分解把 Cheng et al. (2025) 的两阶段账户细化为四阶段，并从合成单步直接提示扩到多步 CoT。作者计划发布代码与数据集。