叠加机制的涌现：揭示连续思维链的训练动力学

梯度方法能否自然学到连续思维链中的叠加（superposition），是本文要回答的问题。

• 场景：作者称长离散思维链成本高，因而把推理轨迹留在连续潜空间。Zhu et al. (2025) 把一类推理写成有向图可达性，并给出两层 transformer 的参数构造，用 O(n) 步连续思维维持多条搜索轨迹的叠加。n 是顶点数。
• 缺口：该构造没有分析梯度训练会不会到达这个解。作者对照 Tian et al. (2023a)、Nichani et al. (2024a)、Nguyen 与 Nguyen-Tang (2025)：那些无连续思维的分析里，logit 对数增长，因而不受上界约束。
• 假设：每个样本只演示一条最短路时，叠加仍可能出现。作者把它与 index-matching logit 联系起来。该量衡量局部搜索强度：太小则几乎不能利用局部结构，太大则可能只按入度等局部特征押一条轨迹。
• 本文：在简化两层 transformer 上分析思维生成与答案预测两阶段的梯度流，并在实验中跟踪 logit。作者称，在其 mild assumptions 下该 logit 先升后保持有界，从而给多条局部可行轨迹可比权重，形成叠加。

相关工作按第 1.1 节分成三组。实验对照是两种连续思维损失，数据来自 ProsQA。

文本思维链

• Wei et al. (2022) 用 chain-of-thought 做测试时扩展。Khot et al. (2022)、Zhou et al. (2022) 只靠提示；Yue et al. (2023)、Yu et al. (2023)、Wang et al. (2023a)、Shao et al. (2024) 把思维链写进训练样本。
• Liu et al. (2022)、Feng et al. (2023)、Merrill 与 Sabharwal (2023)、Li et al. (2024b) 讨论思维链与 transformer 表达力。Zhu et al. (2024) 用训练动力学看两跳推理中思维链的作用。Wen et al. (2024)、Kim 与 Suzuki (2024) 研究训练数据中的思维链与样本效率。

潜空间推理

• Goyal et al. (2023) 使用可学习的 pause token。论文写道，London 与 Kanade (2025) 的理论结果是 pause token 可以严格提高 transformer 的表达力。Pfau et al. (2024) 研究 filler token，Wang et al. (2023b) 使用 planning token，Su et al. (2025) 使用潜空间 abstract token。
• Hao et al. (2024) 提出连续思维链 COCONUT。Zhu et al. (2025) 从表达力分析其优势，并给出图可达性上的参数构造。论文称该构造没有分析梯度训练能否自然到达。

训练动力学

• 论文把 Jelassi et al. (2022) 至 Guo et al. (2024) 列为 transformer 优化分析，没有逐篇展开。
• 另一批工作用训练动力学理解推理模式，论文点名 induction head（Nichani et al., 2024a）、reversal curse（Zhu et al., 2024; Ma et al., 2026）、思维链（Wen et al., 2024; Kim 与 Suzuki, 2024; Huang et al., 2025b）、事实回忆（Nichani et al., 2024b）、两跳推理（Guo et al., 2025; Lin et al., 2025）和上下文外推理（Huang et al., 2025a）。
• 论文明确对照 Tian et al. (2023a)、Nichani et al. (2024a)、Nguyen 与 Nguyen-Tang (2025)：那些设定里注意力 logit 发散，连续思维训练则通常得到有界 logit。

基线与数据

• 实验基线是 COCONUT 损失 Lcoco，以及附录 E.2 的 COCONUT-BFS-exp。理论还对照穷举下一层节点的 COCONUT-BFS。数据是 ProsQA（Hao et al., 2024）中 Zhu et al. (2025) 使用的子集。

作者把本文放在文本思维链之外：思考向量留在连续空间。相对 Zhu et al. (2025) 的表达力构造，本文分析梯度训练如何产生叠加。

整体做法是把 COCONUT 拆成思维生成和答案预测，在简化两层 transformer 上跟踪 index-matching logit。 理论用梯度流；实验用课程学习，细节在第 4 问。

任务、提示与连续思维

• 任务：有向图 G=(V,E)，顶点数 n。固定根 r 和两个候选终点，恰有一个 c* 从 r 可达，另一个 c⊥ 不可达。另固定一条从 r 到 c* 的最短路 p。
• 提示：句首 token、m 条边（源节点、目标节点、边 token）、问句 token、两个候选、推理 token 和根。提示长度 t0=3m+6。位置记号沿用 Zhu et al. (2025)。
• 连续解码：离散思维链先把输出采样成 token 再嵌入；连续思维链直接把 transformer 输出接回序列。C 步后接答案 token，再取与输出内积最大的词表项。
• 课程：阶段 c+1 先自回归生成前 c 个连续思维且不计损失，再监督下一个思维。每个实例只有一条最短路示范。

第二层与局部搜索强度

• 作者不重新推导第一层拷贝，理由是拷贝及其形成已有工作讨论。边 token 的隐状态是源、目标嵌入之和；当前思维被设为 c 步内可达节点嵌入的归一化叠加。
• 假设 1：Et 与 E 相同；Es、Et 在词表上正交归一，且彼此正交。
• 第二层只有注意力。作者用线性注意力，固定 V 为单位阵，把权重写成各顶点项 μv E(v)Es(v) 转置之和，且 μv(0)=0。这个 μ 就是 index-matching logit。
• Remark 1：更一般的权重含 n 乘 n 个交叉项。置换顶点标签可收成两个参数；作者再令非对角项为 0。答案 token 到推理 token 的项留到预测阶段。

两种损失与一步扩展

• 论文转述 Zhu et al. (2025) 的实验：即便 12 层 transformer，最短路只有 3 或 4 步也难以直接预测。因此本文不要求全局规划，只要求下一步思维带上 c+1 步内可达的节点。
• COCONUT-BFS 鼓励 Nc+1 中任意节点。COCONUT 只提高示范节点 pc+1 的 logit。两者都对顶点置换取平均。作者称实践对应后者，因为每题通常只有一条示范。
• 对称初始化的梯度流下，所有 μv 合成同一个 μ(t)。附录 B 定理 4 给出 μ̇(t)=α/(√nK)(d_⋆−F(μ(t)))。d* 是示范节点在当前可达集内的受限入度，K 是该集合大小，F 光滑、严格递增，两端极限为 0 和最大受限入度。
• 定理 1：COCONUT-BFS 下 μ 至少按对数增长，注意力 logit 无界。COCONUT 下，若 d* 小于最大受限入度，μ 收敛到有限值；若相等，则至少按对数速度趋于无穷。初始化为 0 时，升或降还取决于 F(0) 与 d* 的大小。作者称，F(0) 小于 d* 且 d* 小于最大入度时，极限为正。定理 2 写，μ 大于 0 时下一步支撑集正好是一步可达集，系数为 β_v=λ_v1{v∈ N_c}+μ∑_{u∈ Nc}λ_u1{(u→ v)∈ E}。μ=0 时可达集外节点的 logit 相同，作者称这不是有效探索。

答案预测

• 最后的思维是 C 步内可达节点的叠加，权重在 (0,1]。末尾接答案 token。预测阶段的 W 写成 μR 乘答案嵌入与推理嵌入的外积；作者称两套参数可看成正交子空间，或一个生成头加一个预测头。
• 引理 2：顶点 logit 等于 μA 乘该节点在最后思维中的权重（仅 C 球内），再加上 μR 乘“是否为候选”。只有 c* 同时有正的残差携带和候选抬升。
• 损失是可达候选的交叉熵。λ* 是训练集上可达候选权重的最小值，Δtrain 是可达但非该候选的节点相对它的最大正向超出。定理 3 称梯度流方向收敛到最大间隔方向，二分量之比等于 λ* 加 Δtrain，范数趋于无穷。
• 对满足同样权重范围、且最大超出不超过 Δtrain 的未见实例，c* 的 softmax 概率随时间趋于 1。

实验设置

• 模型：从零训练的 GPT-2 式解码器。主实验两层，dmodel=768，8 个头。AdamW 的 β1=0.9、β2=0.95，weight decay 为 10−2，学习率恒为 1×10−4，global batch size 为 256。
• 数据：Zhu et al. (2025) 所用的 ProsQA 子集，ProsQA 来自 Hao et al. (2024)。训练和测试都随机置换顶点编号。Table 3 的平均数：训练 14785 题，|V|=22.8、|E|=36.5、解长度 3.5；验证 257 题，22.7、36.3、3.5；测试 419 题，22.7、36.0、3.5。
• 课程：阶段 c 在预测路径上第 c 个节点前使用 c 个连续思维；若 c 大于思维链长度 l，则在 l 个连续思维和答案 token 之后预测答案。Stage 1 为 150 epoch，其后每阶段 25 epoch，合计 350 epoch。更早阶段数据以概率 0.1 混入。
• 指标：测试集准确率。生成阶段用第二层上前沿边与非前沿边的 logit 差代理 μv；前沿指源节点位于 Nc 去掉 Nc−1 的边。预测阶段用答案 token 对最后思维的第一层注意力代理 μA，用答案 token 对推理 token 的第二层注意力代理 μR。
• 评审与重复：论文未使用单独的评审模型，也未报告主准确率的重复次数。脚注称，不同设置和随机种子下，候选抬升不一定经过推理 token。

主结果

Section 5 写明 96.2% 与 99.0% 是测试准确率。Table 4 的提取文本没有百分号；附录 F.1 把同一组实验称为 accuracy。

报告位置	设置	报告值
Section 5	两层主实验，合计 350 epoch	96.2%
Appendix E.2	COCONUT-BFS-exp，其余训练设置不变	99.0%
Table 4	L=2，其余按该表默认	98.8
Table 4	L=12	67.4
Table 4	dmodel=384	62.0
Table 4	学习率 2×10−4	58.1
Appendix F.1	L=12，首阶段 400 epoch，学习率 5×10−5	99.6%

• 作者报告主实验流程能在测试集上预测可达候选。BFS 变体是损失对照，logit 曲线见下一节。
• Section 5 与 Table 4 对两层默认设置给出不同数值，论文未解释是否同一次运行。该表中 H=8、dmodel=768、学习率 1×10−4 和 tied 与 L=2 行相同，未再列入上表。
• 作者称每次消融只改一个超参数，而超参数会耦合，所以单行偏低不能单独代表联合调节后的结果。

思维生成阶段的 logit

• 测量：在测试集上跟踪 Lcoco 下前沿边与其他边的 logit 差。Figure 3 用背景色区分阶段，正文写 Stage 1 为蓝、Stage 2 为紫。
• 结果：作者称 Stage 1 中 c=1 的差值上升，并在 ∼125 个 epoch 后于 60 附近饱和。Stage 2 用更少 epoch 就使 c=2 得到正值；c=3 和 c=4 也出现该模式，尽管没有被显式训练去生成两个以上的连续思维。论文未给出这些后期差值的终点。
• 解读：作者称这与定理 1 一致。作者把长度上的复用称为 length generalization。附录 E.2 把 BFS 损失改成只鼓励当前前沿，以避免总预测根。该变体在 c=1 上上升更快，150 epoch 后仍无饱和迹象；c=3、c=4 上两种损失的差距变小。作者将其归因于分阶段混数据、梯度传到更早思维，以及理论损失 (5) 与实验变体 (19) 的差别变大。Figure 5 的终点数值论文未给出。

答案预测阶段

• 测量：进入预测阶段后跟踪 μA、μR 的注意力代理。Figure 4 纵轴为 Average Attention Logits，横轴为进入答案预测后的 epoch。
• 结果：作者称两者快速上升，并在大约 5 个 epoch 后稳定。正文没有给出稳定后的精确 logit。附录 E.3 给出三条通路：推理 token 在第一层拷贝候选，答案 token 在第二层注意它；答案 token 在第一层直接注意候选；连续思维在第一层拷贝候选，答案 token 在第二层注意连续思维。作者称三条通路功能相同，都是抬升可达候选。
• 解读：作者称这与定理 3 一致，即两个强度以可比速率增长，使 c* 得到最高 logit。实践中 logit 进入平台，理论则预测范数趋于无穷。作者给出的可能原因是实验里预测阶段仍与思维生成相互作用，理论则固定思维分布。作者把更细分析留作未来工作。

其他消融与分析

• L=4 为 97.3，L=8 为 96.5；H=4 为 98.0，H=12 与 Table 4 的 L=2 行相同（Table 4）。
• dmodel=1536 为 97.7；学习率 5×10−5 为 62.1；tied 与 untied 都与 L=2 行相同（Table 4）。
• 学习率 5×10−5 且首阶段延至 300 epoch 时，附录 F.1 报告准确率 97.0%。
• 作者称四层模型第一层的边 token 注意对应源节点和目标节点（Figure 7）。
• 作者称从第二层起，隐藏状态与可达、前沿、最优节点的内积更大。Figure 8 文字标注里，Layer 1、思维 1 的 Not Reachable、Reachable、Frontier、Optimal 为 1.23、−1.54、1.39、1.54；Layer 2、思维 1 为 −0.43、8.14、15.11、17.42（Appendix F.2）。
• Figure 9 跟踪答案预测阶段的测试准确率。作者称它随两种信号的学习，从接近随机猜测转到稳定的高准确率；正文未给出曲线端点。

作者指出的局限与后续方向

论文没有单独的 Limitations 节。作者明确交给后续的有两点。

• 预测阶段的平台：Section 5.2 写，实践中 logit 进入平台，与理论的无界增长不同。作者给出一种可能原因后，称更细的分析留作未来工作。
• 超参数交互：Appendix F.1 写，全面的超参数交互研究超出本文范围，留给未来调查。

实验覆盖范围

• 实验模型是从零训练的 GPT-2 式解码器。主设置为两层、dmodel=768、8 头，优化器为 AdamW（Section 5）。Table 4 另报告层数 2、4、8、12，头数 4、8、12，宽度 384、768、1536，三档学习率，以及权重是否绑定。理论分析写的是梯度流（Section 3、Section 4）。
• 数据是 ProsQA 子集。Table 3 给出训练 14785、验证 257、测试 419，以及平均顶点数、边数和解长度。Section 5 写明训练和测试都随机置换顶点编号。
• 课程预算是 Stage 1 为 150 epoch、其后每阶段 25 epoch、合计 350 epoch，早阶段数据混入概率为 0.1（Section 5）。
• 思维生成对照包括 Lcoco 与 Appendix E.2 的前沿节点变体。答案预测报告了两种注意力代理，附录 E.3 给出三条抬升通路。Appendix F.2 检查了 4 层模型的第一层拷贝和后续层内积。
• 论文未报告 Section 5 中 96.2% 准确率的重复次数。理论在第一层拷贝已经建立后分析第二层，使用线性注意力并固定 V 为单位阵；Remark 1 将非对角交叉项设为 0（Section 3）。

作者用梯度流解释连续思维链里的叠加从何而来。任务是有向图可达性：在两个候选终点中判断哪一个能从根到达。连续思维不把隐状态投影成离散 token，而是直接接回输入。分析对象是简化两层 transformer，训练分成生成连续思维和读出答案。

生成阶段每个实例只有一条最短路示范。局部搜索强度写成 index-matching logit。定理 1 写：穷举下一层节点的损失会使它至少对数增长；只监督示范节点时，若该节点的受限入度小于最大入度，它收敛到有限值。初始化为 0 时是否上升，还取决于 F(0) 与该入度的相对大小。正的有界值使下一步同时携带已达节点并扩展一跳，而不是只押入度最高的分支。预测阶段的 logit 由最后思维的残差携带和两个候选的抬升相加。定理 3 在间隔条件下，把未见图上可达候选的概率推向 1。

从零训练的两层 GPT-2 式解码器在 ProsQA 测试集上的准确率是 96.2%。作者称 Stage 1 的前沿边 logit 差在 ∼125 个 epoch 后于 60 附近饱和，并出现到 c=3、c=4 的长度复用。BFS 实验变体的测试准确率是 99.0%，其 c=1 的 logit 差在 150 个 epoch 后仍未饱和。预测阶段两个代理量大约 5 个 epoch 后稳定，但实践中进入平台；作者把这一差异留作后续。Table 4 还报告了更深、更窄或不同学习率下的数值，其中 L=12 为 67.4，dmodel=384 为 62.0。