构建逆向思维：提升大语言模型的逆向推理能力

长思维链模型默认从题目和已知条件正向推理，作者要让模型在复杂数学题上学会反向推理并自行切换。

• 场景：作者认为人在正向路径受阻时会从结论回推、由目标倒推或用反证。GPT-o1、GPT-o3 与 DeepSeek-R1 靠加长思维链处理复杂问题，但仍默认正向模式。
• 171 道反向题：作者在 GSM8K、MATH-500、AIME 中标出 171 道称为 backward questions 的题，认为用反向推理可以更合适地求解。较小开源模型常在最大回复长度内做不完；作者称 GPT-5 等较大闭源模型准确率更高，仍有一定比例失败，论文未给出该比例。
• 五类错误：Fig. 1 分为解空间覆盖不足、计算错误、未验证假设、忽略约束、达到最大回复长度。作者称小模型五类都有；较大商业模型没有明显的计算错误和长度上限问题，但仍有解空间覆盖不足、未验证假设和忽略约束。正文没有各柱读数。
• 假设：作者认为共同问题是正向搜索难以被引向正确解。目标明确且步骤可逆时，反向推理可用目标约束每一步，去掉无关分支，减少猜测性假设。
• 本文做法：构造反向推理训练流程，含易难划分、正反向路径混合、两阶段监督微调，以及细粒度奖励和线性衰减平衡采样。作者称以此缓解解空间覆盖不足、忽略约束和未验证假设。

相关工作分提示工程、长思维链和反向推理三组。作者把本文放在训练阶段：学习反向轨迹，并用强化学习选择路径。

提示工程

• 思维链与一致性：Wei et al.（2022）用逐步推理提示；Wang et al.（2023）采样多条路径，按最终答案一致性选择。
• 树、图与分解：Yao et al.（2023）的 Tree-of-Thought、Besta et al.（2024）的 Graph-of-Thought 把推理扩成树或图再搜索、聚合。Zhou et al.（2023）、Khot et al.（2023）、Wang et al.（2023）拆分子问题；Chen et al.（2024）的 Boosting of Thoughts 在树上累积试错并改写提示。
• 论文的批评：这些方法依赖精心设计的提示，对措辞敏感，跨任务迁移差，且是调用而非扩展推理能力。作者引用 Wei et al.（2022），称在某些基于模式的上下文学习中，思维链可能打乱隐式推理。引言称 24 点任务上 ToT 的推理成本大约比 CoT 高两个数量级，且多数树或图框架依赖预先定好的静态结构。

长思维链

• 加长推理：GPT-o3、DeepSeek-R1、kimi-k1.5、QwQ 用强化学习延长思维链。作者称只加长会消耗时间与资源，并在简单题上 overthinking。
• 模式开关：Qwen3 的 Thinking Mode Fusion 仍要人决定是否开启长链。AutoThink、LHRMs、ASSR、AdaptThink 学习在思考与不思考之间切换。
• 差别：作者称这些工作尚未做正向与反向推理的动态选择。引言还将 Long CoT 分为 Deep Reasoning、Extensive Exploration、Feasible Reflection，并称深度推理在超出训练分布时泛化差、广泛探索计算开销大、反思的效果依赖基座。

反向推理

• 提示与规划：Li et al. 用假设检验提示做结论假设和反向验证。正文称 Huang et al. 提出 RFF；参考文献 [45] 署名为 Xu et al.（2025）。另有用反向提示核验候选答案的工作。Zhang et al.、Ren et al. 将反向用于多 API 组合和图规划。
• 数据：Wen et al. 为代码漏洞构造正反向过程。REvThink（Chen et al., 2025）与 MetaMath（Yu et al., 2024）向数学数据加入反向题。
• 批评：引言称 REvThink 受学生模型正向能力限制，反向不能注入新知识，只正则已有路径；只留教师验证正确的样本，可能排除分布外所需的难题；exposure bias 仍未解决。§2.3 称多数方法停在提示或数据增强，没有在训练中系统建立反向能力，也没有用强化学习按题型选路径。

基线与基准：§4.2 的对照包括 Qwen2.5-math-1.5b、Qwen2.5-3b、Llama-3.2-1b/3b、Deepseek-R1-Distill 的 1.5b/7b/14b/32b、Qwen3-1.7b/8b/14b、GLM-Z1-9b。评测集为 GSM8K、MATH-500、AIME（正文写 2024 and 2025）、BQ，以及 GSM8K-B、MATH-500-B、AIME-B。

作者用 backward reasoning 数据与 Reinforce++ 训练选模式：先造易、难两套正反向轨迹，两阶段监督微调，再在 <think> 与 <backward> 之间选择（Fig. 2）。

反向数据

• 难度划分：数据来自数学推理。MATH-lighteval 分五级；Level < 4 作第一阶段易题，Level = 5 进入第二阶段难题。论文未写 Level = 4 是否入集。
• 长轨迹子集：OpenR1-Math-220k 有 220,000 道题，每题 2 到 4 条 DeepSeek-R1 为 NuminaMath 1.5 生成的轨迹。作者用路径 token 长度代表难度，从 Default 子集（约 94,000 题）保留最长的 10%，与 Level 5 样本组成难题集。
• 三类反向题：PromptBQ 输入原题和正向步骤，由 DeepSeek-R1 生成条件互换、中间结果回推和错误诊断。正文记为 {Q_swap, Q_int, Q_err} = f(Q_ori, R_for)，即由原题与正向步骤得到三类反向题。正文给出了完整模板，这里不复述其句式约束。
• 筛选与质检：PromptBR 要求从目标状态回推到已知条件，并用 <backward> 标注路径。多解且答案都对时保留 token 最少的一条，并保留一定比例正向样本，比例没有数字。每条反向题再交回 DeepSeek-R1，判断答案是否使题目成立。得到 Datasets1（中低难度）和 Datasets2（高难度）；论文未报告条数和质检剔除比例。

两阶段监督微调

• 基座：Deepseek-R1-distill-1.5b、Qwen3-1.7b、Qwen3-8b、Qwen3-14b。LoRA 只更新新增低秩权重，原参数冻结。
• 课程：第一阶段只用 Datasets1。作者称其结构清楚、链条短，用来建立基本反向模式。第二阶段加入 Datasets2，加大搜索空间和推理深度。
• 理由与超参：作者称这样可降低学习难度，避免复杂任务上过早进局部最优。rank 为 32，学习率 2×10^-5，每阶段 3 个 epoch（§4.1）。

强化学习与选模式

• 目标：必要时用反向，同时保留正向。在 Reinforce++ 上加入线性衰减的平衡采样。
• 奖励：基于 BERT 的判别模型判断题目更适合正向还是反向，奖励加在首 token。首 token 为 <think> 或 <backward> 时格式分为 Rm，否则为 0。答案分用余弦按长度平滑：答对时更短链条分更高，答错时更短链条惩罚更大。总分为 R = α R_format + β R_answer。α、β 未给出。作者称该信号用来避免跳过推理直接作答、随机猜测或用无关内容逃避推理。
• 采样与更新：一批中被指定模式的样本数为 w(t)·N，w(t) = max(0, 1−t/T)。指定比例随步数线性降到 0 后由模型自己选。策略用 clip 后的概率比和优势函数更新；优势为奖励减去逐 token 的 KL 项，KL 与 PPO 相同。ε 和 KL 系数未给出。
• 推理时：Fig. 3 中作者称，相对标准推理模型，该方法收到题目后会自动选择推理模式。

实验设置

• 训练对象：Deepseek-R1-Distill、Qwen3-1.7b、Qwen3-8b、Qwen3-14b。RL 继续用 SFT 数据，并加入 OpenR1-MATH。上下文 16K，batch size 64，学习率 5×10^-6，1 个 epoch。
• 评测集：GSM8K、MATH-500、AIME（正文写 2024 and 2025）、自建 BQ。BQ 为 300 题，三类比例 1:1:1。另建 GSM8K-B、MATH-500-B、AIME-B；论文未报告子集题数。Table 1 的竞赛列名为 AIME-2024。
• 基线：§4.2，约 1B 到 32B，含 Short-CoT 与 Long-CoT。Qwen2.5 与 Llama-3.2 测试时附加逐步思考提示；其余只要求答案放入 Boxed{}。Qwen3-1.7b 用 thinking 模式，Qwen3-8b/14b 用 reasoning 模式。
• 解码：最大长度 16K，temperature 为 1。论文未报告每题重复次数。
• 判定：指标为 Acc 与回复长度。先比对 Boxed{} 与标准答案；未放入时，取最后 500 个 token，连同标准答案交给 Deepseek-V3，输出限制为 1 或 0。
• 错误分析：引言用 Fig. 1 统计反向题的五类失败。正文没有各柱读数，也未写明样本量是否就是 171。

主结果

下表据 Table 1，只列 8 个模型。Acc 为表中原数。

表格较宽，可左右滑动

模型	平均 Acc	平均长度	BQ Acc
Llama-3.2-1b	21.5	721	19.3
Qwen3-1.7b	72.9	6511	79.3
Ours-Q3-1.7b	74.7	5190	83.7
Qwen3-8b	82.7	6571	88.3
GLM-Z1-9b	84.3	4325	90.3
Ours-Q3-8b	84.7	4106	91.7
Qwen3-14b	87.4	5850	90.3
Ours-Q3-14b	87.9	4056	93.0

省略 Qwen2.5-math、Qwen2.5-3b、Llama-3.2-3b、R1-Distill-1.5b、Ours-R1-1.5b、R1-Distill-7b、R1-Distill-14b、R1-Distill-32b。Llama-3.2-1b 是 Table 1 中平均 Acc 最低的模型。

• 1.5B：作者称相对约 1.5B 模型，平均准确率至少提高 1.8%，并缩短长链模型的平均回复。未列入上表的 Ours-R1-1.5b 平均 Acc 为 71.0、平均长度 4335，高于 R1-Distill-1.5b 的 64.6 / 5744，低于上表中的 Qwen3-1.7b（均 Table 1）。
• 并非每格都更高：Ours-Q3-1.7b 的 GSM8K Acc 为 90.2，Qwen3-1.7b 为 90.7。Ours-Q3-8b 的 AIME-2024 Acc 为 58.3，低于 GLM-Z1-9b 的 60.0。Ours-Q3-14b 与 Qwen3-14b 的 AIME-2024 Acc 同为 66.7。
• 作者称：在 8B 及以上比较中，其模型平均 Acc 最高且平均回复最短。省略的 R1-Distill-32b 平均 Acc 为 85.9、平均长度 4579，Acc 低于 Ours-Q3-14b，长度长于 Ours-Q3-14b。

反向推理子集

• 设置：Table 2 只评 GSM8K-B、MATH-500-B、AIME-B。论文未报告题数，也未写是否等于引言的 171 题。
• 结果：Ours-Q3-1.7b 三集平均 Acc 为 68.6%；Ours-R1-1.5b 平均长度为 5034。作者称前者在 1.5B 长链模型中平均 Acc 最高，后者平均长度最短。Ours-Q3-8b 的 GSM8K-B Acc 为 94.9%，低于 GLM-Z1-9b 的 96.3%；平均 Acc 为 84.7%，GLM-Z1-9b 为 83.5%；平均长度 5175，GLM-Z1-9b 为 5016。Ours-Q3-14b 平均 Acc 为 85.1%、AIME-B Acc 为 66.7%；R1-Distill-32b 为 77.6% 与 58.3%。Llama-3.2-1b 与 Llama-3.2-3b 的 AIME-B Acc 为 0。
• 作者解读：作者称 8B 模型整体平均 Acc 最高，平均长度与 GLM-Z1-9b 相当；14B 模型相对更大的 Deepseek-R1-Distill-32B 仍有竞争力。

推理模式比例

• 设置：对 Table 1 平均 Acc 最高的 Ours-Q3-14b，统计四个测试集上的反向推理比例（Fig. 4）。
• 结果：GSM8K、MATH-500、AIME 分别为 12%、30%、22%；BQ 为 79%。此处 AIME 未标年份。
• 作者解读：作者称 BQ 以反向题为主，所以反向比例更高，并称模型能在合适时自行选择反向推理。

其他消融与分析

• 阶段：Table 3 中 stage1+2 是两套数据合并后单次微调；stage1 只用 Datasets1；stage2 在 stage1 上再用 Datasets2；RL 接在 stage2 后。AIME 列未写年份。
• 1.5B：作者称 stage1 平均 Acc 提高 1.6 个点、平均长度增加 2%；stage2 再提高 2 个点，相对初始模型长度长 2.7%。RL 后平均长度下降 24.6%。Table 3 基座平均长度为 5746，Table 1 同模型为 5744。
• Qwen3-1.7b 的 SFT：合并微调与 stage1 的平均 Acc 为 72.1、72.2，低于基座 72.9；AIME Acc 均为 31.7，低于基座 33.3。stage2 平均 Acc 为 73.4。
• 8B/14B 的 SFT：作者称 stage1 提升 GSM8K 和 MATH，更难数据集上下降。Qwen3-8b 的 AIME 从 56.7 到 stage1 的 48.3、合并微调的 51.7；Qwen3-14b 从 66.7 到 55.0 和 58.3。stage2 平均 Acc 为 82.0 和 86.0，仍低于基座 82.7 和 87.4。
• RL 之后：作者称 8B、14B 相对初始模型平均 Acc 提高 2 个点和 0.5 个点，平均长度下降 37.5% 和 30.7%，并归因于细粒度奖励和平衡采样。Table 3 中 Qwen3-8b 基座的 MATH-500 Acc 为 89.8，Table 1 同格为 89.6。
• stage2 与 AIME：作者称 stage2 主要提升 AIME，与两阶段数据侧重点不同有关。Qwen3-8b 在 stage2 的 AIME Acc 为 55.0，仍低于基座 56.7；Qwen3-14b 为 61.7，低于基座 66.7。

作者指出的局限与后续方向

论文没有 Limitations 专节，也未把现有实验写成不足。Conclusion 里的后续方向有两条。

• 跨领域：作者计划把反向推理扩到科学推理和程序验证，以检验跨领域泛化（Conclusion）。
• 其他模式：作者计划探索双向推理，即从条件和目标同时推进，直到在中间会合，并评估它对大模型推理的作用（Conclusion）。

实验覆盖范围

• 训练基座：Deepseek-R1-Distill-1.5b、Qwen3-1.7b、Qwen3-8b、Qwen3-14b，共 4 个（§3.2、§4.1）。
• 评测：GSM8K、MATH-500、正文所称 AIME（2024 and 2025）、BQ（300 题，三类 1:1:1），以及 GSM8K-B、MATH-500-B、AIME-B（§4.1、§4.3）。Table 1 竞赛列为 AIME-2024；Table 3 的 AIME 列未写年份。
• 对照与解码：§4.2 从约 1B 到 32B，含 Short-CoT 与 Long-CoT。最大长度 16K，temperature 为 1。Acc 先做 Boxed{} 匹配，否则由 Deepseek-V3 看最后 500 个 token。
• 数据构造：反向题和路径由 DeepSeek-R1 生成，模式奖励来自基于 BERT 的判别模型。摘要提到数学证明等任务；实验表没有单独的证明任务分数。
• 论文未报告：Datasets1 与 Datasets2 的条数、正向样本比例、质检剔除比例、α 与 β、clip 的 ε、每题重复次数，以及 Deepseek-V3 与人工判定的一致性。171 道反向题未按数据集拆分；论文未写三个 B 子集是否就是这 171 题。Fig. 1 的各柱读数未写入正文。

作者训练大模型在数学题上建立反向推理，并按题目在正向与反向之间选择，而不是只加长思维链。

• 问题：GPT-o1、GPT-o3、DeepSeek-R1 默认从题目和已知条件正向搜索。作者在 GSM8K、MATH-500、AIME 中标出 171 道称为 backward questions 的题，把失败分成五类，并认为目标明确、步骤可逆时，反向推理能约束搜索。
• 做法：DeepSeek-R1 生成条件互换、中间结果回推和错误诊断三类反向题及路径，与正向样本组成易、难两套数据。四个基座先做两阶段 LoRA，再用 BERT 模式奖励、按长度平滑的答案奖励，以及线性衰减的平衡采样，在 Reinforce++ 下学习选择 <think> 或 <backward>。
• 主结果：Table 1 中 Ours-Q3-14b 四测试集平均 Acc 为 87.9%，平均长度 4056，BQ Acc 为 93.0%。Ours-Q3-8b 平均 Acc 为 84.7%，高于同表 GLM-Z1-9b 的 84.3%。Ours-Q3-1.7b 平均 Acc 为 74.7%，但其 GSM8K Acc 90.2 低于基座 90.7。Ours-R1-1.5b 平均 Acc 71.0，高于其蒸馏基座，低于 Qwen3-1.7b。
• 反向子集与选择：Table 2 中 Ours-Q3-14b 三个反向子集平均 Acc 为 85.1%。Fig. 4 中该模型的反向比例在 BQ 为 79%，在 GSM8K 为 12%。作者称模型能在合适时自行选择反向推理。
• 消融：Table 3 中，Qwen3-8b 与 Qwen3-14b 只做 SFT 时平均 Acc 低于初始模型，AIME 列下降更明显。作者称 RL 后二者平均 Acc 提高 2 个点和 0.5 个点，平均长度下降 37.5% 和 30.7%。
• 作者结论：作者称该方法能按题型选择策略，并在 GSM8K、MATH-500、AIME 和 BQ 上提升推理表现、降低回复长度开销。摘要还写到数学证明等任务，实验表没有单独的证明分数。作者计划扩到科学推理和程序验证，并探索双向推理。