GSM-Agent：用可控环境理解智能体推理

同题上，提示词已含全部前提的静态推理，与必须用工具自行收集前提的智能体推理差多少，以及差在哪种行为。

• 场景：作者认为模型作为智能体后，推理要从提示词内完成的静态推理，转到结合工具、尤其是搜索的智能体推理：决定读什么、下一步问什么、何时验证、如何离开无效方向。作者称现有智能体基准常把该能力与高难数学、专家知识等混在一起。
• 不足：作者指出已有基准不能对同一或相近任务做静态与智能体设定的对照，也缺少可标出并量化核心技能的框架。
• 基准：基于 GSM8K 构建 GSM-AGENT。问题与前提分离，前提写成文档入库；评测只给问题，智能体用 Search 与 NextPage 收集信息再解题。作者称难度可由数据库构造控制，例如加入干扰文档。
• 任务设定：
  • 目标是求出数值答案；提示词只有问题，没有前提。
  • 工具为 Search 与 NextPage。Search 返回最相关的 5 篇；同一次搜索 NextPage 最多 19 次，最多看到 top 100。查询由智能体自定。
  • 环境是文档集合，每篇对应某题的一条前提。
  • 判对条件是答案等于标准数值。
• 分析假设：作者用文档嵌入聚类定义 agentic reasoning graph，把工具调用映成路径，区分探索、利用与回访。作者称回访在许多模型的智能体轨迹里经常缺失，且与准确率相关；据此加入鼓励回访的工具做测试时扩展。摘要写 GPT-5 只有 67% 准确率。

• 信息不完整时的推理：Li et al. (2025) 的 QuestBench 评测模型能否提出合适的问题，其中包含缺信息的 GSM8K 变体。作者指出其关注点是模型是否问出特定问题，而不是整体推理。Zhou et al. (2025b) 比较被动与主动推理，作者认为接近本文的静态与智能体之分，但两种设定用了不同任务；本文数据集两种设定都能用。
• 智能体推理基准：作者合并讨论 SWE-bench（Jimenez et al., 2023）、τ-bench（Yao et al., 2024）、ToolSandbox（Lu et al., 2024）、AppWorld（Trivedi et al., 2024）和 BFCL（Patil et al., 2025），称它们评测智能体推理。作者的对比是：本文要的是可控环境，以便和静态推理直接对照，而不是逐篇批评这些基准。
• 对推理的理解：理论线包括 Zhu et al. (2024)、Chen et al. (2024)、Wang et al. (2025)、Zhu et al. (2025)、Huang et al. (2025)。经验线包括 Huang et al. (2024) 的自我纠正，Zhou et al. (2025a) 的 GSM-Infinite 与 Mirzadeh et al. (2025) 的 GSM-Symbolic，以及 Yeo et al. (2025)、Sun et al. (2025)、Minegishi et al. (2025) 对长链推理或推理行为的研究。作者称探索、利用、回访的图分析部分受这些工作启发，并扩展到带搜索工具的智能体设定，图由文档嵌入定义；引言点名启发来自 Minegishi et al. (2025)。
• 基线与数据：实验对照包括零样本 ReAct、few-shot、只改提示的 CoT、交互轮次扩展，以及 Thinking、Explore、Revisit 的工具组合。评测数据是由 GSM8K 改造的 GSM-AGENT。引言还把 GSM8K、MATH、HotpotQA 等当作静态推理任务的例子，并未把它们当作本文跑过的对照基准。

作者把本文定位成：同一任务上比较静态与智能体推理，并用可控环境与推理图分析缺口来自哪种工具使用行为。

整体做法是建一个难度可调的文档环境，使同一道小学数学题既能做静态评测，也能做必须检索的智能体评测，再用 agentic reasoning graph 把工具轨迹离散化。

任务形式

• 数据集写成任务集、环境、工具集。每题含问题、若干前提和数值标准答案；前提条数因题而异。
• 评测时智能体只看到问题，需判断缺什么、调用工具、再决定信息是否够、何时作答。
• 环境中每篇文档由前提经文档生成器得到，并含该前提解题所需信息。后文把环境称为数据库。

数据构建

• 五阶段：预处理、拆题、文档生成、过滤、建库。除另行说明外，处理用 Claude-3.5-Sonnet。附录 D 给出各阶段完整提示词。
• 预处理处理两类歧义：不同题共用主角名，以及只有泛指实体。步骤是实体检测、给泛指实体分配姓名、用实体图着色分配年-月时间戳，使同名实体在不同题中时间不同。
• 拆题把叙述拆成自洽前提并改写问题；与其他题共享实体名时，问题中写明时间戳。
• 文档生成分三步：先为整题写高层故事，再按前提逐篇生成含正文、唯一 ID 和元数据的文档；再用模型做独立性检查，避免一篇泄露其他前提的信息；再随机改写 30% 的文档，使实体名不出现在正文而移入元数据，避免只按主角名检索。检索成功后可看元数据。
• 过滤规则：只保留 Claude-3.5-Sonnet 在看到问题及对应文档时能做对的题。剩余 7323 题、32315 篇文档。
• 建库用 Chroma，正文（不含 ID 与元数据）用 text-embedding-3-large 嵌入。三个难度：Full 为过滤后全部题目；Medium、Small 分别为 25% 与 6.25%。各库只含该子集题目的文档。附录 Table 3：Full 每题文档数均值 4.41（最少 1、最多 14），span 均值 2.89。

工具与判定

• Search(x) 返回与查询最相关的 5 篇，查询可以是句子或关键词。NextPage 返回接下来 5 篇；每次 Search 最多再调 19 次 NextPage，即最多 top 100。
• 标准答案为数值。任务解出当且仅当模型最终答案等于该数值。

智能体推理图

• 对库中文档嵌入做 K-means，K=250。每个质心是一个节点。Table 2 的图注称 t-SNE 高亮三个簇，质心对应节点 29、54、100，并举例簇内文档主题（Grocery Receipts、Fruit Counting、Youth Sports Stats）。文本看不到点的坐标，不描述位置。
• 第 t 次若调用 Search(x)，节点取离查询嵌入最近的质心，p_t=argmin_{vk∈ V}|q(x)−c_k|₂。若调用 NextPage，则该步节点等于上一步。路径为各步节点序列。
• 第一步恒为探索。之后，从未到达的节点为探索；与上一步相同且曾经到达为利用；离开后再回到已访问节点为回访。三种比例都是该类步数除以工具调用总步数。

工具增强的测试时扩展

• 作者不把扩展定义成单纯增加交互轮次，而是加工具以鼓励回访。Thinking 被调用时复制模型前面的 token。Explore、Revisit 的检索效果与 Search 相同，系统提示分别要求用它们探索不同查询或回到先前查询。附录 E 给出完整提示词。
• 实验组合四种：只加 Thinking、只加 Explore、只加 Revisit、同时加 Explore 与 Revisit。另有只改提示、不加工具的 CoT。

实验设置

• 框架：全部评测用 LangChain ReAct。temperature 0.4，max tokens 4096，max search rounds 50。作者称零样本在多数模型上最稳，优于 few-shot 或多智能体；主表因此用零样本。
• 数据：Section 4 默认 GSM-AGENT-Full。每个结果是 100 题子样本、3 个随机种子的平均。Claude 因 API 不能指定种子只跑 1 次。
• 主表模型：o3、GPT-5、Grok-4、Claude-4-Sonnet、Gemini-2.5-Pro、Kimi-K2-Instruct、Gemini-2.5-Flash、GPT-4o、Llama-4-Maverick、DeepSeek-V3、Qwen3-235B、Llama-4-Scout。DeepSeek-R1、Claude-Opus 有附录结果，但未进主对比。
• 指标：Accuracy 为答案等于标准数值的比例。SR 为解题所用工具调用次数。SC 为找到全部相关文档的题目比例。ER 为找齐相关文档后的额外工具调用。FF 为按要求格式作答的比例；作者要求最终答案放在“####”之后。PremT 为最终决定前就给出过早答案的比例。另有总生成 token 与每轮平均 token。
• 判定：数值相等，论文未使用单独的 LLM 裁判。默认嵌入 text-embedding-3-large。
• 其他设置：few-shot、CoT、截断式与强制式交互扩展、四种工具组合、三种嵌入、三种库规模。

主结果

据 Table 1，零样本 ReAct，GSM-AGENT-Full 的 100 题子样本。Claude-4-Sonnet 只跑 1 次。

表格较宽，可左右滑动

模型	Acc	SR	SC	FF
o3	68.46%	13.33	53%	95%
GPT-5	66.78%	9.98	52%	100%
Claude-4-Sonnet	56.00%	7.39	42%	100%
Grok-4	53.00%	7.19	42%	100%
Gemini-2.5-Pro	38.33%	2.93	25%	82%
Kimi-K2-Instruct	37.42%	5.41	24%	92%
GPT-4o	22.67%	1.92	22%	94%
Llama-4-Scout	12.54%	2.07	9%	86%

省略 Gemini-2.5-Flash（25.33%）、Llama-4-Maverick（20.00%）、DeepSeek-V3（19.42%）、Qwen3-235B（19.30%），均来自 Table 1。

• 作者称 o3 与 GPT-5 最高，搜索轮次也多，并认为这对应更长的无人工流程；Grok-4 为 53.00%。Table 1 中 Claude-4-Sonnet 为 56.00%，高于 Grok-4，但只跑 1 次。作者称搜索轮次更多时准确率倾向更高。
• 作者称 Gemini-2.5-Pro 与 GPT-5 的差距主要来自更少搜索轮次。表中前者 FF 为 82%，o3 为 95%，GPT-5 与 Grok-4 为 100%。Gemini 系列 token 因 LangChain 格式不匹配为 Nan。
• 作者称环境只需小学数学与基本常识，最好准确率仍是 o3 的 68.46%。摘要写 GPT-5 为 67%，Table 1 为 66.78%。引言称 GPT-5 相对静态设定约损失 33% 绝对准确率，DeepSeek-V3 最多损失 80%。Table 1 另有一行 Solvable by any model，Acc 为 88.00%，其余为 Nan；表注未定义该行。

交互轮次扩展

• Figure 3 把零样本轨迹按工具调用次数截断：n 轮内答对，或 n 轮内找齐必要文档且最终答对，都算对。横轴为对数刻度。标注斜率与 R²：GPT-5 为 0.145、0.963；Kimi-K2 为 0.087、0.982；Llama-4-Maverick 为 0.028、0.921；Llama-4-Scout 为 0.046、0.961。图中未标出各点准确率。
• 作者称开源模型随额外搜索轮次仅小幅上升，交互时扩展弱于 GPT-5，因此要看每步质量，而不只看轮次。Figure 7 把同一截断协议扩到更多模型，作者称总体上看专有模型好于开源模型。
• Table 4 另有强制继续搜索的 interaction scaling，协议不同于 Figure 3。Kimi-K2-Instruct 为 40.0%（零样本 37.42%），Llama-4-Scout 为 25.51%（12.54%），Qwen3-235B 为 37.0%（19.3%），Llama-4-Maverick 为 13.0%（20.0%）。Maverick 低于其零样本。

推理图与回访

• 作者把每步标成探索、利用或回访，再与 GSM-AGENT 准确率作相关。Figure 4(b) 横轴为 Revisit Proportion (V 3)，标注 R² = 0.902、Slope = 2.002。作者称准确率与回访比例强相关，并认为回访可能是核心技能。探索比例 R² = 0.038、Slope = 0.281，作者称弱相关；利用比例 R² = 0.331、Slope = -0.630，作者称负相关。
• Table 5 的零样本总体回访比例：o3 为 24.56%，GPT-5 为 16.81%，Grok-4 为 17.77%，GPT-4o 为 0.62%，DeepSeek-V3 为 0.00% 且 V=1.00。按 V≥3 的 Rvst-V3+：o3 为 29.88%，GPT-5 为 26.40%，Llama-4-Scout 为 8.49%，Qwen3-235B 为 3.57%；DeepSeek-V3 该列为空。这与 Figure 4(b) 的横轴标签一致，不等于上列总体回访比例。

工具增强

• Figure 5a 比较零样本、CoT，以及 Thinking、Explore、Revisit、Explore+Revisit。图上无逐柱数字，下列数字来自 Table 4。作者称 Llama-4-Maverick 与 Qwen3-235B 上工具方法一律高于 CoT；Llama-4-Scout 与 Kimi-K2 上与 CoT 相当；多数情况下两者都高于零样本。
• Qwen3-235B 的 Revisit 为 45.68%，零样本 19.3%，CoT 31.0%。Kimi-K2-Instruct 的 think tool 与 CoT 均为 46.0%，零样本 37.42%。Llama-4-Scout 的 explore-revisit 为 19.39%，CoT 18.33%，零样本 12.54%。Llama-4-Maverick 仅 think tool 为 22.33%，高于零样本 20.0%；explore 15.67%、explore-revisit 16.0%、revisit 11.07%、CoT 8.67% 均低于零样本。
• 作者称 Figure 5b 显示回访比例增幅与准确率增幅强相关；该图标注 R² = 0.250、Slope = 0.869。Figure 8 对探索比例变化标注 R² = 0.735、Slope = 0.504，对利用比例变化标注 R² = 0.803、Slope = -0.453；图注称探索与回访的变化与准确率相关，利用比例变化为负相关。引言称工具增强优于 interaction-round scaling。Table 4 中 Llama-4-Scout 的强制扩展为 25.51%，高于其 explore-revisit 的 19.39%。

其他消融与分析

• 库规模（Table 7，整数百分比，full/medium/small）：o3 为 68%、81%、80%；Grok-4 为 53%、61%、69%。作者称库越小准确率越高。同表 Llama-4-Maverick 为 20%、17%、22%，medium 低于 full；o3 的 small 低于 medium。
• 嵌入（Table 6，text-embedding-3-large / small / all-MiniLM-L6-v2）：作者称影响很小且相对排序保持。o3 准确率 68.46%、65.00%、56.00%；Gemini-2.5-Pro 为 38.33%、38.00%、23.00%；Llama-4-Maverick 为 20.00%、11.00%、7.00%，FF 为 97%、27%、21%。
• few-shot（Table 4）：作者称零样本对多数模型更稳且优于 few-shot。GPT-5 few-shot 为 57.0%，低于零样本 66.78%；Grok-4 few-shot 为 56.33%，高于 53.0%；Qwen3-235B few-shot 为 35.0%，高于 19.3%。论文未给出多智能体系统的数字。
• DeepSeek-V3（Table 4）：explore-revisit 为 41.67%，零样本 19.42%，think tool 为 16.67%。DeepSeek-R1 零样本 0.31%，Claude-Opus 零样本 4.0%。正文称 DeepSeek 的工具格式不同，Claude 常向用户索取信息，故未纳入主对比。
• Figure 7 截断协议斜率：Qwen3-235B 为 0.000（R²=nan），GPT-4o 为 0.047（R²=0.942），Grok-4 为 0.133（R²=0.962），Gemini-2.5-Pro 为 0.136（R²=0.978）。
• 过滤后仍有模型找不到全部文档：Table 1 中 o3 的 SC 为 53%，Acc 为 68.46%。论文未解释 Acc 高于 SC 的原因。

作者指出的局限与后续方向

• 论文没有 Limitations、Discussion 或 Future Work 专节，未把某项结果写成不足。
• Conclusion 只写：希望 GSM-AGENT 成为后续研究智能体推理的可控环境，并希望 agentic reasoning graph 带来对智能体推理的理解与改进。摘要有相近的期望表述，不是单独的局限清单。

实验覆盖范围

• 主结果是 Table 1 的 12 个模型、零样本 ReAct。附录 Table 4 还有 DeepSeek-R1 与 Claude-Opus；正文说明因工具格式不同或频繁向用户索取信息，二者未进入主对比。
• 过滤后为 7323 题、32315 篇文档。Section 4 报告的是 GSM-AGENT-Full 的 100 题子样本，3 个随机种子平均；Claude 因 API 不能设种子只评测 1 次。
• 写明的运行参数为 temperature 0.4、max tokens 4096、max search rounds 50、LangChain ReAct；默认嵌入为 text-embedding-3-large，库存于 Chroma。成功判定是数值答案相等。论文未报告与人工判定的一致性。
• 另有 few-shot、CoT、Figure 3 的轨迹截断、Table 4 的强制继续搜索、四种工具组合、三种嵌入模型，以及 Full、Medium（25%）、Small（6.25%）三种库。
• 推理图用 K-means，K=250，并把 Search、NextPage 映到节点后统计探索、利用、回访。引言给出相对静态设定的两例降幅，未给出各模型静态准确率全表。Gemini 系列 token 因输出格式不匹配缺失（Table 1 注）。

GSM-AGENT 把小学数学放进可控文档库，用来比较“前提已在提示词里”的静态推理和“只给问题、必须检索”的智能体推理。

• 问题：作者认为智能体要同时做推理和工具决策，而现有基准常混入高难数学或专家知识，不能同题对照。本文还要找出与这一缺口相关的行为，并试着改进。
• 做法：GSM8K 经消歧、拆成问题与前提、扩写成文档后入库。智能体用 Search 与 NextPage 取回文档，数值答案相等即算对。文档嵌入聚成 250 个节点，工具调用映成路径，步数分成探索、利用和回访。另加与 Search 检索效果相同、但提示要求回访或探索的工具。
• 主结果：零样本、Full 的 100 题子样本上，o3 为 68.46%，GPT-5 为 66.78%，Llama-4-Scout 为 12.54%（Table 1）。摘要写 GPT-5 为 67%。引言称 GPT-5 相对静态设定约损失 33% 绝对准确率，DeepSeek-V3 最多损失 80%。
• 行为：Figure 4 中回访比例（横轴标为 V 3）与准确率的 R² 为 0.902。作者称许多模型缺少回访，并认为回访可能是关键技能；探索比例的 R² 为 0.038。开源模型在 Figure 3 的加轮次曲线上斜率低于 GPT-5 的 0.145。
• 工具变体：Qwen3-235B 的 Revisit 为 45.68%，零样本为 19.3%（Table 4）。Llama-4-Maverick 上多种工具变体低于零样本 20.0%，只有 think tool 为 22.33%。作者称鼓励回访的工具扩展在多数情形下好于只增加交互轮次；Table 4 中 Llama-4-Scout 的强制扩展 25.51% 高于其工具变体。
• 结论：作者希望该基准与推理图用于后续理解智能体推理，并称加入鼓励回访的工具可以提升部分模型在该基准上的表现。