PlanBench 评测：o1 规划能力大幅提升但仍未饱和

LLM 与 o1 这类 Large Reasoning Model（LRM）能否在 PlanBench 上完成规划。

• 场景：作者认为，规划出达到目标状态的行动序列是智能体的核心能力。PlanBench 在 GPT-3 发布后不久提出；此后他们用同一静态子集跟踪新模型，并称模型变大、投入增加后，最简单的规划题仍未饱和。
• 现有不足：作者认为标准自回归 LLM 更接近近似检索，不太可能单靠自身获得规划所需的 System 2 式近似推理。作者称，此前要把规划做对，主要是把 LLM 配上外部验证器，组成 LLM-Modulo。
• 对 o1 的假设：作者沿用 OpenAI 的区分，把 o1 称为 LRM，并称其架构、运行与能力看起来不同于 vanilla LLM。他们推测系统在合成数据上用 RL 学习有用的 Chain-of-Thought，推理时再按提示做 rollout；同时写明细节稀缺，只能推测。
• 本文的工作：这是一份初步评估，比较当前 LLM 与 o1-preview、o1-mini，并扩展到更长问题与不可解实例。作者认为静态测试集上的数字只能当作性能上界；评测 LRM 还应计入效率、成本与正确性保证。写作时完整 o1 尚未发布，两个预览模型发布约一周。

论文没有单独的 Related Work。相关讨论按引言和评测部分，集中在既有规划基准、把 LLM 接到验证器或经典规划器，以及 OpenAI 对 o1 的描述。

规划基准与 LLM 规划

• PlanBench（Valmeekam 等，2024）：可扩展的 LLM 规划与变化推理基准。本文沿用其中 600 道 3–5 block 的静态 Blocksworld，以及语义相同、句法混淆的 Mystery Blocksworld。
• Stechly 等（2024）：分析 Chain-of-Thought 在规划中的表现。作者称标准 CoT 脆弱，不能随问题规模稳健扩展，也不能诱导一般的算法式过程遵循。
• Kambhampati（2024）：讨论 LLM 能否推理与规划。作者认为标准自回归 LLM 在 System 1 任务上表现突出，但不太可能因此获得规划所需的近似推理。

外部验证器与经典规划器

• LLM-Modulo（Kambhampati 等，2024）：LLM 与外部验证器做 generate-test。作者把 Trinh 等（2024）、Romera-Paredes 等（2024）引作带可靠检查的循环或程序搜索例子，本文未重跑。
• GPT3-to-plan（Olmo 等，2021）与 LLM+P（Liu 等，2023）：用 LLM 做表示翻译或配合规划。作者称 LLM 擅长等价表示之间的翻译，因而可以和经典规划器配合。
• Fast Downward（Helmert，2006）：领域无关规划器。本文把它当作有正确性保证的对照。Katz 等（2024）与 Kapoor 等（2024）被引来支持：评测还要看效率、推理时间、保证与性能的权衡。

OpenAI 对 o1 的说法

• OpenAI（2024） 的系统卡与发布说明：作者引用“新的推理模型系列”、计数重置为 o1 的表述，并据此使用 LRM 这个名字。
• Brown（2024）：作者引其“o1 几乎总能识别不可解问题”的说法，并用 100 道不可解题来测。

基线与数据集

• 基线方法：Table 1 的各 LLM，zero-shot 与 one-shot；作者称表中数字是自然语言提示里较高的准确率。Table 2 另以 Fast Downward 为对照。LLM-Modulo 的 82%（原 Blocksworld 子集）和 70%（Logistics）来自先前论文 [19] 的 Table 4，不是本实验重跑。
• 基准：PlanBench 的 Blocksworld 与 Mystery Blocksworld；本文另设 Randomized Mystery Blocksworld、更长 Blocksworld 与不可解变体。致谢提到并行研究中的 TravelPlanner 与 Natural Plan，不是本文实验。

作者把 vanilla LLM 定位为近似检索，把 o1 定位为 OpenAI 所描述的、在预训练与推理时都不同于 vanilla LLM 的 LRM；并认为完整评测不能只看准确率，还要看效率、成本与保证。

本文不训练新模型，而是用 PlanBench 的静态集和几组扩展，比较 vanilla LLM 与 o1-preview、o1-mini，并用 Fast Downward 做有正确性保证的参照。

测试域与规模

• Blocksworld：600 题，3 到 5 个 block。作者称所需计划为 2 到 16 步。约束包括一次只动一块、手必须为空、被操作的块为 clear。
• Mystery Blocksworld：600 道语义相同、句法混淆的实例。限制与普通域同构，表面词不再是积木。
• Randomized Mystery Blocksworld：另一套完全随机字符串混淆，并用无歧义的 PDDL 写出领域与问题，用来看原混淆是否因数据污染而失效。
• 扩展集：110 道更长 Blocksworld，6 到 20 个 block，作者称最优计划 20 到 40 步。另从原 3–5 block 集改出 100 道不可解题，每题在目标上增加一个 on(x,y) 型合取。

提示

• 原基准比较过自然语言与 PDDL。作者称 vanilla LLM 在自然语言上更好，因此 Table 1 报告的是自然语言提示中较高的准确率。
• 设置分 zero-shot 与 one-shot。附录 C 另有一种提示：给出 Mystery 术语到 Blocksworld 的对应，仍要求用原术语作答。
• 不可解题改为完整 PDDL。作者称这是为避免模型重新解释自然语言，例如把间接的上方关系当成 on。
• 附录 D–F 给出各域的完整提示词。

作者对 o1 的猜测与抽取

• 作者写明公开细节很少。他们的最好猜测是：底层多半为修改过的 GPT-4o，系统用 RL 产生、筛选并选择不公开的 CoT；与 LLM 的差别包括额外 RL 预训练，以及随输入伸缩的推理。作者把这标成推测。
• o1-preview 不总遵守格式。作者用 GPT-4o-mini 把计划译成 PDDL，再用 Python 解析器去掉多余符号后评估。
• Table 2 未写明每一格用的是自然语言还是 PDDL。正文写明 Randomized Mystery 使用完整 PDDL。
• 作者写明当时 o1 默认 temperature 为 1.0。reasoning tokens 不对用户公开，按输出 token 费率计费，用户不能控制条数。

判定与附加记录

• 可解题以答对实例数除以该集规模作为准确率。论文写会对解析后的计划做评估，未给出独立验证器的名字。
• Table 3 把 true negative 定义为不可解实例中被正确标成不可解的比例，把 false negative 定义为可解实例中被错误标成不可解的比例。只有点或 empty-plan 标记、且不说明不可解时，作者计为错误，因为空计划只在目标已经满足时才算对。
• 另记录平均用时和每 100 题美元成本。Figure 2 与 Appendix Figure 4 看 reasoning tokens 是否随计划长度或需扩展节点数变化；正文没有给出 token 的具体数值。

实验分三块：Table 1 的 LLM、Table 2 的 o1 与 Fast Downward，以及更长题、不可解题和成本。

实验设置

• 模型：Claude 3.5 (Sonnet)、Claude 3 (Opus)、GPT-4o、GPT-4o-mini、GPT-4、GPT-4 Turbo、LLaMA 3.1 405B、LLaMA 3 70B、Gemini 1.5 Pro、Gemini 1 Pro；LRM 为 o1-preview、o1-mini。求解对照为 Fast Downward。抽取计划用 GPT-4o-mini。
• 数据：Blocksworld 与 Mystery Blocksworld 各 600 题（3–5 blocks）。Randomized Mystery Blocksworld 600 题。更长 Blocksworld 110 题。不可解题 100 道，并与 600 道可解题一起看误标。Gemini 1 Pro 的 Mystery 分母在 Table 1 写作 500，论文未解释。
• 提示：zero-shot 与 one-shot。Table 1 为自然语言提示。附录 C 的翻译提示只在正文给出 GPT-4 的一个数字。
• 指标：答对实例数与百分比；平均用时（秒）；每 100 题美元成本；Table 3 定义的 true negative 与 false negative。
• 判定：不是打分式 LLM 评审。o1 输出经 GPT-4o-mini 译成 PDDL 再解析。论文未报告人工一致性、重复次数或显著性检验。
• 缺失格：Gemini 1.5 Pro 的 Mystery 未生成，模型拒绝输出（Appendix A，finish_reason 为 SAFETY，危险内容概率为 MEDIUM）。Table 2 里 o1-mini 的 Mystery one-shot 与 Randomized Mystery 为 “-”。

主结果

下表为零样本准确率。LLM 来自 Table 1，o1 与 Fast Downward 来自 Table 2。省略 Claude 3.5 (Sonnet)、GPT-4、GPT-4 Turbo、LLaMA 3 70B、Gemini 1.5 Pro。Gemini 1 Pro 的 Mystery 分母为 500。

模型	Blocksworld	Mystery Blocksworld
o1-preview	97.8%（587/600）	52.8%（317/600）
o1-mini	56.6%（340/600）	19.1%（115/600）
Fast Downward	100%（600/600）	100%（600/600）
LLaMA 3.1 405B	62.6%（376/600）	0.8%（5/600）
Claude 3 (Opus)	59.3%（356/600）	0%（0/600）
GPT-4o	35.5%（213/600）	0%（0/600）
GPT-4o-mini	8.8%（53/600）	0%（0/600）
Gemini 1 Pro	0.5%（3/600）	0%（0/500）

• 作者称 o1 的表现是 quantum improvement，超过竞争模型，但仍远未饱和。Mystery 列低于 Blocksworld 列。Randomized Mystery 的 zero-shot 为 37.3%（224/600，Table 2）；作者用它检查原混淆是否因数据污染而失真。
• 作者称 Mystery 上没有 LLM 达到 5%。zero-shot 下多数模型一道未解出；被省略的 GPT-4 与 GPT-4 Turbo 各 1/600。Gemini 1.5 Pro 无 Mystery 数字。
• 作者称 one-shot 对许多模型不是严格改进，LLaMA 家族最明显；也有例外，Claude 3.5 (Sonnet) 的 Blocksworld one-shot 为 57.6%，zero-shot 为 54.8%（Table 1）。结论写成 62.5%，与 Table 1 的打印值不一致。

更长问题

• 无混淆的 110 道 Blocksworld，6–20 个 block，作者称最优计划 20–40 步（Figure 3）。
• o1-preview 为 23.63%。作者称其中多数来自步数少于 28 的题。论文未给出按步数分档的数字。
• 作者称这显示性能仍远不稳健。Figure 1 图注称两个 LRM 有效，但性能不稳健，并随长度很快变差。除正文已写的 23.63% 外，转换文本里看不到图中其他端点。

不可解实例

• 100 道由原 3–5 block 题加上一个 on 型目标合取而成。Table 3：Blocksworld 为 0-Shot，true negative 27%，false negative 0%。Randomized Mystery 在表中标为 1-Shot，true negative 16%，false negative 11.5%。正文给分解时未再写 shot。
• Blocksworld：27% 被明确判为不可解；19% 返回点或空计划标记，作者计为错误；54% 给出完整但不可能的计划。Randomized Mystery：16% 正确、5% 空计划、79% 完整计划。
• 作者称先前模型的 true negative 与 false negative 大体为 0%，故未列入 Table 3。作者还称，错误答案有时附带不合定义的辩解，例如把执行中曾经成立的目标条件仍算达成，或把间接上方关系解释成 on；作者用 gaslighting 描述这种现象。

时间、成本与 token

• Table 2 平均用时：o1-preview 在 Blocksworld zero-shot 为 40.43 秒，Mystery zero-shot 83.37 秒，one-shot 82.03 秒，Randomized Mystery 111.11 秒；o1-mini 为 10.84 秒与 35.54 秒，后两条件未报告。Fast Downward 各行均为 0.265 秒。
• Table 4 每 100 题：o1-preview 42.12 美元，o1-mini 3.69 美元。LLM 列从 GPT-4o-mini 的 0.02 美元到 GPT-4 的 1.80 美元。作者称仅 o1 实验的账单为 1897.55 美元。LLaMA 不在该表。
• 作者称 Figure 2 出现 reasoning tokens 的 leveling off，这可能压低总成本与性能上限。图注 (a) 称 Mystery 上平均 token 与最优计划长度相关；(b) 称并未随步数如预期增加。Appendix Figure 4 图注称 Blocksworld 上 token 数不跟随需扩展节点数。正文无具体 token 数。

其他消融与分析

• 附录 C 的翻译提示：GPT-4 在 Mystery 上为 10%（正文，无表）。作者预期若能组合推理，与普通 Blocksworld 的差距应明显缩小，实际只提高很少。
• Table 1 Blocksworld：LLaMA 3.1 405B 的 one-shot 为 47.3%（284/600）；LLaMA 3 70B 的 one-shot 为 12.6%（76/600），zero-shot 为 34.16%（205/600）。
• Table 1 Mystery one-shot 最高为 GPT-4 的 26/600（4.3%）。Gemini 1 Pro 为 2/500（0.4%）。
• 作者引用先前 LLM-Modulo：原 Blocksworld 子集 82%，Logistics 70%（[19] Table 4），非本实验重跑。
• Mystery one-shot 的 o1-preview 为 41.6%（247/600），低于其 zero-shot；o1-mini 未报告（Table 2）。
• 论文未报告重复运行或 temperature 扫描；只写明 o1 默认 temperature 为 1.0。

论文未专门讨论局限。能核对的是实验实际写到的模型、数据集和未报告项。

作者指出的局限与后续方向

论文没有 Limitations、Discussion 或 Future Work 专节。Conclusion 希望这份笔记给出 LLM 与 LRM 规划能力的快照，以及如何切实评测它们的建议，但没有把某一项写成作者自己的局限或待做实验。

实验覆盖范围

• 被测 LLM 为 Table 1 的 10 个模型；LRM 为 o1-preview 与 o1-mini；求解对照为 Fast Downward。本文实验未重跑 LLM-Modulo。
• 主集为 Blocksworld、Mystery Blocksworld 各 600 题；另有 Randomized Mystery Blocksworld 600 题、更长 Blocksworld 110 题、不可解变体 100 题。
• 提示包括 zero-shot 与 one-shot。Table 2 中 o1-mini 的 Mystery one-shot 与 Randomized Mystery 为 “-”。Gemini 1.5 Pro 的 Mystery 因拒绝输出而未生成（Appendix A）。
• 报告了准确率、平均秒数（Table 2）、每 100 题美元成本（Table 4，不含 LLaMA）以及 Table 3 的 true negative 与 false negative。
• 论文写明 o1 默认 temperature 为 1.0，并称这降低可复现性；未报告重复次数，也未给出 reasoning tokens 的具体数值。致谢中的 TravelPlanner 与 Natural Plan 不在本文实验表内，无数字。

这是一份在 PlanBench 上对照 vanilla LLM 与 OpenAI o1 系列的初步评估，并以 Fast Downward 为有保证的参照。

• 问题是模型能否给出达到目标的计划；语义相同但句法混淆、计划加长、或目标不可解时是否还成立；以及用时、美元成本与正确性保证如何。
• 主集是 600 道 3–5 block 的 Blocksworld 和同构的 Mystery Blocksworld。o1 还测了随机字符串混淆、110 道更长题和 100 道不可解题。自由格式输出由 GPT-4o-mini 转成 PDDL 后评估。作者对 o1 内部机制的描述标明为推测。
• Table 1 的 zero-shot 中，Blocksworld 最高为 LLaMA 3.1 405B 的 62.6%（376/600）；Mystery 上没有 LLM 到 5%。
• Table 2：o1-preview 在 Blocksworld zero-shot 为 97.8%（587/600），Mystery zero-shot 为 52.8%，Randomized Mystery zero-shot 为 37.3%。Fast Downward 在这些集上为 100%，平均 0.265 秒。
• 110 道至少 20 步的无混淆题上，o1-preview 为 23.63%。100 道不可解 Blocksworld 上，true negative 为 27%，另有 54% 仍给出完整计划。
• 作者的结论是：LLM 在混淆域上的低分符合近似检索；o1 在短的普通 Blocksworld 上接近饱和，混淆域上有初步进展，但加长与不可解题上的提高并不一般，也不稳健。作者还认为 o1 不提供正确性保证，reasoning tokens 按输出费率计费且用户不能控制数量，部署前需要同时看准确率、效率与保证。