Memento 3 提出基于规则手册的递归自我改进方法

有限观察可同时支持多个拟合过去、却对未见状态预测不同的世界模型；冻结LLM要在不更新参数时持续修订显式模型。

• 场景：作者认为，不熟悉环境中的智能体可能既不知道对象与动态，也不知道成功标准。它能看到动作接口、交互反馈和通关信号，但看不到环境源码、转移规则、底层状态或自然语言任务说明。
• 现有不足：作者指出，与已观察转移一致并不保证泛化正确。有限历史常留下一个版本空间：多个程序能重放全部观察，但在未见状态上不一致；回放能拒绝不一致程序，不能在仍一致的规则里指出正确者。Memento系列主要改进策略侧记忆，而不是环境规则。
• 假设：规则书记录可修订假设，未观察机制可以不写死；代码是其可执行实现。作者称，在忠实性与精确回放约束下，LLM偏好简短描述，这是最小描述长度偏向，但不能消除不确定性；只承诺一个假设，可能使探索避开能证伪它的证据。
• 提出的方法：MEMENTO 3用Code as Model把反思学习扩展到显式世界模型。循环为观察、反思、规则修订、编译、验证；更新须通过LLM的规则书忠实性判断和逐格回放。底层LLM固定。种群扩展并行保留N个规则书–可执行对并共享证据，N=1即单模型。

• 世界模型与可执行表示：Dyna（Sutton, 1991）把真实交互与模型生成的经验一起用于规划和学习。神经世界模型支持想象展开、模型预测控制和树搜索（Ha and Schmidhuber, 2018; Chua et al., 2018; Schrittwieser et al., 2020）；Dynalang把语言作为多模态潜变量模型的预测模态（Lin et al., 2024）。作者称这些方法把动态编码在神经参数和潜表示中。
• 语言引导的程序归纳：Parsel（Zelikman et al., 2023）把自然语言分解与基于执行的测试结合；Hypothesis Search（Wang et al., 2024）把语言假设译成程序，并在输入输出样例上验证。交互环境方面，WorldCoder（Tang et al., 2024）学习Python动态并对照反例修复；GIF-MCTS（Dainese et al., 2024）按生成、改进和修复搜索候选模型。另有面向通用游戏的代码世界模型（Lehrach et al., 2025）和面向物理推理的Code-as-World（Wang et al., 2026）。作者称这些工作确立了语言引导构造和基于执行的精炼。
• ARC-AGI-3上的可执行模型：baseline1（Rodionov, 2026）维护、简化并验证持久Python模型再规划。作者转述其后续组件研究：在所测配置中精确验证一直有用，但要求可执行模型并不一律提高动作表现。OPINE-World（Courtis et al., 2026）维护自然语言假设、合成以对象为中心的可执行程序，并用本体误差指导探索，候选程序必须精确复现记录转移。Twin（Skoutnev et al., 2026）以历史回放作为基于模型行动的门控。Tycho（Lehmann et al., 2026）考察何时构造、修复、使用或绕过可执行模型；作者转述：更好的转移回放不一定带来更好决策，若目标被认错或模型使用不当。
• 语言规则与Memento系列：Reflexion（Shinn et al., 2023）存储对任务反馈的语言反思。AutoManual（Chen et al., 2024）把环境规则整理成可复用手册。WALL-E（Zhou et al., 2024）比较预测与观察轨迹，更新并修剪符号规则，以对齐LLM世界模型。Memento（Zhou et al., 2025）用情节记忆做持续适应且不微调LLM；Memento 2（Wang, 2025）把写记忆对应到策略评估、读记忆对应到策略改进；Memento-Skills（Zhou et al., 2026）扩展到可复用的可执行技能。作者称Code as Model把这一脉络延伸到模型侧语义记忆。
• 不确定性、探索与持续适应：版本空间（Mitchell, 1977, 1982）形式化有限证据留下的歧义；最小描述长度（Rissanen, 1978）在一致假设中偏好简单者。基于模型的强化学习用概率动态或集成表示不确定性（Chua et al., 2018; Kurutach et al., 2018）；后验采样及相关方法在一个回合内保留抽样假设或价值函数（Osband et al., 2013, 2016; Lu and Van Roy, 2017）。持续适应方面，DreamTeam的Workspace Optimization（Sarafian et al., 2026）、Continual Harness（Karten et al., 2026）和NOOA（Furgale et al., 2026）把外部软件或工作区当作可编辑学习状态。Belief-Calibrated Optimization（Chen et al., 2026）建模的是评测如何响应提示词和脚手架改动；作者对比称，Code as Model预测的是环境内转移。图探索方法记录已观察转移并优先未测试动作，不建生成式世界模型（Rudakov et al., 2025）。
• 基线与基准：ARC-AGI-3对照是记分卡上链接到论文的条目：baseline1、NOOA、OPINE-World、DreamTeam、Continual Harness；人类动作基线同样来自官方ARC Prize记分卡。Pong对照包括无世界模型的同一LLM、均匀随机策略，以及论文引用的已发表RL分数；Table 5注明这些已发表基线遵循各自评测协议。

作者把语言规则、可执行产物、反思和回放组织成一份持久环境规格，同时支持改规则和只修实现。种群被作者称为剩余版本空间的计算近似，而不是校准后验，用来降低对单次早期构造的依赖。作者还称，Tycho与Rodionov的组件研究显示更强前沿模型已使公开集饱和或接近饱和，因此仅完成公开集不能单独分离架构贡献，比较还须考虑模型选择、推理预算、动作效率、重复运行稳定性和held-out评测。

Code as Model把冻结LLM对陌生环境的假设写成自然语言规则书，再编译成可执行程序；已验证的模型指导后续规划与探索，LLM参数保持不变。作者把这一反馈称为基于模型的递归自我改进：被修订的是持久世界模型假设，不是LLM权重。

问题设定与学习状态

环境被写成确定性、面向目标的部分可观察马尔可夫决策过程。智能体要在真实动作预算B内到达未知目标集。模型构造、模拟展开和回放不计入预算；探索、失败尝试，以及发给环境的重置都计入。主目标是提高预算内到达目标的概率；成功概率相同且为正时，再降低条件动作成本。

外部学习状态是 Z_t=(H_t,ψ_t,θ_t)：交互记录提供证据，规则书记录关于实体、动作、动态、目标和终止条件的假设，可执行程序在自有内部状态上提供转移预测和推断的目标条件。规则书可以不写明未观察机制，从而允许多个实现。只改实现可以不改规则书；对环境规则的理解变化必须先写入规则书再编译。

用于规划的对必须满足 θ∈[[ψ]]，且回放每条已记录动作后，预测的下一观察与记录一致。[[ψ]]表示忠实实现该规则书的程序集合。

反思、编译与验证

每次真实动作后走五步，实现更新算子。

1. 观察：把新的动作–观察对追加到当前轨迹。通关反馈随记录保留。
2. 反思：冻结LLM在保留当前对、修订规则书、只修代码三者中选择。预测不符既可能来自错误规则，也可能来自代码没有实现既定规则。
3. 规则修订：只有选择修订时才改规则书；规则书约束下一次可执行程序。
4. 编译：需要修订或修复时，编译器根据上一版程序、拟议规则书和更新后的记录提出新程序。保留则直接沿用旧程序。程序从内部状态和动作生成下一状态、预测观察和预测通关。
5. 验证：精确回放检查每条已记录的下一观察。规则书忠实性由冻结LLM根据规则书和源码判断，不单靠语言模型置信度。作者援引的理由是：按语言模型排序选择假设可能排除正确候选。两者都通过才接受；否则回到反思，直到得到可接受对。每次新提案都要解释全部已有记录，不只是最新差异。

单模型情形下，用接受后的程序重放，得到当前内部状态，信念近似为该假设与该状态上的点质量。多条轨迹时，每条从其自身初始观察重放。

选择、规划与探索

验证后仍可有多个可接受对。单模型设置用SimplifyLLM在其中偏好更短的规则书和实现。作者给出最大后验解释：先验偏向描述更短、且忠实于规则书的对；观察似然只保留回放一致的程序。冻结LLM通过提出更简规则和源码来近似这一选择，每个简化都重新检查忠实性与回放。

规划把当前可执行程序当作确定性模型，从重放得到的内部状态寻找预算内到达推断目标的最短动作序列，并执行其第一个动作。没有路径时不返回计划。此时LLM根据历史和未解决假设选择中间目标，例如测试某个机制、看未见区域或接触未解释对象；辅助规划器在当前程序中搜索到达该目标的序列。计划动作和探索动作都在预测与观察首次不符时停止，把新证据交回反思。

种群扩展

N≥1个可接受的规则书–可执行对共享同一交互记录，而不是各自复制环境。N=1即单模型。每个规划回合在非空计划的行为等价类上均匀抽样：同一历史下计划的动作序列相同则视为同一类。选中的代表执行其序列，直到成功、被证伪或重新规划。与新观察冲突的成员进入反思、必要的规则修订、编译和验证。作者称，若一个模型自己选出的动作从不暴露其错误，它可能一直不被证伪；种群用来让不同模型引导探索。作者同时称，等权经验分布是剩余版本空间的计算近似，不是校准后验；已观察记录去掉被反驳的模型，并保留幸存者之间的先验赔率。

ARC-AGI-3上的实现

每个观察的视觉部分是64×64彩色网格。动作来自给定的按键/点击接口，语义起初未知。以ls20最后一关为例，战争迷雾会遮住局部视野之外的区域，当前帧不揭示完整状态。规则书写在world_model.md，可执行部分包括world_model_engine.py及状态重建、渲染和通关检查。程序预测完整下一网格以及关卡是否完成。新轨迹从重置或关卡开始后返回的观察初始化；渲染预测必须与轨迹中随后每一帧的全部64×64格一致，程序才交给规划器。规划得到的序列一次执行一个动作，首次不符即停止。

该循环贯穿整局游戏，不只在最初建模时运行。规则书和程序跨尝试、跨关卡保留；后关可能引入新机制，因此要能继续修订。规则层改动先写入Markdown，再改Python；只诊断为实现问题时不改规则书。Figure 5展示tr87一次运行的11个规则书版本中的三个：行动前记录字形朝向的两个竞争假设，交互后改为旋转不变的字母身份，再后来的证据推广并反过来改写光标规则。

Git仓库保存模型历史。每次迭代提交工作区，并用迭代号打标签。智能体可以查看早前版本、比较规则书或模块的差异，或恢复被后续编辑破坏的可执行文件。

实验设置

• 被测系统：主结果是单模型Code as Model，N=1。骨干为Claude Opus 5，reasoning effort为extra-high，在Claude Code中运行。实验harness以baseline1代码库为起点。智能体只观察动作接口，不能查看环境源码。
• 基准：全部25个公开ARC-AGI-3游戏（Figure 6），Table 1的关卡总数为183。另有Atari Pong案例，仿真用Arcade Learning Environment，frame-skip为4。
• 基线：ARC-AGI-3对照为记分卡上链接到论文的baseline1、NOOA、OPINE-World、DreamTeam、Continual Harness。论文写明这些数字及人类动作基线来自官方ARC Prize记分卡，各列按同一口径计数。Pong对照包括无世界模型的同一LLM、均匀随机策略，以及Table 5引用的已发表RL结果。
• 指标：RHAE更高更好，100为上限。eℓ取1.15与(hℓ/aℓ)平方中的较小值；未通关关卡的aℓ为无穷。作者称达到上限须每关通关，且Eq. (36)中eℓ的按关加权均值至少为1。动作数计入发给环境的全部动作，包括失败尝试和重置；模型构造、本地执行和回放不计。Pong的episode score为己方得分减对方得分，范围从−21到+21。
• 判定：通关来自环境报告的完成信号，论文未写用另一个模型给RHAE打分。规则书忠实性由同一冻结LLM判断；回放要求64×64逐格一致。
• 重复：论文按游戏报告Table 1和Table 2，未写每个游戏的重复次数。消融和种群实验各给出所报告运行的一组数字，同样未写重复次数。

主结果

据Table 1与Table 2。带dagger的动作数是至少有一关未通关的运行花费，论文称不能当作解成本比较。人类总动作为17,135。baseline1相对人类的0.49来自Section 4正文。

表格较宽，可左右滑动

系统	平均RHAE	通关游戏	通关关卡	动作数	相对人类
Ours（单模型）	100.0	25	183	7,518	0.44
baseline1	99.0	25	183	8,347	0.49
NOOA	85.1	19	170	11,697	未报告
OPINE-World	78.4	20	160	12,859	未报告
DreamTeam	38.1	6	98	9,789	未报告
Continual Harness	20.5	3	64	14,558	未报告

• 上限与例外：作者称表中最接近的是同样通关全部游戏的baseline1。Table 1里Ours每款游戏写为100；baseline1低于100的是sc25的84.2和tn36的90.1。
• 动作比：Section 4称逐游戏动作比从m0r0的0.20到lf52的0.67，中位数0.42。Table 2中Ours并非每款都少于baseline1，例如wa30为899对645，lf52为894对767。
• 引言中的另一对照：作者称相对ARC Prize Standard harness上的Claude Opus 5，平均RHAE高59.3点。参考文献注记写该结果为25个环境、high reasoning effort。该对照未列入Section 4的表；本文骨干的reasoning effort为extra-high。

规则书消融

• 测了什么：从更新循环中去掉自然语言规则书，保留代码世界模型，harness、回放验证器、计划执行器、骨干和reasoning effort保持不变。按人类每关动作选三款：ft09为35（easy）、ka59为104（medium）、cn04为132（hard）。
• 结果：Table 3中各运行都通关全部关卡且RHAE为100，因此比较的是收敛成本。有规则书的动作/智能体回合为：ft09的75/132，ka59的341/298，cn04的201/248；去掉后为79/174、382/310、216/346。作者合计三款游戏为617对677个动作，减少9%；智能体回合为678对830，减少18%。动作计分环境交互；智能体回合不受墙钟延迟影响。
• 作者的解读：作者认为，在通关保持不变时，这些结果提示持久规则书改善了向可用可执行模型的收敛。三款游戏的动作都更少；智能体回合降幅最大的是ft09和cn04。

种群扩展

• 测了什么：主实验为N=1。种群实验只选人类动作基线最大的wa30，比较N=2。骨干、reasoning effort和harness与单模型相同。通信机制告知两个成员谁提供了当前计划、发出了哪些动作、随后的真实转移是什么。
• 结果：Table 4中两边都通关全部九关，对实时服务器重放时RHAE都为100。相对已验证的单模型轨迹，计分动作从899降到597，为0.66×。九关中八关持平或更少；L8为138对130，即1.06×。
• 作者的解读：作者称两个世界模型从不同假设出发，并随共享历史消除分歧而收敛。作者认为这些结果提示，维持种群可以使世界模型引导的探索更省动作，并降低对某一个初始假设的敏感程度。

Atari Pong案例

• 测了什么：Section 5把过关规划器换成反馈策略，用学到的可执行模型预测候选动作的后果，并随新观察更新决策。智能体控制一侧球拍，还要预计球和对方球拍。学习中在单独回合评估检查点；控制器在评估时固定，且不再调用LLM。探索和修订持续到取得21:0后停止。
• 结果：三个不同开局都为21:0，episode score为21；Figure 8的动作数为3,358、4,014和5,039。学习成本在正文中为9,504 emulator frames，Table 5写9.5×10^3。无世界模型的同一LLM每帧调用一次、只看最近两帧、无持久记忆，分数为−19。Table 5的均匀随机策略为−20.7；Figure 8所绘随机回合结束于−20。已发表对照中，GDI和LASER为21，学习成本均为2.0×10^8 frames；IMPALA为20.98，Rainbow为20.9，同为2.0×10^8；EfficientZero为20.1，EfficientZero V2为20.8，均为4.0×10^5。人类平均为14.6。Table 5注明本文分数是这三局的平均，已发表基线遵循各自协议。作者称model-free与model-based基线的已报告学习成本分别约为9,504 frames的2.1×10^4倍和42倍。
• 作者的解读：作者称规则书和编译后的代码把冻结LLM的假设变成可修订、可复用的显式模型，从而在有限交互中学习。Figure 9给出一次学习会话中的三个规则书版本：中心击球的水平回球否定最初的四段反弹假设，后续接触再改成不对称、速度有上界的分带。Section 5写全帧回放仍保留渲染和球拍运动残差；每次动作前，控制器用最近帧和动作重建状态。作者还称，模型不必恢复每个可能状态的动态，只要对成功控制所需的决策足够准确。

其他消融与分析

• 论文没有另外的消融表。Table 2的逐游戏比例由Section 4概括为0.20到0.67，中位数0.42。
• Pong全帧回放的残差见Section 5，不是单独的定量消融。
• Figure 5的tr87规则书版本和Figure 9的反弹规则修订是定性示例，没有单独的成功率数字。

作者指出的局限与后续方向

论文未专门讨论局限。结论只重述方法、ARC-AGI-3与Pong的结果，以及作者对基于模型的递归自我改进的界定，没有列出不足或后续实验。

实验覆盖范围

• Section 4在全部25个公开ARC-AGI-3游戏、共183关上报单模型结果；骨干为Claude Opus 5，reasoning effort为extra-high，在Claude Code中运行，harness以baseline1代码库为起点，主实验N=1。
• 五个对照系统的RHAE、动作和通关数，以及人类动作基线，取自官方ARC Prize记分卡；论文未写作者重跑这些系统。
• 规则书消融为ft09、ka59、cn04各一款，按人类每关动作分easy、medium、hard。种群比较只在wa30上做N=1与N=2。论文未报告主结果、消融或种群的重复次数。
• Pong使用ALE、frame-skip 4；学习在控制器首次达到21:0时停止，固定控制器在三个不同开局上评估，评估时无LLM调用。Table 5的RL分数来自已发表结果及各自协议。Figure 9对应一次学习会话。
• 接受标准是冻结LLM对代码与规则书一致性的判断，加上64×64逐格回放（Section 3.2）。论文未报告验证失败后的重试上限、ARC-AGI-3学习的LLM调用次数、墙钟时间或费用数值；Section 4只称Claude Code运行的时间和费用可观。引言中相对标准harness的59.3点比较未列入Section 4的表。

MEMENTO 3考察一条基于模型的递归自我改进路径：LLM参数不动，被持续修订并反过来指导交互的是外部世界模型。

• 问题：不熟悉环境里，有限交互常同时支持多个程序。它们能重放已观察转移，但对未见状态预测不同。回放能排除不一致程序，不能在仍一致的规则中指出正确者。此前的Memento工作主要积累策略侧记忆。
• 方法：Code as Model用自然语言规则书记录可修订假设，再编译成可执行程序供预测和规划。观察不符后，冻结LLM决定保留、改规则或只修代码。接受更新要求LLM判定代码忠实于规则书，并且回放逐格复现已记录观察。没有计划时，LLM选择中间探索目标。N个模型可共享同一历史，并按行为不同的计划抽样；主实验用N=1。
• ARC-AGI-3：单模型智能体在25个公开游戏、183关上全部通关，Table 1的平均RHAE为100.0。Table 2的总动作为7,518，占人类17,135的0.44。记分卡对照中，baseline1平均RHAE为99.0、动作8,347，也通关全部游戏；其余四个系统留下未通关游戏。去掉规则书后，三款游戏的报告运行仍达到RHAE 100，但动作为677对617，智能体回合为830对678。wa30上N=2用597个计分动作，对照的N=1为899；九关中L8更多。
• Pong：同一学习机制改为反馈控制。三个不同开局都为21:0，学习成本正文记为9,504 emulator frames；执行时不再调用LLM。无世界模型的同一LLM分数为−19。作者称已发表model-free与model-based基线的学习成本约为此成本的2.1×10^4倍和42倍，且遵循各自协议。
• 作者的结论：把已验证的模型更新带入后续规划与探索，使已经学到的内容塑造下一轮修订所用的证据。作者认为，这一反馈就是本文考察的基于模型的递归自我改进。