自进化智能体框架缩小 LLM 智能体的「一致性差距」

LLM智能体可以平均做对任务，却在重复执行时不稳定，作者将Mean@k与全通过率之差称为consistency gap。

• 出现场景：生产中同一任务会反复交给同一智能体。作者称AppWorld test normal上ReAct/GPT-4.1的Mean@5为77%（摘要；Table 1为77.4%），Passˆ5仅53%（Table 1为53.0%），差额24点（摘要）或24.4 pp（Section 2.2、Figure 2）。作者认为缩小该差距是可信部署的前提。
• 现有不足：常见的Pass@k看至少成功一次，Mean@k看平均通过率，都不单独衡量每次都成功。作者认为贪心或固定种子只改变如何从分布取样，不能消除托管端点上概率本身的抖动。
• 核心观察：不一致对应推理点上接近并列的token分布；无需logits，可用重采样估计响应变异。作者称约32%的任务在五次运行中成败混合，此时平均准确率最不能代表用户体验。
• 本文做法：离线两阶段框架。黑盒Consistency Analyzer标出易翻转步骤，Guideline Generator写成策略、恢复或优化类指南，写入episodic memory，供后续相似任务检索并注入提示词。

作者把本文放在自一致性、记忆式自改进与可靠性评测之间，新增的是针对一致性决定抽取哪些指南。

自一致性与不确定性

• Self-consistency（Wang et al. 2023）：多次采样思维链并取多数答案。推理时扩展（Snell et al. 2024）与o1一类模型推广同一直觉；智能体变体用测试或LLM评审在展开解答中选择。作者称与这组工作的差别有两轴：重采样在离线而非运行时，目标是一致性而非准确率，变异是加固提示词的诊断，不是投票。
• 不确定性估计：论文对预测熵（Malinin and Gales 2021）的转述是，措辞不同但含义一致时会高估不确定性。语义熵（Kuhn, Gal, and Farquhar 2023; Farquhar et al. 2024）用聚类处理语义。作者称本文对半结构化响应的分解打分，针对智能体响应部分结构化这一特点。

智能体记忆

• 事实与流程：综述为Zhang et al. (2025b)、Du et al. (2025)。Mem0（Chhikara et al. 2025）、A-Mem（Xu et al. 2025）、MemGPT（Packer et al. 2023）存储并检索对话事实。Agent Workflow Memory（Wang et al. 2024）、AgentRR（Feng et al. 2025）、MemP（Fang et al. 2025）、ReasoningBank（Ouyang et al. 2025）、ACE（Zhang et al. 2025a）、Memento（Zhou et al. 2025）从轨迹抽取可复用流程。论文引用Xiong et al. (2025)，称朴素累积可能传播错误。
• 所继承的框架：Fang et al. (2026)从轨迹抽取strategy、recovery、optimization指南，做双索引记忆与检索。作者称存储、聚类、合并与检索沿用该框架，新增的是针对一致性的上游抽取信号。

可靠性、可复现与可观测

• 多轮方差：AppWorld（Trivedi et al. 2024）报告多轮统计。论文对Ye et al. (2026)的转述是：自改进、基于记忆的智能体的轮间方差对任务顺序和评测协议敏感。作者称指南注入针对的就是这一脆弱来源。
• 度量：Chen et al. (2021)的pass@k来自代码生成；作者称Passˆk相对Mean@k的写法把该指标推广到按难度的粒度。Rabanser et al. (2026)有十二条指标，覆盖一致性、robustness、可预测性与安全；作者称本文的gap是对其consistency轴的探测。
• 相近系统：CUGA（Marreed et al. 2025）用policy memory，作者称可直接消费本文指南。Jha et al. (2026)独立提出reliability gap，比较的是Pass@k与Majority@k，并用图引导架构；作者称本文在提示词层处理同一类变异。可观测工作（Moshkovich et al. 2025; Fournier, Limonad, and David 2025; Liu et al. 2026; Hutter and Pradel 2026）侧重日志、过程发现或调试；作者称analyzer用于标出易翻转点以生成指南，而不是运行时干预。

基线与基准

• 基线：无consistency guideline的ReAct，骨干为GPT-4.1与GPT-OSS-120B。实验未把Section 5的其他记忆系统当作对照。
• 基准：AppWorld test normal（168题）用于主结果；test challenge 50题用于轨迹一致性的AUROC。

作者的定位是：在Fang et al. (2026)的记忆机制上，用黑盒一致性诊断决定抽取什么，目标是缩小Mean@k与Passˆk的差距，而不是提高至少成功一次的Pass@k。

整体是离线两阶段（Figure 1）：Consistency Analyzer诊断轨迹何处易翻转，Guideline Generator写成指南，进入Fang et al. (2026)的episodic memory，运行时按相似度注入提示词。不改推理循环，也不改智能体架构。

问题设定与形式化

对任务集T中每个任务独立运行k次，Xt为k维0/1结果。Pass@k表示至少成功一次，Mean@k是平均通过率，Passˆk表示k次全部成功。

作者定义consistency gap为Gap@k(T) ≜ Mean@k(T) − Passˆk(T)，单位是百分点，表示平均准确率里有多少在重复部署时可能消失。归一化一致性为Consistency@k(T) ≜ Passˆk(T) / Mean@k(T)，按该模型自身的平均准确率缩放Passˆk。作者还写出二者关系：gap等于Mean@k乘以（1减Consistency@k）。在k次独立伯努利试验下，期望满足Passˆk不超过Mean@k、Mean@k不超过Pass@k，仅当成功概率为0或1时相等。实验取k=5。

一致性分析器

• 黑盒输入：一条已记录轨迹，逐步为s1到sn。只把记录下的提示词重新发给同一LLM端点，不访问logits、内部激活或智能体源码。
• 为何贪心不够：作者认为尖锐分布对GPU浮点、批处理或tokenizer状态的小扰动不敏感；平坦分布下近并列token会被同一噪声改写argmax。托管端点上概率本身会在运行间轻微移动，因此temperature-zero仍可能选出不同token。单条路径的log-probability只反映已选路径的置信，不反映次优项有多近。
• 重采样：每步把记录提示词重发N次。方法中通常temperature不超过0.5；实验为N=30、temperature 0.5。C(si)衡量响应集合相对众数的集中程度，取值在0到1。
• 三类度量：自由文本或代码用SBERT嵌入的平均成对余弦相似度，释义和功能等价代码计为一致。类别值用token集合的平均成对Jaccard，token不一致会被惩罚。半结构化响应按字段分解，再按可配置权重加权，权重可为0以忽略无关字段。

轨迹分数与指南

• 聚合：轨迹分是各步分数的算术平均。作者指出它把步骤视为独立，上游低一致性决策被后继高一致性步骤传播时不会被额外惩罚。
• 触发：步骤分低于θC且位于决策路径上则标为不一致。作者使用θC=0.85。成功但响应变异高的步骤，与可观察失败的步骤，都可以生成指南。
• 三类指南：沿用strategy、recovery、optimization。strategy巩固猜对了但变异高的模式；recovery绕开变异与失败相关的步骤；optimization指示跳过或简化对完成任务并非必需的高变异步骤。生成器是LLM，被要求针对被标记步骤写指南。附录A给出GPT-4.1从一条AppWorld轨迹与记分卡生成的示例。
• 记忆：指南连同类别、优先级、应用上下文、任务类别和来源进入双索引记忆。运行时可用任务描述的余弦相似度，或由LLM构造带元数据过滤的查询。去重、语义聚类和重叠合并沿用Fang et al. (2026)。实验用余弦相似度检索。

两个回路

• 操作回路：智能体执行任务，可选地加上检索到的指南；可观测层记录完整轨迹。
• 离线回路：每条新轨迹触发检测与生成，新指南进入记忆。作者称经验积累后，分析器给出更细的不一致来源，后续运行更一致。
• 延迟：作者称主要代价是有用指南积累前的延迟，并描述一种反馈：每条指南缩小不一致任务群体，未来指南从该群体抽取。
• 实验生成设定：每个任务用一条baseline轨迹；提示产生该轨迹的同一模型，在自己的记分卡上生成指南。任务成败由AppWorld grader判定，不是由该LLM判定是否通过。

实验设置

• 智能体与模型：ReAct。骨干为GPT-4.1（Microsoft Azure）与GPT-OSS-120B（Amazon Web Services），均为云托管端点。
• 基准：AppWorld test normal，168题，easy 57、medium 48、hard 63（Figure 2）。每个scenario有三个相似变体。另用test challenge 50题做预测实验。
• 协议与指标：每题k=5次。主指标为Passˆ5、Mean@5，以及二者之比Consistency。Section 4.1写明在相关处报告Pass@5，Table 1与Table 2未列出Pass@5。
• 对照与迁移：对照是同一ReAct、同一模型、不注入指南。同任务的指南来自该任务一条baseline轨迹。相似任务中，每个任务针对其scenario里另外两个变体的指南各评一次，共336次；论文以从v1生成并注入v2、v3说明这一设置。
• 分析器：实验把每步解析为类别对(API name, API params)，用平均成对Jaccard，N=30、temperature 0.5。指南由产生轨迹的同一模型生成，运行时按余弦相似度检索。θC=0.85写在Section 3.2，实验节未另报是否改动。
• 判定：成败由AppWorld harness的标准grader判定。论文未报告主运行的解码温度、随机种子，以及k=5之外的整套重复次数。

主结果

据Table 1、Table 2，AppWorld test normal、ReAct、k=5的合计行：

表格较宽，可左右滑动

模型	条件	Passˆ5	Mean@5	Consistency
GPT-4.1	baseline	53.0%	77.4%	0.68
GPT-4.1	同任务指南	69.0%	81.0%	0.85
GPT-4.1	相似任务指南	66.0%	79.5%	0.83
GPT-OSS-120B	baseline	10.1%	33.9%	0.30
GPT-OSS-120B	同任务指南	16.1%	38.7%	0.42
GPT-OSS-120B	相似任务指南	18.8%	40.5%	0.46

• GPT-4.1：作者称同任务Passˆ5相对提升30%，Hard上相对提升45%。同任务各难度的Mean@5均高于baseline。作者称相似任务的合计Passˆ5提升只比同任务低3 pp。
• GPT-OSS-120B：作者称同任务Passˆ5相对提升59%，并称baseline较低时抽出更多余量。相似任务四个难度的Passˆ5都上升，作者称没有回退。
• 与摘要：摘要的+16 points与+13 points对应Table 1合计行的同任务与相似任务差额。摘要未写GPT-OSS-120B的提升。

分难度结果

• GPT-4.1同任务（Table 1）：Easy的Passˆ5从77.2%到89.4%（+12.2 pp），Medium从52.1%到75.0%（+22.9 pp），Hard从31.7%到46.0%（+14.3 pp）。Mean@5分别+3.5、+6.2、+1.6 pp。作者称绝对提升最大在Medium，相对提升最大在Hard。
• GPT-4.1相似任务：Passˆ5的Easy、Medium、Hard分别为+13.1、+14.5、+11.9 pp。Hard的Mean@5从61.9%到61.1%（−0.8 pp）。作者称这可能是因为部分兄弟指南针对的API模式在变体间有细微差别。
• GPT-OSS-120B（Table 2）：同任务Easy、Medium、Hard的Passˆ5为+8.7、+8.3、+1.6 pp；Hard从0.0%到1.6%，归一化一致性从0.00到0.13。相似任务Hard从0.00到0.29，作者称这是两张表中单格最大的归一化一致性增益。

归一化差距（Figure 3）

Figure 3纵轴文字为consistency (Passˆ5/Mean@5)，图注写的是有无指南时的consistency gap。可见标注包括0.18、0.32、0.49（GPT-4.1一侧）以及0.58、0.70、0.92、1.00（GPT-OSS-120B一侧）；纯文本无法把每个数对到柱。

• 作者对图的解读：GPT-4.1合计距完全一致的gap在同任务指南下从0.32收到0.15，作者称减少53%，且每个难度都收窄。GPT-OSS-120B的baseline gap更大，合计0.70、Hard为1.00，指南后到0.58；作者称较低的原始能力限制了仅靠指南能收回的幅度。
• 相似任务：作者称缩减与同任务接近，GPT-4.1合计gap为0.17对0.15；GPT-OSS-120B的Hard上，相似任务从0出发的闭合为0.29，同任务为0.13。
• 文表不一致：Section 2.2写GPT-4.1合计一致性为0.69，Table 1合计行为0.68，以表为准。

轨迹一致性预测成败

• 测了什么：把平均轨迹一致性当作通过/失败的二分类器。数据为AppWorld test challenge 50题，每题一条ReAct/GPT-4.1轨迹。
• 结果：AUROC为0.699（Section 4.4）。摘要写作0.69，结论写作AUROC约0.69。
• 作者解读：作者称0.699是可接受的预测器，使生成器不必只靠LLM自己判断轨迹成败；没有ground-truth评分时可用这一稳定性信号。作者同时强调它打的是稳定性，不是正确性。

其他消融与分析

• 贡献条目写有sample-budget sensitivity study；正文、图与附录表未给出可核对的预算–指标数字。实验默认N=30。
• Section 2.2与Figure 2：GPT-4.1的绝对gap按easy、medium、hard为17.5、25.0、30.2 pp；GPT-OSS-120B合计23.8 pp，easy 38.6 pp，hard 9.5 pp，且hard的Mean@5为9.5%。
• Section 2.2：作者称GPT-OSS-120B合计一致性0.30、hard为0.00，并称与GPT-4.1相差2倍（文中0.69对0.30）。Table 2的hard Consistency为0.00。
• 回退：GPT-4.1相似任务Hard的Mean@5为−0.8 pp（Table 1）。GPT-OSS-120B同任务Hard的Passˆ5仅+1.6 pp（Table 2）；作者称增益集中在模型已有较高通过率之处。
• Section 2.2：作者称在CUGA等其他架构和模型上的非正式测试看到类似模式，但未量化gap。
• 论文未报告指南条数、检索条数或记忆库规模。

作者指出的局限与后续方向

• 平台非确定性（Section 6）：Passˆ5比较假设baseline与注入指南的运行具有可比的平台侧非确定性，作者称无法直接测量或控制。
• 并未消除不一致（Section 6）：作者明确不声称框架消除不一致；仍有相当差距，尤其在Hard任务上。
• 不是验证器（Section 6）：analyzer打的是稳定性不是正确性；自信但错误的决策在它看来也是一致的。
• 重采样成本（Section 6）：默认N=30使每条轨迹的token成本大约乘30。作者把不降低指南质量的降成本，例如把样本集中到候选平坦步骤的自适应重采样，列为后续方向。
• 指南校验（Section 6）：当前管线把生成的指南直接写入记忆。作者把准入前校验留作后续：再次重采样，仅当该步一致性提高、且在相关轨迹的留出集上不回退时才准入，以应对含糊、与已有指令冲突或过拟合轨迹偶然细节的指南。
• 跨栈评估（Section 6）：目前评估的是ReAct加GPT-4.1与GPT-OSS-120B。作者称框架按设计与智能体架构无关，下一步是跨模型族，以及带既有policy memory的智能体（如CUGA）的跨栈研究。

实验覆盖范围

• 主实验为ReAct，骨干GPT-4.1（Azure）与GPT-OSS-120B（AWS）；AppWorld test normal 168题（easy 57、medium 48、hard 63），每题5次（Section 4.1，Figure 2）。
• 对照是无指南的同一ReAct。同任务用该任务一条baseline轨迹生成指南；相似任务在scenario的变体间迁移，共336次评估（Section 4.3）。
• 实验中的逐步分数是(API name, API params)的Jaccard，N=30、temperature 0.5；指南由产出轨迹的同一模型生成，运行时余弦相似度检索（Section 4.1）。θC=0.85写在Section 3.2。
• 轨迹级一致性对成败的AUROC来自test challenge 50题、每题一条ReAct/GPT-4.1轨迹（Section 4.4）。任务成败由AppWorld grader判定。
• 论文未报告主运行的解码温度与随机种子；引言中的sample-budget sensitivity study在正文和附录未给出可核对数字。Section 2.2称对CUGA等做过非正式测试，但未量化gap。

作者要缩小的是LLM智能体平均通过、重复不稳之间的consistency gap，即Mean@k减Passˆk。

AppWorld test normal共168题。ReAct/GPT-4.1的Mean@5为77.4%，Passˆ5为53.0%，gap 24.4 pp；GPT-OSS-120B为33.9%、10.1%、23.8 pp（Table 1、Table 2、Figure 2）。作者认为原因是推理点上近并列的响应分布，托管端噪声在贪心解码下仍会改写选择。

做法不更新权重：黑盒重采样给步骤打分，实验用Jaccard（N=30，temperature 0.5），低于θC=0.85的决策步生成strategy、recovery或optimization指南，写入记忆，按余弦相似度注入后续相似任务。

GPT-4.1的Passˆ5同任务+16.0 pp、相似任务+13.0 pp，同任务Mean@5 +3.6 pp（Table 1）。GPT-OSS-120B同任务+6.0 pp、相似任务+8.7 pp（Table 2）。相似任务中GPT-4.1的Hard Mean@5为−0.8 pp。50条test challenge轨迹上，平均一致性对成败的AUROC为0.699。

作者的结论是一致性应独立于平均准确率；提示词层指南可以提高Passˆ5，并迁到同scenario变体。作者同时认为分析器不是验证器，Hard上差距仍在，N=30大约使每条轨迹的token成本乘以30。