ContextWeave：面向长周期办公工作流的智能体记忆基准

现有记忆评测多把记忆当成检索或问答，测不出召回经验能否提升真实办公工作流里的下游表现。

• 场景：作者认为，语言智能体正从孤立解题走向长时程、有状态工作流，上下文窗口有界，需要跨会话保留任务信息并复用经验。
• 现有不足：长上下文和对话记忆基准多是对给定记录作答；端到端智能体基准通常是独立任务，跨回合证据有限。引言称重复试验式自我改进错过稀疏、隐式、用户特定的依赖。
• 操作标准：作者把有用记忆定义为任务流推进后能提高后续任务表现，而不是只优化存储或检索。
• 本文提出：ContextWeave把14名参与者数月、经隐私处理的工作流重建为1,005个可执行任务，其中568个主工作流任务用于评测。协议比较有无前序历史时的Workspace Score与Preference Score，并用Relevance、Continuity、Solvability、Hallucination Robustness作诊断。

长历史问答

• RULER与长上下文建模：RULER在合成长上下文上做检索、多跳追踪和聚合；同类问答也用于长上下文建模。
• LoCoMo与LongMemEval：在多会话对话上询问事实、事件、偏好、时间关系或更新后的用户信息。论文指出，这种格式把评测还原为对给定记录作答，没有回答记忆能否改善更复杂智能体任务的下游表现。

独立任务与重复试验

• GAIA、SWE-bench、DeepSWE：在长轨迹上解决复杂问题，可考察执行中的工作记忆。论文称它们并非专为记忆设计。
• 重复试验：引言把Reflexion、ExpeL等自我改进写成在已有任务分布上重复试验或epoch，并称该设定错过稀疏、隐式、用户特定的依赖。Section 2.2还讨论HotpotQA、ALFWorld上的多trial或epoch，并称尚不清楚这是否反映真实工作流中的记忆效果。

构造多会话与组件诊断

• MemoryArena：人工编写显式相互依赖的子任务，在Memory-Agent-Environment循环中用早期经验指导后续行动。论文指出，这些依赖是人工构造的，可能不能充分反映真实工作流里稀疏、隐式的依赖。
• MemBench、MemoryAgentBench、MemoryBench：分别覆盖事实与反思记忆、检索/测试时学习/长程理解/选择性遗忘，以及陈述性与程序性记忆。论文认为组件级测量更应看作解释信号，而不是下游表现的直接估计。

记忆组件与实验基线

• 已有组件：MemoryBank用持续更新和遗忘/强化维护用户记忆；Mem0从对话中抽取、合并并检索，另有图变体；LangMem提供语义、情景和程序性记忆模块；A-MEM用结构化笔记并动态建链；MemOS调度明文、激活和参数记忆。论文把它们概括为抽象、组织和生命周期控制不同的设计空间。
• 基线与基准：实验基线是No Recall；对照组件为mem0、memos、supermemory、memorybank、langmem、a-mem。评测用的是ContextWeave的568个核心任务，不是上述外部基准。memos与supermemory在Related Work中没有展开。

作者把本文定位为：在隐私处理后的真实多月办公流和可执行环境中，测量跨会话召回带来的下游增益，而不是只测检索、独立任务、重复试验、人工依赖或组件能力。

ContextWeave把记忆评测做成纵向任务流上的受控对照：同一目标任务分别在无历史和接入记忆组件后执行，用下游分数差衡量记忆。

任务流与设计原则

真实交互写成有序任务流 D=(T₁,T₂,…,T_n)。对目标任务Ti，无历史表现为R(Ti)；记忆组件M先处理此前轨迹，再把记忆表征交给求解Ti，得到R_M(Ti)。增益为 Δ R_M(T_i)=R_M(T_i)−R(T_i)，正值表示历史经验提高了后续执行。四条原则是：用真实工作流并做保结构匿名；提供可执行、可复现环境；把历史经验与环境演化分开，避免误差累积；以下游结果为主，记忆诊断为辅。

从编辑记录到任务

• 来源：一个开源项目中14名参与者数月的工作史。按人收集文档编辑事件，按时间保留文档标识、编辑前后内容和diff。
• 切分：LLM辅助把连续事件合成可交给智能体的任务，人工再核对边界，并标注目标、是否属于主工作流、外部资源和重建约束。核对后为1,005个任务，其中568个主工作流任务。非主任务留在同一人的历史序列里。
• 隐私：规则检测加智能体核验。敏感实体在全序列中一致替换，私有域名和路径规范化，凭证换成保格式占位符；公开和非敏感信息尽量保留。附录B给出切分提示词和人工标注步骤。

指令、观察与执行校验

1. 指令：模型结合前后文稿、diff、标注和可用历史，推断可能产生该结果的用户请求，写成面向目标的自然指令，不规定逐步操作，以降低泄露最终文稿的风险。
2. 观察：能高置信恢复的静态资源，做成容器内文件、结构化笔记或摘要；需要保持前后任务依赖的会议或讨论，也编成笔记。不能直接暴露或难以恢复的资源走受控模拟API：被测智能体提交文本请求，模拟器按工作流记录和人工标注中的资源属性生成统计、摘要或模拟工具输出。
3. 校验回路：智能体在准备好的容器中执行。校验器判断结果是否与原工作日志对应同一任务，不要求文本完全一致。任务不对就按反馈修订指令再跑；任务对但执行失败，则人工检查观察或环境是否不完整并补充。通过后保留指令、观察、轨迹和容器状态。附录B给出推断、修订和对齐提示词。

轨迹对齐

开放式执行会累积偏移，使后续环境偏离原工作流。已验证轨迹被改写成结果对齐轨迹：保留观察、推理、工具调用和文件操作的高层模式，但调整具体输出，使应用后的工作区变化与工作日志一致。该状态成为下一任务的规范环境。目标任务因此可以独立或并行评测，分数更直接对应记忆组件如何使用固定历史。Figure 1概括了这条构建流程。

下游分数与诊断

• Workspace Score：评最终Docker环境，不评回复文本。参照物是重建时验证过的任务后工作区。要求分最低完成、参照级质量和高于参照的改进；约60为最低完成，80为参照级质量，更高分要求正确性、覆盖、验证、可用性或鲁棒性上有明确改进。分数归一化到0–100。
• Preference Score：人工先定根偏好，LLM再从历史消息和文档变化导出跨任务量表。按参照文档变化选出适用条目，由LLM判断候选轨迹的文档写入是否满足偏好，加权后归一化到0–100。另报同标准下有召回与无召回轨迹的匿名成对胜率。
• 四项诊断：LLM把每个评测任务与该参与者全部更早任务比较，抽出支持片段作为参照历史证据。Relevance比较召回块与参照片段的余弦相似度，并有1–5分；实验里嵌入模型为text-embedding-3-small，阈值0.65。Continuity把工具调用分成exploration、execution或其他，比较次数与比例，另有1–5的环境熟悉度。Solvability是无召回轨迹中未解决的执行问题里，召回内容足以解决或避免的比例。Hallucination Robustness是至少含一个由误导性召回引起的问题的任务比例，另有1–5分；Table 1中该LLM分越高越好。

实验设置

• 组件对比：框架固定为Codex，执行模型为GPT-5.5，推理力度为xhigh。每个主工作流任务从规范的任务前状态出发，在隔离Docker中独立执行。各条件共享指令、初始工作区、模型和工具权限，只改变注入的召回上下文。
• 模型对比：框架、指令、工作区和工具权限不变，记忆组件固定为mem0。执行模型为DeepSeek-V4-Pro、GPT-5.5、GLM-5.1、Kimi-K2.6、Qwen3.7-Max，均在全部568个核心任务上做无召回和有召回。
• 评分：评分调用使用GPT-5.5，提示词固定。Workspace由Codex以xhigh批改，批改者只读检查候选与参照Docker镜像，并被要求依据检视到的产物和可执行检查打分。每条适用偏好量表单独调用一次。成对比较把两条轨迹随机标为A/B，必须二选一、不许平局。
• 诊断：参照证据、批改模型和提示词在组件间固定，判断模型为GPT-5.5。嵌入为text-embedding-3-small，余弦阈值0.65。Relevance、Continuity和Hallucination Robustness看完整的有召回/无召回成对轨迹；工具调用分类、可解性和记忆诱发问题分次调用。
• 指标方向：Workspace与Preference为0–100，越高越好。With-recall Win Rate是偏好成对比较中有召回轨迹胜出的比例。Table 1的Problem Solvability Rate越高越好。Table 2的Recall-Solvable Problems是有召回轨迹中仍未解决、但召回本可解决的问题比例，越低越好。
• 规模：核心评测目标为568个主工作流任务。论文未报告每个条件的重复次数。

主结果

固定Codex与GPT-5.5，据Table 1。Win Rate是偏好成对胜率；No Recall行该指标不适用。

Swipe horizontally to read the table

记忆条件	Workspace	Preference	Win Rate
No Recall	68.08	41.50	未报告
mem0	72.48	49.73	50.70%
memos	70.01	46.38	53.30%
supermemory	70.57	48.04	55.60%
memorybank	73.24	55.40	65.08%
langmem	75.29	57.37	62.79%
a-mem	78.20	70.60	72.70%

• 表面完成：作者称无召回输出常看起来完整，却没有保住既有工作区状态和参与者惯例。作者称其人工检查了成对轨迹，并认为记忆的主要作用是延续已有工作流，而不是补充背景知识。Section 5.2.2写大约从68到78；Table 1的对应数字是68.08与78.20。
• 经验与摘要：作者称越接近具体工作示例的召回，智能体在行动前要自行重建的上下文越少；langmem的任务级摘要处于摘要与ICL之间。作者同时写明各组件的检索策略和上下文长度也不同，因此把这一比较视为经验关联，并把固定token预算的对照留到后续。
• 误导：作者称更丰富的召回也伴随更多记忆诱发问题，因此倾向经过筛选的上下文经验，而不是无差别保留更多历史。Table 1中记忆诱发任务率从mem0、memos的0.35%到a-mem的7.39%。

五个基座模型

固定mem0与Codex，568个核心任务，据Table 2。变化量均为有召回减去无召回。

Swipe horizontally to read the table

模型	无召回WS	有召回WS	WS Δ	Pref Δ	胜率
DeepSeek-V4-Pro	61.76	67.36	+5.61	+9.61	61.09%
GPT-5.5	67.53	72.48	+4.95	+7.66	50.70%
GLM-5.1	71.91	74.10	+2.19	+5.83	55.46%
Kimi-K2.6	66.18	69.16	+2.99	+8.37	57.39%
Qwen3.7-Max	62.93	65.99	+3.06	+5.55	51.94%

• 都有提升，排序大体保留：作者称mem0提高了每个模型的Workspace和Preference，但无召回时的模型排序在加入记忆后仍然相近。GLM-5.1在两种条件下Workspace都最高；DeepSeek-V4-Pro的Workspace增益最大。Table 1的No Recall为68.08/41.50，Table 2中GPT-5.5无召回为67.53/42.07；有召回的72.48/49.73/50.70%与Table 1的mem0相同。论文未说明无召回数字为何不同。
• 少探索不等于增益大：Kimi-K2.6与GLM-5.1的exploration次数下降最多（−3.01、−2.49），但execution次数也下降，Workspace增益较小。DeepSeek-V4-Pro的exploration次数为+0.26，Exploration Rate却为−3.40个百分点，Execution Rate为+3.26个百分点。作者认为记忆更有用的情形，是把力气从重建工作区状态转到修改、运行和验证，而不是只缩短轨迹。
• 用不用得上、会不会被带偏：Recall-Solvable Problems最低的是GPT-5.5（1.52%）和DeepSeek-V4-Pro（1.89%），最高的是Kimi-K2.6（3.03%）。作者认为增益差异的一个来源，是模型能否把已召回的信息变成有效行动；因记忆固定为mem0，该指标看的是基座模型而不是记忆系统之差。Memory-induced Task Rate从GPT-5.5的0.00%到GLM-5.1的2.11%，统计的是由误导性召回引起或加重的执行问题，不论后来是否解决。作者认为鲁棒性同时取决于检索内容和模型如何解释、核验并使用它。

任务构成与时间距离

• 规模：1,005个可执行任务来自14名参与者；568个主任务为评测目标，437个非主任务只留在历史中。用GPT-5分词器，1,005条消息日志平均36.3K token，最长212.3K（Section 5.1、Table A.1）。Table A.2中，核心目标任务的任务前历史总体均值1.19M token，中位数654.1K，最大8.43M。
• 活动：568个核心任务为多标签标注。Table A.3中Writing 223（39.26%）、Data Analysis 138（24.30%）、Coding 136（23.94%）、Planning 106（18.66%）、Tool Use 101（17.78%）、Debugging 69（12.15%）、Deep Research 51（8.98%）、Review 42（7.39%）、Data Process 32（5.63%）。
• 依赖距离：568个核心任务中541个至少依赖一个前序任务，共8,084条相关链接；作者称75.6%的任务其相关前序任务平均距离不超过20个子任务，24.4%仍超过20（Section 5.1）。Table A.5把这541个任务按平均子任务距离分成0–10为261（48.24%）、10–20为148（27.36%）、20–50为114（21.07%）、50+为18（3.33%）。Figure 2(b–d)使用全部14份原始成对标注、1,007个任务ID，且不做最终基准或核心任务过滤：图中标有66.3% at <=20、920/993 targets，相关链接中位数19、P75 40、P95 89（n=13,092），以及46.0%与12.1%（n=49,038 pairs，注明95% Wilson CI）。文本转换后看不出后两个百分比各自对应的距离区间。

其他消融与分析

• Relevance：LLM分最高为memos 4.09，a-mem为3.73；Mean Similarity与embedding recall最高为a-mem 0.7244、0.6945（Table 1）。
• Precision最高为memos 0.3160；supermemory为0.1842，低于a-mem的0.3001。作者称摘要式系统在语义相关性和precision上较好，Table 1里supermemory是反例。
• Exploration Δ最大降幅为a-mem −5.37，其Exploration Rate Δ为−7.06个百分点；Execution Δ为−0.09，Execution Rate Δ为+6.63个百分点（Table 1）。
• Problem Solvability Rate：supermemory 0.96%，mem0、memos、memorybank均为1.45%，langmem 6.59%，a-mem 7.07%（Table 1）。
• Hallucination Robustness的LLM分从mem0的4.90到a-mem的4.66；记忆诱发任务率mem0/memos 0.35%、supermemory 0.70%、memorybank 1.23%、langmem 5.11%、a-mem 7.39%（Table 1）。
• 成对胜率与两项分数不完全同序：memorybank 65.08%，高于langmem的62.79%，尽管后者Workspace和Preference更高（Table 1）。

作者指出的局限与后续方向

Limitations and Future Work开篇写“We designed MemoryBench”，随后列出的局限都针对这一基准；正文评测对象的名称是ContextWeave。

• 量表校准：任务量表的校准仍在进行。作者称已在抽样子集上收集粗粒度人工判断，并与模型评分有较强的初步一致，但还没有做到逐任务、逐量表条目的穷尽校验。作者计划扩大人工评估，校准每条任务量表并查看人机分歧（Rubric Calibration and Human Validation）。
• 评测成本：作者称在当前设置下，完整基准运行约每模型–框架配置200美元。作者计划构造有代表性的任务子集并精简部分环境，做成更低成本的代理评测，同时保留全量基准（Evaluation Cost and Scalable Proxies）。
• 模型与框架：作者称当前结果还没有覆盖若干新发布的模型，智能体框架范围也不够宽，不应被理解成对现有记忆智能体系统的穷尽比较。作者计划持续加入更新的模型、更多框架和更广的记忆实现（Model and Agent-Harness Coverage）。
• 领域与观察：作者称当前只覆盖有限的参与者、领域和观察类型，这可能约束结果推广到其他专业工作流和交互设定。作者希望与更多开源项目和数据贡献者合作，扩展领域、观察形式和长期依赖模式（Broader Domains and Richer Observations）。

实验覆盖范围

• 记忆组件对比的执行模型为GPT-5.5，框架为Codex；条件为No Recall、mem0、memos、supermemory、memorybank、langmem、a-mem（Section 5.2，Table 1）。
• 基座模型对比固定mem0，模型为DeepSeek-V4-Pro、GPT-5.5、GLM-5.1、Kimi-K2.6、Qwen3.7-Max，各在568个核心任务上比较有无召回（Section 5.3，Table 2）。
• 任务来自14名参与者；1,005个可执行任务中568个为主任务评测目标，437个非主任务保留在历史序列中（Section 5.1）。评分、标注和判断调用使用GPT-5.5；嵌入模型为text-embedding-3-small，阈值0.65（Section 5.2.1、5.3.1）。
• 论文未报告各条件的重复次数。Section 5.2.3写明各组件的检索策略和上下文长度也不同，并把固定token预算下的对照留到后续；正文没有报告该对照的结果。
• 论文未给出人工判断与模型评分的一致率或抽样规模。Table 1的No Recall Workspace/Preference为68.08/41.50，Table 2中GPT-5.5无召回为67.53/42.07，论文未说明这一差别。

ContextWeave是面向语言智能体记忆的纵向基准，用来看召回先前经验能否让后续办公任务做得更好。

• 问题：长时程、有状态工作流需要跨会话记忆，但检索问答、独立任务和重复试验都难反映真实使用中稀疏、隐式、因人而异的依赖。作者采用的标准是：有用记忆应提高后续任务表现。
• 做法：14名参与者的多月文档编辑记录经过去标识、切分、人工核对和容器内执行校验，成为1,005个可执行任务，568个主任务用于打分。历史轨迹被对齐到真实工作区结果，使目标任务可以在固定前序状态下比较有无召回。主指标是工作区完成质量和对参与者偏好的对齐，另有相关性、连续性、可解性和误导鲁棒性诊断。
• 组件：固定Codex与GPT-5.5时，六种记忆组件的两项分数都高于无召回。a-mem的Workspace为78.20、Preference为70.60，无召回为68.08和41.50（Table 1）。同一行里，a-mem的记忆诱发任务率为7.39%，mem0与memos为0.35%。作者认为可执行的上下文经验比紧凑摘要更利于延续工作流，也更容易受误导性召回影响。
• 模型：记忆固定为mem0时，五个基座模型的两项分数都上升。Workspace增益最大的是DeepSeek-V4-Pro（+5.61），最小的是GLM-5.1（+2.19）；GLM-5.1在有无召回下的Workspace都最高，分别为74.10和71.91（Table 2）。作者认为增益差异与模型是否把召回变成有效行动有关，误导风险也因模型而不同，GPT-5.5的记忆诱发任务率为0.00%，GLM-5.1为2.11%。
• 作者结论：在所测设置中，召回提高了工作区质量和偏好对齐，但其价值取决于召回经验是否可行动，以及基座模型能否可靠使用它。作者据此认为，记忆系统除检索相关性外，还应优化执行中的可靠使用。