Jev 预注册测试：智能体记忆何时该用选择替代抽取？

对话记忆是否必须先抽出事实，还是选出正确的原始轮次就够？

• 场景：长期对话要在有限上下文里回答跨会话问题。作者称抽取式系统报告蒸馏事实有收益，近期研究则发现排序良好的原始历史一样好或更好，但对排序是否关键彼此不一致。
• 现有分歧：SmartSearch 把排序视为瓶颈，Fidelity Before Structure 认为重排增益很小。作者认为分歧的一部分来自上下文预算，即回答模型读到的检索条目数，并在同一研究里按预算检验。
• 假设：预算只保留少数候选时，选哪些条目决定答案，好的选择器可以代替抽取；预算宽裕时，相似度顺序已包含大部分证据，重排增益变小，更紧凑的抽取事实更准。预注册检验前一半，以及重排价值如何随预算变化。
• 本文：在未用于开发的 LoCoMo 对话和 LongMemEval 上，用一次 Jev 调用从原始轮次中选择，对照作者自己的抽取系统 engram v2。非劣效指原始轮次至多多差 5 个点，而不是检验两者是否存在任何差异。作者称贡献是这项检验、研究内的预算结果和类型化选择器，不是新架构。

论文按原始历史、预算与抽取、类型化决策和重排来讨论相关工作。

原始历史对照抽取

• SmartSearch（Derehag et al., 2026）：用确定性流水线加 CrossEncoder 与 ColBERT 融合，对原始历史排序。论文称其认为写入时的 LLM 结构化和学习到的检索策略都非必要，并把排序视为瓶颈。
• Fidelity Before Structure（An, 2026）：在同一流水线里只更换存储表示，gpt-4o 作答，gpt-4o-mini 做二元评审。论文转述 verbatim chunks 领先抽取产物：LoCoMo 类别 1–3、699 题上 15.9 个点，LongMemEval-S、500 题上 22.0 个点；其附录 D 中官方 Mem0 也落后于 verbatim chunks，且重排增益很小。
• 近原文与查询时压缩：论文还讨论 Nano-Memory 的检索加生成、EMem 的近原文话语单元、Zeng et al.（2024）在 LoCoMo 上以块和混合存储更强、LongMemEval 设计研究认为轮次级存储最好且事实增强索引键有帮助，以及 Letta 报告的文件式历史。Zero-Mem 去掉每次记忆操作中的 LLM 调用，报告 F1，论文称数字不可比。LazyMem 在查询时压缩相关内容并在读取时改写；本文选择器只做选择。作者称本文在紧预算上与这一谱系一致，差距小于 Fidelity，因为对照的抽取系统保留来源引文。

预算与抽取系统

• Kang et al.（2026）：证据已经识别之后，在固定作答预算下比较保留原文和生成合并。论文转述预算装不下相关原文时合并有帮助，LongMemEval 上 32 tokens 时最高 48 个点；装得下则更宜保留。作者称自己的紧预算 129–265 tokens 已能装下若干原始轮次，与该区间一致，但自己检验的是选择能否免去抽取。
• 抽取式记忆：mem0（Chhikara et al., 2025）按消息抽事实，本文运行的是 OSS 2.1.0；论文称更新版本有更高的自报数字。Graphiti/Zep、A-MEM、MemGPT/Letta、EverMemOS、Memora 在写入时用 LLM 组织记忆。SimpleMem、LightMem、LeanMem 把抽取做得更省。
• 其他预算工作：EMBER（Li et al., 2026b）在固定的查询前 token 预算下学习保留哪些原文。Huang et al.（2026）的受控比较中，没有一种记忆底物在全部运行区间占优。

类型化决策、重排与评测

• Jev 上的记忆：作者称 Jev-Mem（Jiang et al., 2026a）是首个建在 Jev 上的记忆系统，用类型化问题做类型、关系、路由、遍历和停止。AtMem–Jev（Taghia, 2026）报告 Jev 重排提高排序指标。本文在答案层面、匹配上下文下比较 Jev 选择器与 LLM 重排，以及与 Jev-Mem。
• 重排：论文把 SmartSearch 的“排序是瓶颈”和 Fidelity 的“重排增益很小”并列。MemReranker（Li et al., 2026a）在关键检索指标上与 gpt-4o-mini 相当；EARM 把 LLM 重排视为按查询支付的成本。Lysenstøen（2026）报告现成 cross-encoder 降低对话查询的 Hit@1；ConvMemory v2 报告为对话微调的 cross-encoder 有收益。
• 评测效度：已有 LoCoMo 留出对话划分（Yan et al., 2025; Jiang et al., 2026b）。论文引用 Same Ranking, Different Winner，称检索功劳取决于存储形式；本文只在原始轮次上算短名单召回。Fidelity 在 100 题上报告评审与人工 κ=0.897，短答案与长答案相近，其评审被要求严格。

基线与本文位置

• 基线与基准：对照为 Turns + cosine、Turns + LLM、engram v2、mem0 2.1.0、Jev-Mem 和全文上下文。基准为 LoCoMo 与 LongMemEval_S cleaned。
• 定位：作者把贡献放在预注册非劣效界、留出对话、研究内的预算分析和分类别召回，而不是新架构。作者认为宽预算下的抽取优势部分来自自己选择器的读路径上限，并不反驳 Kang 等；跨论文的预算解读被标明为解释，不是跨论文检验。

整体上，Turns + Jev 在写入时只保存带日期的原始轮次，读取时用一次 Jev 调用从余弦短名单里选择；engram v2 先抽取事实，再用同一类选择器读取。主检验固定选择器，只改存储内容。全部系统用 gpt-4o-mini 作答、text-embedding-3-small 嵌入、jev-1.13.0 做全部 Jev 决策。

设定与判定

• 对象：对话是带会话日期的轮次。系统先写入存储，再按问题选出子集，交给回答模型。Turns + Jev 与 Turns + cosine 存的就是轮次；engram v2 存的是带来源引文和有效期的事实；Jev-Mem 存的是 Jev 标注边的轮次图。
• Jev：类型化问题有固定选项集。d(s,Q)=argmax_{o∈ OQ}p(o∣ s,Q)。Jev 不生成文本，输出无需解析，置信度是可设阈值的概率。
• 非劣效：d̄−z_0.95s/√N>−δ。逐题差值是 Turns + Jev 是否被判对减去 engram v2。N=778，界为 5 个点，z 取 1.645。作者称该界是开发对话上重排实测效应的一半。通过意味着抽取在该预算下增加的准确率有上界，而不是两者没有差异。
• 成功判定：预注册检验用评审的 CORRECT 或 WRONG。人工审计是敏感性分析，不改判定。次级检验除 S4 外为精确双侧 McNemar；S1 至 S7 做 Holm 校正，族错误率 0.05。

读写路径

• Turns + Jev：写入只嵌入轮次，存成带日期和说话人的原文，无抽取、无 LLM。读取先取与问题余弦最近的 30 条，一次请求问每条是否有助于回答，保留概率高于 0.5 的轮次，再按余弦补入最多 10 条保底，回答模型读前 k 条。附录 F 给出相关性问题全文。
• 对照读取：Turns + cosine 按余弦顺序读，不调用 Jev。Turns + LLM 用 gpt-4o-mini 列表式重排代替 Jev。全文把该对话全部轮次放进作答提示。
• engram v2：用 mem0 的抽取提示从每条消息抽事实，抽取模型为 gpt-4o-mini；Jev 对最多 10 条候选事实做类型和关系判断，信念策略关闭被取代的事实。读取是 Turns + Jev 的路径，对象换成事实。相对更早预印本，v2 把会话日期交给抽取，并增加同属性门控。作者称它在开发对话上最准，因此选作可能让检验失败的对照。
• mem0 与 Jev-Mem：mem0 2.1.0 走默认 add 路径，每条消息一次 LLM 抽取，读取为向量搜索。Jev-Mem 在 commit 81574eb、默认配置、jev-1.13.0 下运行：每轮两次 Jev 请求写类型和关系，读取做路由、遍历和停止，Figure 1 标为每题 2 至 16 次。作答用本文提示，不用它自己的提示、三选一和评审。

匹配与注册设计

• 匹配上下文：对照在自己的 k=3 运行。Turns + Jev 取渲染 token 最接近的 k，平局取较大 k。一次只检索、不作答的扫描给出 token 数，选定 k 后才作答。增益定义为同一 k 上 Jev 与 cosine 的准确率差。
• 数据：主数据为从未跑过的 conv-44、47、48、49、50，计分题 778，另有对抗题 209。类别按数据集命名为多跳、时间、开放域、单跳、对抗。开发只用 conv-26。LongMemEval 注册样本 70 题、仅用户轮次；修订后加入全部 500 题的用户与助手轮次。
• 修订时机：修订在批次 A 之后、任何 H1 结果被看到之前存档，因此加入 S7、全量 LongMemEval 和第二回答模型时，S1 与 S2 的结果已知。作者称除该修订外，后续偏离没有改变检验、界或计划中的解释；mem0 的服务偏离给 S3 加了保留。
• 稳健性规则：H1 与 S1 用 Llama 3.3 70B Instruct 从同一上下文重答，同一评审打分。作者称只有两种回答模型下都成立才叫 model-robust。计划中的功效分析写明，若开发差值保持，通过 H1 的概率为 0.89。

实验设置

• 模型与栈：作答为 gpt-4o-mini，temperature 0；评审为同一模型，使用 mem0 的 LoCoMo 提示，只输出 CORRECT 或 WRONG。作者称该评审对触及同一主题的答案从宽。H1 与 S1 另由 Llama 3.3 70B Instruct 经 OpenRouter 从同一上下文重答。嵌入为 text-embedding-3-small，Jev 为 jev-1.13.0。token 用 o200k_base 统计回答模型看到的记忆块。
• LoCoMo：主数据 conv-44、47、48、49、50：3,122 轮，778 道计分题（多跳 140、时间 165、开放域 50、单跳 423），另有 209 道对抗题。探索性复制为另四段对话的 610 道计分题。开发只用 conv-26。
• LongMemEval：注册样本 70 题，只摄入用户轮次。修订后全量 500 题，摄入用户与助手轮次，其中 470 道计分、30 道弃权。engram v2 与 Jev-Mem 未在该集运行；mem0 只跑了 30 道 knowledge-update。
• 系统：Turns + Jev、Turns + cosine、Turns + LLM、engram v2、mem0 2.1.0、Jev-Mem（commit 81574eb，默认配置）和全文上下文。wide 变体在注册结果之后、Holm 族之外测一次。
• 检验：准确率。H1 为单侧 95% 非劣效，界 −5 个点，N=778。S4 为同一界的非劣效，其余次级检验为精确双侧 McNemar，S1–S7 做 Holm 校正，族错误率 0.05。对照在 k=3，Turns + Jev 取 token 最接近的 k。
• 人工与测量：第一作者盲评 H1 中评审恰好判一方正确的题。延迟在 40 题、k=3、一次一问上现场测量。论文未报告多次独立重复。

主结果

表格较宽，可左右滑动

评分	Turns + Jev	engram v2	差值（点）	单侧95%下界	非劣效
Judge（注册）	77.0%	77.5%	−0.5	−3.0	是
人工，严格	76.3%	78.0%	−1.7	−3.9	是
人工，宽松	77.4%	79.9%	−2.6	−4.7	是

据 Table 1。Turns + Jev 为 k=6（265 tokens/题），engram v2 为 k=3（251 tokens），LoCoMo 五段留出对话 778 题。人工行替换 141 道已评不一致题上的评审标签。

• 注册结果：作者称结果为通过。单侧 p 值为 0.0017。按对话 bootstrap，差值的第 5 百分位为 −2.3 个点。仅 Turns + Jev 正确 69 题，仅 engram v2 正确 73 题。摘要称人工评分缩小了相对界的余量但不改变结果；§5.4 称它拉大了两系统差距。宽松映射的双侧区间为 [−5.1, −0.03]，作者称按该评分 engram v2 更准，仍在界内；这依赖保留未评一题的评审标签，丢掉后上端为 +0.09（附录 C）。
• 类别：作者称类别比较未做检验。预写结果段给出多跳 74.3 对 72.1（n=140），开放域 56.0 对 60.0（n=50）。Table 3 同一设置下，时间类为 72.1% 对 77.6%，单跳为 82.3% 对 81.3%。
• 成本与关上的差距：k=6 的 Turns + cosine 为 68.6%，作者称一次重排关上相似度与抽取之间差距的 94%。写入标价在正文为每 1,000 轮 1.865 美元对 0.00061 美元，即 3,061 倍；Table 5 将后者写作 0.0006 美元。

次级检验与预算

表格较宽，可左右滑动

检验	Turns + Jev	对照	Holm后
S1 对 cosine，778题，k=3	77.2%	59.9%	拒绝
S2 对 Jev-Mem，k=4对k=3	77.0%	70.6%	拒绝
S3 对 mem0，k=3	77.2%	68.5%	拒绝
S4 对 LLM 重排，k=3	77.2%	77.6%	非劣效
S5 对 mem0，LME 30题，Jev k=2	70.0%	70.0%	未拒绝
S6 对 cosine，LME 70题	68.6%	65.7%	未拒绝
S7 对 cosine，LME 470题	66.8%	57.7%	拒绝

据 Table 2。对照在 k=3。S4 的拒绝即非劣效成立，作者给出的差值为 −0.4 个点、下界 −2.0。S5–S6 只摄入用户轮次，S7 摄入用户与助手轮次。

• 解读：作者称 S5 的 30 题不足以确立等价，并按注册规则写 LongMemEval 成立：S7 支持 Turns + Jev，S5 不支持 mem0。S3 有保留：mem0 抽取经 OpenRouter，约一半由 Azure 服务。作者给出的 k=3 配对增益为 +17.4 个点，与 Figure 5 一致；Table 2 的准确率是四舍五入后的 77.2% 与 59.9%。
• 随 k 变化：Figure 5 标注 LoCoMo 上 k=3 为 +17.4、k=20 为 +1.5，LongMemEval 上 k=3 为 +9.1、k=20 为 +1.1。k=3 是注册检验 S1 与 S7，k=20 为描述性。作者称留 3/30 时排序决定证据是否到达回答模型，留 20 条时余弦顺序已包含大部分证据。
• 宽预算：作者称顺序反过来，且该比较未做 token 匹配、不是注册检验（Table 3）。engram v2 在 k=20 为 82.4%（1,238 tokens），作者称这是所测准确率最高的系统；Jev-Mem 在 k=40 为 80.3%（1,987 tokens）；mem0 在 k=20 为 78.7%；全文为 78.3%（23,631 tokens）。Turns + Jev 在各 k 停在 77.6% 附近。Jev-Mem 默认 k=40 高于该平台（80.3% 对 77.6%），Turns + Jev 只在匹配上下文的 S2 上更高。作者称 k=3 的 Turns + Jev 与全文相差在 1.0 个点以内；Table 3 的对应数字是 77.2% 与 78.3%，读取 139 对 23,631 tokens。k=20 时 Jev 读 496 tokens、cosine 读 826。

稳健性、长历史与弃权

• 第二回答模型：Llama 3.3 70B Instruct 下 H1 仍通过：75.3% 对 75.6%，差值 −0.3，下界 −2.9。S1 亦通过：74.9% 对 57.6%，p=5.8e−26。作者称二者因此为 model-robust。重建的 3,112 个上下文里有 4 个 token 数与记录不完全一致；OpenRouter 经 9 个提供方提供 Llama，作者称数值精度可能不同。
• 人工一致：142 道评审不一致题中有一题未评。与评审的一致率，严格映射 81%，宽松映射 79%（附录 C）。严格映射下，17 题两边都对、18 题两边都错。作者称评审更容易把短答案判对，对列表式答案更严：宽松映射下 engram v2 为 77%，Turns + Jev 为 82%，并称这是差距被拉大的原因。
• 长历史与弃权：作者称不能由此支持长历史上匹配抽取记忆，因为 engram v2 未运行。全量上全文为 63.0%，k=3 的 Turns + Jev 为 66.8%；仅前者对 54 题，仅后者对 72 题，p=0.13，描述性。全文读取 token 为 209 倍、作答成本为 29 倍（评审除外，0.0169 对 0.00058 美元）。作者称全文在时间与多会话上最弱（Table 4：43.3% 与 45.5%）。Table 6：209 道对抗题、k=3 的正确弃权，cosine 63.6%，engram v2 与 mem0 均为 59.8%，Jev 54.1%，LLM 重排 48.8%。LongMemEval 在 k=20：Jev 63.3%，cosine 70.0%（30 道弃权题）。作者称重排降低了正确弃权。Table 4 还有例外：紧预算下 single-session preference（n=30）Jev 为 46.7%，cosine 为 53.3%；k=20 的 temporal reasoning，Jev 为 58.3%，cosine 为 63.8%。

选择停在哪里

• 平台：作者称 Turns + Jev 在 77.6% 附近停住。k=20 只读 496 tokens，因为只保留高于 0.5 的短名单轮次再加 10 条余弦保底。
• 丢失位置：九段留出对话 1,388 题上，全部证据进入 30 条短名单的为 76.9%，至少一条为 88.5%；短名单已有证据时，重排一条未留的为 10.4%（附录 D）。作者据此写成约 11.5% 的题损失在短名单、9.2% 损失在重排。开放域至少一条最低（63.0%），重排未留最高（31.4%）；时间类重排未留 22.7%；多跳至少一条 88.4%，全部证据进入仅 42.8%。作者称时间证据单独看起来不像与问题相关。
• 更宽读路径：事后变体把短名单扩到 150，不设阈值，k=47 对齐 Jev-Mem 的 k=40（2,000 对 1,987 tokens），准确率 81.5%。同预算 Jev-Mem 为 80.3%，engram v2 在 k=20 为 82.4%（1,238 tokens）。全部证据召回升至 91.9%，重排丢失降至 0.9%。作者称这提示上限来自读路径而非存储原始轮次，并写成新数据上的假设，不是本研究的发现。附录 J 是短名单未覆盖证据轮次、抽取事实仍被读到的示例；作者称按固定规则选取，不是证据。

其他消融与分析

• 探索性复制 610 题：Turns + Jev 在 k=3 为 77.2%、k=20 为 76.6%；cosine 在 k=3 为 60.7%、k=20 为 76.2%；仅 Jev 对 116 题、仅 cosine 对 15 题，p=1.6e−20（附录 A）。
• 每题总成本在 4.0 轮写入/题下：Turns + Jev 为 0.00030 美元，engram v2 为 0.00778 美元，全文为 0.00362 美元；若每题只写 1 轮，engram v2 降至 0.00216 美元（Figure 8）。
• Table 5，k=3：Jev 读取 p50 为 273 ms，LLM 重排 816 ms，Jev-Mem 1,329 ms；作者称大约快 3.0 倍与 4.9 倍。engram v2 的读取 p50 为 276 ms。
• 写入标价每 1,000 轮：engram v2 为 1.865 美元，mem0 为 1.321 美元，Jev-Mem 为 0.212 美元，Turns + Jev 为 0.0006 美元（Table 5）。
• wide 的读取成本为每查询 0.00089 美元，现场延迟 p50 为 720 ms（附录 E）。
• 注册样本、仅用户轮次：Turns + Jev 在 k=3 为 68.6%，cosine 为 65.7%；mem0 在 30 道 knowledge-update、k=3 为 70.0%（§5.5）。

作者指出的局限与后续方向

• 基准（Limitations）：每个设置一个基准族，即对话由 LLM 生成的 LoCoMo，以及 LongMemEval。五段主对话给出 778 题，类别规模小。
• 长历史（Limitations）：engram v2 未在 LongMemEval 上运行，因此本研究得不出长历史上关于抽取的结论。
• 人工评分（Limitations）：评分者是构建被评系统的第一作者；部分评分的映射没有预注册，文中报告了两种；一题未评；只重评评审不一致的题，所以两系统上评审一致处的评审错误仍在。
• 对抗内容（Limitations）：原始、用户撰写的轮次会进入 Jev 的相关性问题，注入文本可能改变选中哪些轮次。作者写明未测对抗内容，并引用提示注入会改变 Jev 决策概率的工作。
• 模型与事后变体（Limitations）：Jev 是封闭、带版本的模型，结果限于 jev-1.13.0。mem0 的抽取经 OpenRouter，约一半由 Azure 而非注册时的 OpenAI API 服务，只涉及 S3。Turns + Jev (wide) 在注册结果之后设计，并在同一批题上测了一次。
• 预算、开发数据与绝对数字（Limitations）：k=20 的比较把预算和读路径上限混在一起，Turns + Jev 在 k=20 为 496 tokens，cosine 为 826。作者写明宽预算下的依赖对更宽读路径可能更缓，wide 只是事后提示。全部设计选择都在 conv-26 上做出。绝对准确率低于 SmartSearch 在另一协议下报告的数字。

实验覆盖范围

• 回答与评审：主结果由 gpt-4o-mini 在 temperature 0 下作答，并由同一模型按 mem0 的 LoCoMo 提示判 CORRECT 或 WRONG；H1 与 S1 另用 Llama 3.3 70B Instruct 从同一上下文重答（§4、§5.4）。
• 系统与数据：LoCoMo 主检验为五段留出对话的 778 道计分题和 209 道对抗题；探索性复制为另四段对话的 610 道计分题。对照包括 cosine、LLM 重排、engram v2、mem0 2.1.0、Jev-Mem 和全文。LongMemEval 全量上运行 Turns + Jev、cosine 和全文；mem0 只在 30 道 knowledge-update 上运行；engram v2 与 Jev-Mem 未运行（Figure 6 图注）。
• 预算与注册检验：注册比较把对照放在 k=3，Turns + Jev 取匹配 k；另报告 k=20、Jev-Mem 的 k=40 和全文。S1–S7 有 Holm 校正。wide 变体在 Holm 族之外测一次，短名单 150，k=47（§5.6、附录 E）。
• 人工与成本：人工审计覆盖评审不一致题，一名评分者，两种部分评分映射（附录 C）。Table 5 报告标价成本和 40 题、k=3 的读取延迟。论文未报告独立重复运行次数。
• 弃权：LoCoMo 的 209 道对抗题和 LongMemEval 的 30 道弃权题都报告了正确弃权比例（Table 6、Table 4）。

一次预注册比较问的是：紧预算下，选出原始轮次能否代替写入时的事实抽取。

• 问题：已发表结果对抽取是否必要、排序是否关键并不一致。作者认为上下文预算可以解释一部分分歧，并在留出对话上检验非劣效，界为 5 个点。
• 方法：Turns + Jev 只嵌入原始轮次，用一次 Jev 请求从 30 条短名单里选择；engram v2 抽取事实后用同一类选择器读取。比较保持回答模型看到的 token 数匹配。
• 主检验：LoCoMo 五段对话 778 题上，k=6 的 Turns + Jev 为 77.0%，k=3 的 engram v2 为 77.5%，单侧 95% 下界 −3.0。人工评分把下界移到 −3.9 至 −4.7，仍高于 −5。作者称该预算下抽取至多增加 4.7 个点，写入成本为 3,061 倍。
• 预算：30 条里留 3 条时，重排相对相似度增加 17.4 个点（LoCoMo）和 9.1 个点（LongMemEval 470 题）。留 20 条时为 1.5 和 1.1，且抽取系统更准；Table 3 中 engram v2 在 k=20 为 82.4%。作者认为这可以解释已发表结论为何不一致，并标明是解释。
• 选择器与弃权：匹配上下文下，Jev 对 gpt-4o-mini 重排的非劣效下界为 −2.0；作者称延迟大约是 LLM 重排的三分之一，Table 5 的 p50 为 273 ms 对 816 ms。对多次图遍历的 Jev-Mem，S2 在匹配上下文下 Jev 更高。重排降低正确弃权：209 道对抗题、k=3 时 Jev 为 54.1%，相似度为 63.6%。
• 作者结论：紧预算下抽取增加的准确率有上界，宽预算下抽取更准也更紧凑。作者还称 LLM 评审的宽松会与答案长度交互，比较不同答案风格的记忆基准应按系统报告评审与人工的一致性。