Jev 预注册测试：智能体记忆何时该用选择替代抽取？
When Does Selection Replace Extraction? A Pre-Registered Test of Agent Memory with a Typed Decision Model
AI 导读
一项预注册研究在 LoCoMo 与 LongMemEval 上测试智能体记忆：在 LoCoMo 的紧预算下，由类型化决策模型 Jev 单次调用选出的原始对话轮次，不劣于 LLM 抽取式记忆（单侧 95% 界为 -3.0 分，非劣效界为 -5 分），且写入成本低 3,061 倍。重排序收益随预算增大而缩小：保留 30 个候选中的 3 个时在 LoCoMo 加 17.4 分、LongMemEval 加 9.1 分，预算宽松时仅加 1.5 和 1.1 分，此时抽取式系统更准。相同上下文下 Jev 选择精度与 LLM 重排序器相当（非劣效界 -2.0），延迟仅为其三分之一，且优于多次调用的图遍历；重排序会降低正确弃答率。