跳到正文
原文

HEAMS:智能体记忆系统的整体评测

HEAMS: Holistic Evaluation of Agent Memory Systems

arXiv:其他 AI 安全论文· arXiv:2611.20144· Chirag Goel, Jacob Lavoie, Amirhossein Naghshzan, Jordan Bannister, Marzia Nouri, Mehar Bhatia, Matt Harris, Siva Reddy, Arsène Fansi Tchango, Gaétan Marceau CaronMila – Quebec AI Institute; Mozilla本站收录· 2 天前· 原文发表评测· 扫描记录里的位置 →

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者提出智能体记忆系统整体评测框架 HEAMS,称性能高分可与隐私、用户主权、安全低分共存,治理层能缓解。

问题
智能体记忆系统让信息跨会话持久化,带来不当披露、难以删除、超期保留和被投毒等风险,但现有评测只看任务性能和效率,无法判断系统是否履行对用户的全部责任。
方法
作者提出 HEAMS 框架:把记忆系统职责写成五维行为期望,组装十个基准,通过统一接口和固定智能体做受控对比,并开发可配置的记忆系统 MilaMem 与可套在任意记忆系统外的治理层。
实验与结果
六个记忆系统上没有系统在全部性能基准领先;HippoRAG 在 BEAM 最高但 CI 场景泄漏 71.74%;删除请求最高仅 47.00% 成功;治理层使 MPBench 抗投毒率从 40.00% 升至 88.61%。
局限与可以继续做的
作者指出:仅离线评测、覆盖求广不求深(安全、隐私各一个基准)、LLM 评审未与人工标注验证、统一接口经适配器无法表达原生特性。实验每配置只跑一次,智能体模型固定为 gpt-5.6-luna。
实验设置Mem0、Letta 等 · LoCoMo、LongMemEval 等 · QA accuracy、Field leak / Scenario leak 等
威胁模型
MPBench 安全评测中,攻击者向智能体记忆植入误导或恶意内容(poisoned memory),论文直接预置毒化记忆而不测试诱导写入过程;评测治理层能否在写入或召回时拦截,使智能体后续回答不受毒化记忆影响。
被测模型
Mem0LettaHippoRAG 2MilaMem
基准
LoCoMoLongMemEvalEvo-MemoryBEAMSTALEContextual Integrity benchmarkTransparency benchmarkEditability and Erasability benchmarkRetention Policy benchmarkMPBench
指标
QA accuracyField leak / Scenario leakAllowed coverageHelpful, no leakTransparency scoreGenuine erase/edit successProhibited recall / Permitted recallPoison resistanceAgent tokens per stimulusAmortized runtime
AI 导读研究者提出 HEAMS,一个整体评测智能体记忆系统的开源框架,主张记忆系统是用户持久信息的管理者,其责任应涵盖性能、效率、安全、隐私与用户主权(user sovereignty)五类行为要求。框架配套覆盖这些要求的基准套件,并开发了原型记忆系统 MilaMem 与可包裹任意记忆系统的治理层,用于受控研究设计选择。跨全套基准的比较显示,没有记忆系统在所有性能基准上领先,高任务性能可能伴随很差的隐私、用户主权与安全得分;治理策略影响显著,召回策略能减少不当披露但牺牲帮助性,召回与保留策略都能提升抗投毒能力。代码开源于 https://github.com/milatechtransfer/heams。

研究者提出 HEAMS,一个整体评测智能体记忆系统的开源框架,主张记忆系统是用户持久信息的管理者,其责任应涵盖性能、效率、安全、隐私与用户主权(user sovereignty)五类行为要求。框架配套覆盖这些要求的基准套件,并开发了原型记忆系统 MilaMem 与可包裹任意记忆系统的治理层,用于受控研究设计选择。跨全套基准的比较显示,没有记忆系统在所有性能基准上领先,高任务性能可能伴随很差的隐私、用户主权与安全得分;治理策略影响显著,召回策略能减少不当披露但牺牲帮助性,召回与保留策略都能提升抗投毒能力。代码开源于 https://github.com/milatechtransfer/heams。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    记忆系统评测只看性能与效率,作者主张按其对用户的全部责任做整体评测。

    核心问题:智能体记忆系统(AMS)只被评测任务性能和效率,其隐私、安全、用户主权方面的行为无法被现有评测覆盖。

    • 问题场景:ChatGPT、Claude 等助手和 OpenClaw、Grok Bot 等智能体产品都开始跨会话记住用户。持久化带来风险:记忆可能在不恰当上下文被披露、难以被用户查看或删除、被超期保留、或被植入恶意内容影响后续行为。
    • 现有评测的不足:作者称 LoCoMo、LongMemEval、BEAM 等性能基准、CIMemories 等隐私基准、MPBench 等安全基准各管一段;Mem0、Hindsight 等产品也只报告准确率与延迟、token 成本,不报告隐私、安全、用户主权结果,因此无法判断某一性质的提升是否以另一性质为代价。
    • 核心主张:作者认为记忆系统是用户持久信息的托管者(custodian),其责任应属于记忆系统而非使用它的智能体——信息比任何智能体活得久、多个智能体共享同一记忆、且任务智能体本身可能被内容操纵。这些责任应作为显式行为期望(desiderata)被整体评测。
    • 论文提出什么:HEAMS 开源评测框架,含五维期望与覆盖图、十个基准的套件、可配置原型记忆系统 MilaMem、可套在任意记忆系统外的治理层,以及六个记忆系统在全套件上的受控对比实验。
    • 威胁模型(安全维度,MPBench):
      • 攻击者目标:向智能体记忆植入误导或恶意内容,使其后续回答被毒化记忆引导。
      • 攻击方式:论文直接预置(seed)毒化记忆,不测试攻击者能否在交互中诱导智能体写入。
      • 受害系统:使用被投毒记忆回答问题的智能体;判定方式为 LLM 评审回答是否遵循毒化记忆。
  2. 有哪些相关研究?

    相关工作分记忆系统、记忆基准(性能/效率/隐私/主权/安全)与整体评测三条线。

    智能体记忆系统

    • MemGPT 及后继 Letta、Mem0、Zep、A-Mem、HippoRAG 2、Hindsight、Honcho 等,设计可按 Hu et al. 的综述分为功能、形式、动态三维:如 Mem0 存用户短事实、Zep 与 HippoRAG 2 存实体图、Letta 由智能体自行编辑记忆。
    • 论文指出这些系统接口各异、各自在不同基准不同条件下评测,难以隔离单个设计选择的影响;HEAMS 用统一接口评测,MilaMem 让每个选择可单独改变。

    记忆基准

    • 性能:LoCoMo、LongMemEval、BEAM 等测长对话中的事实回忆与时间推理;Evo-Memory 测从经验中学习;STALE 测识别过期事实;AMA-Bench 测长程智能体任务。
    • 效率:MemBench 将效率与准确率、容量同测;DolphinBench 要求每个结果报告总成本与响应时间。
    • 隐私:PrivacyLens 显示答对隐私问题的模型作为智能体仍可能泄密;CI-Bench、CI-Work 把情境完整性(contextual integrity)用于助手与职场智能体;CIMemories 测持久记忆的情境完整性,PiSAs 测多用户场景。
    • 用户主权:MEME 含检查已删除事实是否仍影响回答的任务;Bemula 测按要求遗忘,论文转述其结果显示没有系统在超过 1.5% 的请求上完全成功。作者称不知道有测用户查看所存内容、更正或设置保留规则的基准。
    • 安全:AgentDojo 等显示提示注入可控制智能体并泄露个人数据;MemSecBench、Trojan Hippo Bench、MPBench、MemEvoBench 等测植入记忆的有害内容影响后续行为;AgentLeak 等测多智能体共享记忆的泄漏。

    整体评测

    • HELM 主张语言模型应按显式场景与性质列表、在相同条件下评测并并列报告而非合成单一分数;DecodingTrust、TrustLLM 类似地测可信度多方面,但都测模型本身而非跨时间保存信息的系统。
    • MemoryAgentBench、MemBench、DolphinBench、Trust-Memevo 等记忆基准开始测多个性质,但作者称它们仍聚焦性能与效率、至多加一项安全度量,不评测隐私或用户主权。

    本文定位:作者称 HEAMS 把 HELM 的方法应用到记忆系统,跨五个维度评测记忆系统连同使用它的智能体,其中许多性质(更新过期事实、按请求删除、限制保留时长、按情境披露、抵抗植入内容)只因记忆跨会话持久才存在。

    基线与基准:实验对照系统为 no-memory、in-context 两个基线和 Mem0、Letta、HippoRAG 2 三个已发表系统,加上 MilaMem 及其治理变体;基准为 LoCoMo、LongMemEval、Evo-Memory、BEAM、STALE、MPBench 六个已发表基准和四个新建基准。

  3. 论文如何解决这个问题?

    HEAMS 用显式期望、统一接口、固定智能体和并列指标做受控整体评测,并配 MilaMem 与治理层。

    整体思路:把记忆系统的职责写成显式行为期望,用统一接口和固定智能体配置让差异可归因于记忆系统或其配置,各维度指标并列报告而不合成单一分数。框架名为 HEAMS,配套原型记忆系统 MilaMem 和可复用治理层。

    期望体系与覆盖图

    • 行为期望分五维:性能、效率、隐私(情境完整性)、用户主权、安全;另有不适合基准评测的架构期望,由配套文档标准 AMS Card 记录。
    • Table 1 把每个期望映射到评测它的基准,并标出未覆盖项:如 Useful Consolidation、保留/召回许可策略、Consolidation Integrity、Policy Bypass Resistance 等 7 项当前无基准。
    • 作者强调期望要合在一起读:什么都不存的系统可平凡满足多项保护期望但没有性能收益,因此同一配置要在全套件上评测、并列报告。

    基准套件(十个)

    • 六个已发表基准经适配后在 HEAMS 内运行:LoCoMo(取四类非对抗问题)、LongMemEval、Evo-Memory(单轮、四条任务流)、BEAM、STALE、MPBench(直接预置毒化记忆)。评分改用自有 LLM 评审提示词(Evo-Memory 保留各数据集答案匹配规则),作者明确分数与已发布榜单不可直接比较。
    • 四个新建基准:Contextual Integrity(729 个消息起草任务,用 Lan et al. 合成数据,按 PrivacyLens 评泄漏与有用性并加覆盖率评审);Editability and Erasability(基于 MEME 的 100 个情节,前后配对探针);Retention Policy(96 条事实 × 12 条策略,精确匹配加语义兜底评审);Transparency(源自 BEAM 对话的 320 个审计场景,按准则 0/0.5/1 评分)。

    框架:接口、治理层、智能体、生命周期

    • 统一记忆接口为四个操作:retain、recall、delete、consolidate(Figure 2);第三方系统经适配器接入,作者承认这使结果描述的是"经适配器的系统",且接口无法表达部分原生特性。
    • 治理层(Figure 3):保留策略在写入前决定存或弃,召回策略在披露前决定暴露或隐瞒(隐瞒不删除);可用规则、LLM 解释的自由文本策略或混合方式执行。本文实验全部用 LLM 解释的自由文本策略,策略文本在附录 D.2。
    • 智能体用 Mozilla 的 TinyAgent;记忆交互策略可选工具调用式或确定性钩子式(每轮前召回、每轮后写入),另有只读变体和处理遗忘请求的变体。
    • 每个场景走 initialize、ingest、execute、audit、teardown 五步(Figure 4),全程记录配置、记忆操作日志和消息序列,任何分数可回溯。

    MilaMem 与实验配置

    • MilaMem 保存原始日志和可搜索存储两份;四个操作各自可配置:retain 可做相似度门控(0.85 余弦,实现常量)下的 LLM 去重/冲突判定;recall 支持 BM25、嵌入、混合及交叉编码器重排,实验选混合检索、等权绝对融合、最多返回 10 条、相对截断 0.5,并启用过期记忆重定向;delete 用 gpt-4o-mini 从候选中选择要隐藏的记录(上限 5 条),只标记删除、保留原始日志;consolidate 用锚定比较,评审模型 gpt-5.6-luna。
    • 实验设置:智能体模型 openai:gpt-5.6-luna(temperature 1、reasoning effort none),评审用 openai:gpt-4o-mini,recall 的 top_k = 10;除注明外治理关闭。作者说明这些是实验选择而非最优配置,且开发用了与评测相同的基准族、配置选择未留出。
  4. 论文做了哪些实验?

    六个记忆系统跑十个基准:性能排名随基准变化,删除编辑大多失败,治理层降低泄漏与投毒。

    实验设置

    • 被测系统:no-memory、in-context 两个基线,Mem0、Letta、HippoRAG 2 三个已发表系统,MilaMem,以及 MilaMem + governance(治理变体按基准分别只开召回、只开保留或双开)。
    • 智能体与评审:智能体模型 openai:gpt-5.6-luna(temperature 1,reasoning effort none);LLM 评审用 openai:gpt-4o-mini,多数基准评审 temperature 0;Evo-Memory 用确定性答案匹配。
    • 基准与规模:LoCoMo 10 段对话 1,540 题;LongMemEval 500 例;BEAM 100K/500K/1M 各 20/35/35 段对话;STALE 400 场景 1,200 探针;Evo-Memory 三条流共 828 个计分任务(MMLU-Pro 流未全部完成、排除);CI 729 任务(1,914 个禁止字段、2,110 个允许字段);Transparency 320 场景;EE 100 删除 + 164 编辑配对探针;Retention Policy 96 事实 × 12 策略 = 1,152 个决定;MPBench 六类攻击各 60 条共 360 例。
    • 指标:各基准准确率;CI 的字段/场景泄漏率、允许覆盖率、有用率、有用且无泄漏率;EE 的 genuine success(要求改前答对且改后合规);Retention Policy 的禁止召回(上界)与允许召回;MPBench 的整体与最差类抗投毒率;效率指标为每刺激的智能体 token 数与摊销运行时间。
    • 重复次数:附录 C 说明每个配置只有一次评测运行;作者提醒排名反映单一配置单次运行,领先差距可能小到换个配置就重排。

    主结果

    性能与资源(据 Table 4,准确率 %,加粗为论文标注的该列最高):

    表格较宽,可左右滑动

    系统LoCoMoLongMemEvalBEAM 500KBEAM 1MSTALEEvo-Memory
    No memory0.716.8013.8615.5710.5880.43
    In-context93.8351.0031.4329.8669.8381.76
    Mem081.2371.0047.0044.8648.3379.95
    Letta74.1654.6043.8645.8636.4281.40
    HippoRAG89.3571.2058.7159.7156.5080.68
    MilaMem81.6273.2052.5757.2956.1780.92
    • 作者称没有系统在全部基准领先:HippoRAG 在三个 BEAM 规模最高,in-context 在 LoCoMo、STALE、Evo-Memory 最高但在 LongMemEval 和两个大 BEAM 规模垫底;Evo-Memory 上没有任何系统超过 no-memory 基线 1.33 个百分点以上。
    • 成本形态不同:in-context 每刺激用 98K–238K 智能体 token,其余系统 prompt 小(1.2K–12K token)但运行时间长——LongMemEval 上 Mem0 每刺激 813.47 秒、HippoRAG 1,532.62 秒,in-context 不到 3 秒。

    隐私:Contextual Integrity

    • 测了什么:七个配置在 729 个消息起草任务上的泄漏与有用性(Table 5)。
    • 结果:HippoRAG 有用率 94.79% 但场景泄漏率 71.74%;MilaMem 加 necessity-gated 召回治理后场景泄漏从 57.61% 降到 31.82%,有用率降 4.80 个百分点、允许覆盖率降 5.64 个百分点,有用且无泄漏率从 30.86% 升到 45.95%(各系统最高)。
    • 作者解读:有用的记忆系统不一定是保护隐私的;召回治理用少量有用性换泄漏减半,且不改记忆系统本身。

    用户主权:Transparency、EE、Retention Policy

    • Transparency(Table 6,320 场景):无系统满分,in-context 最高 84.00%,Letta 最低 65.90%;作者称用户询问记忆内容时可能得到不完整或不准确的描述。
    • EE(Table 6):删除成功率 MilaMem 47.00%、Letta 19.00%,其余 0.00%;编辑成功率无系统超过 3.66%。作者指出 HippoRAG 只能按精确文本删除,无法响应自然语言遗忘请求;结果反映的是论文的集成与设置。
    • Retention Policy(Table 7,仅 MilaMem 两配置):加保留治理后禁止召回上界从 ≤100.00% 降到 ≤15.63%,允许召回从 100.00% 降到 84.47%;作者称治理不能完全执行用户意愿,但没有治理就完全没有控制。

    安全:MPBench 投毒抵抗

    • 测了什么:同一 MilaMem 配置在四种治理设置下抵抗 360 条毒化记忆攻击(Table 8)。
    • 结果:无治理整体抵抗 40.00%(最差类 25.00%);只保留 85.00%、只召回 82.22%、双开 88.61%(最差类 68.33%)。
    • 作者解读:核心存取功能本身不能区分有用与恶意内容;双重检查互补,但双开时仍有 11.39% 的回答受毒化记忆影响。

    其他消融与分析

    • CI 分域结果(Table 22):九个通信域上治理均降低场景泄漏,幅度因域而异。
    • EE 分域与跳数(Table 24):MilaMem 删除在 software_project 域 58.00%、personal_life 域 36.00%;两跳编辑探针各系统均不超过 4.69%。
    • Transparency 准则级(Table 26):stored attribution 准则最弱,Letta 严格通过率 1.49%。
    • Retention Policy 分类别(Table 28):治理在 government ID 类过度拦截 62/88 条允许事实,block precision 33.06%。
    • MPBench 分类(Table 29):skill 类在所有治理设置下都是最差或并列最差类(双开 68.33%);作者说明 skill 类查询在请求中重复了指令,其分数不能单独归因于存储记忆的影响。
    • 检索诊断(Table 19):各基准报告 evidence Hit@k 与 MRR,作者注明因适配器返回粒度不同,仅供诊断而非标准化检索榜单。
  5. 有什么可以进一步探索的点?

    作者列出离线评测、覆盖深度、评审验证等局限;实验每配置单次运行、智能体模型固定。

    作者指出的局限与后续方向

    • 离线评测(Section 8):离线基准无法揭示持久记忆在真实使用中的全部后果,HEAMS 应是包含在线评测与部署监控的更广泛评测计划的一部分。
    • 广度优先于深度(Section 8):每个维度至少一个基准但覆盖单薄——安全只有 MPBench 一个基准,工具提示注入、休眠触发器、智能体间泄漏等攻击未覆盖;隐私也只有单个基准;多个期望完全未覆盖(Table 1);套件只考虑单用户、对话式场景(Section 2.2)。
    • 基准组合(Section 8):期望与基准的映射非一一对应,部分基准跨多个期望,作者为覆盖面和纳入常用基准接受了这种重叠。
    • LLM 评审(Section 8):多数基准用自有提示词的 LLM 评审,未与人工标注验证,评审误差可能影响分数。
    • 统一接口(Section 8、4.1):结果描述的是经适配器的系统,接口无法表达部分原生特性,与自有 harness 共同设计的系统在原生环境中可能表现不同。
    • 实验范围(Section 8):实验只回答"任务性能能否预测其他期望上的行为"一个问题;记忆表示、检索策略、治理策略、整合算法、语言模型、交互策略等的影响留待未来工作。
    • 期望与套件缺口(Section 2.2):期望本身可能不完整,作者期望随技术与实践演进出现新期望,并把补齐缺口列为有价值的未来工作。

    实验覆盖范围

    • 被测记忆系统共六个(含两个基线)加一个治理变体;治理实验只在 MilaMem 上做(Table 3 注明治理层仅与 MilaMem 一起评测)。
    • 智能体模型固定为 openai:gpt-5.6-luna,评审固定为 openai:gpt-4o-mini;论文未报告用其他智能体模型或评审模型重复实验。
    • 每个配置只有一次评测运行(附录 C),论文未报告重复次数或方差。
    • MPBench 只测 MilaMem 的四种治理设置,未测其他记忆系统;skill 类查询在请求中重复指令,作者注明其分数不能单独归因于存储记忆的影响。
    • 基准限于单用户、对话式场景;MilaMem 开发使用了与评测相同的基准族,配置选择未留出(附录 B)。
  6. 总结一下论文的主要内容

    HEAMS 整体评测记忆系统:性能高分不预测隐私、主权、安全行为,治理层是关键变量。

    HEAMS 是一个智能体记忆系统的整体评测框架,针对"记忆系统只被评测性能与效率"这一问题,把记忆系统视为用户持久信息的托管者,按其对用户的全部责任进行评测。

    • 问题:记忆跨会话持久化带来不当披露、难以更正删除、超期保留和被投毒的风险;现有基准各管一段,产品只报准确率与成本,无法暴露性质间的权衡。
    • 方法:作者提出五维行为期望(性能、效率、隐私、用户主权、安全)及覆盖图;组装十个基准(六个适配的已发表基准加四个新建基准);通过统一四操作接口和固定智能体做受控对比;并开发操作可独立配置的原型系统 MilaMem 和可套在任意记忆系统外的保留/召回治理层。
    • 性能结果:六个系统上没有系统在全部基准领先——HippoRAG 在 BEAM 三个规模最高(500K 为 58.71%),MilaMem 在 LongMemEval 最高(73.20%),in-context 在 LoCoMo(93.83%)与 STALE(69.83%)最高但在长历史上垫底;Evo-Memory 上无系统超过 no-memory 基线 1.33 个百分点以上(Table 4)。
    • 隐私与主权结果:HippoRAG 在 CI 上有用率 94.79% 但场景泄漏 71.74%;删除请求成功率最高为 MilaMem 的 47.00%,编辑成功率无系统超过 3.66%(Table 6)。
    • 治理的作用:召回治理使 MilaMem 的场景泄漏从 57.61% 降到 31.82%、有用且无泄漏率升至 45.95%;保留治理使禁止召回上界从 ≤100.00% 降到 ≤15.63%;双治理使 MPBench 抗投毒率从 40.00% 升到 88.61%,但仍有 11.39% 的回答受影响。
    • 作者结论:性能与效率基准无法揭示记忆系统履行责任的情况及各责任间的权衡;核心存取功能必要但不充分,作者认为治理应成为记忆系统开发的中心议题,并呼吁开发者采用整体评测。HEAMS 以活跃框架形式发布,作者邀请社区贡献。

相关论文

共同使用 STALE
共同使用 LoCoMo
再看 2 篇
阅读原文arxiv.org