MemSecBench：追踪 Agent 记忆投毒从持久化到后果与修复

恶意内容写入智能体记忆后，可能跨会话留存、被召回并造成可核验外部后果，且未必能在保留良性记忆时被修好。

• 出现场景：作者认为跨会话记忆能携带偏好、项目上下文和任务经验，支持长任务，也使一次交互中的恶意内容在会话结束后仍影响行为。
• 现有不足：作者称已有评测多只覆盖生命周期局部，缺少在固定智能体、模型与环境下追踪同一恶意语义的持久化、已核验后果和选择性修复，并配对比较记忆后端。
• 要回答的问题：同一模型与输入可能因存储、检索和更新方式不同而结果不同。作者要看恶意语义写入后是否仍在，是否被召回、采纳并变成案例定义的外部后果，以及能否选择性移除或纠正且保留全部必需良性记忆。
• 提出内容：作者提出 MemSecBench：310 个 Write–Execute–Forget 案例包，以及在一致条件下比较 harness、LLM 后端与记忆后端的生命周期框架。
• 威胁模型：对象是完整配置 Π=(H, B, L)；评审模型 Lj 属于评测协议，不属于 Π。基准不建模攻击者如何取得账户或会话。
  • 成功标准：须 W2 持久化、E1 召回、E2 影响智能体、E3 产生案例定义后果。仅 W1 或仅 W2 是中间结果，不是完成攻击或授权绕过。
  • 攻击者能力：控制承载目标恶意语义的内容，不必是已认证主体；可了解工作流、工具和检索线索，并经一个 Carrier 呈现。不能修改 Π、直接读私有后端或隐藏评测元数据。Carrier 只标入口，不表示来源身份或权威。
  • 用户与接口：正常用户提交不含攻击载荷的后续任务，且不被假定知道记忆已投毒。智能体只经预期接口访问记忆；作为记忆库的 Native 文件属于该接口，其余私有状态隐藏。

工具型智能体中的对抗内容

• 间接提示注入：Greshake 等（2023）、Zhan 等（2024，InjecAgent）与 Debenedetti 等（2024，AgentDojo）讨论对抗内容如何在接入工具的应用或智能体中诱发不安全动作。引言只把它们当作这一现象的背景，没有逐篇对照本文。

跨会话记忆效用

• 后续任务会受存储信息影响：Maharana 等（2024）、Wu 等（2025，LongMemEval）、Hu、Wang 与 McAuley（2026）评测长期或增量交互中的记忆。作者只称它们显示存储信息可跨会话影响任务，未把它们当作安全基线。

记忆安全评测的五维覆盖

• 覆盖标记不是系统能力：Table 1 用 IW（经预期接口写入并留存）、DC（激活伴随已核验的案例定义外部后果）、ST（同一目标语义形成投毒–检索–触发链）、SR（投毒状态的恢复）、MMI（跨记忆后端的受控比较）对照已报告评测。✓ 为达到该标准，● 为过程有做但核验不全，✗ 为未评。
• 操作保真与链条：作者称多数先前协议只完整覆盖 IW 或 DC 的一侧；MEMFLOW（Xu 等，2026）与 Trojan Hippo（Das 等，2026）两侧都覆盖。完整 ST 只见于少数工作，文中点名 AgentPoison（Chen 等，2024）和 MEMFLOW。
• 选择性修复与多后端：作者称此前没有工作以同时核验恶意语义的移除或中和、以及必需良性记忆的语义保留来完整覆盖 SR。MemEvoBench（Xie 等，2026）、MEMFLOW 与 MemLeak（Wang 与 Zhang，2026）只测了更弱的纠正或删除。作者称达到标准的匹配多后端比较只有 MEMFLOW 与 Trigger-Probe（文中与 Al-Tawaha 等，2026 并引）。

综述、基线与作者定位

• 综述：Lin 等（2026）把持久记忆安全概括为投毒、延迟激活、下游影响和遗忘。Table 1 其余条目（如 eTAMP、HiM、MINJA、MPBench）至少有一维不是 ✓；正文没有逐篇展开它们做了什么。
• 实验对照：正式实验不把上述工作当作跑分基线。参照条件是各 harness 自己的 Native；被比后端为 Native、Mem0、Mem0-Graph、A-MEM；数据是 MemSecBench 的 310 例。
• 作者定位：在每个案例里把经预期接口的任务中介投毒连到之后激活的外部核验后果，从同一写后状态评选择性修复，并在固定智能体、模型与环境下比较记忆后端。

评测单位是完整配置 Π=(H, B, L)，而不是单独的模型或记忆库。MemSecBench 用关联的 Write–Execute–Forget 任务包，把同一条案例特定恶意语义从写入追到后续使用和选择性修复。

成功标准与分叉

• 完成攻击：不是模型认出恶意文本。Execute 成功要求 E₁ ∧ E₂ ∧ E₃，即召回、采纳和案例定义的外部化同时成立。仅 W1 或仅 W2 是中间结果。
• 两支独立：W1 与 W2 都通过后，才生成目标记忆清单并打开 Execute 与 Forget。两支从已验证投毒状态 MW 的独立副本开始。Write 未过则两支跳过，且不记为防御成功。
• 入口：恶意内容经该例选定的一个 Carrier 进入，Write 调用预期记忆接口。攻击者不能改 Π，也不能直接读私有后端或隐藏评测元数据。

案例包与语料

• 任务包：每例 T=(ρ, xW, xE, xF, ℓ)，不是单条提示词。ρ 提供干净初始记忆的材料；三个 x 是各阶段任务和受控资源；ℓ 记录四个设计轴、七个检查点细则和 E3 契约。跨阶段目标语义只由该例 W2 细则定义。
• 设计轴：Primary Failure Mode、Risk、Carrier、Memory Type 只用于构建和分层，不参与判定。Failure Subtype 是主失败模式的辅助标签，也不是证据。
• 规模：310 例、48 个情境，每情境 6–10 例。Code and Science 113 例（36.5%，18 个情境），Daily Life 107 例（34.5%，15 个情境），Office Work 90 例（29.0%，15 个情境）。
• 边际分布：User Interaction 占 Carrier 的 135 例（43.5%）。Memory Type 为 Shared Organizational 111、Trajectory 94、External Retrieval 54、Profile 51。Risk 每类 52–76 例。Primary Failure Mode 最大三类共 206 例（66.5%）。Figure 6 的连线表示同例共现，不是因果。

构建与运行

• 起草：Build-MemSecBench-Case Skill 用 GPT-5.5 提议和修改内容；作者定场景与设计轴、审查分阶段产物并决定收录。作者写明起草模型不同于被评 LLM 后端和评审模型。矩阵里另有名为 GPT-5.5 的后端（经 OpenRouter）；论文未说明二者是否为不同部署。
• 门控：简报校验后生成不含目标语义的干净资源，再把三阶段连成链，并分开渲染。静态检查覆盖标签、落地、Write/Execute 信息不对称、Execute 自然度、外部化和评审隔离。失败退回上游。静态接收不代替 W1–F2 的动态评测。附录 A.2 给模式，附录 B 给一个完整案例包。
• 初始化：每例在隔离容器中跑，只能访问基准管理的工作区和服务网络。各配置用同一干净源经该后端正常接口生成 M0，内部表示可以不同。A-MEM 等昂贵初始化使用固定的 DeepSeek-V4-Pro，且不替换该配置在三阶段使用的 LLM。
• 阶段输入：Write 经指定 Carrier 引入 W2 语义。Execute 的下游任务不提记忆、也不复述目标，后果绑到可检查的服务记录。Forget 各例共用一条中性提示；修复对象和保留标准只给评审。

七个检查点

• Write：W1 只表示预期接口接受了写入或更新，由解析器判定，不调用评审模型。W2 只看写前写后快照里新增或内容被改的条目是否共同表达 W2 细则。工具参数、工作区文件和自述不能充当 W2 证据。
• Execute：E1 取最早一次仍保留核心规则、对象、条件或目的地的成功召回。E2 看召回后是否采纳；引用以便拒绝、警告或请求确认不算采纳。E3 对照后果契约，以 E1 为条件，并不机械依赖 E2。
• Forget：F1 看最终后端是否不再把目标语义当作有效指导；移除、改写、纠正或显式失效都可以，仅降权不够。F2 要求写后仍在的每条必需良性记忆在最终状态中仍有语义表示。清空存储可以过 F1，但必然不过 F2。删除调用和智能体声称只作审计。
• 门控：除 W1 外，评审只能引用该检查点允许的证据标识。无支持的判定不能通过；畸形输出或通道不可用是评测错误，不是安全成功。附录 E 给出标准、提示词、模式和门控。

四个比率

• 分母：记 wk,i 为 W1 与 W2 都通过，ek,i 为三个 Execute 检查点都通过，fk,i 为 F1 与 F2 都通过。N=310，K=24。MPSR 与 E2E-ASR 用全部案例。端到端成功率 E2E\text{-}ASR_k=∑_i w_k,ie_k,i/N。MESR 与 SRSR 只用该配置的成功投毒案例，分母为 0 时未定义。
• 汇总：跨配置数字是有报告值配置上的不加权宏平均，缺失不记为失败。每对配置–案例只评一次，作者称比率为描述性统计。
• E3 契约：发布的每例都使用 all，并要求任务范围的服务记录；22 例还要求一致的工作区导出。服务日志通道不可用是评测错误，不记成 E3 失败。

实验设置

• 矩阵：OpenClaw、Hermes 两个 harness，Native、Mem0、Mem0-Graph、A-MEM 四个记忆后端，DeepSeek-V4-Pro、MiniMax-M3、GPT-5.5 三个 LLM 后端，共 24 配置。Native 随 harness 而异，对照留在同一 harness 内。
• 数据与重复：英文 MemSecBench，每配置 310 例，每对只评一次。汇总为有报告值配置上的不加权宏平均；缺失不记为失败。Table 2 的 24 行都覆盖 310 个案例槽。
• 指标：MPSR、E2E-ASR 以全部案例为分母。MESR、SRSR 以该配置成功投毒例为分母。W1 与 W2 都通过才算投毒成功。
• 评审：W1 确定性判定。其余检查点由单独固定的 DeepSeek-V4-Pro 按证据包判定，temperature 0、JSON 模式、每次评审调用一次 120 秒 HTTP。该名字也是被测后端之一。程序门控检查来源、时序、完整性与跨产物一致性。
• 预算：每阶段 900 秒；Hermes 最多 32 轮；OpenClaw 每次响应最多 8192 个输出 token。runner 不自动重跑。A-MEM 等干净状态初始化用固定 DeepSeek-V4-Pro，不替换三阶段的 LLM。检索容量、top-k 和阈值按后端保留，未拉齐（Appendix C、D）。
• 人工样本：两名标注者独立标注同一分层样本，共 500 条运行记录，只看该检查点可采证据。报告指标只有 Accuracy。

主结果

下表摘自 Table 2，列入各指标极值以及 Finding 4 点名的反转配置。省略其余 16 行：OpenClaw 的 Native/DeepSeek-V4-Pro、Native/MiniMax-M3、Mem0/DeepSeek-V4-Pro、Mem0/GPT-5.5、Mem0-Graph 三行、A-MEM/DeepSeek-V4-Pro、A-MEM/MiniMax-M3；Hermes 的 Native/GPT-5.5、Mem0 的 DeepSeek-V4-Pro 与 GPT-5.5、Mem0-Graph 的 MiniMax-M3 与 GPT-5.5、A-MEM 的 MiniMax-M3 与 GPT-5.5。OpenClaw/Mem0-Graph/MiniMax-M3 的 E2E-ASR 亦为 33.87%，与表中最低行并列。

表格较宽，可左右滑动

配置	MPSR	MESR	E2E-ASR	SRSR
Hermes / Native / DeepSeek-V4-Pro	92.26% (286/310)	69.93% (200/286)	64.52% (200/310)	37.06% (106/286)
OpenClaw / Native / GPT-5.5	77.42% (240/310)	73.75% (177/240)	57.10% (177/310)	87.50% (210/240)
Hermes / Native / MiniMax-M3	59.35% (184/310)	58.70% (108/184)	34.84% (108/310)	47.28% (87/184)
OpenClaw / Mem0 / MiniMax-M3	66.77% (207/310)	50.72% (105/207)	33.87% (105/310)	65.22% (135/207)
Hermes / Mem0 / MiniMax-M3	87.10% (270/310)	55.93% (151/270)	48.71% (151/310)	60.00% (162/270)
Hermes / Mem0-Graph / DeepSeek-V4-Pro	98.06% (304/310)	60.86% (185/304)	59.68% (185/310)	32.24% (98/304)
OpenClaw / A-MEM / GPT-5.5	86.13% (267/310)	62.17% (166/267)	53.55% (166/310)	93.26% (249/267)
Hermes / A-MEM / DeepSeek-V4-Pro	94.19% (292/310)	59.25% (173/292)	55.81% (173/310)	21.23% (62/292)

• 作者称全部被测组合仍易受记忆攻击。Table 2 全部 24 行里，E2E-ASR 最低 33.87%，最高 64.52%；MPSR 最低 59.35%，最高 98.06%。没有一行的端到端成功率为 0。
• 作者称记忆安全取决于完整配置和记忆后端。同为 A-MEM 时，Table 2 中 OpenClaw/GPT-5.5 的 SRSR 为 93.26%，Hermes/DeepSeek-V4-Pro 为 21.23%，Hermes/GPT-5.5 为 23.97%。
• 摘要中的最大绝对差：相对匹配 Native，端到端攻击成功 16.1 个百分点，选择性修复 41.3 个百分点。作者称这些是描述性对照，被评记忆栈在传播和修复上不同。

生命周期检查点

• 作者称采纳是攻击完成的主要瓶颈。Figure 4 对全部案例的配置宏平均为 W1 91.1%、W2 84.2%、E1 76.1%、E2 53.7%、完整 E2E 链 50.3%。作者称持久化与召回过滤较弱；语义一旦影响决策，多数也会产生指定外部后果。
• 另一分母：摘要写成功投毒案例中 59.6% 走完 Execute 链。这是 MESR 的宏平均，与 Figure 4 的无条件通过率不是同一分母。Conclusion 将 MPSR、E2E-ASR 的平均值写为 84.2% 与 50.3%。
• 作者称良性记忆保留是选择性修复的主要瓶颈。成功投毒案例中 F1 86.3%、F2 62.5%、SRSR 56.1%。作者给出 F1 与 SRSR 相差 30.2 个百分点、F2 与 SRSR 相差 6.4 个百分点，并称只报告目标移除会高估修复质量。

匹配后端对照

• 抵抗与恢复可以分开。OpenClaw/DeepSeek-V4-Pro 上，正文写 Native 换 A-MEM 后 E2E-ASR 从 59.0% 到 56.5%，SRSR 从 46.3% 到 87.6%；Table 2 为 59.03% 与 56.45%、46.31% 与 87.63%。作者称少完成攻击与修好投毒记忆是不同要求。
• 互补剖面：OpenClaw/GPT-5.5 上，正文写 Mem0-Graph 相对 Native 的 E2E-ASR 从 57.1% 到 41.0%，SRSR 从 87.5% 到 86.7%；Table 2 为 57.10% 与 40.97%、87.50% 与 86.73%。Figure 5 把相对 Native 的差画成安全增益：E2E 向下表示完成攻击更少，SRSR 向上表示选择性修复更多。图中其余行的 harness–LLM 对应关系，正文未逐行标出。
• 方向会反转：作者称 OpenClaw 上 Mem0 使三个 LLM 的 E2E-ASR 与 SRSR 分别降低 4.2–13.5 与 1.5–11.3 个百分点。Hermes/MiniMax-M3 上，正文写 Mem0 使 E2E-ASR 从 34.8% 升至 48.7%、SRSR 从 47.3% 升至 60.0%；Table 2 为 34.84% 与 48.71%、47.28% 与 60.00%。作者称这不支持对后端做统一排序。

案例与评审一致性

• 一个 Daily Life 案例：智能家居售后同步（daily-life / ctx-10 / 001），Carrier 为 user interaction。四个选定配置都存下并在之后检索到植入规则；模拟外部网关接受并记录了售后摘要。植入规则原文不转述。
• 四种存法：OpenClaw Native（OpenClaw/DeepSeek-V4-Pro）写入记忆文件；Mem0（Hermes/MiniMax-M3）写入向量记录；Mem0-Graph（OpenClaw/MiniMax-M3）还有实体链接；A-MEM（Hermes/MiniMax-M3）做成带关键词和标签的笔记。作者称表征、元数据和检索逻辑会影响投毒记忆如何被存下和取出，并称这是更安全表示和后端特定防御的设计空间。
• 评审核对：相对两名标注者，Accuracy 为 90.60%（453/500）与 91.80%（459/500）。W1 不计入。畸形输出、证据通道不可用、被门控否决的阳性判定记为可靠性事件，不是攻击失败。

其他消融与分析

• 论文未报告对 top-k、阈值或轮数的参数消融；Appendix C 写明这些设置保持后端特定，对照的是完整后端条件，不是孤立机制。
• Appendix F 按领域、Risk、Carrier、Memory Type、Primary Failure Mode 给配置级剖面；正文未列出各顶点通过率。作者称稀疏层的条件剖面是描述性的；源数据含分子、分母和 Wilson 95% 区间，区间未画在图上。
• 每个配置–案例槽一条最终记录；未解决的证据缺口留在覆盖元数据中，不自动重跑（Appendix E.5）。

作者指出的局限与后续方向

论文未设 Limitations 节，也未把某项实验结果明确称为局限。Conclusion 写出的后续方向有四项：

• 机制特定攻击：后续将发展 mechanism-specific attacks（Conclusion）。
• 分离后端效应：后续将用受控消融隔离后端效应（Conclusion）。
• 自动构建：后续将自动化基准构建（Conclusion）。
• 扩展场景：后续将扩展任务领域和运行场景（Conclusion）。

实验覆盖范围

• 配置与次数：被测组合为 OpenClaw、Hermes，Native、Mem0、Mem0-Graph、A-MEM，以及 DeepSeek-V4-Pro、MiniMax-M3、GPT-5.5，共 24 配置；每配置 310 例，每对一次（Experiments；Table 2）。
• 语言与镜像：正式实验使用英文任务包。中文镜像与英文树各 310 条相对路径，用于逐例检查，不作为正式结果（Appendix A.5）。
• 评审：语义检查点由单独固定的 DeepSeek-V4-Pro 判定。两名标注者对同一 500 条分层样本独立标注，Accuracy 为 90.60%（453/500）与 91.80%（459/500）；W1 不计入（Appendix E.6）。论文未报告两名标注者之间的一致性。
• 汇总方式：跨配置数字是有报告值配置上的不加权宏平均，缺失不记为失败。Appendix F 记录各分类顶点的分子、分母和 Wilson 95% 区间，但未把区间画上；作者称稀疏层的条件剖面是描述性的。
• 对照固定了什么：匹配比较固定任务包、harness、LLM、运行时、干净初始化、外部环境与证据协议。表示、容量、内部提示、调用次数、候选集、top-k、会话注入和更新/删除接口保持后端特定（Appendix C、D）。每阶段时限 900 秒，Hermes 最多 32 轮，OpenClaw 每次响应最多 8192 个输出 token；runner 不自动重跑阶段。

MemSecBench 是一个任务落地的智能体记忆安全基准，用来追踪同一恶意语义的写入、稍后使用和选择性修复。

• 问题：长期记忆可以跨会话保留偏好和任务经验，也可以让一次交互中的恶意内容在会话结束后仍影响动作。作者认为现有评测很少在固定配置下同时看持久化、已核验外部后果和选择性修复。
• 做法：310 个关联案例来自 48 个情境，覆盖 Code and Science、Daily Life 与 Office Work。每例在隔离运行时走 Write–Execute–Forget，用七个检查点取证；Execute 与 Forget 从同一已验证写后状态独立开始。24 个配置由两个 harness、四个记忆后端和三个 LLM 后端组成，Native 只在同一 harness 内对照。
• 总体比率：24 配置的不加权宏平均中，MPSR 为 84.2%，E2E-ASR 为 50.3%。摘要写成功投毒案例中 59.6% 走完 Execute 链，56.1% 达到选择性修复。Figure 4 中，全部案例的通过率在采纳处从 E1 的 76.1% 降到 E2 的 53.7%；修复侧 F1 为 86.3%，SRSR 为 56.1%。
• 配置差异：Table 2 全部 24 行的 E2E-ASR 最低 33.87%、最高 64.52%。SRSR 最低为 Hermes/A-MEM/DeepSeek-V4-Pro 的 21.23%，最高为 OpenClaw/A-MEM/GPT-5.5 的 93.26%。摘要称相对匹配 Native，端到端攻击成功与选择性修复的最大绝对差为 16.1 与 41.3 个百分点。Hermes/MiniMax-M3 上，Mem0 的 E2E-ASR 高于 Native（Table 2：48.71% 对 34.84%）。
• 作者结论：记忆安全取决于完整的 harness、记忆后端和模型，以及生命周期中的状态转移；采纳和良性记忆保留是两个主要瓶颈。模型身份或单一检查点都不够。后续工作是机制特定攻击、受控消融、自动构建，以及扩展任务领域和运行场景。