当 Agent 记得太多：针对大语言模型 Agent 的记忆投毒攻击

个人助理把不可信邮件和日程写入长期记忆，却缺少面向安全的记忆治理，正常提问就可能激活被投毒的记忆。

• 场景： 作者称，这类助理处在对话型与行动规划型记忆的交汇处，会处理敏感信息并接触不可信来源。投毒记忆可在用户日后提交良性提示词时改变行为；文中的例子是把未授权收件人写入涉及保密项目的邮件。
• 现有不足： 作者称，AgentPoison 与 MINJA 假设对手能直接访问记忆库或直接与智能体交互；Zombie Agents 需要把同一载荷重复存储数百次，且与 MemoryGraft 一样主要在自建实现上评估。A-MAC 的记忆治理面向效用，不检测恶意内容。
• 本文的切入： 作者考虑的对手不能改记忆库、不能调用智能体 API，也不能控制日后的用户提示词，只能经工具收到的输入间接写入。
• 提出的方法： 作者提出两阶段攻击向量 GhostWriter，以及防御框架 AM-Sentry：三档记忆准入策略，检索筛可开可关，共六种配置。作者计划发布实现与效用测试套件，论文未称已经发布。
• 威胁模型：
  • 目标： 完整性破坏、敏感信息泄露、隐蔽外传、权限范围升级（Section 3.3）。
  • 知识： 内部对手包括员工、承包商、供应商和业务伙伴，了解组织与项目；外部对手只有公开信息。机制相同，都是伪装的入站消息。作者讨论了 black-box、gray-box 与 white-box 优化，实验只做 black-box。
  • 能力： 只控制注入内容。不能访问智能体 API，不能修改记忆库，不能攻破用户账户，也不能影响检索机制。
  • 受害系统： 办公环境里管理邮件和日程、带长期记忆和工具 API 的个人助理。用户完全可信。作者假设执行逻辑无恶意，记忆设施对带外篡改保持隔离，对对手相当于 black box。

相关研究按第 2 节分成智能体、记忆系统、投毒与防御；作者用不可信工具输入上的间接投毒来定位本文。

LLM 智能体与工具

• ReAct（Yao et al., 2022）： 把推理与动作交错，用思维充实当前上下文。
• 工具与框架： Toolformer（Schick et al., 2023）让模型自学工具。作者称工具已进入 ChatGPT、Claude 等生产界面，并提到 AutoGPT、BabyAGI 作为便于采用的开源框架。

长期记忆

• 对话型： MemGPT（Packer et al., 2023）与 Generative Agents（Park et al., 2023）用跨会话记忆改善回忆；MemoryOS（Kang et al., 2025）分短、中、长期存储；A-MEM（Xu et al., 2025）用 LLM 调用做动态链接。作者称这条线主要记用户事实。
• 行动规划型： Reflexion（Shinn et al., 2023）用自我反思改进计划；RAP（Kagaya et al., 2024）检索以往成功轨迹；ExpeL（Zhao et al., 2024）同时存成功与失败轨迹及反思。作者称这条线记的是动作步骤，不是用户事实。
• RAG 与缺口： Lewis et al.（2020）从预置库取上下文，Gao et al.（2023）综述多种 RAG。作者称它们多依赖已有信息，不能从经验中学习；并称两线的交汇仍缺少研究，个人助理或自动编程这类部署在这些工作中缺失。

记忆投毒与防御

• 直接访问或直接交互： AgentPoison（Chen et al., 2024）把虚假信息写入长期记忆以劫持动作；MINJA（Dong et al., 2025）用提示词注入让智能体执行并保存恶意行动计划。作者把二者的对手模型称为不现实：要么直接访问记忆库，要么直接与智能体交互，作者称后者需要用户凭证。
• 经工具输入： Zombie Agents（Yang et al., 2026）讨论带网页搜索和 RAG 记忆的智能体被恶意网页诱导存入对抗指令。作者批评它要把同一载荷重复存储数百次，认为简单去重即可使其失效；并称它与 MemoryGraft（Srivastava and He, 2025）一样，主要在自建实现而非作者所称的 state-of-the-art 上评估。
• 已有防御： A-MemGuard（Wei et al., 2025）用共识检索找异常记忆；作者称这对没有可比较推理路径的事实型记忆不适用。A-MAC（Zhang et al., 2026）提出记忆治理，作者称只关注效用、不处理投毒。

基线与基准

• 攻击与检出对照： 无防御的 A-Mem、Mem0、ExpeL、Letta（原 MemGPT）、MemoryOS；提示词注入使用 AgentDojo（Debenedetti et al., 2024）的载荷；检出对照为 DataFilter（Wang et al., 2025）和用 ChatGPT 实现的 PromptArmor（Shi et al., 2025）。
• 防御与效用对照： 防御对照是默认参数的 A-MAC。效用没有采用 LoCoMo、HotpotQA、Webshop；作者称它们缺少演化信息、多来源或工具任务中的至少一项，因此自建模拟工作周测试套件。

作者称，尚无工作研究经不可信工具输入、针对其所称 state-of-the-art 智能体的间接记忆投毒，也没有针对该路径并评测安全与效用权衡的防御。

GhostWriter 把载荷放进智能体会入库的工具输入，再等良性提示词把它检索出来；AM-Sentry 在写入和取出两处用 LLM 评审加非 LLM 规则拦截。

系统设定与两阶段成功条件

• 部署： 智能体在用户提问、收到邮件或日程、或定时事件时唤醒，把交互写成摘要、抽取事实、有用轨迹或原文，并打标签、链接相关记忆。检索按查询与标签的匹配进行（Section 3.1）。Figure 2 用邮件助理举例：取出会议邀请、回忆截止日期变更、起草给正确收件人的邮件。
• 注入： Protocol 1 中，对手选定目标类别和与之对齐的目标提示词，构造载荷并嵌入看似正常的消息，送入收件箱。摄入函数把消息变成记忆并写入存储。作者定义：载荷仍保留在该记忆中，Phase 1 即成功。
• 激活： Protocol 3 中，用户提交良性提示词，智能体取回最接近的 top-k 记忆并加入上下文。若投毒记忆在该集合中，作者称响应会偏离用户意图；否则照常执行。对手不能改检索。
• 架构影响： 作者指出，摘要、用新记忆替换旧记忆、或把新细节并入旧记忆，都会改变投毒记忆被取回的可能性。Figure 5 的示意把取出条数标为 3；实验节只说架构使用默认配置，未另报 k。

Black-box 载荷优化

• 范围： 作者讨论 black-box、gray-box、white-box，但按安全假设只采用 black-box（Section 4.1）。
• 流程： Protocol 2 用公开邮件语料（文中举例 Enron Email Corpus）和嵌入模型把邮件聚成 k 个主题，找到与目标提示词最接近的簇，再按簇内余弦相似度的平均给载荷打分。低于阈值 tau 就改写，只在新分数更高时替换，直到超过 tau。对手的嵌入不必与智能体相同。
• 实验中写明的嵌入： 智能体用 all-MiniLM-L6-v2，对手用 bge-small-en-v1.5（Section 7.1）。论文未在实验节给出 k、tau，也未写明改写用的模型。附录 B 给出指令式与描述式邮件示例，二者语气不同；此处不复述原文。

统一评测接口

• 五个架构： A-Mem、Mem0、ExpeL、Letta（原 MemGPT）、MemoryOS。作者称缺少专为个人助理设计的长期记忆智能体，故接到同一封装：系统提示词、收发邮件与读取日程的工具、统一的输入输出。AM-Sentry 接在封装层，不要求改各架构内部的记忆表示。
• 存储差异： 多数架构保持原设计。Letta 保存完整交互。Mem0 与 ExpeL 会先变换原文再存储。MemoryOS 原设计成对保存输入与回复，简短确认句不利于嵌入；作者把它改为总结动作和工具输入。
• 快照： 按时间顺序喂入五天、共 32 个邮件与日程事件（附录 C 举例），其中包含故意改期等演化事件，再保存不含恶意记忆的快照。
• 效用题目： 作者称 LoCoMo、HotpotQA、Webshop 不能同时覆盖多来源、工具任务和演化信息，故自建四类题：静态事件回忆、演化事件回忆、用静态信息做任务、用演化信息做任务。

准入策略 S1–S3

• S1： 一个 LLM 评审只按该信息以后是否可能有用，做是或否的决定。
• S2： 评审给来源可识别性 o、可靠性 r、类型 t、效用 u 打 0 到 1 分（Table 1）。仅当 U = 0.6u + 0.4r 高于 0.4，且 V = t(1−o) 低于 0.6 时准入（Protocol 4）。Table 1 中指令类型分最高、事实最低；用户来源分最高、未知来源为 0。
• S3： 七点清单（Table 2）。漏洞分低于 0.6 直接拒绝。否则把敏感性与来源信任合成关键项、把矛盾、指令性、可验证性和理由合成非关键项，再以 0.6 与 0.4 加权；加权分低于 0.4 则拒绝。通过后，第二名 LLM 评审结合来源元数据，检查第一名是否被提示词注入影响，有合理怀疑则丢弃（Protocol 5）。
• 作者列出的目标： 保留效用、不依赖已知攻击签名、刻画何种记忆不安全、按来源而不是只按文本建模信任、不绑定某一种记忆架构、以及写入和检索都要覆盖。Section 8 称公式权重是直觉选取，论文未把它写成搜索结果。各策略在四个后端上的准入率分开报告；论文未写明评审 LLM 是否始终等于该次实验的后端。

检索筛

• 位置： 每条取出的记忆在进入上下文前再查一次，用来拦住已经写入的不安全记忆（Figure 5）。Figure 4 示意准入策略放行可信更新、拦住未知来源里含行为指令的邮件；两图中的具体语句此处不复述。
• 规则： 作者称 LLM 评审在来源信任的前提下评估相关性、指令抑制和矛盾检测，即正文所列四项中的前三项。Table 3 的顺序是相关性、指令抑制、信任过滤、矛盾检测，任一触发即丢弃。
• 来源例子： 作者称，含指令的记忆若来源可信可以保留，否则丢弃。与 S2 或 S3 同用时，筛子可以读它们写下的信任、风险和类型标注，而不必从原文推断。
• 配置： S1、S2、S3 各配检索筛开或关，共六种。

实验设置

• 后端与架构： GPT-5.4-mini、DeepSeek-V4-Flash、Gemini-2.5-Flash、Llama 3.1 8B；后文作者分别称为 ChatGPT、DeepSeek、Gemini、Llama。架构为 A-Mem、Mem0、ExpeL、Letta、MemoryOS。Llama 经 Ollama 以 Q4_K_M 本地运行，其余走各自 API 和默认解码。适用处温度为 0.7。架构用默认配置。智能体嵌入为 all-MiniLM-L6-v2，对手嵌入为 bge-small-en-v1.5。
• 攻击集： 16 个场景，投递为邮件或日程邀请，各有指令式与描述式载荷。第 7.2 节主要讨论描述式。每个场景在无恶意记忆的五天快照上测一次良性触发，并重复五次后汇总。快照对应附录 C 所说的 32 个事件。
• 指标： Phase 1 成功指恶意载荷被写入记忆；另报检索率，以及检索之后的 Phase 2 激活率。Figure 9 的端到端成功指攻击穿过准入和检索筛，并改变行为。
• 对照： 无防御；记忆治理对照为默认参数的 A-MAC。提示词注入使用 AgentDojo 的一条载荷。检出对照为 DataFilter，以及用 ChatGPT 实现的 PromptArmor。效用评审是 ChatGPT。
• 效用： 自建套件报 F1-similarity、LLM-judge 分数和工具调用是否正确。每个 AM-Sentry 配置和 A-MAC 各自从模拟工作周生成快照。正文给 A-Mem（Figure 10），其余在附录 D（Figure 18）。论文未报告人工一致性，也未报告统计检验。

主结果

下表只收 Section 7.2 对 Figure 6 的正文数字。提取文本没有各柱高度，未逐格报告的组合不填。

指标	数值	条件
P1 注入	98%	五架构、四模型平均
P1 注入	100%	多数架构；Mem0、ExpeL 低于此值，具体格子未逐项给出
检索	79%–100%	ChatGPT 与 DeepSeek；作者称这两模型上平均约 94%
检索下限	57%；65%	分别是 Gemini、Llama 上 Mem0 与 ExpeL 的偏低检索
P2 激活	60%	全部架构与模型平均
P2 激活	28%–63%	ExpeL 跨四个 LLM；最低为 ExpeL 配 Llama
P2 激活	42%	只报告了 MemoryOS 配 Llama

• 注入： 作者把未达满注入的 Mem0、ExpeL 归因于存储前变换原文，载荷不一定保留。
• 激活： 作者把 ExpeL 偏低归因于轨迹记忆把条目当先前示例，而不是权威事实。作者称 ChatGPT 与 DeepSeek 最高，Llama 最低；并称 Gemini、Llama 相对不那么易受影响，但仍给出了表中的最低档。作者把 Gemini、Llama 上 Mem0 与 ExpeL 的检索偏低，归因于这两个模型把输入变成记忆时不够准确。
• 例外： 作者称 MemoryOS 配 Llama 时常索要更多信息或做出错误工具调用，因而激活较低。

攻击类别

• 测了什么： 指令式与描述式载荷在四类目标上的 P2 激活。正文称为 Figures 6a、6b；提取文本中另有图注「Figure 7: P2 activation rate (%) by category」。
• 指令式： 作者称完整性破坏与隐蔽外传最高，在 ChatGPT、DeepSeek、Llama 上达到 100%。敏感信息泄露在各模型上最低。
• 描述式： 作者称敏感信息泄露变得与完整性破坏、隐蔽外传相当；权限范围升级低得多，因为载荷不像严格指令，智能体更可能当成可忽略的建议。作者称 Llama 上前两类相对指令式一律下降，其他模型有升有降。论文未给出各类的完整格子。

提示词注入与现有检出

• 另一类攻击： 复用同一设置，载荷来自 AgentDojo。作者称对多数架构几乎总是失败；例外是 MemoryOS 激活 1%–22%，ExpeL 为 92%（Figure 7）。P1 注入率与 GhostWriter 很接近，P2 激活为 0%–16.7%。作者把低激活归因于检索率低，且载荷没有为日后的提示词优化；并称 ExpeL 的轨迹设计几乎总会遵循带权威语气的注入指令。
• 检出器： DataFilter 对全部攻击载荷的检出率为 0%。用 ChatGPT 实现的 PromptArmor 对指令式为 85%，对描述式为 6%。作者称 ChatGPT 倾向于把权威语气判成提示词注入，礼貌的描述式容易绕过；并称 AM-Sentry 不依赖这种语气差别。该段没有另给 AM-Sentry 的检出率。

AM-Sentry

• 准入（Figure 8）： 这里的攻击成功率指恶意记忆被写入。A-MAC 最低 54%、平均 84%；作者称它只评保存效用，挡住载荷是附带的，DeepSeek 上准入最低。S1 在 Gemini 上几乎全部准入；作者称 DeepSeek、ChatGPT 约准入 80% 与 97%。Llama 在 S1 上过度拦截，合法内容也会被滤掉。S2 除 Llama 外降低投毒记忆准入：ChatGPT 最低到 71%，Gemini 到 70%–84%；DeepSeek 大体不变，有时更差。作者把 S2 在 A-Mem、MemoryOS 上变差归因于二者的记忆结构使 S2 更宽松。S3 把 ChatGPT、DeepSeek、Gemini 的平均攻击成功率降到 15%；Llama 仍准入 77% 的恶意载荷。
• 加上检索筛（Figure 9）： 成功必须同时穿过策略和检索筛，并改变行为。S1 加筛与 S2 加筛表现相近；作者称检索筛弥补了这两档过于宽松。S3 加筛把除 Llama 外各 LLM 的平均攻击成功率降到 12% 以下；Llama 跨架构平均 20%。作者称检索筛补上了 Llama 在 S3 注入阶段的弱点。
• 效用（Figure 10，A-Mem）： F1 相对无策略基线大体保持；DeepSeek 最稳，S3 下有小幅下降。其余模型在配上检索筛或 S3 时，F1 相对基线下降 0.01 到 0.04。Llama 从 S1 起逐级下降，作者归因于过度拦截合法记忆。作者称 A-MAC 对基线没有强的正向作用，唯一例外是 Llama 上分数高于其他策略；作者把这归因于 A-MAC 较少依赖 LLM 做策略决定。LLM-judge 分数趋势相同，S2 在若干情况下高于基线。工具准确率大体稳定；ChatGPT 在 A-MAC 与 S1 下相对基线下降，策略更严时一般回升。作者称各策略对总体效用影响很小。附录 D 中，作者称 Llama 波动更大，MemoryOS 配 Llama 方差高，ExpeL 与 Letta 随策略变严而变差。论文未给出这些图的绝对分数。

其他消融与分析

• 载荷语气：PromptArmor 对指令式检出 85%，对描述式降到 6%（Section 7.3）；第 7.4 节因此以描述式为重点。
• 检索筛开或关：Figure 9 比较了三档策略配筛与否；S1、S2 加筛后的具体百分比正文未单列。
• 投递渠道：16 个场景含邮件与日程，正文未分渠道报告成功率。
• 重复：除非另注，每项实验五次（Section 7.1）。
• 权重：实验使用正文中的 0.6/0.4 以及阈值 0.4、0.6；论文未报告其他取值。
• 负面例外：DeepSeek 在 S2 上相对 S1 有时更差（Figure 8），正文未给该例外的百分比。

作者指出的局限与后续方向

• 输入渠道： 只以邮件和日程为攻击面；文档、网页内容和代码仓库没有探索。后续包括更多输入渠道，以及办公助理以外的部署场景（Section 8）。
• 权重： 公式权重是直觉选取，作者认为未必是挡住 GhostWriter 的最优配置；后续可用 Monte Carlo 选择策略权重（Section 8）。
• 效用数据： 测试套件基于模拟工作周，不是真实用户数据或在线部署，作者认为可能盖不住个人助理的全部任务。后续要做覆盖更多任务类型、输入来源和记忆架构的基准（Section 8）。
• 架构范围： 评了五个记忆智能体；作者认为记忆设计还可以更广，不同设计的脆弱性可能不同。后续要评更多记忆架构（Section 8）。
• 模型范围： 只用了当时可用且成本上可行的模型；后续包括更多 LLM 后端（Section 8）。
• 对手能力： 只评了不知道防御的非自适应对手；作者认为自适应对手可能绕过清单和检索筛。后续还包括多个并发攻击载荷的分析（Section 8）。

实验覆盖范围

• 被测对象： 五个架构 A-Mem、Mem0、ExpeL、Letta、MemoryOS，各配 GPT-5.4-mini、DeepSeek-V4-Flash、Gemini-2.5-Flash、Llama 3.1 8B（Q4_K_M）（Section 6.1、7.1）。
• 攻击协议： 16 个场景，邮件与日程，指令式与描述式，无防御快照上每个场景重复五次（Section 7.2）。智能体嵌入为 all-MiniLM-L6-v2，对手嵌入为 bge-small-en-v1.5。论文未报告 Protocol 2 的主题数 k、阈值 tau、改写所用模型，以及这 16 个场景是否都跑了该优化循环。
• 防御： S1、S2、S3，以及各自与检索筛的组合；对照为无防御和 A-MAC 默认参数（Section 7.4）。效用含基线、A-MAC 和六种配置，A-Mem 见 Figure 10，其余见附录 D。按 Section 8，防御评测针对不知道防御的对手。
• 另一攻击与检出： AgentDojo 的一条提示词注入载荷；检出方法为 DataFilter，以及用 ChatGPT 实现的 PromptArmor（Section 7.3）。
• 论文未报告的量： 各架构默认检索条数的具体值（Figure 5 的示意标为 3）、查询次数、统计检验，以及效用 LLM 评审与人工判定的一致性。

作者研究带长期记忆的邮件与日程个人助理：不可信工具输入被写入记忆后，日后的良性提问可能取出投毒内容并改变行为。

• 问题： 作者认为，已有投毒要么能直接接触记忆或智能体，要么主要在自建系统上评估；实用个人助理缺少面向安全的记忆治理。
• 攻击： GhostWriter 分注入和激活。注入把载荷嵌进看似正常的邮件或日程，成功标准是载荷仍留在记忆里。激活不控制用户提示词，只看良性查询会不会检索并照它行动。作者还描述了 black-box 优化：用与智能体不同的嵌入模型，把载荷改到更接近目标邮件主题。
• 防御： AM-Sentry 在写入处用 S1 到 S3 三档策略，由 LLM 评审加阈值规则决定准入；S3 还有第二评审，检查第一评审是否被注入影响。取出处可以加检索筛，按相关性、指令、来源信任和矛盾过滤。两处组合成六种配置，接在统一封装上，不改各架构的核心记忆机制。
• 无防御结果： 五个架构、四个 LLM、16 个场景、每项五次。平均注入 98%，多数架构为 100%；平均激活 60%，最低为 ExpeL 配 Llama 的 28%（Section 7.2，Figure 6）。作者把 ExpeL 的偏低激活归因于轨迹记忆不把条目当权威事实。
• 防御结果： 在准入阶段，S3 把 ChatGPT、DeepSeek、Gemini 的平均攻击成功率降到 15%，但 Llama 仍准入 77% 的恶意载荷（Figure 8）。加上检索筛后，除 Llama 平均 20% 外，平均攻击成功率低于 12%（Figure 9）。作者称效用相对基线下降很小：除 DeepSeek 外，检索筛或 S3 下 F1 相对下降 0.01 到 0.04（Figure 10）。
• 作者结论： 作者认为攻击能成立，是因为缺少面向安全的记忆治理；并认为最严的 AM-Sentry 在实验的多数模型上能压低 GhostWriter，效用代价处于可以接受的取舍。作者计划发布实现和测试套件。