跳到正文
原文
arXiv· arXiv:2605.15338· Sidharth Pulipaka, Stanislau Hlebik, Leonidas Raghav, Sahar Abdelnabi, Vyas Raina, Ivaxi Sheth, Mario Fritz·本站收录· 原文发表精选关注度57

隐藏于记忆:LLM Agent 的潜伏记忆投毒

Hidden in Memory: Sleeper Memory Poisoning in LLM Agents

论文速读

据论文全文整理(AI 生成),以原文为准

AI 导读研究者提出并研究了潜伏记忆投毒,一种延迟攻击:攻击者通过文档、网页或代码仓库等外部上下文,诱导带持久记忆的 LLM 助手写入关于用户的虚构记忆,该记忆可在后续多次对话中被检索并影响行为。

问题
带持久记忆的 LLM 助手会跨会话保存用户信息,这带来新风险:外部内容(文档、网页、仓库等)可能污染助手对用户的记忆,并在原始恶意内容消失后继续影响后续对话,形成一次注入、多次生效的长期攻击面。
方法
作者提出并研究 sleeper memory poisoning:攻击者只控制外部上下文,用可复用的通用 payload 模板诱导助手把伪造记忆写入记忆库,并可改写记忆措辞以提高后续被检索的概率。实验分三阶段评估:写入(IR)、后续会话检索(RR)与对抗性使用(AUR),覆盖 tool-based 与 external-manager 两种记忆管理,并测试若干 prompt 防御与激活探针检测。
实验与结果
注入率最高达 GPT-5.4 超 97%、GPT-5.5 约 99%、Kimi-K2.6 约 95%;成功检索的记忆在 agentic 场景中引发攻击者预期行为的比例为 60–89%。目标相邻查询下检索和使用的成功率远高于目标无关查询;端到端成功率在行为类为 41.0–73.9%,agent 类最高 66%。生产网站小样本验证也观察到记忆注入。防御方面,部分 prompt 加固可把某些模型的注入率降到近零,但对其他模型和自适应攻击仍脆弱。
局限与可以继续做的
作者指出:AUR 依赖 LLM judge,与人工判断仍有差异;各厂商记忆流程只能部分还原,部分依赖泄露或推断的 prompt;威胁模型只考虑单份恶意文档,未评估多文档复合攻击;也未系统评估记忆删除、纠正、用户审查或来源感知编辑等防御手段,这些是后续方向。
AI 导读和推荐理由在 GPT-5.5 上投毒记忆写入率最高达 99.8%,Kimi-K2.6 上为 95%;在成功检索的样本中,被投毒记忆在 60–89% 的评测中引发攻击者预期的 Agent 行为。通用投毒载荷在 GPT-5.4 上注入率超过 97%、GPT-5.5 上达 99%。端到端评测中,目标邻近查询的攻击成功率在行为子集为 41.0–73.9%,Agent 行动子集最高 66%。提示词层面的防御可降低注入率,但在不同模型和自适应攻击下表现脆弱。

研究者提出并研究了潜伏记忆投毒,一种延迟攻击:攻击者通过文档、网页或代码仓库等外部上下文,诱导带持久记忆的 LLM 助手写入关于用户的虚构记忆,该记忆可在后续多次对话中被检索并影响行为。在 GPT-5.5 上投毒记忆写入率最高达 99.8%,Kimi-K2.6 上为 95%;在成功检索的样本中,被投毒记忆在 60–89% 的评测中引发攻击者预期的 Agent 行为。通用投毒载荷在 GPT-5.4 上注入率超过 97%、GPT-5.5 上达 99%。端到端评测中,目标邻近查询的攻击成功率在行为子集为 41.0–73.9%,Agent 行动子集最高 66%。提示词层面的防御可降低注入率,但在不同模型和自适应攻击下表现脆弱。

推荐理由论文量化了记忆投毒在注入、检索与使用三阶段的成功率,部署持久记忆助手的团队可据此评估跨会话攻击面。

深度解读生成中

阅读原文arxiv.org