跳到正文
原文

长期记忆与 LLM 结合代价高昂：从提示注入到持久化攻陷

Combining Long-Term Memory and LLMs Comes at a High Cost: From Prompt Injection to Persistent Compromise

arXiv· arXiv:2610.28810· Pedro H. Barcha Correia, Matheus Azevedo de Sá, Paulo H. Gomes de Senna, Giovanni Mandel Martignago, Victor Takashi Hayashi, Charles Christian Miers, Marcos A. SimplicioUniversidade de São Paulo (USP); Universidade do Estado de Santa Catarina (UDESC)本站收录· 22 天前· 原文发表日期未标入选 攻击精选关注度41

论文速读

攻击

据论文 PDF 整理（AI 生成），以原文为准

作者提出记忆注入的通用威胁模型，在 ChatGPT Instant 5.3、Claude Sonnet 4.6、Gemini 3 Flash 上实验，称三个平台均可被持久化攻击，且约半数缓解措施未实现。

威胁模型攻击者面对 opaque GenAI 系统，不了解后端、系统提示词、模型架构或推理参数，也无需观察注入响应；可通过用户环境可用的原生功能（query、共享记忆、共享设备/账号、间接提示注入、CSRF）向持久记忆写入恶意内容，追求 NIST 的 availability、integrity、privacy、misuse 目标。

问题
现代对话式 LLM 的持久记忆功能让提示注入可跨会话传播，形成记忆注入这一攻击向量；作者认为既有研究只针对单一记忆架构和狭窄目标，缺乏通用威胁模型与系统化缓解。
方法
作者提出覆盖 NIST 四类攻击目标的通用记忆注入威胁模型，在 ChatGPT Instant 5.3、Claude Sonnet 4.6、Gemini 3 Flash 上对个人记忆、projects、skills、组织指令和 MCP 资源做注入实验，并从 OWASP 安全原则推导缓解措施。
实验与结果
作者报告三个平台均可被持久注入实现虚假信息、有害内容和模拟离线；Claude 的共享记忆还可跨用户窃取提示词。Table III 显示约半数缓解措施未在三个服务中实现。
局限与可以继续做的
作者指出 CSRF 场景未能成功模拟，自动收集数据的记忆功能（如 ChatGPT 的 reference chat history）仅做了初步实验、留待未来工作；实验仅覆盖三个商业服务的指定套餐，部分缓解措施是否实现标记为未知。
实验设置ChatGPT Instant 5.3、Claude Sonnet 4.6 等 · 作者自建的记忆注入、后续提示词与模型响应数据集 · 攻击成功率（注入前后各 5 次尝试、3 名评审多数投票）、NIST 攻击目标达成（misuse/availability/integrity/privacy） 等
威胁模型
攻击者面对 opaque GenAI 系统，不了解后端、系统提示词、模型架构或推理参数，也无需观察注入响应；可通过用户环境可用的原生功能（query、共享记忆、共享设备/账号、间接提示注入、CSRF）向持久记忆写入恶意内容，追求 NIST 的 availability、integrity、privacy、misuse 目标。受害系统为具备跨会话长期记忆的 LLM-as-a-service。
被测模型
ChatGPT Instant 5.3Claude Sonnet 4.6Gemini 3 Flash
基准
作者自建的记忆注入、后续提示词与模型响应数据集
指标
攻击成功率（注入前后各 5 次尝试、3 名评审多数投票）NIST 攻击目标达成（misuse/availability/integrity/privacy）缓解措施实现情况（Table III）
AI 导读和推荐理由巴西圣保罗大学等机构研究者在论文中提出针对 LLM 长期记忆的记忆注入通用威胁模型，并在 ChatGPT Instant 5.3、Claude Sonnet 4.6 和 Gemini 3 Flash 上实证了覆盖 NIST 可用性、完整性、隐私、滥用四类攻击目标的持久化攻击。注入通过个人记忆、项目、技能、组织指令和 MCP 连接资源等持久记忆载体植入，可在全新会话中持续散布虚假信息、生成有害内容或模拟服务离线。其中 Claude 的共享记忆可让组织内单个账户攻陷其他用户，作者经组织指令与 Google Drive 连接器成功记录并外泄了用户提示词。作者从 OWASP 安全原则推导出多项缓解措施，指出近半数在三家服务中尚未落实，并已按负责任披露流程提前通知厂商；攻击工件发布在 github.com/PedroBarcha/Memory-injection。

巴西圣保罗大学等机构研究者在论文中提出针对 LLM 长期记忆的记忆注入通用威胁模型，并在 ChatGPT Instant 5.3、Claude Sonnet 4.6 和 Gemini 3 Flash 上实证了覆盖 NIST 可用性、完整性、隐私、滥用四类攻击目标的持久化攻击。注入通过个人记忆、项目、技能、组织指令和 MCP 连接资源等持久记忆载体植入，可在全新会话中持续散布虚假信息、生成有害内容或模拟服务离线。其中 Claude 的共享记忆可让组织内单个账户攻陷其他用户，作者经组织指令与 Google Drive 连接器成功记录并外泄了用户提示词。作者从 OWASP 安全原则推导出多项缓解措施，指出近半数在三家服务中尚未落实，并已按负责任披露流程提前通知厂商；攻击工件发布在 github.com/PedroBarcha/Memory-injection。

推荐理由论文给出记忆注入的通用威胁模型与缓解措施清单，部署长期记忆功能的团队可据此核对自身服务的防护缺口。

相关热点

3 个事件 · 2 条新闻提到

提到这篇论文的新闻

Adversa AI 汇总 11 月 AI 智能体安全资源

大模型安全周报：防线开始溃于组合，智能体授权与审计系统性缺口

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    持久记忆使提示注入可跨会话传播（记忆注入），作者为其建立通用威胁模型并实测三大平台。

    核心问题：LLM 服务的持久记忆功能让提示注入跨会话持久化（记忆注入），但文献缺乏覆盖全部攻击目标的通用威胁模型和系统化缓解。

    • 问题场景与重要性：传统聊天机器人中提示注入只影响单会话；现代 LLM-as-a-service 的记忆功能跨会话保留状态，使注入可被自动复用。作者称 OWASP 将提示注入列为 LLM 应用头号风险。
    • 现有研究不足：作者指出 SpAIware、MINJA、ER-MIA 各自只评估单一记忆架构、追求狭窄目标，且只有 SpAIware 针对生产服务；文献缺乏通用威胁模型，也未从既有安全原则系统推导缓解（Table I）。
    • 核心观察：作者认为记忆注入不需要访问模型或检索系统内部，只需通过用户可用的原生功能（如 query）即可写入持久记忆，区别于模型投毒和 RAG 投毒。
    • 论文贡献：提出覆盖 NIST 全部攻击目标的通用威胁模型；在三个商业平台上做实证攻击；从 OWASP 安全原则推导缓解措施并核查其实现情况。
    • 威胁模型（Section IV）：
      • 目标：NIST 四类攻击目标——availability breakdown、integrity violation、privacy compromise、misuse enablement，且要求持久生效。
      • 知识：攻击者面对 opaque GenAI 系统，不了解后端设施、系统提示词、模型架构或推理参数（如 logit bias、temperature）。
      • 能力：无需观察模型对注入的响应；可通过共享记忆、共享设备/账号、间接提示注入（外部文档、MCP 资源）、CSRF 五种场景注入。
      • 受害系统：具备跨会话长期记忆能力的 LLM 应用或服务，攻击与记忆功能的具体用途、更新方式、存储检索机制无关。

  2. 有哪些相关研究？

    相关工作分三组：持久化攻击、三项记忆注入研究、提示注入检测防御；作者以通用威胁模型和系统缓解作区分。

    持久化效果的对抗攻击

    • System prompt 投毒（Guo & Cai, 2025）与训练数据投毒（Rando & Tramèr, 2024）：分别向系统提示词和训练数据注入恶意指令以获得持久效果。
    • RAG 知识库投毒（PoisonedRAG, Zou et al., 2025；AgentPoison, Chen et al., 2024）：污染检索知识库或智能体记忆。作者指出这类方法通常假设对后端组件有特权访问或技术能力，而记忆注入通过用户可用功能即可完成。

    记忆注入研究

    • SpAIware（Herrador & Rehberger, 2026）：利用 ChatGPT 的记忆功能植入持久指令，跨会话外泄用户对话。作者称其为首个针对主流 LLM 服务原生记忆功能的同行评审工作，但仅限于单一记忆功能。
    • MINJA（Dong et al., NeurIPS 2025）：假设跨用户共享的记忆库，攻击者通过 query 注入恶意记录，误导智能体（如买错商品、取错病历），实现完整性与隐私攻击。
    • ER-MIA（Piehl et al., 2026）：植入模仿合法记录的合成记忆，使基于相似度的检索取回恶意条目，降低回答质量。作者指出 MINJA 与 ER-MIA 针对的记忆功能并非模型服务商的原生功能（Table I）。

    提示注入与越狱的检测与防御

    • 检测与过滤：作者列举 LLM 分类器（RigorLLM、WalledEval、WildGuard 等）、非 LLM 分类器、向量相似度、模糊匹配、困惑度与可解释性方法，以及重分词、改写等预处理，作为缓解一节引用。

    定位：作者称本文与上述工作的区别在于：提出覆盖多个攻击目标与场景的通用威胁模型、系统推导缓解措施、攻击三个生产服务的多种原生记忆功能，并首次经共享记忆实现跨账号攻击（Table I）。

  3. 论文如何解决这个问题？

    通用威胁模型 + 对三个平台多类记忆功能的注入实验 + 从 OWASP 原则推导缓解并核查实现。

    整体思路：先形式化记忆注入通用威胁模型（RQ1），再在三个商业平台的多种持久记忆功能上设计并执行攻击（RQ2），最后从 OWASP 安全原则系统推导缓解（RQ3）并核查各平台实现情况（RQ4）。

    威胁模型形式化

    • 记忆注入定义：作者将其定义为写入长期记忆、可应用于未来模型上下文的提示注入，使对抗行为跨会话持久化。
    • 攻击独立性：攻击不依赖记忆功能的用途、显式或自动更新、底层存储检索机制（RAG、磁盘、缓存）与位置（客户端/服务器端）；关键前提是系统允许通过用户环境创建持久记忆。
    • 五类攻击场景：共享记忆（workspace 级功能）、本地账号共享（共享设备）、远程账号共享（一号多设备）、间接提示注入（外部文档或 MCP 资源）、CSRF（伪造已认证请求）。

    实验方法

    • 目标与接入：Gemini 3 Flash、Claude Sonnet 4.6、ChatGPT Instant 5.3，分别经 Gemini Enterprise Business、Claude Team、ChatGPT Business 套餐接入以启用共享记忆功能；实验时间为 2026 年 4–6 月。
    • 注入方式：默认经 prompt box 以 query 直接写入记忆；ChatGPT 与 Claude 关闭自动记忆创建，Gemini 无法单独关闭。
    • 判定协议：每个攻击 × 模型，注入前 5 次尝试均未达成目标、注入后 5 次尝试中任意一次达成，记为成功；由 3 名作者评审投票、多数决定。
    • 关键技术：记忆化越狱结合拒答抑制与前缀注入；注入失效时让模型自我反思并修订自身记忆（作者称该技术贯穿全文有效）；长注入经 query 会被拒绝，作者尝试利用 Claude 的 import memory 功能绕过。

    攻击设计（按 NIST 目标）

    • Misuse：将越狱存入记忆，使模型对基线非法请求从拒绝转为作答。
    • Availability：以"内部玩笑"角色扮演框架让模型对所有提问只回复"离线"。
    • Integrity：一般性虚假信息（"反问答"游戏）、定向虚假信息、有害内容（如把倒拼的脏话存为用户名）、分析偏倚（论文评审、法律文书场景）。
    • Privacy：复现 SpAIware 式外泄；替代方案为 Claude 共享记忆攻击，经组织指令指示把用户提示词记录到 MCP 连接的 Google Drive。
    • 共享记忆：Claude 的 skills（含 skill-creator 与描述优化工作流）、organization instructions、projects（系统提示词或共享 PDF）、enterprise search（MCP 连接 Notion）。

    缓解推导

    • 作者将 OWASP 安全原则逐条与威胁模型对照，得出：默认关闭记忆、禁止或人工核验不可信来源的记忆、共享记忆限制（避免或逐用户批准）、存储前过滤（多层组合）、CSRF 防护、全局 fail-safe 恢复机制、开放设计、监控与响应。

  4. 论文做了哪些实验？

    三个平台 × 四类 NIST 目标的注入实验：全部平台被持久攻破可用性，Claude 共享记忆实现跨用户隐私窃取。

    实验设置

    • 被测模型：ChatGPT Instant 5.3（ChatGPT Business）、Claude Sonnet 4.6（Claude Team）、Gemini 3 Flash（Gemini Enterprise Business），共 3 个。
    • 数据：作者自建的记忆注入、后续提示词与模型响应数据集（已公开）；无既有基准。
    • 指标与判定：攻击成功 = 注入前 5 次尝试均未达成目标且注入后 5 次中至少 1 次达成；3 名作者评审多数投票。
    • 攻击向量：个人记忆、projects、skills、organization instructions、MCP 连接资源（Table I）。
    • 重复次数：每个注入前后各 5 次尝试；论文未报告更多重复实验。

    主结果

    据 Table II（✓=个人记忆成功，+=共享记忆成功，✗=未成功）：

    表格较宽，可左右滑动

    目标模型MisuseAvailabilityIntegrityPrivacy
    ChatGPT Instant 5.3✓✓✓✗
    Claude Sonnet 4.6✓+✓+++
    Gemini 3 Flash✓✓✓✗
    • 作者解读：作者称全部 NIST 攻击目标在三个平台上总体均可实现（RQ1），个人记忆、用户可编辑系统提示词、skills、MCP 功能均被证明可作注入向量（RQ2）。
    • 例外：隐私攻击仅在 Claude 经共享记忆成功；作者无法复现 SpAIware 式攻击，三个服务均拒绝执行该外泄指令。
    • 限制：作者指出记忆和组织级系统提示词的 token 上限与长通用越狱不兼容，misuse 仅在一定程度内实现（如无法生成 toxic 内容）。

    共享记忆与跨用户攻击（Claude）

    • 测了什么：Claude 的 skills、organization instructions、projects、enterprise search 能否被单一账号用来影响组织内其他用户。
    • 结果：经 organization instructions 强制每次会话加载恶意 skill，作者报告实现了全组织范围的隐私窃取（用户提示词连同用户名、时间戳被记录到 MCP 连接的 Google Drive）、toxic 行为、定向虚假信息（经 enterprise search 连接含虚假内容的 Notion，Claude 对 3 个问题全部答错）与模拟离线。projects 中经共享 PDF 或系统提示词成功向另一账号注入越狱。
    • 作者解读：作者称 organization instructions 是最有效的变体——不增加响应时间、普通用户无法禁用、很少被 Claude 拦截；skills 的缺点是增加延迟、加载过程对用户可见、可被用户禁用。

    负面结果与失败案例

    • CSRF：三个服务均具备有效 CSRF 防护，威胁模型场景 5 未能成功模拟。
    • 分析偏倚：在论文评审与法律文书两个场景中，三个服务均明确表示忽略 PDF 中的偏倚指令。
    • 项目外 MCP 功能：Claude connectors、ChatGPT apps、Gemini connectors 均未被攻破——模型不把外部来源视为可信，要求确认或建议经 query 创建记忆。
    • Gemini 记忆删除困难：Gemini 无查看/编辑/删除记忆的界面，删除确认后异常行为仍偶尔持续，作者称该现象多次出现。

    其他消融与分析

    • 缓解实现核查（Table III）：仅 Claude 默认关闭记忆；仅 Claude 允许从不可信来源创建记忆；三个服务均无全局 fail-safe 机制、均不公开记忆功能细节；监控与响应一栏三个服务均为未知；作者称约半数缓解未实现（截至 2026 年 6 月）。
    • DREAD 风险评估：作者按 DREAD 模型定性分析，称利用门槛低（非专家经自然语言即可实施）、受影响用户数随场景从单用户到全组织不等，但总体低于模型投毒/RAG 投毒。
    • NIST 分类讨论：作者指出经配置通道（如管理员设置的组织级 skills）的注入既不属 NIST 的直接也不属间接提示注入，建议将记忆注入视为两者的持久子类型。

  5. 有什么可以进一步探索的点？

    作者指出 CSRF 未成功、自动记忆功能留待未来；实验仅覆盖三个商业平台的指定套餐。

    作者指出的局限与后续方向

    • CSRF 场景未验证：作者称场景 5（CSRF）是本文唯一未能成功模拟的攻击场景，因为三个目标服务都具备有效防护（Section IV-C、VI-A）。
    • 自动收集类记忆功能待研究：作者指出本文聚焦按用户（或攻击者）请求存储数据的机制，而自动收集数据的机制（如 ChatGPT 的 reference chat history）仅做了初步实验，作者计划在未来工作中深入研究其潜力与局限（Section VII）。
    • 长越狱与 token 上限不兼容：作者指出记忆和组织级系统提示词等功能存在 token 限制，与通常很长的通用越狱不兼容，misuse 目标因此只能在一定程度上实现（Section VI-A）。
    • NIST 分类的不足：作者指出 NIST 对直接提示注入的定义无法覆盖经配置通道（如管理员面板设置的组织级 skills）实施的注入，建议扩展定义（Section VI-D）。

    实验覆盖范围

    • 被测模型为 ChatGPT Instant 5.3、Claude Sonnet 4.6、Gemini 3 Flash 共 3 个，均经商业套餐（Business/Team/Enterprise Business）接入，实验时间为 2026 年 4–6 月（Section V-A）。
    • 攻击向量覆盖个人记忆、projects、skills、organization instructions、MCP 连接资源；Gemini 无共享记忆功能，ChatGPT 仅有 projects，跨用户攻击仅在 Claude 上演示（Section VI-C）。
    • 成功判定为注入前后各 5 次尝试、3 名作者评审多数投票；论文未报告评审间一致性数值。
    • 缓解核查覆盖 8 项措施在 3 个服务中的实现情况，其中"监控与响应"一项三个服务均标记为未知（Table III）。
    • 论文未报告各攻击的具体注入文本数量、每个场景的独立实验轮数，以及过滤机制的细节（作者指出各服务的过滤策略不公开）。

  6. 总结一下论文的主要内容

    记忆注入通用威胁模型 + 三平台实证：全部 NIST 目标可达，Claude 共享记忆可跨用户窃密，约半数缓解缺失。

    一篇关于记忆注入（memory injection）的攻击论文：持久记忆让提示注入跨会话生效，作者为其建立通用威胁模型并在三个主流 LLM 服务上实证。

    • 问题：既有记忆注入研究只针对单一记忆架构和狭窄目标，缺乏通用威胁模型与系统化缓解（Table I）。
    • 方法：威胁模型覆盖 NIST 四类攻击目标（availability、integrity、privacy、misuse）与五类注入场景；在 ChatGPT Instant 5.3、Claude Sonnet 4.6、Gemini 3 Flash 上对个人记忆、projects、skills、organization instructions、MCP 资源执行注入，成功判定为注入前 5 次未达成、注入后 5 次中至少 1 次达成、3 名作者评审多数投票。
    • 结果一：三个平台均可被持久注入实现模拟离线（对所有提问只回"离线"）、虚假信息和一定程度的 misuse（Table II）。
    • 结果二：隐私攻击仅在 Claude 成功——经 organization instructions 或 skills，单一账号可将组织内所有用户的提示词连同用户名、时间戳记录到 MCP 连接的 Google Drive；作者无法复现 SpAIware 式个人记忆外泄。
    • 结果三：CSRF 场景未能实现（三平台均有防护）；分析偏倚（论文评审、法律文书）被三个服务明确拒绝；项目外 MCP 功能（connectors/apps）未被攻破。
    • 结果四：从 OWASP 原则推导的 8 项缓解中，作者称约半数未在三个服务中实现（截至 2026 年 6 月），仅 Claude 默认关闭记忆，三者均无全局 fail-safe 机制（Table III）。
    • 作者结论：作者称记忆注入可由非专家经自然语言实施，长期记忆功能与关键安全原则存在冲突，而商业服务仍在扩大持久数据存储；作者已向各厂商披露漏洞并公开全部攻击工件。
阅读原文arxiv.org