ER-MIA: Black-box Adversarial Memory Injection Attacks against Long-term Memory-augmented Large Language Models

黑盒下，相似度记忆检索能否被注入记忆系统性劣化。

• 场景：作者称 LLM 受有限上下文限制，长期记忆把过往交互存入记忆库，推理时再按相似度取回。若误导记忆被存入并取回，会在后续交互中持续破坏推理。
• 现有不足：作者称既有工作多假设智能体式记忆构建与任务执行、基于触发器的控制，或能访问静态语料；未在黑盒下系统研究动态、由交互写入的长期记忆中的相似度检索。
• 核心问题：作者问，相似度检索本身是否是根本脆弱点，使对手仅凭交互级访问就能系统性劣化全局推理，而无需模型参数、检索输出或记忆系统内部。
• 威胁模型：
  • 目标：把正确预测 ŷ 变成错误的 ŷ′；注入记忆须与某条干净记忆在嵌入空间足够接近。
  • 知识：黑盒。无参数、检索输出、记忆内容与系统内部。可具备“检索用稠密嵌入相似度、以及常见嵌入模型”这类背景知识，但不知道确切检索配置或记忆内容。
  • 能力：只通过可能被写入记忆的正常用户输入交互，不改训练数据或参数。
  • 受害系统：按余弦相似度取回 top-k 记忆的长期记忆增强 LLM。作者称以 A-mem 与 Mem0 作为攻击实例。
• 本文提出：作者提出 ER-MIA，形式化 content-based 与 question-targeted 两种设定，并给出可组合原语与集成攻击。作者称这是对这类黑盒对抗记忆注入的首次系统性研究。

长期记忆与 RAG

• Mem0（Chhikara et al., 2025）与 A-mem（Xu et al., 2025）：前者做可扩展的记忆抽取与检索，后者做智能体式记忆演化与跨时间链接。作者称将攻击这两者，因为它们是最近且领先的记忆系统。
• RAG：Karpukhin et al.（2020）、Lewis et al.（2020）、Borgeaud et al.（2022）、Gao et al.（2023）按嵌入相似度检索外部文档，并据此条件生成。
• 持久助手与评测：Packer et al.（2023）的 MemGPT、Maharana et al.（2024）的 LoCoMo、Park et al.（2023）的生成式智能体，分别涉及操作系统式记忆、长程对话记忆评测和长程智能体。论文此处未逐篇对比方法差异。

记忆增强 LLM 上的对抗攻击

• MINJA（Dong et al., 2025）：针对智能体工作流，把记忆当作持续示范，以偏向未来决策。作者对比：本文目标是一般长期推理退化，而不是特定行为控制，并只靠嵌入相似度争取与干净记忆共检索。
• AGENTPOISON（Chen et al., 2024）：可通过仅查询交互或基于触发器的后门毒化智能体记忆。作者将其归入智能体工作流与触发器控制，并与本文的一般推理退化相对照。

提示注入与间接指令

• 直接提示注入：Wei et al.（2023）、Zou et al.（2023）、Perez 与 Ribeiro（2022）、Carlini et al.（2023）等，利用模型遵从输入中的对抗指令。
• 间接提示注入：Greshake et al.（2023）、Yi et al.（2025）、Chang et al.（2026）经外部检索内容触发，可不经显式用户提示。作者称 ER-MIA 的注入记忆像跨交互留存的提示，因而检测和缓解更具挑战。

数据投毒与后门

• 训练期投毒/后门：Biggio et al.（2012）、Chen et al.（2017）、Gu et al.（2017）、Saha et al.（2020）通过恶意训练数据在推理时诱发攻击者期望的行为。

• 检索语料投毒：PoisonedRAG（Zou et al., 2025）以及 Zhong et al.（2023）、Kanoulas et al.（2025）、Cheng et al.（2025）向检索语料注入对抗文档，以破坏针对特定问题的 RAG 输出。作者称本文不假设控制外部语料或检索器，只毒化交互写入的记忆，且正确记忆仍可留在系统中。

• 基线方法：各记忆系统与模型的复现干净结果；question-targeted 设定把 PoisonedRAG 改编为检索投毒基线。基准为 LoCoMo。

作者把本文定位为：黑盒交互下、针对动态写入记忆的相似度检索，目标是一般推理退化，而不是智能体策略、触发器或静态语料。

ER-MIA 把黑盒对抗记忆注入写成可组合框架：经正常交互写入与干净记忆或查询在嵌入空间接近的文本，使其在相似度检索中与正确记忆一起被取回，从而改变后续回答。Figure 2 概括两条设定和攻击库；Figure 1 的图注称注入后推理被破坏，且不访问参数或记忆系统内部。

问题设定与形式化

• 记干净记忆库为 M，查询为 q，编码器为 ϕ。检索为 R(q,M)=Top-k_{m∈ M}cos(ϕ(q),ϕ(m))，即按余弦相似度取 top-k，与查询拼接后交给语言模型 S，得到回答 ŷ。
• 对手注入 M′，记忆库变为 M 与 M′ 的并集。效果要求正确预测变成错误预测；不可感知要求存在干净记忆 m，使 cos(ϕ(m),ϕ(m′))≥σ_s，其中 σs 属于 (0,1)。论文未给出实验中的 σs 数值。
• 不可知：无模型参数、检索输出、记忆内容或系统内部。作者称该约束沿用语义碰撞的观察：嵌入相近不必语义等价。作者不用梯度优化，称其在该设定不实用，且跨模型迁移差。

两种攻击设定

• content-based：对手有过去交互内容，不知道未来查询。对每条干净记忆生成一个或多个表面相似、但改动事实或指令内容的对应记忆，以劣化整体推理。
• question-targeted：不依赖先前交互，针对多跳问答中的特定问题。每题生成一或两条重述问题并给出虚假答案的记忆，使其接近查询嵌入，以便与正确记忆一起被取回。
• 作者称评测使用有标准答案的问题来测量退化，并称攻击可推广到没有正确记忆的情形，此时模型会跟随注入内容。作者称每题一条即可在大记忆库中造成持续错误，并指向 Table 5。论文未报告记忆库总条数。

攻击原语

• 八种原语分三类。指令类为 Instruction、General Negation、Harsh Instruction、Ignore，用指令式文本偏向遵从。事实操纵为 Contradiction、Negation，引入嵌入接近的矛盾或否定。非语义为 Embedding-Close Noise、Lexical Shuffling，检验仅靠检索相似度是否足以劣化推理。
• 指令类与事实操纵由外部 LLM 在思维链提示下生成，附录 F 给出完整提示词。非语义攻击是程序化的：词序打乱，以及把字符扰动校准到目标余弦相似度区间。论文未给出该外部 LLM 的名称，也未给出该区间的数值。
• 作者称这组原语是攻击面的代表性子集，不是穷尽；并称经验上已足以造成推理失败，见 Table 2。Table 1 有说明性例子，此处不复述注入文本。

集成攻击

• 对干净记忆 m，集成注入集合 E(m)，其中每条都满足不可感知约束，但操纵推理的方式不同。作者称当查询取回其中多条时，模型会看到一致但误导的多角度信号。
• 作者列出三点设计意图：多条嵌入接近的记忆提高至少一条进入 top-k 的可能；误导信号互相加强，即使干净记忆也被取回仍可压过它；不同 LLM 对指令式与事实扰动反应不同，集成有助跨架构和记忆系统。
• 论文在 Mem0 与 Llama3.2 上比较多种组合，以寻找降幅较大的搭配。组合结果放在第 4 问。

写入路径与判定

• 附录 B、C：Mem0 先抽取显著记忆，再按语义相似记忆做 ADD、UPDATE、DELETE 或 NOOP；A-mem 把交互写成带属性与嵌入的笔记，并可链接、演化已有笔记。两者推理时都按嵌入取 top-k。实验在干净记忆写入之后插入对抗记忆，走同一交互路径，不用内部 API。
• 主指标是与先前长期记忆评测一致的 F1 和 BLEU-1，并报告相对干净复现基线的百分比变化。作者称词重叠指标在答错时仍可能不低，因此强调相对退化。问题定向另报告每题注入条数。附录 E 把 ASR 分成 decreased（该题指标下降）和 zeroed（原非零指标降到 0）。

实验设置

• 模型与记忆系统：受害 LLM 为 Llama3.2:3b、Gemma 3:27b、GPT-oss:20b。A-mem 的嵌入为 all-MiniLM-L6-v2，Mem0 的嵌入为 nomic-embed-text。默认取回 top 10。
• 基准：LoCoMo，题类为 single-hop、multi-hop、temporal、open-domain。跟随 Mem0 排除其 adversarial questions。论文未报告问题条数。
• 基线：各模型与记忆系统的复现干净结果。question-targeted 另用改编后的 PoisonedRAG。
• 指标：F1 与 BLEU-1。Table 2、Table 4 的 ΔF1 是平均 F1 相对复现或干净基线的百分比变化；Table 3 是 overall F1 相对 Baselines 行的百分比变化；Table 5 是相对各模型复现基线的 F1 百分比变化。无 LLM 裁判。
• 攻击：内容攻击从交互记忆生成对抗记忆；问题定向每题 1 或 2 条。集成主要报在 Mem0 与 Llama3.2。附录 E 另给 ROUGE-1、Exact Match，以及 decreased/zeroed ASR。
• 运行：Ollama 0.13.3。附录 G 写 Mem0 的 temperature 为 0.1、max_tokens 为 1500、top_p 为 0.9，A-mem 脚本默认 temperature c5 为 0.5；同节又写除非另有说明使用接近 0 的 temperature。论文未报告重复次数，也未报告生成对抗记忆的外部 LLM。

主结果

下表为 question-targeted 的 ΔF1，据 Table 5。表中 Gemma3:27b 与 §5.1 的 Gemma 3:27b 为同一写法差异。

Swipe horizontally to read the table

模型	记忆系统	PoisonedRAG	1条/题	2条/题
Llama3.2:3b	A-mem	-7.1%	-40.2%	-46.8%
Llama3.2:3b	Mem0	-4.2%	-44.1%	-53.0%
Gemma3:27b	A-mem	-13.4%	-46.5%	-61.6%
Gemma3:27b	Mem0	-6.1%	-48.4%	-53.6%
GPT-oss:20b	A-mem	-7.2%	-48.4%	-55.5%
GPT-oss:20b	Mem0	-13.1%	-51.6%	-56.7%

• 作者称每题只注入一到两条，足迹约 10%，overall F1 至少降 40%，两条再降超过 46%。论文未给记忆库总条数，也未给“只攻击一小部分查询”的单独数字。
• 作者称相对 PoisonedRAG，定向注入在两种记忆系统上退化更大。上表六组的定向 ΔF1 均比同组 PoisonedRAG 更负。
• 平均 ΔF1 均为负，但不是每个题类都下降：Llama3.2:3b+A-mem 的 Open-Domain F1 从 8.96 升到 12.14（1条）和 14.06（2条）。Gemma3:27b+A-mem 的 Open-Domain F1 从 7.97 升到 8.81（1条），2条时为 6.07。作者称 A-mem 对问题定向比内容攻击更敏感，Mem0 两种设定相近。

内容攻击与跨模型

• Table 2 表题只写 LoCoMo、A-mem 与 Mem0，未写模型；§5.1 称主结果使用 Llama3.2:3b。该表 A-mem 上，Harsh Instruction 与 Instruction 的 ΔF1 为 -27.1% 与 -22.7%，大于同侧其他原语；Negation 为 -5.6%，Lexical Shuffling 为 -6.3%。Mem0 上 General Negation 为 -72.9%，Harsh Instruction 为 -71.5%，Lexical Shuffling 为 -38.4%。
• 作者称指令类最强，且各类问题都下降，尤其 Mem0，不只是 multi-hop 或 temporal。作者称 Mem0 比 A-mem 更易受内容攻击影响。附录 C 认为可能与扁平记忆库、基于相似度的 ADD/UPDATE/DELETE，以及 A-mem 的结构化笔记和链接有关；作者同时称两个系统都易受攻击。
• Table 4：Gemma3:27b+Mem0 的 General Negation ΔF1 为 -73.6%，Harsh Instruction 为 -67.1%；同模型 A-mem 的 Contradiction 为 -2.0%，Harsh Instruction 为 -22.2%。GPT-oss:20b+A-mem 的 Contradiction、General Negation、Harsh Instruction 为 -2.4%、-4.2%、-4.7%；同模型 Mem0 的 General Negation 为 -71.9%，Harsh Instruction 为 -68.8%。结论称攻击库在所有模型上都成功；这两行的 A-mem 降幅小于同表 Mem0。

集成攻击

• Table 3（Mem0、Llama3.2、LoCoMo）：干净 overall F1 为 23.60，BLEU-1 为 19.30。Ignore & Gen Negation 的 overall F1 为 2.87，Δ 为 -87.6%。Lexical & Noise 为 10.29，Δ 为 -55.3%，是该表降幅最小的集成。
• 作者称多组集成把 overall F1 从 23.60 降到大约 2–4，对应 80%–88% 退化，并称这是利用 top-k 提高误导信号进入上下文的概率。该表全部集成的 Δ 为 -87.6% 到 -55.3%，并非都落在 80%–88%。

检索宽度 k

• Table 6 只写 Mem0，未写受害 LLM；其 k=10 干净行与 Table 3 的 Baselines 数字相同。干净 multi-hop F1 在 k=10/20/30 为 19.51、21.70、23.24；overall F1 为 23.60、26.14、25.57。作者称增大 k 在干净条件下提升表现、尤其 multi-hop；overall 在 k=30 低于 k=20。
• 攻击下 overall F1 常常随 k 下降，如 Contradiction 为 11.31、11.15、10.40，Targeted Question 为 11.99、11.14、10.20。Harsh Instruction 的 overall 为 6.56、5.85、6.16，不是单调下降。
• 至少一条对抗记忆被取回的问题比例，k=10 时 Contradiction 为 99.80%，Targeted Question 为 98.59%，Harsh Instruction 为 98.19%；k≥20 时表中各攻击为 99.80% 到 100.00%。作者称 k≥20 后几乎所有问题都会取回对抗记忆，更大的 k 在攻击时放大脆弱性。

其他消融与分析

• 附录 E Table 7：作者称 ROUGE-1 与 Exact Match 的趋势与 F1、BLEU-1 相近。例：Mem0 的 Harsh Instruction，multi-hop ROUGE-1 从 23.75 降到 8.30，EM 从 4.25 降到 1.77。
• Table 8：Llama3.2+Mem0 的 General Negation，F1 的 decreased/zeroed ASR 为 90.26% / 75.13%；同表 A-mem、每题 1 条的 F1 ASR 为 66.10% / 45.64%。作者称 Mem0 上指令类与 General Negation 的 decreased ASR 常常超过 85%–90%。
• Figure 3 给出 Harsh Instruction 的共检索文字例：干净记忆与对抗记忆同时被取回；无攻击时输出与标准答案一致，攻击下模型否认该事件。不复述注入句。
• 论文未报告实验中的 σs、查询次数，以及自动指标与人工判定的一致性。

作者指出的局限与后续方向

• 论文没有 Limitations 专节，也未在 Discussion 中把某项实验结果写成方法本身的不足。
• 后续系统（§6）：作者希望这项工作推动 reliable、robust 的长期记忆系统，并希望后来的研究者用所提攻击评估新系统的安全性。
• 防御方向（Impact Statement）：作者鼓励后续做 memory sanitization、contradiction detection、instruction filtering 和 diverse retrieval systems。
• 防御讨论（附录 D）：作者按写入、更新、检索讨论可能的方向，包括写入前过滤、把冲突标为争议或做版本化、更新时做多重检查、检索前聚类或按可信度重排，以及给记忆标注类型。该节未给出这些方向的实验数字。
• 代码（摘要脚注）：作者计划公开代码。论文未写已经公开。

实验覆盖范围

• 被测 LLM 为 Llama3.2:3b、Gemma 3:27b、GPT-oss:20b，记忆系统为 A-mem 与 Mem0（§5.1、Table 4、Table 5）。
• 基准为 LoCoMo 的 single-hop、multi-hop、temporal、open-domain，并排除 adversarial questions；论文未报告样本条数（§5.1）。
• 内容攻击报告 8 种原语（Table 2）及多种集成（Table 3，Mem0 与 Llama3.2）；问题定向为每题 1 条或 2 条，对照为改编后的 PoisonedRAG（Table 5）。
• k 默认 10；Table 6 在 Mem0 上报告 k=10、20、30 及对抗记忆取回比例。附录 E 报告 ROUGE-1、Exact Match 与两种 ASR。
• 论文未报告重复次数、生成对抗记忆的外部 LLM 名称、实验中的 σs，以及自动指标与人工判定的一致性（§3.2、附录 F、附录 G）。

ER-MIA 研究长期记忆增强 LLM 在黑盒交互下的对抗记忆注入。

• 问题：作者问，相似度检索本身是否足以让对手只靠正常输入，注入嵌入接近的误导记忆，从而在看不到参数、检索输出和记忆内部时劣化后续推理。
• 做法：框架分成 content-based 与 question-targeted。原语覆盖指令式改写、事实矛盾或否定，以及词序打乱和嵌入接近噪声；集成同时注入多种变体。实验对象是 A-mem 与 Mem0，受害模型为 Llama3.2:3b、Gemma 3:27b、GPT-oss:20b，基准为 LoCoMo。
• 内容攻击：Table 2 中 Mem0 的 General Negation ΔF1 为 -72.9%，A-mem 的 Harsh Instruction 为 -27.1%。表题未写模型，§5.1 的主设定是 Llama3.2:3b。Table 4 中 GPT-oss:20b+A-mem 的三则内容攻击 ΔF1 为 -2.4%、-4.2%、-4.7%。
• 集成与定向：Table 3 中 Mem0+Llama3.2 的 Ignore & Gen Negation 把 overall F1 从 23.60 降到 2.87，Δ 为 -87.6%。Table 5 中每题 1 条的 ΔF1 为 -40.2% 至 -51.6%，均比同表 PoisonedRAG 更负。
• 检索：Table 6 中，k=10 时已有 98.19%–99.80% 的问题取回至少一条对抗记忆；作者称 k 增大在干净 multi-hop 上提高 F1，在攻击时常常放大干扰。
• 作者结论：作者认为相似度检索是跨记忆设计存在的系统级脆弱点，并希望后续用这些攻击检验新的长期记忆系统。