InjecMEM:针对 LLM Agent 记忆系统的记忆注入攻击
InjecMEM: Memory Injection Attack on LLM Agent Memory Systems
论文速读
据论文全文整理(AI 生成),以原文为准
研究者提出 InjecMEM,一种只需一次交互、无需读取或编辑记忆存储即可向 LLM Agent 记忆系统注入记录的攻击,使后续针对目标主题的查询被导向预设输出。
- LLM agent 的记忆系统正成为默认子系统,用于持久个性化与连续性,但持续写入与混合检索可能带来新的攻击面。作者提出疑问:记忆系统是否会引入新漏洞,并指出这类攻击因写入-检索循环非平稳、检索上下文多变而难以研究。
- 提出 InjecMEM,一种只需一次交互、无需读写记忆库的记忆注入攻击。注入由 retriever-agnostic anchor(高召回主题线索,使记录与目标主题关联)和 adversarial command(经 Multi-GCG 梯度坐标搜索优化,对多变上下文、位置和长 prompt 稳健)组成,并扩展到跨 backbone 联合优化。
- 在 MemoryOS 与 MemGPT 上、跨 19 个领域和多个 backbone 评测。MemoryOS 上达到最高 35.4% RSR 和 76.6% ASR-c,而 DPI、BadChain、GCG 基线 ASR 为 0;攻击在记忆漂移下持续有效,非目标查询基本不受影响。命令在同族模型间可迁移,拼接多个单模型命令可同时攻破多个 backbone。
- 攻击主要针对存储原始交互文本的记忆系统,对写入时大幅改写或摘要的系统需建模写入变换,留作未来工作。最强生成攻击依赖对 backbone 的白盒访问;跨模型族零样本迁移不可靠,需联合优化或命令拼接。常见检索时防御只能部分缓解,perplexity 过滤会大量误伤正常内容。
研究者提出 InjecMEM,一种只需一次交互、无需读取或编辑记忆存储即可向 LLM Agent 记忆系统注入记录的攻击,使后续针对目标主题的查询被导向预设输出。在 MemoryOS 上,其检索成功率最高 35.4%、条件攻击成功率 76.6%,而 DPI、BadChain 与 GCG 基线均降至 0;攻击在良性记忆漂移下仍有效,非目标查询基本不受影响,在 MemGPT 上同样有效。同族联合优化可让命令迁移到 3B、14B 及微调变体,跨族迁移有限,但拼接多个单模型命令可同时影响 Qwen、Mistral 与 Llama。检索期防御测试显示 LLM-as-a-Judge、ProtectAI、PromptGuard 只能降低而不能消除投毒检索,困惑度过滤则以大量良性拦截为代价。论文还展示经被入侵工具写入记忆的间接注入,即使工具被修复,记录仍留在记忆中。
推荐理由论文给出单次交互污染 Agent 记忆的攻击方法与成功率,部署记忆系统的团队可据此检查检索环节的暴露面。