跳到正文
原文

接受变更,拒绝攻击:面向 LLM Agent 的鲁棒记忆管理

Accept Changes, Reject Attacks: Robust Memory Management for LLM Agents

arXiv:对抗攻击、后门与投毒· arXiv:2610.41056· Runze Zhao, Dongruo Zhou, Sumit Kumar Jha, Nathaniel D. Bastian, Ankit ShahIndiana University Bloomington; University of Florida; United States Military Academy本站收录· 18 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出记忆鲁棒性定义与 ECA 指标,用单会话合成数据 SFT 记忆管理器,在 Qwen3-4B 上三类输入 ECA 均超未调优管理器。

威胁模型攻击者不能直接写入记忆,但可控制非用户撰写的输入(粘贴文本、搜索段落、网页、工具输出)注入内容;攻击预先固定、不随管理器自适应,或陈述虚假信息或指示智能体后续行为。

问题
LLM 智能体的长期记忆管理器面临两类需要相反写入决策的问题:事实变更后记忆过时(需要写入)与记忆投毒(需要拒绝写入)。作者称现有评测各自分开,固定写入规则无法同时处理两者。
方法
作者将记忆鲁棒性形式化为在 standard、outdated、poisoning 三类输入上都不更差,并提出同时检查答案与所选记忆记录的 ECA 指标;再用单条 LoCoMo 会话合成插入变更与攻击的训练 episode,对管理器做普通 SFT。
实验与结果
在 Qwen3-4B、Qwen3.5-4B、Ministral-3-3B 三个骨干上,SFT 在三类输入的 ECA 均超过未调优管理器并降低 ASR;作者报告 Mem0、A-Mem、A-MemGuard 各自至少在一个类别低于未调优管理器,A-Mem 的 poisoning ASR 为 100.0%。
局限与可以继续做的
作者指出评测仅覆盖对话智能体、有限的骨干/基准/攻击类型与有限的对比方法。实验上 poisoning 测试集为 47 条受攻击行,SFT 后 ASR 仍为 59.6%(Qwen3-4B),鲁棒性不完全。
实验设置Qwen3-4B、Qwen3.5-4B 等 · LoCoMo、STALE 等 · ECA、ACC 等
威胁模型
攻击者不能直接写入记忆,但可控制非用户撰写的输入(粘贴文本、搜索段落、网页、工具输出)注入内容;攻击预先固定、不随管理器自适应,或陈述虚假信息或指示智能体后续行为。受害系统为带长期记忆的 LLM 智能体(记忆管理器 πθ + 固定策略执行器 πexec)。
被测模型
Qwen3-4BQwen3.5-4BMinistral-3-3B
基准
LoCoMoSTALEPoisonedRAGLongMemEvalPerLTQABEAM-KUMAB-FC (MemoryAgentBench FactConsolidation)AgentPoison
指标
ECAACCASR
AI 导读论文把 LLM Agent 的记忆鲁棒性定义为同时处理过时记忆与记忆投毒,且不损害其他输入上的表现。作者指出,这两类失败需要相反的写入决策,单一固定写入规则无法兼顾,而以往工作多分别研究。由于仅检查答案的准确率不够,作者提出证据条件准确率(ECA),同时检查记忆管理器选中的记录是否覆盖答案所需的全部证据、是否已更新且不含攻击。作者称现有记忆系统与防御在其测试集上并不比未调优的管理器更鲁棒;他们用在单轮对话中插入变更与攻击合成的样本对管理器做一次性微调,在三个基座模型上提升了测试集各类别得分,整体 ECA 超过未调优管理器的两倍,但鲁棒性仍不完整。

论文把 LLM Agent 的记忆鲁棒性定义为同时处理过时记忆与记忆投毒,且不损害其他输入上的表现。作者指出,这两类失败需要相反的写入决策,单一固定写入规则无法兼顾,而以往工作多分别研究。由于仅检查答案的准确率不够,作者提出证据条件准确率(ECA),同时检查记忆管理器选中的记录是否覆盖答案所需的全部证据、是否已更新且不含攻击。作者称现有记忆系统与防御在其测试集上并不比未调优的管理器更鲁棒;他们用在单轮对话中插入变更与攻击合成的样本对管理器做一次性微调,在三个基座模型上提升了测试集各类别得分,整体 ECA 超过未调优管理器的两倍,但鲁棒性仍不完整。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    记忆管理器需同时处理事实变更与投毒攻击,二者要求相反的写入决策,作者将其形式化为记忆鲁棒性问题。

    核心问题:LLM 智能体的记忆管理器如何同时正确处理过时记忆(outdated memory)和记忆投毒(memory poisoning),而不在普通输入上变差。

    • 问题场景:LLM 智能体把长期记忆存在上下文窗口之外,记忆管理器决定每条新输入是否以及如何改写记忆、以及智能体依据哪些记录行动;输入来源多样,并非都在智能体控制之下。
    • 两类失败:过时记忆指事实已变但记忆保留旧值(Figure 1a);记忆投毒指攻击者借某个输入把不该存的内容放进记忆(Figure 1b)。跟随变更要求写入新输入,挡住攻击要求不写入,作者称因此没有固定的写入规则能同时处理两者。
    • 现有评测的不足:作者称记忆基准不含攻击,只写不删的管理器也能得高分;投毒/注入防御的评测不检查事实变更是否仍被写入,从不更新记忆的管理器也能得高分;且 ACC 只检查答案,不检查答案所依据的记忆。
    • 论文的主张:提出覆盖 standard、outdated、poisoning 三类输入的记忆鲁棒性定义(三类都不更差且至少一类更好才算更鲁棒),并提出同时检查答案与所选记录的证据条件准确率(ECA);改进手段是围绕单条会话合成训练数据做 SFT。
    • 威胁模型:
      • 攻击者目标:把虚假信息或指示智能体后续行为的内容存入记忆。
      • 知识与能力:不能直接写记忆,但可控制非用户撰写的输入(粘贴文本、搜索段落、网页、工具输出)。
      • 攻击特性:攻击预先固定,不随管理器自适应(non-adaptive)。
      • 受害系统:带长期记忆的 LLM 智能体,含记忆管理器 πθ 与固定的策略执行器 πexec。
  2. 有哪些相关研究?

    相关工作分四组:记忆管理器、记忆鲁棒性(过时与投毒多被分开处理)、一次性后训练,论文以联合评测与 ECA 定位差异。

    记忆管理器

    • 提示式管理器:Mem0(Chhikara et al., 2025)从每轮抽取事实并与已有记录比对后增删改;A-Mem(Xu et al., 2025)把每轮存为笔记并链接、重写标签,从不删除。
    • 训练式管理器:MemLLM、Memory-R1、Mem-α、AgeMem、TrustMem(Modarressi et al., 2025; Yan et al., 2026; Wang et al., 2025b; Yu et al., 2026; Yang et al., 2026)。论文指出这些训练式管理器优化的是答案准确率或记忆质量,而本文训练管理器面向过时与投毒的鲁棒性。

    记忆鲁棒性:过时记忆

    • STALE(Chao et al., 2026)测试隐式变更;Supersede(Patel, 2026)在变更事实上训练模型(附录 A 说明其用 GRPO 训练 3B 模型,本文用普通 SFT)。
    • 训练-free 方法:Zep(Rasmussen et al., 2025)与 Ong et al.(2025)用有效期区间或时间线保留被替换的事实;PACMI(Wang et al., 2026)在溯源图上传播失效。

    记忆鲁棒性:投毒与代价

    • 攻击:AgentPoison(Chen et al., 2024)、间接提示注入(Greshake et al., 2023)、查询式记忆注入(Dong et al., 2025)经知识库、工具输出或普通查询插入内容。
    • 防御:StruQ、SecAlign(Chen et al., 2025a,b)训练模型忽略数据中的指令;A-MemGuard(Wei et al., 2026)在推理时检查检索到的记录。论文指出这些训练式防御教模型拒答,而不是决定写入哪些输入。
    • 代价研究:MemSecBench(Chen et al., 2026)追踪投毒记忆到后续行为;The Price of Safety(Bhowmik, 2026)测量防御在无攻击输入上的代价。

    一次性后训练(one-shot post-training)

    • 少量样本对齐/推理:LIMA(Zhou et al., 2023)用约一千条样本对齐;LIMO(Ye et al., 2025)用约 800 条激发长推理;Wang et al.(2025c,a)在单个问题上做批评微调或 1-shot RL。本文沿用一次性设定:固定一条会话,从中生成大量训练 episode。

    基线与基准:对比方法为未调优管理器(同骨干、同提示词、未微调)及三个训练-free 基线 Mem0、A-Mem、A-MemGuard;测试集基于 LoCoMo、STALE、PoisonedRAG 构建,泛化用 LongMemEval、PerLTQA、BEAM-KU、MAB-FC、AgentPoison 等八个基准。作者将本文定位为:把两类问题放在同一鲁棒性定义与同一指标(ECA)下联合评测,而非各自单独优化。

  3. 论文如何解决这个问题?

    形式化三类输入与 ECA 指标,围绕单条会话四阶段合成训练 episode,用普通 SFT 训练记忆管理器。

    整体思路:把记忆管理建模为逐输入的写入与记录选择决策,用 证据条件准确率(ECA) 同时考核答案与所选记忆,再用 一次性数据合成(one-shot data synthesis) 生成训练数据做 SFT。

    问题设定与形式化

    • 智能体结构:记忆管理器 πθ(被训练)编辑记忆并选择记录;策略执行器 πexec 是固定 LLM,只看到被选中的记录。检索器 R 对每条输入返回至多 K 条记录。
    • 管理器动作:对每个检索到的记录执行 ADD / UPDATE / DELETE / NOOP(沿用 Mem0、Memory-R1 的操作集),并为每条记录给出读取位 at,i ∈ {0,1},读取位为 1 的记录构成所选记忆 Mselt = {mi ∈ M̃rett : at,i = 1},即只有被标记的记录才传给 πexec。
    • 三类输入:outdated(说话者报告关于自身事实的变更)、poisoning(输入携带攻击)、standard(其余);类别对管理器不可见。

    ECA 指标与鲁棒性定义

    • 正确记忆 Ct:若记忆中的证据记录都未过时、未中毒且合起来包含行动所需全部信息,则 Ct 为这些记录,否则 Ct = ⊥。
    • ECA 定义:ECA(τt, Mselt, Ct) = 1[τt correct] · 1[Ct ⊆ Mselt],即答案正确且所选记忆包含正确记忆才计 1;类别的 ECA 为其被计分输入上的均值。
    • 鲁棒性:一个管理器在三个类别上 ECA 都不更低且至少一类更高,才比另一个更鲁棒。
    • 动作标注规则:outdated 输入的目标是 ADD 新值并把旧值记录 UPDATE 为"Until d, ..."(旧记录保留,因为关于过去的后续输入仍需要它);poisoning 输入只 ADD 非攻击部分或 NOOP;standard 输入按后续是否需要决定 ADD 或 NOOP;读取位只选证据记录。

    一次性数据合成(四阶段,Figure 3)

    • 基会话 C:须含多种独立属性、相对时间线索、一个从未执行的计划、一个会被后续替换的事实;其事实写在文本中,且不与评测数据重叠、不依据评测结果选取。
    • 插入:按变体(variant)写入三类插入轮次,部分变体来自从 STALE、PoisonedRAG 抽取的规则(只取变更或攻击的构造方式,不取文本);另加无会话的虚假段落 episode(错误段落断言错误的常识事实)。插入轮次中 outdated 与 poisoning 各占 15%。
    • 检查:五项检查包括评审模型核对文本与变体一致、检索器能取回旧记录、只看状态的 solver 模型能推出目标、teacher 操作与标注规则一致、表面线索(词重叠、位置、长度、提示词)不能高过阈值预测目标;失败的轮次重写或丢弃。
    • 输出:通过检查的 episode 作为训练数据;标注规则留空处由 teacher 模型补齐,且不得选中过时或中毒记录。

    SFT 训练

    • 训练行:每行是状态 st 与目标文本 yt(JSON,无推理过程,含操作与读取位);状态由目标或代码构建,不含管理器错误,但测试时管理器在自己的记忆上运行,错误会累积。
    • 目标函数:L(θ) = −1/N ∑D ∑j=1|yt| log πθ(yt,j | xt, yt,<j),即只对目标 token 计算交叉熵,提示词 token 不计损失。
    • 关键参数:全参数微调,2 个 epoch,batch size 4,AdamW;学习率按骨干在开发集上调(Qwen3-4B 为 5×10⁻⁶);训练数据 400 个 episode、21,656 行(Table 2、Table 3)。
  4. 论文做了哪些实验?

    三个骨干上 SFT 三类 ECA 均超未调优管理器、ASR 下降;基线各至少输一类;八个基准上 SFT 均不低于未调优管理器。

    实验设置

    • 被测管理器:未调优管理器(同骨干同提示词)、Mem0、A-Mem、A-MemGuard、SFT 管理器;主文骨干为 Qwen3-4B,附录 C 用 Qwen3.5-4B 与 Ministral-3-3B 重复。
    • 测试集:standard 用 3 个 held-out LoCoMo 会话(866 行)、outdated 用 STALE 测试半(597 行)、poisoning 用 PoisonedRAG 测试 split(47 条受攻击行);测试数据由同一合成管线生成、与训练隔离。
    • 泛化基准:八个基准,LoCoMo、STALE、PoisonedRAG 为训练相关(seen),LongMemEval、PerLTQA、BEAM-KU、MAB-FC、AgentPoison 为未见;各基准行数见 Table 4(如 BEAM-KU 80 行、AgentPoison 50 行)。
    • 指标:ACC 与 ECA(%);poisoning 类别的 ACC/ECA/ASR 只覆盖受攻击行,ASR 为所选记忆含中毒记录的比例(越低越好);类别分为基准均值,overall 为类别均值。
    • 评审方式:judge 为 gemma-4-31B-it(独立于 πexec 的调用,用各基准的评分提示词);GLM-5.2 对 210 个抽样答案复评,一致率 94%(Cohen's κ = 0.88)。
    • 协议细节:BM25 取 64 条候选、all-MiniLM-L6-v2 重排,管理器看到 top K = 8;SFT 贪心解码,未调优管理器用默认采样、3 个解码种子取平均;πexec 均为 gemma-4-31B-it。

    主结果

    Qwen3-4B 测试集结果(%,据 Figure 4 / Figure 6;poisoning 只计 47 条受攻击行):

    表格较宽,可左右滑动

    方法standard ECA/ACCoutdated ECA/ACCpoisoning ECA/ACCASR↓overall ECA
    未调优40.6 / 45.49.0 / 31.55.0 / 24.192.218.2
    Mem042.4 / 46.77.0 / 48.62.1 / 21.370.217.2
    A-MemGuard33.3 / 42.410.2 / 39.721.3 / 31.974.521.6
    A-Mem50.3 / 58.311.2 / 49.10.0 / 66.0100.020.5
    SFT57.3 / 61.028.5 / 43.234.0 / 42.659.639.9
    • 作者解读:每个基线至少在一个类别的 ECA 低于未调优管理器;SFT 是唯一在三类都提升 ECA 的方法,按定义比未调优管理器更鲁棒,且没有基线比它更鲁棒。
    • ACC 与 ECA 的背离:A-Mem 的 poisoning ACC 为 66.0 但 ECA 为 0.0、ASR 100.0;Mem0 与 A-Mem 的 outdated ACC 高于未调优管理器但 ECA 不升,作者称多数正确答案来自不含正确记忆的所选记录。
    • 作者归因:基线的损失来自对所有输入套用同一固定策略(A-Mem 全保留、Mem0 全写入、A-MemGuard 丢弃看似不一致的记录),而两类问题需要相反的写入决策。

    泛化:八个基准(Figure 5)

    • SFT 全面不低于未调优管理器:SFT 在全部八个基准上 ECA 高于未调优管理器,并在其中四个上为所有管理器中最高,包括 AgentPoison(74.0 vs. Mem0 68.0)。
    • 未见基准上的增益:LongMemEval 从 36.7 升至 61.7,BEAM-KU 从 6.2 升至 35.0;LoCoMo、PerLTQA、MAB-FC 上增益至多 3.7 个百分点。
    • 基线的反例:Mem0、A-MemGuard、A-Mem 分别在 3、4、2 个基准上低于未调优管理器;A-MemGuard 在 AgentPoison 上 ECA 从 64.0 降到 44.0、ASR 从 0.0 升到 42.0;Mem0 在 MAB-FC 上领先(76.0 vs. SFT 28.0),作者说明该基准是"后事实直接替换先事实、无变更报告",不在其 outdated 类别覆盖内。

    其他骨干(附录 C,Figure 6)

    • Qwen3.5-4B:SFT 将 ECA 从 41.7 升至 63.0(standard)、9.3 升至 29.0(outdated)、26.2 升至 76.6(poisoning),ASR 从 61.7 降至 19.1。
    • Ministral-3-3B:ECA 从 41.1 升至 58.8、5.3 升至 27.1、13.5 升至 51.1,ASR 从 81.6 降至 40.4;唯一例外是 standard ECA 上 A-Mem 更高(62.9 vs. 58.8),但 A-Mem 的 poisoning ECA 为 0.0、ASR 100.0。
    • 逐行修复/破坏统计:在 outdated 与 poisoning 类别合计,SFT 在三个骨干上修复的行数都多于破坏的行数(如 Qwen3-4B 修复 165 / 破坏 34、21 / 3)。

    其他消融与分析

    • 训练数据消融(Table 5,改变的是 Qwen3-4B SFT 管理器的训练数据):去掉 outdated 行则 outdated ECA 降到 12.7;去掉 poisoning 行则 ASR 升到 93.6;去掉隐式变更变体则 outdated ECA 从 28.5 降到 7.0;去掉虚假段落 episode 则 ASR 从 59.6 升到 83.0。
    • 数据量:5% 的训练行即达 overall ECA 44.6;从 10% 起 overall ECA 不低于全量数据。
    • 换基会话:五个符合条件的 LoCoMo 会话加虚假段落后都能提升三类 ECA 并降低 ASR(overall ECA 41.6–44.4)。
    • 检索器与 πexec 替换:top 4/16、去掉重排、或把 πexec 换成 Qwen3.5-9B / GLM-5.2,SFT 的 overall ECA 仍高于未调优管理器。
    • 越出基会话(Table 6):训练未见的属性类型上 ACC 71.8(n=103)不低于见过的 61.8(n=304);但会话中已有的变更行 ACC 50.0(n=84,区间宽)低于插入变更的 68.1(n=323)。
    • 冒充变更与开销(附录 D.3):78 个变更上,SFT 的变更 ACC 70.5、冒充 ASR 75.6(未调优为 29.5 与 60.3),作者称其写入更多本人变更但也更易被冒充误导;SFT 每轮 0.39 s、1.33 次 LLM 调用(Mem0 为 1.32 s、A-MemGuard 0.84 s)。
  5. 有什么可以进一步探索的点?

    作者列出评测范围与对比方法的局限并给出后续方向;实验覆盖三个骨干、八个基准,poisoning 测试集为 47 条受攻击行。

    作者指出的局限与后续方向

    • 智能体类型(Limitations):研究聚焦对话智能体的记忆管理器,web 或具身智能体等记忆追踪变化环境的设置未评测,留作未来工作。
    • 评测覆盖(Limitations):评测只覆盖有限的骨干、基准与攻击类型,可能未包含部署中出现的所有过时记忆或投毒形式。
    • 对比方法(Limitations):只与有限的现有记忆系统和防御比较,结论可能不推广到其他方法;作者明确结论应只在所研究的设置内解读。
    • 后续方向(Conclusion):其他智能体设置、更强的攻击、以及 SFT 之外的训练方法。
    • 鲁棒性不完全(Abstract / Conclusion / Ethics Statement):SFT 后鲁棒性仍不完全,不能消除所有攻击,作者称应与其他防护手段配合使用。
    • 代码发布(Ethics Statement):作者计划发布代码供研究使用。

    实验覆盖范围

    • 被测骨干:Qwen3-4B、Qwen3.5-4B、Ministral-3-3B 共 3 个,均为 3–4B 规模。
    • 评测数据:三个合成测试集(866 / 597 / 47 行)加八个基准;poisoning 测试集仅 47 条受攻击行,AgentPoison 为 50 行,BEAM-KU 为 80 行(Table 4)。
    • 攻击类型:训练与评测的攻击来自 PoisonedRAG 与 AgentPoison 的既有模式及固定模板;威胁模型设定攻击预先固定、不随管理器自适应,论文未评测自适应攻击。
    • 对比方法:训练-free 基线 Mem0、A-Mem、A-MemGuard 与固定管理器 Read all;SFT 是唯一的训练式方法。
    • 统计检验:评审一致性用 GLM-5.2 复评 210 个答案(一致率 94%,κ = 0.88);消融差异用 95% 配对 cluster-bootstrap 区间加三种子标准差判定;主结果(Figure 4/5)未报告统计显著性检验。
  6. 总结一下论文的主要内容

    作者定义三类输入上的记忆鲁棒性与 ECA 指标,用单会话合成数据 SFT 管理器,在三个骨干上全面提升 ECA 并降低 ASR。

    一篇关于 LLM 智能体长期记忆安全的防御论文:作者把"跟随事实变更"与"挡住记忆投毒"统一为记忆鲁棒性问题,并提出相应的指标与训练方法。

    • 问题:过时记忆要求写入新值、记忆投毒要求拒绝写入,固定写入规则无法兼顾;作者称现有记忆系统与防御各自只针对一类问题评测,ACC 也不检查答案所依据的记忆记录。
    • 方法:提出 ECA 指标(答案正确且所选记忆包含全部未过时、未中毒的证据才计分)与三类输入上的鲁棒性定义;训练上围绕一条 LoCoMo 会话(41 轮)合成 400 个 episode、21,656 行数据,插入变更、攻击与对照轮次,经五项检查过滤后做普通 SFT。
    • 主结果(Qwen3-4B 测试集,Figure 4/6):SFT 的 overall ECA 为 39.9%(未调优 18.2%),outdated ECA 28.5%(9.0%),poisoning ASR 从 92.2% 降到 59.6%;Mem0、A-Mem、A-MemGuard 各至少在一个类别低于未调优管理器,A-Mem 的 poisoning ASR 为 100.0%。
    • 泛化:八个基准(五个未见)上 SFT 的 ECA 全部高于未调优管理器,如未见基准 BEAM-KU 从 6.2% 升至 35.0%;结论在 Qwen3.5-4B 与 Ministral-3-3B 上同样成立。
    • 消融:去掉隐式变更变体则 outdated ECA 从 28.5% 降到 7.0%,去掉虚假段落 episode 则 ASR 从 59.6% 升到 83.0%;5% 的训练行即达 overall ECA 44.6%。
    • 作者结论:SFT 是唯一在三个骨干上三类 ECA 都提升的方法,但鲁棒性仍不完全(Qwen3-4B 上 ASR 仍为 59.6%),应与其他防护配合;作者希望后续工作把记忆管理器的评测扩展到所选记录,并把两类问题放在一起研究。

相关论文

共同使用 STALE
共同使用 LongMemEval
共同使用 LoCoMo
再看 3 篇
共同使用 LoCoMo
阅读原文arxiv.org