保护 LLM Agent 长期记忆免受投毒：不可篡改、来源绑定的权限与机器可检验保证

长期记忆里的不可信内容，可在后续会话驱动付款、改设置或数据外泄。

• 场景：作者称持久记忆已是部署中 LLM 智能体的默认能力；跨会话召回会把早先写入的内容变成以后的动作。已有工作报告的注入成功率最高约 99.8%。
• 现有不足：作者称检测看内容是否恶意，但毒记忆在激活前是良性的，自适应对手还能在使用时躲过内容检查。MemLineage 跟踪出处并拦截敏感动作，但在分发时重算判决，且没有让合法不可信信息行动的路径。
• 观察：作者称内容与推导边都是 malleable。洗白指用保行为变换抹掉不可信来源。三条通道是自摘要（L-a）、可信工具回声（L-b）、制造的佐证（L-c）。
• 提出：形式化 write-retrieve-act 的 malleability，在有界模型上给出分离结果 T1–T3，并构造 TMA-NM 与基准 MEM-INV-Bench。
• 威胁模型：
  • 目标：不可信外部项不得在缺少独立可信佐证、或缺少绑定该动作的新鲜用户授权时引起后果性动作。非后果性回答可带出处呈现；答案偏置被缓解而非消除。
  • 能力：对手控制可能被存入的不可信外部内容，如文档、网页、工具输出或其他用户消息。不能伪造 origin 或 scope，不能破解密码学，不控制用户授权通道。
  • 系统：流水线为 write → retrieve → act。origin 取 user、trusted tool、agent、untrusted external；act class 取 none、inform、act。后果性动作包括工具调用、付款、改设置和数据外泄。
  • 假设：监视器在写时设定 origin 与 scope。A1 要求标签来自已认证通道而非内容。作者称保证均以 A1 为条件。攻击类为 sleeper、control-flow、direct、data-exfiltration；跨智能体共享记忆为范围外。

作者按攻击、结构防御和经典信息流来定位；对比落在五类防御与 MEM-INV-Bench 上。

• 记忆投毒：AgentPoison 与智能体后门工作通过污染记忆或知识库植入后门；sleeper 投毒可跨无关会话重现，control-flow 攻击劫持工具选择，PoisonedRAG 与 MINJA 分别对应检索污染和仅查询注入。MemMorph、MemoryGraft、Trojan Hippo 与对话式 Trojan 分别伪装技术事实、植入所谓成功经验、用单次不可信工具调用放置休眠外泄载荷，或经普通对话安装可触发后门。作者把这些归入本文攻击类，并在 Section VI 复现。
• 记忆侧防御：MemLineage 跨会话保存由 origin 导出的标签；本文作者称其推导边可被洗白，且没有佐证门控提升，也没有对该记忆权限性质的机器检查。CaMeL 与 Fides 用动态 IFC 守住单会话的提示到动作路径；本文作者称它们假设记忆未被污染，且不具备不可延展性。SuperLocalMemory 在写时做贝叶斯内容信任分；NeuroTaint 是离线语义污点审计；TrustRAG 一类检索时过滤被本文作者归为可被洗白的内容判决，并称可作尽力预过滤而非保证。
• 控制、协议与综述：强制性访问控制框架是空间的、单会话的，状态每轮重置；本文作者称自己是其在持久记忆上的时间补充。MCP 形式化框架未被实现、针对单条轨迹，且把长期记忆放在范围外。LTM 安全综述呼吁写时与存储时锚定出处；本文作者称实现了这一点。Selection Integrity 针对图选择通道论证谱系类防御的不可能性；本文作者称该通道与释义、工具回声和 Sybil 通道正交。Mesh Memory Protocol 在协议上区分回声与独立佐证；本文作者称它未证明抗 Sybil。
• 经典完整性：本文作者把 Biba 的完整性、Clark–Wilson 的职责分离、Denning 的格信息流、Myers 与 Liskov 的标签模型，以及 Cecchetti 等的 nonmalleable IFC，写成构造的概念来源。Douceur 的 Sybil 攻击对应提升门所要求的独立主体。Web provenance 被用来对照判决日志；本文作者称日志记的是 allow/deny，而不是可被洗白的数据谱系。

基线方法与基准：none、trust score（例子为 SuperLocalMemory；跨模型研究中的实例是在被测模型上运行的 LLM judge，即 prob detect）、lineage（MemLineage 式）、capability ifc（CaMeL/Fides 式）和 TMA-NM。基准为 MEM-INV-Bench。

本文作者称，来源标注和跨会话执行已有系统提供，新处是分离、不可延展构造和基准；并称据其所知，这是把 nonmalleable IFC 用于 LLM 智能体记忆的首次实例。

TMA-NM（Tamper-evident Memory Authority, Non-Malleable）在写入时把行动权限绑到来源，使三条洗白变换都不能降低该标签，并用抗 Sybil 的佐证来保留合法提升。Fig. 1 中监视器位于 write、retrieve 与 act 之间。

标签与可延展性

• 记忆项为 (content, origin, scope, twrite, act class)。完整性序为 untrusted ⊏ agent ⊏ trusted。防御 D 把每项映到该序上的标签。
• 变换集 A 含自摘要 L-a、可信工具回声 L-b、制造的佐证 L-c，且不带真正的可信同意或用户同意。
• 不变式 Sec：不可信来源项不得授权后果性动作，除非由至少 k 个独立可信主体提升，或出示绑定该动作的新鲜用户授权。
• 可延展指存在项 x 与变换 τ，使有效权限上升。非可延展指对任意 x 与 τ，D(\tau(x)) \sqsubseteq D(x)，即变换不能提高有效权限。

四个机制

• M1 写时绑定：写入时令 act class = f(origin)。untrusted 映到 none，agent 映到 inform，trusted tool 或 user 映到 act。监视器记录 origin，对手不能伪造。
• M2 不可延展传播：权限绑在 origin 上，不绑内容或推导边。自摘要笔记，或吃进不可信输入的可信工具输出，继承最大不可信等级，保持 act=none。不透明工具不推断黑盒内部数据流，而在调用边界按参数和传入检索项的最大不可信等级传播。输出仅当工具在来源权威允许列表上、且全部绑定输入为 trusted 时才视为 trusted。作者称这是可提高污点、不可静默降低的过近似。
• M3 佐证提升：安全相关值若由不可信项推动，仅当至少 2 个独立可信主体（不同登记处或工具，而不是重复或回声内容）许可该值，或消耗一次绑定该动作的用户授权时才允许。重复不可信项不算，提升单调，项不能佐证自己。用户授权是覆盖 (tool, value v, amount, nonce, timestamp) 的单次令牌；分发动作必须匹配该元组且令牌未使用，改 v 会使授权失效。
• M4 判决日志：写、提升和 allow/deny 追加到哈希链。每次追加是对前一头的一次哈希，O(1)，不额外调用模型。存储随判决数线性增长；作者称可用周期性 Merkle 检查点压缩检查点前的条目。

动作时判决

Algorithm 1 先取动作的安全相关值 v，再收集推动 v 的已检索不可信项 U。U 为空则 ALLOW。否则若许可 v 的独立可信主体不少于 2 个，则提升这些项并 ALLOW；否则若有绑定该动作的新鲜用户授权，消耗后 ALLOW；否则 DENY。

作者给出的结构理由：L-a 因笔记继承来源的最大不可信等级而失败；L-b 因输入不可信的工具输出被有条件污染而失败；L-c 因只计独立可信主体而失败。休眠与伪装被归入同一规则，因为权限绑的是 origin，不是时机或措辞。作者称完全被攻破的可信工具是主要剩余风险。非后果性答案偏置不在范围内，并以出处呈现。

有界模型上的分离

• 流水线在 TLA+ 中建模，由 TLC 检查。CONSTANT 选择动作门规则。下列陈述针对有界模型 M：Slots=3，sessions≤2，k=2。
• T1：判决若是内容、或可由内容导出的谱系边的函数，则按 Definition 1 可延展，且存在违反 Sec 的可达状态。TLC 见证迹为 write-untrusted → paraphrase → act。T2：关闭写时来源绑定后，Sec 在某可达状态被违反，故在该模型内写时绑定是必要的。T3：把权限绑到 origin、且只经至少 k 个独立可信主体或新鲜的动作绑定用户授权来提升的门，在全部 3,270 个可达状态上满足 Sec，并且非可延展。
• 实现侧另有穷举检查：Action Integrity（120 configs）、Elevation Soundness（64 corroborator sets）和端到端安全。论文未给出失败计数。
• 归纳不变式含类型条件与 Security。作者报告 TLC 检查了从所有满足不变式的状态出发的单步保持，以及初始状态；槽位数与会话数无关是手写论证。作者称因此得到的是经机器检查的归纳不变式，而不是完全机械化的无界证明。

实验设置

• 模型：gpt-5-chat、gpt-4o-mini、claude-opus-4.1、claude-sonnet-4.5、gemini-2.5-flash、llama-4-maverick、deepseek-chat、qwen3-235b，六家厂商。作者称其中含 strong-safety 模型 claude-opus-4.1。空响应率超过 5% 的模型被排除；开发中替换了两个未点名的模型，最终八个模型空响应为 0%。
• 基准：MEM-INV-Bench，12 个领域，工具类型为 pay、wire、purchase、setting-change、data-send。攻击场景覆盖 sleeper、control-flow、data-exfiltration；每项攻击有 benign、static、adaptive、whitebox。另有需要可信佐证后才行动的合法提升场景。
• 防御：none、trust score、lineage、capability ifc、tma nm。跨模型研究里内容类实例叫 prob detect，TMA-NM 在自动生成表中也写作 temporal auth。Appendix A：none 允许一切动作；trust score 在任一支持项看起来良性、或至少两项断言该值时授权；lineage 在没有通向不可信祖先的活推导边时授权，出处不明确则回退为 trusted，并被给予无抽取误差的边；capability ifc 假设长期记忆未被污染。prob detect 在被测模型上运行，不是外部 stub。
• 指标：后果性动作 ASR、legit-utility、uncorr-auto、任务效用、每决策延迟。报告 Wilson 95% CI 与置换检验。较小子研究使用缩减面板：Mem0 为六模型；敏感性、阈值、独立性与谱系策略为三模型，论文未说明是哪三个。
• 评审：主研究没有单独的外部裁判模型。敏感性实验中的内容裁判给记忆项打 0–100 分，并扫描拦截阈值 τ。论文未写主研究的统一拦截阈值。

主结果

下表是 Appendix B Table XI 的无防御后果性 ASR（%），每格 n=24。TMA-NM 在每个格子为 0/24。其他防御的逐模型通道计数正文未列出。论文称 Table I 的五类汇总为 primary result。

Swipe horizontally to read the table

模型	direct	摘要	回声	佐证	TMA-NM
gpt-5-chat	88	58	67	67	0
gpt-4o-mini	67	67	83	33	0
claude-opus-4.1	67	67	67	67	0
claude-sonnet-4.5	67	67	67	67	0
gemini-2.5-flash	100	100	67	67	0
llama-4-maverick	96	67	62	58	0
deepseek-chat	100	79	67	67	0
qwen3-235b	92	88	67	67	0

• 作者称五类里只有 TMA-NM 在直接攻击与洗白上同时为 0%，且 legit-utility 为 100%（Table I）。同表：none 为 direct-ASR 84、laund.-ASR 68、uncorr-auto 100；trust score 为 0、68、100；lineage 为 0、47、0；capability ifc 为 84、68、100。laund.-ASR 是 L-a/b/c 的均值。Figure 5 的通道拆分：none 与 capability ifc 为 84/74/68/61，trust score 为 0/74/68/61，lineage 为 0/74/68/0，TMA-NM 为 0/0/0/0。
• 作者称 legit-utility 与无防御相同，用来排除“全部拒绝也会得到 0% ASR”。uncorr-auto 为 0% 表示未佐证的不可信来源动作需要一次性确认；none、trust score、capability ifc 为 100%（Table I）。
• 作者报告全部 TMA-NM 对基线的 ASR 差距 p < 5×10^{-5}（双侧置换检验，20,000 次）。TMA-NM 在 direct、摘要、回声、佐证上各为 0/192，Wilson 95% CI [0, 2.0]%。Fig. 2 图注写 TMA-NM 在直接攻击与洗白上为 0% 并保持 100% legit-utility；正文未逐项给出图中 CI 刻度。

触发风格、消融与持久性

• Table II（八模型汇总）：none 的 static/adaptive/whitebox/all ASR 为 43.8%、27.6%、22.2%、31.2%，效用 95.9%；prob detect 为 6.5%、12.2%、12.9%、10.6%，效用 93.0%；lineage 为 24.4%、9.3%、0.0%、11.2%，效用 95.9%；temporal auth 全部为 0.0%，合计 0/4032，CI [0.0, 0.1]%，效用 95.9%。作者报告每个差距 p < 1/20,000。Table III：temporal auth 在八个模型上均为 0/0/0。作者称 prob detect 在 gpt-5-chat 上未标出任何项，ASR 仍为 52/38/22，效用 96，与 none 相同。
• Table IV（八模型均值）：none 与去掉 origin binding 均为 44/28/22，效用 96；完整 TMA-NM 与去掉 verdict log 均为 0/0/0，效用 96；去掉 elevation 仍为 0/0/0，效用 77。作者称 M1 承担安全，M3 承担效用，M4 只提供可审计性。Fig. 3 横轴含 −M2，Table IV 没有单独的去掉传播一行，图中柱高正文未给出。
• 正文写 TMA-NM 在介入会话数 N 取 0、1、2、4、8 时为 0%，无防御为 51–61%。作者称休眠不能绕过写时绑定。

外部流水线、多轮与 Mem0

• Table V（八模型、全部触发风格汇总）：四条流水线合计 ASR，none 38.2%，prob detect 12.0%，lineage 19.6%，TMA-NM 0.0%（0/1152）。良性任务效用双方均为 264/384。Trojan Hippo 一行：none 78，prob detect 44，lineage 78，TMA-NM 0。正文另写 lineage 78.5%、内容裁判 43.8%；以表为准。
• 多轮工具循环（八模型，每防御 n=128）：无防御被诱导取用毒值并行动的比例为 61.7%，TMA-NM 为 0%。作者称监视器跨轮按值传播 origin。
• Mem0 加本地嵌入与 Qdrant（六模型，每防御 n=96）：无防御 50.0%，CI [40.2, 59.8]；TMA-NM 0%，CI [0, 3.8]；置换检验 p = 5×10^{-5}。合法动作双方均为 95/96（99.0%）。作者称那一次共同失误是模型格式失败，不是 TMA-NM 拦截；佐证计数来自监视器记录，不从检索文本重解析。

阈值、默认策略与独立性

• Table VI（3 模型，n=81 攻击 / 27 合法）：τ=0 时洗白 ASR 0.0%、效用 0.0%；τ=5 时 3.7% 与 33.3%；τ=75 时 25.9% 与 100.0%；τ=100 时 55.6% 与 100.0%。作者称没有 τ 同时达到 0% ASR 与 100% 效用；ASR≤5% 的最好点效用只有 33.3%。TMA-NM 一行为 0.0% 与 100.0%。
• Table VIII（3 模型）：lineage default-allow 的摘要/回声 ASR 为 78/74，两类合法效用均为 100；default-deny 把摘要降到 0，回声仍为 74，inconclusive 合法效用为 0。TMA-NM 各通道 ASR 为 0，两类合法效用均为 100。作者称只改默认策略不能同时得到 0% ASR 与 100% 效用。
• Table VII：任意 k 的攻击 ASR 为 0%（0/18）。k=2 时 m=1 的自动授权率为 0，m≥2 为 100；k=1 在所有 m 上为 100。Table X（3 模型）：k=2 单点妥协为 0；两个独立妥协，naive 与 domain-aware 均为 67；共享域妥协 naive 为 67、domain-aware 为 0；k=3 的两个独立妥协为 0。

其他消融与分析

• 动作门延迟为 1.3 µs/决策；内容检测裁判调用大约 2,000 ms。作者称约六个数量级更便宜，且不额外调用模型。
• 作者称答案偏置在包括 TMA-NM 的所有防御下仍然高；论文未给出该比例。
• 白盒对手在不可信内容里伪造听起来可信的佐证。作者称 TMA-NM 按 origin 计数，故该伪造不计为佐证；prob detect 的 whitebox 汇总 ASR 为 12.9%（Table II）。
• claude-sonnet-4.5 上 prob detect 的效用为 81，none 与 temporal auth 为 96（Table III）。
• 论文写所有运行都报告了成本，正文未给出货币成本数字。
• 五防御×四通道×八模型的完整原始计数在发布物中，正文未列出。

作者指出的局限与后续方向

• 答案偏置只被缓解、未被消除：不可信记忆仍可影响非后果性回答，TMA-NM 守的是检索到行动的路径（Section IX (a)）。
• 保证以正确的来源标注和真正独立的佐证为条件；完全被攻破的可信工具仍可能洗白一个值，因此提升要求至少两个独立可信来源（Section IX (b)）。
• 黑盒部署中，判定智能体实际用了哪个检索值需要值级污点。支持性跨模型研究所用的文本代理可被混淆对手规避。嵌套结构化载荷上的值级污点，以及完整的值级能力令牌，作者列为后续工作；纯上下文拼装也落在同一缺口（Section IX (c)）。
• 多轮循环与 Mem0 实验使用聚焦的场景集，拓宽任务分布是后续工作（Section IX (d)）。
• 分离在有限模型上经机器检查，并由归纳不变式推向无界执行；TLAPS/Lean 的无界演绎证明仍是后续工作（Section IX (e)，Section IV）。
• 独立可信来源少于 k 时，回退为一次性用户确认而不是静默拒绝。两个独立来源对日常动作有多常见依赖部署，实地量化是后续工作（Section IX (f)）。

实验覆盖范围

• 主实验模型为 gpt-5-chat、gpt-4o-mini、claude-opus-4.1、claude-sonnet-4.5、gemini-2.5-flash、llama-4-maverick、deepseek-chat、qwen3-235b，共 8 个（Section VI）。
• 防御类为 none、trust score（跨模型研究中的实例为 prob detect）、lineage、capability ifc、TMA-NM；统一基准含直接攻击、L-a/b/c，以及 legit-utility 与 uncorr-auto（Section V–VI，Table I）。
• 另有触发风格研究（TMA-NM 为 0/4032）、四条已发表流水线（0/1152）、多轮工具循环（每防御 n=128）和 Mem0 后端（六模型，每防御 n=96）（Section VI）。
• 有界模型 M 为 Slots=3、sessions≤2、k=2，TLC 枚举 3,270 个可达状态；归纳步骤由 TLC 检查，参数无关性是手写论证（Section IV）。实现检查为 Action Integrity 120 configs 与 Elevation Soundness 64 corroborator sets。
• 敏感性、阈值、独立性与谱系默认策略为 3 个模型，论文未说明模型名。论文未报告答案偏置比例。跨智能体共享记忆在 Section II 标为范围外。

TMA-NM 把 LLM 智能体长期记忆的行动权限绑到写时来源，用来挡住跨会话记忆投毒。

• 问题：不可信内容可以先被存下，再经自摘要、可信工具回声或制造的佐证，变成内容看似良性、推导边也断开或翻成 trusted 的记忆，随后驱动付款、改设置或外泄。对手不能伪造 origin，也不能控制用户授权通道。
• 做法：按到达通道赋 act class；派生项和吃进不可信输入的工具输出继承最大不可信等级；后果性动作只接受至少两个独立可信主体的佐证，或一次性、绑定具体动作的用户授权；判决追加到哈希链。
• 形式结果：摘要把 T1–T3 概括为可延展防御不健全、写时绑定必要、不可延展权限充分。Section IV 将这些陈述限定在 Slots=3、sessions≤2、k=2 的模型 M 上；TLC 在 3,270 个可达状态上检查了充分性方向，见证迹是写入不可信项后再释义并行动。
• 测量：Table I 八模型汇总中，TMA-NM 的 direct-ASR 与 laund.-ASR 为 0%，legit-utility 为 100%，uncorr-auto 为 0%；none 为 84%、68%、100%、100%。触发风格研究中 TMA-NM 为 0/4032，效用 95.9%，与无防御相同。去掉来源绑定后 ASR 为 44/28/22；去掉提升门后效用从 96% 降到 77%（Table IV，八模型均值）。
• 作者结论：记忆完整性不是检测问题，而是对手能否洗白不可信记忆的行动权限；该门在模型之外执行，不依赖模型对齐。作者同时写明，非后果性答案偏置不在消除范围内，保证以 A1 和佐证独立性为条件。