跳到正文
原文
arXiv· arXiv:2606.24322· Yedidel Louck·本站收录· 原文发表精选关注度57

保护 LLM Agent 长期记忆免受投毒:不可篡改、来源绑定的权限与机器可检验保证

Securing LLM-Agent Long-Term Memory Against Poisoning: Non-Malleable, Origin-Bound Authority with Machine-Checked Guarantees

论文速读

据论文全文整理(AI 生成),以原文为准

AI 导读论文提出 TMA-NM,一种面向 LLM Agent 长期记忆的防投毒机制,在写入时把记忆的行动权限绑定到来源,并在八个前沿模型上把直接攻击与三类洗白攻击的攻击成功率降到 0%,合法效用与无防御 Agent 持平。

问题
LLM agent 的持久长期记忆存在 memory poisoning 漏洞:攻击者可在一次会话写入不可信内容,在后续会话中诱导支付、改设置或数据外泄等后果性动作。作者认为现有防御依赖内容检测或来源谱系(lineage),而这两类信号都可被“洗白”(laundering),因此不可靠。
方法
作者把记忆写入-检索-执行流程形式化,定义三种 LLM 特有的洗白通道:自我摘要、可信工具回声、伪造佐证,并用 TLA+ 做机器检验的分离定理。据此提出 TMA-NM:写入时按来源绑定权限、不可变传播、需 ≥2 个独立可信主体佐证或一次性动作绑定用户授权才能提权,并记录防篡改判决日志。
实验与结果
在八个前沿模型上跨防御、跨攻击、跨模型的基准中,作者报告现有防御恰在理论预测处失效(洗白攻击成功率最高 68%),而 TMA-NM 在直接与洗白攻击上均达 0% 攻击成功率且合法效用不降;多轮 agentic 循环、Mem0 生产后端及四个已发表投毒流程的复现也得到同样结论。
局限与可以继续做的
作者列出:非后果性的答案偏置仍未被消除;保证依赖来源标注正确与佐证者真正独立,完全被攻陷的可信工具仍可洗白;黑盒部署下价值级污点传播与嵌套结构化载荷留待未来工作;分离定理仅在有限模型上机器检验,无界定理的完全机械化证明(TLAPS/Lean)尚未完成;佐证者不足时需用户一次性确认,其实际频率待量化。
AI 导读和推荐理由作者把洗白定义为攻击者经 Agent 自身摘要、可信工具回显和伪造佐证三条通道抹去记忆的不可信来源,并用 TLA+ 机检的分离定理证明内容与血缘类防御在此类攻击下不可靠。在 MEM-INV-Bench 上,内容信任评分被洗白攻击攻破 68%,单会话能力 IFC 还放行 84% 的直接攻击,血缘防御被摘要与回显攻破 47%。TMA-NM 的行动门是确定性检查,每次判定约 1.3μs,无需额外模型调用;作者也说明它不阻断非结论性的答案偏置,无界证明仍待完成。

论文提出 TMA-NM,一种面向 LLM Agent 长期记忆的防投毒机制,在写入时把记忆的行动权限绑定到来源,并在八个前沿模型上把直接攻击与三类洗白攻击的攻击成功率降到 0%,合法效用与无防御 Agent 持平。作者把洗白定义为攻击者经 Agent 自身摘要、可信工具回显和伪造佐证三条通道抹去记忆的不可信来源,并用 TLA+ 机检的分离定理证明内容与血缘类防御在此类攻击下不可靠。在 MEM-INV-Bench 上,内容信任评分被洗白攻击攻破 68%,单会话能力 IFC 还放行 84% 的直接攻击,血缘防御被摘要与回显攻破 47%。TMA-NM 的行动门是确定性检查,每次判定约 1.3μs,无需额外模型调用;作者也说明它不阻断非结论性的答案偏置,无界证明仍待完成。

推荐理由论文用可机检的分离定理和跨模型基准说明,内容与血缘类记忆防御会被洗白攻击绕过,而按来源绑定权限的构造在八个前沿模型上保持零攻击成功率。

深度解读生成中

阅读原文arxiv.org