PerMIT:用机器验证的完整性定理与可扩展社区信任保护 LLM 智能体的持久记忆
PerMIT: Securing Persistent Memory for LLM Agents via Machine-Checked Integrity Theorems and Scalable Community Trust
作者提出 PerMIT:以确认门控中介智能体持久记忆,在 Trojan Hippo 上自验证与轻量验证器配置记录零 ASR。
攻击者可控制或操纵来自外部环境的内容(工具输出、网页、外部文件与代码),投毒载荷可进入持久记忆;信任边界基于来源:只有用户直接键入的值或经确认接口显式确认的精确值才可信,其余环境派生内容不可信,须经确认门验证后才能到达受保护 LLM。
- 持久记忆是缺乏防御的注入与投毒面,同一风险也限制了智能体间共享记忆;现有记忆防御(如 A-MemGuard、Collaborative Memory)按作者说法不提供针对恶意记忆的形式化安全保证。
- PerMIT 在记忆接口处设信任边界:环境派生内容不可信,受保护智能体只见不透明句柄,精确值须经确认门(人、LLM 验证器或两者)背书后方可使用;作者称两条完整性定理在 Lean 4 中机器检查,确认记录还可跨用户累积为社区确认。
- Trojan Hippo 上自验证与轻量验证器配置记录零 ASR 且保留有用记忆能力;50 亿次模拟提升尝试均低于理论界;τ2-bench 上 12 个直接注入载荷无一进入社区确认层,所得知识提升新智能体在 held-out telecom 任务上的表现。
- 作者指出:来源与背书不保证内容有用;稀有事件估计需 50 亿次模拟、超 50 小时计算;针对在线验证器的自适应载荷搜索仍是开放问题。被测骨干共 7 个,知识构建每设置仅一次运行。
- 被测模型
- Claude-Sonnet-4.6GLM-5Kimi-K2.5GPT-5.4Qwen-3.6-27BGemma-4-31B-itGPT-5.5Claude-Haiku-4.5
- 基准
- Trojan Hippoτ2-bench
- 指标
- ASRAM/HMFPRenv_fracBatt
论文提出 PerMIT 内存架构,为 LLM 智能体的持久记忆提供可证明的完整性保障,在 Trojan Hippo 上自验证与轻量验证器下攻击成功记录为零。PerMIT 假设只有用户手动输入和闸门确认的值可信,通过有限记忆接口管控不可信的环境来源值,并在 Lean 4 中机器验证了两条完整性定理,使威胁模型中的每种攻击都归结为一次可审计的确认决策,可由人类、LLM 验证器或两者共同作出。基于逐条记录的确认结果,用户背书会累积,获得足够背书的条目无需再验证即成为社区确认内容;论文在明确假设下证明并通过模拟佐证,随社区扩大,投毒晋升与误删良性知识的风险下降,而单用户验证负担不上升。在 τ²-bench 上,最多 90 个自主智能体用 PerMIT 构建共享知识库,没有直接注入的记忆被晋升,所得知识显著提升新智能体在留出任务上的表现。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
大模型安全周报:防线开始溃于组合,智能体授权与审计系统性缺口
- 公众号 大模型安全研究引用了论文编号或链接大模型安全周报:防线开始溃于组合,智能体授权与审计的系统性缺口
PerMIT: Securing Persistent Memory for LLM Agents via Machine-Checked Integrity Theorems and Scalable Community Trust(https://arxiv.org/abs/2610.28987)
深度解读
这篇论文试图解决什么问题?
持久记忆是缺乏防御的注入面,PerMIT 用确认门控与信任累积同时保护单用户与共享记忆。
核心问题:持久记忆是基本无防御的注入与投毒面,且这一风险阻碍了智能体间共享记忆的实际部署。
- 问题场景:智能体浏览网页或调用含植入注入的工具时,投毒信息可进入持久记忆,把一次性提示注入变成跨会话的持久妥协;记忆一旦共享,单个妥协可传播到整个社区(作者引 Trojan Hippo 的跨会话威胁)。
- 现有方法不足:作者称 A-MemGuard 与 Collaborative Memory 等记忆防御不提供针对恶意记忆的形式化安全保证;OKF 等共享框架定义了知识交换协议但未处理记忆攻击。
- 核心观察:把不可信内容的所有释放都收敛到单一可审计的确认决策上,安全保证就归结为这一个门控;每次确认又是针对精确内容的记录,可跨用户累积为条目级信任。
- 论文提出:PerMIT 记忆架构——有限记忆接口加确认门,两条完整性定理(单用户核心在 Lean 4 中机器检查),以及联邦层的社区确认机制;并在 Trojan Hippo 与 τ2-bench 上评测。
- 威胁模型(§3.1):
- 攻击者能力:控制或操纵来自外部环境的内容,包括工具输出、网页内容、外部文件与代码库。
- 攻击路径:智能体调用工具、浏览网页或检查外部文件/代码时,投毒载荷进入持久记忆。
- 信任假设:只有用户直接键入的值、或经确认接口显式确认的精确值可信;其余环境派生内容不可信。
- 受害系统:带持久记忆的 LLM 智能体(受保护的 P-LLM)。
有哪些相关研究?
相关工作分记忆攻击、各层防御、共享记忆与基准四组;作者将本文定位为聚焦持久记忆生命周期的形式化保证。
持久记忆攻击面
- 记忆架构与攻击:MemGPT(2023)、Mem0(2025)、A-MEM(2025)管理跨会话上下文;AgentPoison(2024)直接投毒记忆/知识库,Memory Injection Attacks(2025)仅查询交互即可注入,MemoryGraft(2025)与 Poison Once, Exploit Forever(2026)经检索内容间接注入。
- 跨会话风险:Trojan Hippo(Das et al., 2026)通过一次不可信工具调用植入休眠载荷、在后续会话激活;作者认为这种持久性使单轮次的提示注入防御不够用。
各层防御
- 内容检测:A-MemGuard(Wei et al., 2025)通过记忆诱导推理路径的共识经验性检测投毒;Get my drift?(2024)检测任务漂移。
- 隔离与权限控制:Willison 的 Dual LLM(2023)提出特权规划与隔离处理;CaMeL(2025)加能力策略与用户确认,作者指出其将形式化验证留作未来工作;AgentDyn(2026)报告其 CaMeL 配置在动态任务评测下效用为零;FIDES(2025)提供形式化 IFC 模型;TMA-NM(Louck, 2026)将记忆权威绑定来源并用 TLA+ 模型检查。
- 作者批评:论文称 A-MemGuard 与 Collaborative Memory 均不提供针对恶意记忆的形式化保证;CaMeL 与 FIDES 面向智能体执行中的提示注入,本文聚焦持久记忆生命周期。
共享记忆
- 交换与移植:OKF(McVeety & Hormati, 2026)标准化知识交换;Collaborative Memory(2025)实施动态访问策略;Portable Agent Memory(2026)提出密码学验证的迁移。作者称这些机制不确立接收方对所采纳内容的动作与推理完整性。
- 信任累积先例:Karpathy 的 LLM-Wiki(2026)靠作者声誉与 GitHub star 积累背书;PerMIT 借鉴分布式系统中对共享对象聚合背书的机制(Walsh & Sirer, 2006)。
基线与基准
- 基线防御:User prompt only、No untrusted tools、Limit memory length、Provable policy、A-MemGuard、LLM-Auditor(后两者为作者复现,LLM-Auditor 是 drop-only 变体)。
- 基准:Trojan Hippo(持久记忆安全,含 Context/RAG/Explicit/Mem0 四种记忆后端)与 τ2-bench(共享知识的端到端效用)。
作者定位:PerMIT 延续隔离-中介路线,但贡献集中在持久记忆生命周期,提供任意长交互下的 Action Integrity 与 Reasoning Integrity 保证、Lean 4 机器检查,以及联邦层的条目级背书累积。
论文如何解决这个问题?
PerMIT 用有限记忆接口加确认门隔离不可信内容,再把确认记录累积为社区级信任。
整体思路:在记忆接口处强制执行来源信任边界,不可信内容只能以不透明句柄形式存在,精确值经确认门背书后方可使用;确认记录再跨用户累积。PerMIT 分单用户层与联邦层。
单用户层:有限记忆接口
- 架构:受保护的 P-LLM 在信任边界内侧,自主选择操作与重规划;隔离读取器 Q-LLM(实现为 RLM)检索不可信记忆但无工具能力;harness 执行观察与数据流规则,不检查智能体内部推理。
- 七个操作:write、recall、fill、crystallize、display、confirm、evict。recall 仅对可信内容返回可读字节,否则返回不透明句柄;fill 搜索不可信区也只返回句柄;crystallize 产生的摘要写回时仍为不可信。
- 门控规则:敏感工具的字面参数须与用户键入或按工具背书的精确值字节匹配才能走快速路径;句柄参数一律触发确认门;门展示精确值、来源与原始用户指令,由人、LLM 验证器或两者决策。
两条完整性定理
- Action Integrity(Theorem D.3):在可信背书假设下,任何执行中到达敏感工具的每个参数,要么是用户键入的精确值,要么是该用户对该精确字节、该精确工具背书过的值。
- Reasoning Integrity(Theorem D.5):对匹配初始配置、相同键入输入与耦合随机性的两次执行,DT(ρ1)=DT(ρ2) ⇒ BehP(ρ1)=BehP(ρ2)——显示记录相同则受保护行为相同,隐藏的不可信内容无额外影响。
- 机器检查:单用户核心在 Lean 4 中机器检查(Lean 4 与 Mathlib 固定 v4.31.0),覆盖任意长的接口合规执行;批量确认表面作为独立层检查,联邦协议与概率界未机械化(附录 E)。
联邦层:信任累积与争议处理
- 提升规则:每次确认是签名的、针对精确内容的记录;同一共享条目从不同身份累积至少 N 个新鲜背书后提升为 Community-Confirmed,后续用户无需再确认。
- 争议面板:合格拒绝不立即删除条目,而是冻结提升、标记并交由面板;k 个陪审员中接受票达 m 则平反,拒绝票达 mrej 则驱逐,避免对良性知识的拒绝服务。
- 安全上界:投毒条目单次提升成功概率以 Batt 为上界(式 1),由普通路径与面板路径两项组成,参数包括背书法定人数 N、对手身份预算 f 与 fs、评审检出率下界 qpre、qpan;良性条目被错误驱逐的概率至多为 e−2δb2(k−fs)。
评测方式
- 单用户:Trojan Hippo 上以四种门控配置(OpenGate、OracleGate、自验证、Qwen 轻量验证器)测 ASR 与良性效用(七能力轴的 AM/HM,HM 为主)。
- 联邦层:50 亿次模拟提升尝试检验认证上界;120 用户社区测安全- effort 权衡。
- 知识构建:τ2-bench telecom 上以 M∈{12,24,60,90} 的智能体社区自主构建知识库,N=10、k=31、m=20、mrej=12,测 held-out 任务效用与注入载荷是否进入社区确认层。
论文做了哪些实验?
Trojan Hippo 上 PerMIT 各验证器配置 ASR 为零;模拟与 τ2-bench 支撑联邦层的安全与效用主张。
实验设置
- 被测骨干:主表 4 个(Claude-Sonnet-4.6、GLM-5、Kimi-K2.5、GPT-5.4,经 AWS Bedrock);附录加 Qwen-3.6-27B、Gemma-4-31B-it(本地 vLLM)与 GPT-5.5(Bedrock),共 7 个。
- 基准:Trojan Hippo(每配置 20 个攻击案例;四种记忆后端加无记忆控制;效用为七能力轴 AM/HM);τ2-bench telecom 与 banking。
- 基线:User prompt only、No untrusted tools、Limit memory length、Provable policy、A-MemGuard、LLM-Auditor(作者复现)。
- 门控配置:OpenGate(全部接受)、OracleGate(理想正确用户)、LLM 自验证、Qwen-3.5-2B、Qwen-3.5-4B 验证器。
- 成功判定:任一探针产生序列化参数含基准攻击者地址的汇调用即成功;效用按基准七能力套件聚合。
- 联邦模拟:50 亿次提升尝试,q 与 pb=0.9 的受控评审响应;120 用户社区共享 122 条目(含 2 个投毒条目)。
主结果
Trojan Hippo 单用户安全与良性效用(据 Table 1,单位 %):
表格较宽,可左右滑动
配置 Sonnet AM/HM/ASR GLM-5 AM/HM/ASR Kimi AM/HM/ASR GPT-5.4 AM/HM/ASR RAG 无防御 86/82/0 73/67/10 68/54/80 99/99/20 RAG A-MemGuard 61/34/0 73/69/15 66/51/70 84/83/25 RAG LLM-Auditor 72/53/0 72/64/5 68/55/0 92/91/0 OpenGate(全接受) 97/96/0 93/91/10 91/90/10 89/86/0 Oracle 门控 97/96/0 93/91/0 91/90/0 89/86/0 自验证 93/90/0 88/87/0 91/89/0 83/79/0 Qwen-3.5-2B 87/80/0 83/77/0 78/67/0 79/73/0 Qwen-3.5-4B 83/77/0 84/78/0 71/50/0 84/80/0 - 作者称每个基线都至少在一个模型-后端配置上 ASR 非零;限制能力类防御常使 HM 归零。
- OpenGate 仍有 0–10% ASR,作者据此说明即使无拒绝策略也存在低攻击成功。
- 作者称自验证与两个 Qwen 验证器在保留有用记忆能力的同时记录零 ASR。
联邦层模拟
- 认证上界:附录 A.1 设置(qpre=qpan=0.6)下 Batt=8.96×10⁻³;Figure 2(a) 显示提高 N 或评审准确率可降低上界,但 N 的收益饱和(面板项不含 N)。
- 自适应攻击:Figure 4 中九种策略(blast、planned-target、stop-on-reject 等)在 q∈{0.5,0.6,0.7} 下实测提升率均低于各自上界;Figure 3 中实测总率峰值出现在 R=32 后降至模拟分辨率以下。
- 安全- effort 权衡:120 用户社区中复用社区确认条目使每用户平均节省 2.36 次必需确认(38%);N 从 3 升至 14 使认证风险界降至 1/58,仅增加 0.64 次确认(Figure 5)。
自主知识构建(τ2-bench)
- 安全性:12 个手工提交的直接记忆注入载荷无一达到 Community-Confirmed 层;该端点只衡量共享快速通道的准入。
- telecom 效用:M=90 时三个骨干的均值均超过无知识基线;四规模池化增益经三骨干 Holm 校正后对 Sonnet(+0.1363 [+0.0651,+0.2092])与 Kimi(+0.1120 [+0.0339,+0.1979])成立,GLM-5(+0.0052 [−0.0521,+0.0781])不成立(Table 2)。
- 跨骨干迁移:Kimi 构建的知识使零状态 Claude-Haiku-4.5 在单独的 400 步、48 集评测中提升 +0.198 [+0.073,+0.333](附录 A.7)。
其他消融与分析
- 验证器 FPR(Table 5):自验证 9–14%,Qwen-3.5-2B 17–26%,Qwen-3.5-4B 8–32%;更大验证器并不一致地 FPR 更低。
- banking 域(Table 8):自建知识无可见效用增益,三个骨干的置信区间均含零;作者解释为 banking 所需信息本就可经检索获得。
- 未过滤对照(Table 10):M=90 时未过滤共享知识(A1)在三个骨干上均值效用均高于 PerMIT(A2);作者注明这是描述性比较,未隔离提升过滤器。
- Provable-policy 基线实现缺陷(附录 A.3):GLM-5 在 Explicit 与 Mem0 下各 10% ASR,代码审计发现 search_emails 的污点传播不一致;作者保留实测值并说明这暴露实现漏洞而非策略反例。
- 自建骨干(Table 4):Qwen-3.6-27B 与 Gemma-4-31B-it 无防御 ASR 峰值分别 40% 与 75%(sliding-window),Oracle 门控下 AM 均达 96.7、各门控格 ASR 均为 0。
有什么可以进一步探索的点?
作者列出内容质量、校准成本与自适应载荷搜索三个方向;实验覆盖 7 个骨干与两个基准域。
作者指出的局限与后续方向
- 内容质量无保证(§6):来源与背书不保证有用性,共享记忆可能含冗余、不准确或幻觉知识,作者提出质量感知门控与主动记忆管理作为方向。
- 校准成本高(§6):估计稀有提升事件用了 50 亿次模拟、超 50 小时计算;作者认为用在线验证器与用户做更高效的校准能加强部署证据。
- 自适应载荷搜索未做(§6):针对在线验证器的自适应载荷搜索仍是开放的实证问题;模拟是在受控评审响应下测协议的条件安全边界,不能替代对在线验证器的自适应载荷搜索。
- 组合记忆审查未评测(§6、附录 D.2.1):人或智能体记忆管理者可组合记忆并审查其联合含义、再征求新背书;该工作流未经评测,针对自适应背书与延迟组合攻击的测试是未来方向。
- 部署权衡待量化(§6):匹配的组件对照与实测人工审查 effort 可进一步厘清部署权衡。
- 授权粒度限制(附录 D.2.1):背书绑定精确值与工具,不绑定参数位置、任务、目的、时间或同次调用的其他参数;上下文绑定或事务级批准需扩展语义。
实验覆盖范围
- 被测骨干共 7 个:主表 4 个(Bedrock),附录 3 个(2 个本地 vLLM、1 个 Bedrock)(Table 1、Table 4)。
- Trojan Hippo 每配置 20 个攻击案例;效用为七能力套件;良性门控活动为每配置 120 项诊断检查(Table 7)。
- 知识构建每个(模型族 × 社区规模)仅一次运行,M∈{12,24,60,90};效用评测为 24 个 held-out 任务 × 2 次(每臂 48 对)(附录 A.7)。
- 注入安全探针为 12 个手工提交的直接记忆注入载荷,仅测是否进入社区确认层,不测个人接受或提升前使用(附录 A.7)。
- 论文未报告人工审查耗时;门控活动指标不衡量人工审查时间(附录 A.5)。
总结一下论文的主要内容
PerMIT 以确认门控保护持久记忆并累积社区信任,实验记录零 ASR 与可复用的共享知识。
PerMIT 是一个带形式化完整性保证的智能体持久记忆架构,针对记忆注入与投毒以及共享记忆的安全部署问题。
- 方法:环境派生内容一律不可信,受保护智能体只见不透明句柄;精确值经确认门(人、LLM 验证器或两者)背书后方可用于敏感工具。作者称两条定理——Action Integrity 与 Reasoning Integrity(以显示记录为条件)——的单用户核心在 Lean 4 中机器检查。
- 联邦层:每次确认是针对精确内容的签名记录,跨用户累积;条目集满 N 个新鲜背书后成为社区确认,后续用户免确认;争议经冻结与面板处理。
- 单用户结果:Trojan Hippo 上,自验证与 Qwen-3.5-2B/4B 验证器配置在四个主表骨干上 ASR 均为 0,Oracle 门控下 AM 最高 97(Claude-Sonnet-4.6,Table 1);每个基线防御至少在一个配置上 ASR 非零。
- 联邦结果:50 亿次模拟提升尝试均未超过认证上界(附录 A.1 设置下 Batt=8.96×10⁻³);120 用户社区中每用户平均节省 2.36 次必需确认(38%)。
- 知识构建:τ2-bench 上最多 90 个自主智能体构建共享知识库,12 个直接注入载荷无一进入社区确认层;所得知识对 held-out telecom 任务的池化增益对 Sonnet 与 Kimi 经 Holm 校正成立,GLM-5 不成立;banking 域无可见增益。
- 作者结论:在显式假设下,协议能在限制投毒提升与错误驱逐的同时减少重复验证,为测试时自改进的智能体提供一条路径;内容质量、校准成本与对在线验证器的自适应载荷搜索留作未来工作。