跳到正文
原文

SAFE-Mem:按来源、权限和范围管理 Agent 持久记忆,防止不可信内容被当作授权

论文追踪· arXiv:2610.22959· Haoming Li, Dingyi Kang, Xu Hu, Jinxin Yang, Zhu Xu, Chenru Wang, Yi Ge, Miao Yin, Guanpeng Li, Feng Chen, Bingzhe LiThe University of Texas at Dallas; Emory University; Virginia Tech; University of Maryland; The University of Texas at Arlington; University of Florida本站收录· 2026-10-21· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

SAFE-Mem按来源限制记忆用途;四骨干MPBench的ASR为1.5%–6.2%。

威胁模型攻击者只控制外部 artifact 内容,要使记忆获得来源没有的权限。

问题
LLM智能体把外部artifact写入跨会话记忆后,不可信claim可能被当成用户的偏好、策略或权限。内容过滤看说法,来源门控则连合法用途一起丢掉。
方法
SAFE-Mem给每条claim标kind、authority和scope,有效级别取二者较小值。检索前按请求所需kind准入,不够或scope不覆盖就不参与排序。记忆图保留来源原文。工具调用时再查记忆中的标识符。
实验与结果
四个骨干的MPBench上,SAFE-Mem的ASR为1.5%–6.2%,Recall高于无防御。LoCoMo准确率高于所评防御。MINJA下执行ASR为0.0%。部分骨干上TMA-NM的ASR更低,Qwen上其Recall为2.0%。
局限与可以继续做的
作者指出被说服的背书算本人的,不借权限的假事实不在范围内。实验含四个骨干、MPBench、LoCoMo、MINJA下的EHRAgent和LongMemEvalS。自适应改写用固定模板。论文未报告主实验重复次数。
实验设置GPT-5.6-terra、GPT-4o-mini 等 · MPBench、LoCoMo 等 · ASR、Recall 等
威胁模型
攻击者只控制外部 artifact 内容,要使记忆获得来源没有的权限。成功指后来的回答或动作把它当成无人授权的 preference、policy 或 permission;只复述不算。不能改他人发言、直接写记忆、伪造 channel 或访问提示词与权重。防御方知 channel,不知哪些 artifact 恶意。
被测模型
GPT-5.6-terraGPT-4o-miniClaude Haiku 5.5Qwen3.8-Flash
基准
MPBenchLoCoMoEHRAgentMIMIC-III Clinical Database DemoMINJALongMemEvalS
指标
ASRRecallRestraintjudge accuracyExec.Lost
AI 导读研究者提出 SAFE-Mem,一个面向 LLM Agent 持久记忆的细粒度治理框架,用来源、权限和范围三类标签约束记忆条目能否被使用。该框架为每条陈述标注 kind、authority 和 scope,并通过治理感知检索将查询需求与陈述权限匹配,阻止未授权影响,同时保留合法信息。它还构建治理增强的记忆图,连接源句子、陈述和实体,以支持来源追踪和高效检索。在四个 LLM 基座模型上,SAFE-Mem 在 MPBench 和 LoCoMo 中取得保留合法记忆的防御方法里最低的攻击成功率,至少比其中最强方法低 77%,并在所有评估防御中答案准确率最高,提升最多 15 个百分点。代码已公开。

研究者提出 SAFE-Mem,一个面向 LLM Agent 持久记忆的细粒度治理框架,用来源、权限和范围三类标签约束记忆条目能否被使用。该框架为每条陈述标注 kind、authority 和 scope,并通过治理感知检索将查询需求与陈述权限匹配,阻止未授权影响,同时保留合法信息。它还构建治理增强的记忆图,连接源句子、陈述和实体,以支持来源追踪和高效检索。在四个 LLM 基座模型上,SAFE-Mem 在 MPBench 和 LoCoMo 中取得保留合法记忆的防御方法里最低的攻击成功率,至少比其中最强方法低 77%,并在所有评估防御中答案准确率最高,提升最多 15 个百分点。代码已公开。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    外部claim会被当成用户授权;SAFE-Mem按来源与用途分别准入。

    外部 claim 会被当成用户自己的偏好、策略或权限。

    • 场景:智能体把网页、邮件、文档、工具输出和其他用户输入写入跨会话记忆。作者认为这会带来权限洗白:记忆获得来源从未持有的权限;没有攻击者时,关于一人的话也可能被当成关于另一人的事实。
    • 现有不足:内容过滤看说法本身。洗白后的 claim 自洽且不含指令,多页转述还可能成为多数。按条目或按动作的来源门控会连合法用途一起拒绝。作者称整段拒用最多损失 40 个点的授权用途(Cerruti et al., 2026)。
    • 本文做法:一条 claim 能否使用,取决于来源和当次用途。SAFE-Mem 为每条 claim 标注 kind、authority、scope,排序前准入,并用记忆图把句子、claim 和实体连回来源。
    • 威胁模型:
      • 目标:让记忆带上来源没有的权限。后来的回答或动作把它当作无人表达过的 preference、decision、trust assignment、policy 或 permission,即成功;只保存或复述 artifact 内容不算。
      • 能力:只控制外部 artifact 的文本,可伪装成 principal 的话、声称已批准,或转述同一载荷。共享记忆时,另一 principal 可作为攻击者,发言只对自己有权限。
      • 限制:不能改他人发言、直接写记忆、伪造 channel 记录,也不能访问提示词或权重。不需要 principal 背书或事后审查。
      • 防御方:知道每条输入的 channel,这些记录被信任;不知道哪些 artifact 恶意。要拒绝来源支持不了的用途,并保留它支持得了的用途。受害系统是跨会话的 LLM 智能体。
  2. 有哪些相关研究?

    记忆系统按相关性存取;内容过滤与粗粒度来源门控都不分用途。

    论文把相关工作分成记忆系统、记忆攻击和记忆防御。

    智能体记忆

    • 跨会话存储:Packer et al. (2023) 的 MemGPT、Park et al. (2023)、Zhong et al. (2024) 的 MemoryBank 让智能体跨会话携带上下文。
    • 结构化记忆:A-Mem(Xu et al., 2025)链接 Zettelkasten 式笔记;Mem0(Chhikara et al., 2025)抽取并更新事实,图变体建在实体–关系三元组上;Zep(Rasmussen et al., 2025)把事实放进时序知识图并索引到 episode。另有工作在多图上路由查询(Jiang et al., 2026a),或压缩记忆以加快检索(Li et al., 2026)。
    • 评测:综述见 Zhang et al. (2025)、Du et al. (2025)、Jiang et al. (2026b)。LoCoMo 与 LongMemEval 衡量召回。作者称这些系统按相关性、新近性和一致性存取;SAFE-Mem 还记录每条 claim 可用于什么。

    对智能体记忆的攻击

    • 检索中的隐藏指令:可操纵 LLM 应用和工具型智能体(Greshake et al., 2023; Liu et al., 2024; Debenedetti et al., 2024; Zhan et al., 2024)。
    • 持久投毒:毒化知识库或记忆使效果留到后续会话,途径包括构造文本与优化触发(Zou et al., 2025; Chen et al., 2024)或普通查询(Dong et al., 2025)。记忆投毒基准报告,注入记忆会在后来的会话中被执行(Dash et al., 2026; Gao et al., 2026; Chen et al., 2026)。
    • 权限错置:论文称低权限记忆被当成有权威是独立失败类,并引用 Chen et al. (2026);同期工作称之为 authority laundering(Zhan et al., 2026)。

    记忆防御

    • 内容与角色:共识(Wei et al., 2026)、分类器与清洗器(Kumar et al., 2024; Liu et al., 2024)、隔离注入指令(Li et al., 2025)、标记不可信文本(Hines et al., 2024a),以及论文所引的 certifiably robust RAG(Xiang et al., 2024)。角色类方法训练模型只跟随指令通道(Chen et al., 2025a,b; Hines et al., 2024b)。作者称洗白后的记忆不含指令。
    • 来源与信息流:按谱系门控动作(Ouyang and Hou, 2026; Xu et al., 2026; Cerruti et al., 2026; Louck, 2026)。信息流控制把不可信数据挡在规划之外(Debenedetti et al., 2026; Costa et al., 2025)。作者称信息流控制把记忆视为可信,或把它放在范围之外;只门控动作则回答仍暴露于不可信记忆。
    • 对照表:附录 B Table 4 写明,A-MemGuard 与 DRIFT 按内容管回答和工具调用,MemLineage 按来源只管动作,TMA-NM 按来源管回答和动作。三者都没有 per-use 准入,也不把权限绑到相关方。SAFE-Mem 按 provenance 加 kind,覆盖回答、动作、按次用途和 scope。

    基线与基准

    • 基线方法:A-MemGuard、DRIFT 的注入隔离器、RandEC、LLM sanitizer、MemLineage、TMA-NM;EHRAgent 上另有每用户独立记忆的 Isolation。
    • 基准:MPBench、LoCoMo、MINJA 下的 EHRAgent(MIMIC-III Clinical Database Demo)、LongMemEval。

    作者把本文放在依用途准入上:同一条 claim 可服务来源支持的用途,并被拒绝用于更高用途,且检查覆盖回答而不只是动作。

  3. 论文如何解决这个问题?

    用kind、authority、scope标注claim,排序前按请求用途准入。

    SAFE-Mem 把治理挂到每条已存储的 claim 上:标签记录它绑定什么、来源能确立什么,记忆图连回来源,检索只放行标签支持的用途。Figure 2 把这三部分画在一起。

    治理标签

    • Kind:抽取时赋值,按绑定行为的多少排序为 DESCRIPTION < ATTRIBUTE < PREFERENCE < RULE < PERMISSION。description 只报告来源的断言;attribute 约束关于该主体的回答;preference 指导为某 principal 做的选择;rule 约束每个满足条件的场合;permission 改变智能体可以做什么、可以信任谁。划分依据 Searle (1976) 的施事行为分类。
    • Authority 与 scope:authority 只由 channel 决定。principal 自己的发言为 PERMISSION;外部 artifact 的句子为 DESCRIPTION,其中的作者标记和记忆请求仍算内容,权限相同;对话中另一方的句子为 ATTRIBUTE。scope 指权限覆盖谁:principal 的句子只覆盖该 principal,另一方的句子只覆盖该方。
    • 有效级别:λ(c)=min(κ(c),α(c))。作者称取较小值遵循完整性格,不能高于来源的完整性(Biba, 1977; Denning, 1976)。抽取器即使把 artifact claim 标成 PERMISSION,它仍只作为 description 使用。
    • 背书:principal 明确要求保留时,只看 principal 的句子,判断要保留什么、点名哪种 kind。从这些句子抽出的 claim 获得 principal 的 authority,但封顶在所点名的 kind。请求指向 artifact 时,提升只作用于被引用的 claim,同样封顶(附录 E)。

    记忆图

    • 三类节点:每个输入的每个句子一个 sentence 节点,保留原文和来源(channel,对话中还有 speaker),自身没有治理标签。连续句子或连续发言用 NEXT 相连。claim 节点是智能体 LLM 抽出的一条陈述,记下文本、subject、relation、object 和三种标签。entity 节点跨输入共享。
    • 权限继承:DERIVED-FROM 连到源输入。若抽取时有更低权限的输入在场,claim 继承在场的最低 authority。唯一能提高 authority 的边是 ENDORSED-BY。ABOUT 把同一 subject 与 relation 的 claim 聚在一起,供冲突比较。
    • 输出回写与 passage:智能体自己的输出也回到记忆,并继承产生它的上下文;在 description 在场时生成的回答,本身存为 description。检索同时返回 principal 和其他对话方的短文。passage 没有自己的 kind,以其中句子的最低 authority 准入。只有保留请求和其他方的发言构成 passage;外部 artifact 只通过派生 claim 进入上下文。

    治理感知检索

    • 先分类请求:智能体 LLM 只读 q,给出所需用途 u(q) 和涉及的一方 t(q),默认是提问的 principal。
    • 准入条件:λ(x)≥ u(q)∧(u(q)=DESCRIPTION∨ t(q)∈ s(x))。级别须达到该用途;报告对所有内容开放,更强用途还要求 scope 覆盖 t(q)。一次被拒绝的条目仍留在记忆中。
    • 排序与冲突:附录 A 的 Algorithm 1 先过滤再排序,只在可准入 claim 中取最相似的 k 条。同一 subject 与 relation 若矛盾,单独持有最高 authority 的立场保留,其余标为 contested;最高 authority 打平则全部 contested,并由智能体报告分歧。重复不算投票。再加入 m 条可准入 passage。每条用标记包住,标记写明有效级别,由 SAFE-Mem 写在条目文本之外。
    • 工具调用:从上下文读回标记。参数里的标识符若不在请求原文中,且只出现在级别低于 max(u(q), ATTRIBUTE) 的条目里,调用被拒绝。scope 之外的条目被标成 description。

    命题、例子与提示词

    • 附录 C:来源全是外部 artifact 句子、且没有 principal 背书的条目,对任何 u(q) 高于 DESCRIPTION 的请求都不满足上述准入,与文本内容和副本数量无关。附录 C 含这一命题及其证明。
    • 例子:Figure 1、附录 D 与 Figure 4 用同一场景说明:内容过滤留下洗白 claim,整段来源门控连报告也丢掉,SAFE-Mem 对报告类问题准入、对需要 preference 的问题拒绝。
    • 提示词:附录 Q 固定了 claim 抽取、保留判断、用途分类、冲突检测、回答,以及记忆条目、回答和 LoCoMo 三个裁判。附录 Q 给出了完整提示词。
  4. 论文做了哪些实验?

    四骨干上SAFE-Mem的MPBench ASR为1.5%–6.2%,Recall高于无防御。

    实验设置

    • 骨干与运行:GPT-5.6-terra、GPT-4o-mini、Claude Haiku 5.5、开源权重的 Qwen3.8-Flash。EHRAgent 与 LongMemEval 只报 GPT-4o-mini。temperature 为 0,嵌入为 all-MiniLM-L6-v2,提示词在运行前固定。MPBench 的裁判是 GPT-4o-mini;该模型也是四个骨干之一。
    • 数据:MPBench 有 3,241 个攻击案例和 2,999 个良性案例(249 个要求记住,2,607 个只暗示关于用户的 claim,143 个无标注记忆)。6,240 个案例写入同一 principal 的记忆,评带后续请求的 2,999 个攻击案例(附录 J:2,893 个不同查询)。LoCoMo 为 10 段对话、1,540 问,说话者轮流为 principal。EHRAgent 在 MIMIC-III Clinical Database Demo 上跑已发布的 MINJA。LongMemEval 用清洗版 LongMemEvalS,500 问。
    • 基线:A-MemGuard、DRIFT 的注入隔离器、RandEC、LLM sanitizer、MemLineage、TMA-NM,均检索 4 条最相似事实。SAFE-Mem 取 k=4 条 claim、m=4 条 passage。EHRAgent 另有每用户独立记忆的 Isolation。
    • 指标:ASR 不计只复述 artifact 的回答。Recall 看明确保留请求是否被答出。Restraint 看暗示性案例是否未把暗示断言成关于用户。LoCoMo 与 LongMemEval 报 judge accuracy,论文未写明这两个裁判的模型。EHRAgent 的 ASR 是生成或执行的代码指向错误患者的占比;Exec. 是已执行代码上的 ASR;Lost 是良性问题会检索到、但被删掉的记忆占比。附录 J 对 ASR 做 2,000 次 bootstrap。论文未报告主实验重复次数。

    主结果

    表格较宽,可左右滑动

    骨干无防御 ASRSAFE-Mem ASRSAFE-Mem Recall无防御 LoCoMoSAFE-Mem LoCoMo
    GPT-5.6-terra26.7%2.6%86.3%50.2%61.3%
    GPT-4o-mini49.8%6.2%85.9%39.5%54.6%
    Claude Haiku 5.510.9%1.5%84.3%50.4%53.5%
    Qwen3.8-Flash41.1%1.9%83.1%44.2%47.0%

    据 Table 1。

    • 作者的总括:摘要称,在仍保留合法记忆的防御中攻击成功率最低,至少比其中最强者低 77%,准确率最高提高 15%。贡献列表写 LoCoMo 准确率最多提高 15 个百分点。§5.2 写两个 GPT 模型提高 11.1 与 15.1 个百分点,Haiku 与 Qwen 提高 3.1 与 2.8 个百分点。无防御 Recall 为 75.9%、79.5%、71.5%、78.3%。
    • TMA-NM:ASR 在 GPT-4o-mini、Haiku、Qwen 上为 2.4%、0.5%、1.4%,低于 SAFE-Mem;四骨干 Recall 为 9.6%、9.6%、2.4%、2.0%。作者称拒用全部外部派生内容会丢掉用户要求记住的大部分内容。只门控安全相关取值的读法,在 GPT-4o-mini 上留下 39.4% ASR(附录 G)。query-clustered 95% 区间:SAFE-Mem 为 2.6% [2.0, 3.2] 与 6.2% [5.4, 7.1](Table 8)。
    • 其他防御:作者称内容层防御留下大部分攻击;Table 1 中 GPT-5.6-terra 上 A-MemGuard 为 13.1%,GPT-4o-mini 上 RandEC 为 27.3%。作者称 DRIFT 与 sanitizer 最多去掉约五分之一攻击;同表 Qwen 上 DRIFT 为 26.5%,无防御为 41.1%。作者称 SAFE-Mem 是唯一在每个骨干上同时改善三项的防御。Restraint 上,作者称提高 13 到 14 个百分点;Table 1 的四列 SAFE-Mem 为 48.4%、50.6%、51.4%、49.2%,无防御为 35.1%、36.5%、45.8%、35.5%。作者举 A-MemGuard 在 GPT-5.6-terra 的 LoCoMo 从 50.2% 到 38.1% 为例。

    共享记忆上的调用检查

    • 设置:EHRAgent、MINJA、GPT-4o-mini。对抗方自己是共享记忆的用户,植入记录带有其权限;要看该权限是否止于所有者。
    • 结果:SAFE-Mem 的 ASR、Exec.、Lost 为 72.4%、0.0%、2.0%,无防御为 66.7%、69.0%、0.0%(Table 2)。去掉 scope 后 Exec. 为 44.4%。TMA-NM 与 Isolation 的 Exec. 也是 0.0%,Lost 为 70.4% 与 71.4%。RandEC、LLM sanitizer、MemLineage 的 ASR 为 83.3%、80.0%、85.7%,高于无防御。
    • 作者的解读:智能体仍会起草指向错误患者的代码,但所依赖的患者标识符只出现在属于另一 principal 的条目中,调用检查拒绝执行。作者称判断内容的防御没有删掉这些记忆;Table 2 里 DRIFT、RandEC、sanitizer、MemLineage 的 Lost 为 0.0%,A-MemGuard 为 39.3%。作者认为去掉 scope 后仍有 44.4% 执行,因而 scope 是起作用的检查。

    自适应改写与重复

    • 改写:对全部 MPBench 攻击,每次只改一个组件:伪造作者、伪造记忆请求、把载荷写成不指令任何人的背景,或声明与已有策略一致。最强改写使无防御 ASR 在 GPT-4o-mini、Haiku、Qwen 上提高 13.6、20.0、7.8 个百分点。SAFE-Mem 的 ASR 变动至多 1.4 个百分点;Table 3 中 GPT-4o-mini 从 6.2% 到伪造请求的 7.6%。作者称其 Recall 保持在 81.1%–87.5%。没有一次运行让 artifact 把 claim 升到 DESCRIPTION 之上。
    • 真实保留请求:249 条真实保留请求各配一个攻击 artifact 时,请求在 90%–94% 的案例中提升自己的 claim;论文所写的 498 次中,载荷都没有被提升(三个骨干)。
    • 重复:五份转述时,A-MemGuard 在 GPT-4o-mini 上 ASR 为 68.1%,三份时为 36.0%;SAFE-Mem 在该骨干上为 5.6%–7.5%(Table 7)。GPT-5.6-terra 上四份副本(n=18)的 SAFE-Mem ASR 为 11.1%。作者称能提高级别的输入不在攻击者所写的内容里。

    写入、用途与人工一致

    • 写入与取回:注入记忆在 GPT-5.6-terra 与 GPT-4o-mini 上被写入的比例为 38.0% 与 57.6%,前者高于其他防御;进入攻击查询上下文的比例为 1.1% 与 2.8%,无防御为 30.2% 与 55.7%;端到端 ASR 为 2.6% 与 6.2%(Table 11)。空记忆时攻击目标被断言的比例为 0.0% 与 0.2%。
    • 用途:作者称这两个骨干上 97% 与 91% 的攻击查询需要高于 description 的 kind。推荐投毒查询在 Table 5 中有 93.1% 被读成 preference(正文写 93%)。外部内容至多 DESCRIPTION。正文称 SAFE-Mem 在每个目标、每个骨干上不超过 11.3%,且 GPT-4o-mini 上其余仍保留记忆的防御至少有一个目标超过 40%。Figure 3 给出分目标整数,但转换后的轴标签无法与七个目标逐列对齐,这里不逐格引用。
    • 人工标注:附录 I 由作者标注、对模型输出盲。100 条 principal 句子上,保留判断一致率 84.0%(Cohen's kappa 0.76);论文同时描述了四次不一致。150 条请求上,精确 kind 一致率为 84.7% 与 68.7%(kappa 0.81、0.61),description 与更高 kind 的二分一致率为 94.0% 与 85.3%。200 条攻击回答上,裁判一致率 83.5%(kappa 0.67);33 次不一致中,27 次裁判计为采纳载荷而标注者否,6 次相反。

    其他消融与分析

    • 关掉治理(仍用同一图和 passage):GPT-4o-mini、Haiku、Qwen 的 ASR 为 62.3%、28.2%、49.3%(Table 6)。
    • 无背书:这三骨干 ASR 为 2.7%、0.4%、0.7%,Recall 为 2.0%、0.0%、0.0%(Table 6)。
    • 不可准入条目改为带 description 标记放入上下文:GPT-5.6-terra、GPT-4o-mini 的 ASR 从 2.6%、6.2% 到 6.2%、19.6%;两骨干上 31% 与 21% 的攻击请求没有任何可准入条目(Table 13)。
    • 检索预算(GPT-4o-mini,Table 12):ASR 在 6.2%–7.1%;k=4、m=8 时 Recall 87.1%、Restraint 45.8%。
    • LoCoMo 上同一图与 passage、且准入不拒绝:两个 GPT 模型为 64.9% 与 58.4%,高于 SAFE-Mem 的 61.3% 与 54.6%,也高于无防御的 50.2% 与 39.5%(附录 G)。
    • LongMemEvalS、GPT-4o-mini:总体从 45.2% 到 58.2%(n=500);preference 从 33.3% 到 16.7%(n=30),multi-session 从 39.1% 到 33.1%(n=133)(Table 15)。论文未解释这两类下降。
  5. 有什么可以进一步探索的点?

    作者指出被说服的背书和假事实不在治理范围内。

    作者指出的局限与后续方向

    • 被说服的背书(Limitations):principal 若被说服去背书,例如同意助手记住某页的推荐,SAFE-Mem 会把该内容当成 principal 自己的,权限升到请求点名的 kind。
    • 不管真伪(Limitations):网页上的假 claim 仍可回答该页说了什么;principal 自己的错误陈述保持其权限。不借用权限、只依赖假事实的攻击在范围之外。作者称判断记忆内容的防御与之互补。
    • 后续方向(Conclusion):从原始请求推导每一步中间检索的用途;根据环境可验证的结果提升 authority。

    实验覆盖范围

    • 骨干为 GPT-5.6-terra、GPT-4o-mini、Claude Haiku 5.5、Qwen3.8-Flash;EHRAgent 与 LongMemEval 的数字在 GPT-4o-mini 上(§5.1、附录 P)。
    • 对照包括 A-MemGuard、DRIFT、RandEC、LLM sanitizer、MemLineage、TMA-NM;EHRAgent 另有 Isolation,以及去掉 scope 的 SAFE-Mem(Table 1、Table 2)。
    • MPBench 将 6,240 个案例写入同一 principal 记忆,评 2,999 个带后续请求的攻击案例;LoCoMo 为 10 段对话、1,540 问;LongMemEvalS 为 500 问(§5.1、附录 P)。
    • 自适应实验改写全部 MPBench 攻击,每次一个组件:伪造作者、伪造记忆请求、低估 kind、冲突规避;另有 3、4、5 份转述(Table 3、附录 H)。论文写这些变体用固定模板,未报告攻击用的辅助模型。
    • 人工一致率来自作者对 100 条句子、150 条请求、200 条回答的标注(附录 I)。MPBench ASR 有 2,000 次 bootstrap 的 95% 区间(附录 J)。论文未报告主实验重复次数。
  6. 总结一下论文的主要内容

    按来源与用途准入记忆,在降低ASR的同时保留合法召回。

    SAFE-Mem 是 LLM 智能体持久记忆的细粒度治理,用来分开来源陈述和可当成谁的决定。

    智能体把外部 artifact 蒸馏进跨会话记忆。作者认为风险是权限洗白。内容过滤挡不住自洽且无指令的 claim;按来源整段拒绝会丢掉合法用途。

    每条 claim 有 kind、authority 和 scope,有效级别取较小值。principal 发言可到 PERMISSION,外部 artifact 只有 DESCRIPTION,对话另一方为 ATTRIBUTE。明确保留请求可提升权限,但封顶在点名的 kind。记忆图连回来源。检索前按请求判定用途,不够则不排序;工具调用再查标识符。

    • 四骨干的 MPBench 上,SAFE-Mem 的 ASR 为 2.6%、6.2%、1.5%、1.9%,Recall 为 86.3%、85.9%、84.3%、83.1%(Table 1)。作者称在仍保留合法记忆的防御里至少低 77%。TMA-NM 在三个骨干上 ASR 更低,Recall 为 9.6%、9.6%、2.4%、2.0%。
    • LoCoMo 升至 61.3%、54.6%、53.5%、47.0%。§5.2 写两个 GPT 模型提高 11.1 与 15.1 个百分点;摘要写最高 15%,贡献列表写最多 15 个百分点。
    • EHRAgent 在 MINJA、GPT-4o-mini 上,指向错误患者的代码占 72.4%,执行 ASR 为 0.0%,Lost 为 2.0%(Table 2)。自适应改写下 ASR 变动至多 1.4 个百分点(Table 3)。注入仍常被写入(38.0%、57.6%),进入攻击上下文为 1.1%、2.8%。

    作者称这样可在降低攻击成功率的同时提高召回和准确率。被说服的背书会被当成 principal 自己的;不借权限的假事实不在范围内。后续包括从原始请求推导中间检索用途,以及按环境可验证结果提升 authority。

相关论文

共同使用 MPBench
共同使用 LongMemEvalS
共同使用 LoCoMo
再看 3 篇
共同使用 LoCoMo
共同使用 EHRAgent
阅读原文arxiv.org