跳到正文
原文

面向安全多智能体系统的私有知识检索与私有推理

On Private Knowledge Retrieval and Private Inference for secure multi-agent systems

arXiv:对抗攻击、后门与投毒· arXiv:2611.13696· Vicenç Torra, Maria Bras-AmorósDepartment of Computing Science, Umeå University; Departament of Mathematics, Universitat Politècnica de Catalunya (UPC), Barcelona本站收录· 6 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出用签名知识库加私有信息检索(PIR)缓解智能体语义记忆投毒,Python 原型中双服务器 IT-PIR 非缓存查询平均 0.22s。

威胁模型恶意智能体想投毒另一智能体的语义记忆(外部知识库),论文假设知识库服务器不被信任但不允许服务器合谋;防御目标是让攻击者不知道记忆中存了什么、难以篡改,知识库外部保存、逻辑推理由智能体本地完成。

问题
多智能体系统中恶意智能体可投毒其他智能体的语义记忆(外部知识库)以改变其行为,作者认为现有 AgentPoison 式攻击形式化依赖攻击者知道干净库、能写入、能观察推理输出这三个假设。
方法
提出私有知识检索与私有推理:知识库外部保存、每条知识带来源元数据并用 SHA-256 签名,Prolog 式推理由智能体本地执行,外部访问用双服务器 IT-PIR、k-anonymity 或分桶三种协议隐藏查询内容。
实验与结果
Python 原型在 99 条 Horn 子句、46 个索引、18 个查询上测执行时间:非缓存时 baseline 平均 0.17s、双服务器 IT-PIR 0.22s;作者称 XOR 实现的开销与轻量方案相当,并给出四种方案的通信比特开销分析。
局限与可以继续做的
作者指出系统未实现安全通信与通信日志、不支持并行智能体、未实现按参数检索(JITI)与 tabling 优化;实验仅在单机原型上进行,论文未报告对真实投毒攻击的防御效果评测。
实验设置nreverse(SICStus Prolog 基准)、zebra(SICStus Prolog 基准) · 执行时间(Mean/St. dev./Min/Max)、通信与计算开销(bits)
基准
nreverse(SICStus Prolog 基准)zebra(SICStus Prolog 基准)
指标
执行时间(Mean/St. dev./Min/Max)通信与计算开销(bits)
AI 导读针对 LLM 多智能体系统中的记忆投毒攻击,论文聚焦语义记忆,提出私有知识检索与私有推理作为防御方案。方案在知识库中引入签名机制防止非预期篡改,智能体本地运行基于 Horn 子句的类 Prolog 推理系统,以隐私方式访问经外部签名的知识库。作者用 Python 实现了多种隐私级别,包括 k-匿名与信息论隐私(IT-PIR)。

针对 LLM 多智能体系统中的记忆投毒攻击,论文聚焦语义记忆,提出私有知识检索与私有推理作为防御方案。方案在知识库中引入签名机制防止非预期篡改,智能体本地运行基于 Horn 子句的类 Prolog 推理系统,以隐私方式访问经外部签名的知识库。作者用 Python 实现了多种隐私级别,包括 k-匿名与信息论隐私(IT-PIR)。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    防御智能体语义记忆投毒:用签名知识库加私有检索让攻击者不知库存内容且难以篡改。

    核心问题:如何防止多智能体系统中恶意智能体通过投毒另一智能体的语义记忆(知识库)来改变其行为。

    • 场景与重要性:作者称 Agentic AI 让大量基于 LLM 的智能体协作,交互是长期、非一次性的,恶意智能体可利用漏洞长期攻击;记忆投毒是其中一类重要攻击。
    • 现有攻击形式化的不足:作者认为 Chen 等人的 AgentPoison [7] 把记忆投毒形式化为优化问题(类似联邦学习中的数据/模型投毒),其假设——攻击者知道干净数据库、能写入键值对、能观察本地智能体 LLM 的输出——并不总是成立,安全设计可以直接挑战这些假设。
    • 核心观察:语义记忆是相对静态、低频更新的知识,适合用密码学手段保护;让攻击者无法知道 Dclean、无法篡改、无法计算推理输出 E,攻击形式化(式 1–3)就不适用。
    • 论文提出:私有知识检索(private knowledge retrieval)与私有推理(private inference)架构:知识库外部保存并逐条签名,Prolog 式推理由智能体本地执行,外部访问通过 PIR 隐藏查询内容;给出 Python 原型实现。
    • 威胁模型:
      • 攻击者目标:投毒另一智能体的语义记忆,使其产生恶意行为(如删除主目录、买错机票)。
      • 攻击者知识:在 AgentPoison 模型中假设知道干净数据库 Dclean 和本地智能体的推理输出;本文防御正是要剥夺这些知识。
      • 攻击者能力:向外部知识库注入对抗键值对;论文假设知识库服务器不被信任,但不允许服务器合谋。
      • 受害系统:含本地 Prolog 式推理机制、访问外部知识库的智能体(对 LLM 智能体和 BDI 等经典架构均适用)。
  2. 有哪些相关研究?

    相关工作分四组:智能体记忆系统分类、AgentPoison 记忆投毒、PIR 与编码存储、FHE 私有推理。

    智能体记忆系统与架构

    • Chong 等 (2007)、Kotseruba 与 Tsotsos (2020)、Laird (2012)、Wu 等 (2025)——认知架构与 LLM 时代记忆机制的综述,对记忆系统有不同分类;本文按持续时间与固化程度区分短期、情景、语义三类记忆。
    • Wooldridge (2006)——经典多智能体系统(含 BDI 架构),本文讨论对 LLM 智能体和经典架构均适用。

    记忆投毒与提示词攻击

    • Chen 等 (2024, NeurIPS)——AgentPoison,向记忆或知识库注入对抗键值对、以触发器激活恶意行为的红队攻击;本文明确挑战其假设(攻击者知道干净库、可写入、可观察推理输出),并提出针对性缓解。
    • Das 等 (2025)——LLM 安全与隐私挑战综述,涵盖提示注入与越狱;作者指出提示词攻击不访问记忆,与记忆投毒不同。

    私有信息检索(PIR)与编码存储

    • Chor 等 (1995, 1998)——证明至少两个互不通信的数据库副本可实现信息论隐私(IT-PIR);本文的双服务器方案直接采用该方法。
    • Kushilevitz 与 Ostrovsky (1997) 及后续单数据库计算隐私 PIR(综述 [24]、[1])——放松到计算隐私后可单服务器实现。
    • Freij-Hollanti 等 (2017)、Holzbaur 等 (2022)——编码数据库上抗服务器合谋的 PIR;Shah 等 (2014)、Tajeddine 等 (2018)——MDS 编码分布式存储上的 PIR;Domingo-Ferrer 等 (2009)——P2P 社区式用户隐私检索。这些在本文中作为多服务器扩展与抗合谋的候选方案被讨论。

    私有推理与数据来源

    • Pindado 等 (2026)——基于全同态加密(FHE)的深度网络私有推理综述;作者称这类方案代价高、仅适用于小网络,且据其所知文献中没有针对知识库推理的私有推理方案。
    • Chapman 等 (2024)、Torra 等 (2017)——粗/细粒度数据来源(provenance)结构,用于保证知识库更新的完整性。

    基线与基准:本文无防御基线方法对比;实验对照是同一原型内的四种访问配置(baseline 无隐私保护、pir_bucket、pir_kAnon、itpir_2servers),知识库中含 SICStus Prolog 基准谓词 nreverse 与 zebra。

    作者将本文定位为:不改进攻击,而是从安全设计角度使 AgentPoison 式攻击的假设失效,并给出可运行的私有知识检索/推理原型。

  3. 论文如何解决这个问题?

    知识库外部签名保存、推理本地执行、查询经 PIR 隐藏,三种检索协议在隐私与开销间取档。

    整体思路:让语义记忆的知识库外置且逐条数字签名,逻辑推理由智能体本地完成,外部知识访问通过私有信息检索(PIR)隐藏查询内容,使攻击者既不知道库存什么、也难以篡改,从而让 AgentPoison 式攻击形式化(式 1–3)的前提失效。

    对攻击形式化的反驳

    • AgentPoison 的攻击模型为 Dpoison(xt) = Dclean ∪ A(xt),即攻击者向干净库注入对抗键值对,并以最大化触发查询下恶意动作概率、最小化对非目标查询影响两个目标做优化。
    • 作者指出该模型假设 Dclean 已知、可写入、推理输出 E 可观察;防御只要让 E 本地受保护、用签名阻止未授权更新,式 1–3 即不适用。

    三条缓解策略(Section 2.3)

    • 安全记忆机制:哈希检测改动、签名保证来源;知识库外置在第三方时同样用签名限制恶意篡改;推理机制 E 保持本地受保护。
    • 知识库安全更新:每条知识(Horn 子句)附带来源元数据,连同来源信息由来源智能体用私钥做基于 SHA-256 的签名,接收方用公钥验证完整性后再推理。
    • 安全通信与日志:建议用公钥加密与签名保护通信;作者明确当前原型未实现这部分。

    本地 Prolog 式推理机制(Section 3.1)

    • Python 实现,知识用 Horn 子句表示(事实与规则,允许递归);不支持析取(作者称逻辑上等价于多条纯 Horn 子句)、不支持通配符“_”与 cut 操作符。
    • 列表用 nil/cons 构造,预处理把标准列表写法翻译为构造子形式。
    • 采用标准 Prolog 归结与封闭世界假设(CWA);与标准 Prolog 不同,默认返回给定递归深度内谓词的所有可能实例化,且不要求事实规则按特定顺序定义。

    知识库客户端与服务器(Section 3.2–3.3)

    • 客户端按(谓词名, 元数)对检索 Horn 子句;本地无子句或知识超过 TTL(time-to-live)时转发到外部服务器;检索结果缓存,作者给出的理由是递归求解需多次访问同一事实,且重复外部访问会向入侵者泄露查询线索。
    • 服务器不被信任;所有服务器在系统启动时初始化并装载全部签名知识。

    私有知识检索的三种实现(Section 3.4)

    • 双服务器 IT-PIR(itpir_2servers):按 Chor 等的方案用两个互不通信的数据库副本;数据库按索引填充到等长,客户端构造两个仅在目标索引 i 处不同的随机查询,各发一个服务器,对两个 XOR 响应再做 XOR 解码出结果。
    • 单服务器 k-anonymity:提交目标索引加 k−1 个随机索引,服务器返回 k 个索引的全部子句,客户端自选。
    • 单服务器分桶(buckets):初始化时把知识分成 b 个桶,按桶整体取回后本地筛选;作者指出当 b = npa/k 时与 k-anonymity 隐私保证相近,但分桶对同一索引的多次访问是确定性的。
    • 记号:npa 为(谓词名, 元数)对数,nh 为 Horn 子句数,r 为填充后每条目的比特数。

    评测方式

    • 无攻击成功率类指标;评测为复杂度分析(各方案收发比特数,Table 1)与单机原型的查询执行时间(Table 2–4)。
  4. 论文做了哪些实验?

    单机原型测四种知识库访问配置的执行时间:双服务器 IT-PIR 非缓存平均 0.22s,baseline 0.17s。

    实验设置

    • 被测对象:论文自己的 Python 原型,含本地 Prolog 式推理机制;无 LLM 等模型被评测。
    • 知识库:nh = 99 条事实与规则,对应 npa = 46 个(谓词名, 元数)索引;含非递归与递归规则,以及 SICStus Prolog 基准谓词 nreverse(n = 30 时递归深度 496)和 zebra。
    • 查询:18 个查询,在四种配置下执行。
    • 配置:baseline(单外部知识库、无隐私保护)、pir_bucket(分桶)、pir_kAnon(k-anonymity,k 取 4/6/8/10)、itpir_2servers(双服务器 PIR)。
    • 缓存设置:Non-cached(5 次执行,每次视为首次外部访问,但递归与查询集内允许缓存)、Standard caching(执行两遍,仅第一次外部访问)、All cached(5 次执行,无外部访问)。
    • 环境:全部组件在同一台笔记本上运行,服务器与客户端为分离的软件实现;假设服务器不被信任且不允许合谋。

    主结果

    执行时间均值(秒),据 Table 2(Non-cached)与 Table 4(All cached):

    配置Non-cached 均值All cached 均值
    baseline0.177878430.0135
    bucket0.168925600.0149
    Anon k40.179443650.0158
    Anon k60.178529280.0140
    Anon k80.180615750.0126
    Anon k100.178879160.0144
    it2pir0.223094460.0129
    • 作者称双服务器 PIR 的结果“surprisingly good”:非缓存时 baseline 0.17s、it2pir 0.22s,认为知识库上的 XOR 实现极快,与需要生成多查询、转发并过滤的轻量方案相当。
    • 作者指出执行时间与逻辑推理引擎无关:查询处理全由知识库客户端与服务器完成,Prolog 引擎只向本地客户端取子句。
    • Standard caching(Table 3)下各配置均值为 baseline 0.0969、bucket 0.0919、Anon k4 0.1006、Anon k6 0.0976、Anon k8 0.0978、Anon k10 0.0987、it2pir 0.1192 秒。

    复杂度分析

    • Table 1 给出比特级开销:k-anonymity 发送 k·64 比特、接收 k·r;b-分桶发送 1·64、接收 m·r(m = npa/b);2-PIR 发送 2·npa、接收 2r 并做 XOR;2^d 个数据库的扩展方案发送 d·npa^(1/d)、接收 dr。
    • 作者明确写“Our solution is not optimal”,指出存在 2^d 数据库的更省通信方案。

    其他消融与分析

    • 缓存影响:Non-cached(Table 2)均值约 0.17–0.22s,Standard caching(Table 3)约 0.09–0.12s,All cached(Table 4)约 0.013–0.016s;作者称非缓存情形耗时最长“如预期”。
    • k 参数:k 从 4 到 10 时 Anon 各档均值接近(Table 2 中 0.1785–0.1806s),论文未对 k 的影响给出进一步解读。
    • 隐私-开销权衡(文字讨论):作者称双服务器方案隐私保证最强、计算时间原则上最大,k-anonymity 与分桶更轻量但保证更弱;b = npa/k 时两者隐私保证相近,但分桶对同一索引的重复访问是确定性的。

    负面结果与例外

    • 论文未报告任何针对真实投毒攻击的防御有效性实验(如无攻击成功率下降数据);实验仅为执行时间与复杂度。
    • 作者明确当前系统未实现安全通信机制与通信日志,理由是原型不支持并行智能体、一切在单机上执行(Section 2.3 (iii))。
  5. 有什么可以进一步探索的点?

    作者列出 JITI 检索、tabling、多服务器扩展等后续方向;实验仅覆盖单机原型的执行时间。

    作者指出的局限与后续方向

    • 未实现安全通信与通信日志(Section 2.3 (iii)):作者明确当前系统两者都未实现,但指出在单机、无并行智能体的原型中这一局限影响较小。
    • 检索仅按谓词名与元数(Section 3.2、Section 5):可按谓词参数做更精细检索(如 SWI-Prolog 的 Just In Time Indexing),作者将其列为可能的改进。
    • 未实现 tabling(Section 3.2、Section 5):即对谓词调用结果做记忆化缓存,作者列为未采用的优化技术。
    • 仅单个或两个复制内容的知识库(Section 5):作者称可扩展到多个内容不同的专门知识库,每个库提供自己的哈希函数,客户端先决定向哪个服务器发请求。
    • 2-PIR 方案非最优(Section 4.1):作者明确“Our solution is not optimal”,指出存在 2^d 数据库、发送 d·npa^(1/d) 比特的更省方案。
    • 抗合谋与可靠性扩展(Section 3.5):作者讨论了用纠错码/MDS 码、局部可修复码(LRC)和 P2P PIR 应对服务器合谋与数据扰动,作为可加入的额外保障。

    实验覆盖范围

    • 实验对象为论文自建的 Python 原型,全部组件运行于一台笔记本,服务器与客户端为分离软件实现(Section 4)。
    • 知识库规模为 nh = 99 条 Horn 子句、npa = 46 个索引;查询集为 18 个查询(Section 4.2)。
    • 评测配置为 baseline、pir_bucket、pir_kAnon(k=4/6/8/10)、itpir_2servers 四种;重复次数为 Non-cached 与 All cached 各 5 次、Standard caching 2 次(Section 4.2)。
    • 评测指标仅为执行时间与通信比特开销;论文未报告对真实记忆投毒攻击的防御效果(如攻击成功率变化)。
    • 论文未报告运行硬件配置、签名验证的单独耗时,以及知识库规模扩大时的性能。
  6. 总结一下论文的主要内容

    针对智能体语义记忆投毒,提出签名知识库加 PIR 私有检索的防御架构并给出原型开销数据。

    一篇关于多智能体系统语义记忆安全的防御论文,提出私有知识检索与私有推理架构并给出 Python 原型。

    • 问题:恶意智能体可向另一智能体的外部语义记忆(知识库)注入对抗内容以改变其行为;作者认为 AgentPoison [7] 的攻击形式化依赖三个假设——知道干净库、能写入、能观察推理输出——安全设计可使其失效。
    • 方法要点:知识库外置、每条 Horn 子句附来源元数据并做基于 SHA-256 的数字签名;Prolog 式推理(纯 Horn 子句、CWA、返回所有实例化)由智能体本地执行;外部访问按(谓词名, 元数)索引,通过双服务器 IT-PIR、k-anonymity 或分桶三种协议隐藏查询。
    • 结果 1:复杂度分析(Table 1)给出各方案比特开销,2-PIR 发送 2·npa、接收 2r;作者明确该方案非最优。
    • 结果 2:在 99 条子句、46 个索引、18 个查询上,非缓存执行时间 baseline 平均 0.17s、双服务器 IT-PIR 0.22s(Table 2);全缓存时各配置约 0.013–0.016s(Table 4)。
    • 结果 3:作者称 IT-PIR 的 XOR 实现开销与轻量方案相当,且执行时间与推理引擎无关。
    • 作者的结论:作者认为安全记忆机制、知识库安全更新、安全通信三策略可缓解标准记忆投毒形式化;后续方向包括按参数检索(JITI)、tabling、多专门知识库扩展与抗合谋编码。
    • 对读者的启示:这是架构与原型层面的工作,论文未报告对真实投毒攻击的防御有效性实验,证据限于执行时间与通信开销。
阅读原文arxiv.org