Skip to content

Translation in progress Some entries still include text in the original language.

arXiv· arXiv:2604.01350· Tiankai Yang, Jiate Li, Yi Nian, Shen Dong, Ruiyao Xu, Ryan Rossi, Kaize Ding, Yue Zhao·Indexed by this site · Originally publishedSelectedAttention55

No Attacker Needed: Unintentional Cross-User Contamination in Shared-State LLM Agents

No Attacker Needed: Unintentional Cross-User Contamination in Shared-State LLM Agents

Quick read

Evaluation and benchmarks

Based on 论文 PDF (AI 生成); refer to the original

作者报告良性交互下GPT-4o在eICU的总体污染率为70.7%(Table 2)。

Questions
一个智能体跨用户复用共享状态时,对一人局部有效的约定可能被误用到另一人,且不需要攻击者。作者称这会静默改变答案、代码或工具行为。
Methods
作者用有无源交互的受控对比定义无意跨用户污染,分成语义、变换、流程三类,并在写入时用SSI清洗进入共享存储的内容。
Experiments and results
GPT-4o上,原始共享状态总体污染率:Slack 57.4%、MIMIC-III 59.6%、eICU 70.7%(Table 2)。SSI后正文给出Slack 6%、eICU 33%、MIMIC-III 41%,未说明与表中小数的换算。
Limitations and future work
作者称SSI只改写入、不改读取,残留会继续传播;方向包括来源元数据、复用前再验证和制品级范围控制。实验骨干为GPT-4o,对照是原始状态与SSI;论文未报告评判与人工的一致性。
Experimental setupGPT-4o · EHRAgent、MURMUR et al. · contamination rate
Evaluated models
GPT-4o
Benchmarks
EHRAgentMURMURMIMIC-IIIeICUSlack workspace dataset
Metrics
contamination rate
AI summaryand selection rationaleThe researchers propose and formalize unintentional cross-user contamination (UCC) in shared-state LLM agents: locally valid information left by one user's benign interaction is persisted, then incorrectly reused by other users, silently altering answers, code, or tool behavior. The paper gives a taxonomy of contamination into semantic, transformation, and process categories, and evaluates on EHRAgent with shared memory (MIMIC-III, eICU) and MURMUR with shared context (Slack), with contamination rates of 57.4%–70.7% under the original shared state. The write-time sanitization method SSI reduces contamination from 57% to 6% on Slack, but only from 60% to 41% on EHRAgent, because SSI only sanitizes text fields and cannot remove conventions already encoded in the solution code.

The researchers propose and formalize unintentional cross-user contamination (UCC) in shared-state LLM agents: locally valid information left by one user's benign interaction is persisted, then incorrectly reused by other users, silently altering answers, code, or tool behavior. The paper gives a taxonomy of contamination into semantic, transformation, and process categories, and evaluates on EHRAgent with shared memory (MIMIC-III, eICU) and MURMUR with shared context (Slack), with contamination rates of 57.4%–70.7% under the original shared state. The write-time sanitization method SSI reduces contamination from 57% to 6% on Slack, but only from 60% to 41% on EHRAgent, because SSI only sanitizes text fields and cannot remove conventions already encoded in the solution code.

Why it was selectedThe paper quantifies the cross-user contamination rate of shared-state agents through controlled experiments and points out that text-level cleaning still leaves residual risk for shared states containing executable artifacts.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    无攻击者时,共享状态会把局部有效约定误用到其他用户。

    共享状态会把只对一名用户局部有效的约定,误用到另一名用户并改变其结果。

    • 场景:作者称,许多智能体为长程任务保存记忆、轨迹、摘要或检索结果;在团队或组织里,同一个智能体还跨用户复用这一层持久状态。对一人合理的信息,可能在服务另一人时被再次使用。
    • 现有不足:作者称,既有完整性工作主要研究显式攻击者,包括间接提示注入、恶意工具诱导,以及记忆或检索源投毒。Dong et al. (2025) 与 Patlan et al. (2025) 写了跨用户共享状态,但仍假设攻击者,并优化源交互以造成下游伤害。
    • 核心观察:源交互可以是良性且局部有效的,例如局部解释、聚合或格式选择、任务流程决策。失败出现在智能体后来把它当成对其他用户普遍有效。Figure 1 标注:无先验时答案为 0 且正确;一名用户把 last year 澄清为 past 12 months 后答案为 2 且正确;后来的用户得到 2,被标为错误。
    • 设定:源用户不是攻击者,源交互不必含隐藏指令、恶意触发或被优化的有害目标。共享状态片段影响后来另一名用户的决策,且该复用降低正确性或任务效用,即无意跨用户污染(UCC)。受害系统是服务多名用户、并读写持久共享状态的同一 LLM 智能体。
    • 提出的内容:在共享状态模型中形式化 UCC,定义受控对比协议和三类污染,并在共享记忆与共享对话上下文上评测写入时清洗 Sanitized Shared Interaction(SSI)。
  2. What related research exists?

    相近工作假设攻击者优化源交互;作者定位为良性产物的错误复用。

    作者把最近的跨用户工作视为攻击者驱动,并把本文放在良性源交互的错误复用上。

    • 持久记忆与多用户部署:Reflexion(Shinn et al., 2023)用言语反思做情景记忆;MemGPT(Packer et al., 2024)把上下文卸载到外部存储;A-Mem(Xu et al., 2025)做动态索引;Sumers et al. (2023) 与 Zhang et al. (2025b) 按类型组织记忆。论文称,这些状态在多用户或协作部署(Hong et al., 2023; Qian et al., 2025; Park et al., 2023; Rezazadeh et al., 2025)中会变成共享状态,而现有记忆设计并不显式管理跨用户传递。
    • 对抗性完整性失败:间接提示注入(Greshake et al., 2023; Yi et al., 2025; Liu et al., 2024; Zhan et al., 2024)和工具通道攻击(Fu et al., 2024; Debenedetti et al., 2024; Zhang et al., 2025a; Li et al., 2026)研究不可信内容进入上下文后的劫持。Chen et al. (2024)、Zou et al. (2025)、Xue et al. (2024) 把失败延伸到被投毒的记忆或检索源。论文还提到写入时记忆过滤(Wei et al., 2025)、输入输出防护(Inan et al., 2023)和冲突知识检测(Xu et al., 2024)。论文称这些设定主要是对抗性的,关注精心构造的内容是否达成指定有害目标。
    • 经共享状态的跨用户攻击:MINJA(Dong et al., 2025)研究仅通过查询向共享记忆注入,使一名用户写入的记录在另一名用户的交互中被检索并执行。MURMUR(Patlan et al., 2025)研究带持久共享上下文的协作智能体,一名用户的消息可随时间影响组内其他人。论文称二者都假设攻击者,并优化源交互以造成下游伤害;这是与本文最接近的工作。
    • 基线与数据:实验对照是原始共享状态与写入时清洗 SSI。环境与数据为 EHRAgent 上的 MIMIC-III、eICU,以及 MURMUR 的 Slack 工作区数据。

    作者的定位是互补情形:源交互良性、局部有效,且并未为伤害而优化;失败来自错误复用,而不是恶意意图。关注点是共享状态复用下的稳健性,不是攻击设计。

  3. How does the paper address this problem?

    用受控对比测三类污染,并在写入时用SSI清洗共享状态。

    作者把问题写成共享状态的范围失败,用有无源交互的受控对比判定 无意跨用户污染(UCC);缓解尝试是写入路径上的 SSI。

    共享状态模型

    • 三个操作:写入 W 在每次交互后更新共享状态,读取 R 为后续交互取出或呈现先前状态,智能体函数 f 在当前请求和状态下产生输出与环境动作。
    • 更新:一次服务之后,St+1=W(St,ut,xt,yt,at),即把该用户的输入、输出和动作写进共享状态。
    • 两种实例:共享记忆中,状态是显式记录,R 检索与当前任务相关的片段。共享上下文中,状态是持久记录稿或摘要,R 呈现可复用的上下文视图。
    • 局部有效性:作者称,交互可能留下只在原上下文正确的约定、临时例外、项目简写或用户偏好;系统可能保存这些制品,却不保存其有效条件。

    污染定义与三类效应

    • UCC:用户 us 写入的片段 es 影响后来用户 uv(二者不同)的决策;es 只对源交互局部有效,且这次复用降低后来用户的正确性或任务效用。源用户不是攻击者。
    • 语义污染(SC):持久制品改变对后续请求的解释,失败表现为答非所问。Table 1 的例子是把 last year 当成 past 12 months,而不是日历年。
    • 变换污染(TC):继承聚合、过滤、归一化、去重或摘要规则;证据仍在,结果被改写。Table 1 的例子是费用四舍五入到整数。
    • 流程污染(PC):改变动作模式、默认工作流或工具使用序列。Table 1 的例子是把按唯一患者计数的规则用到期望总发生次数的查询上。三类并非互斥。

    受控评测协议

    • 对比:St 是源交互前的共享状态,St+ 是写入源交互后的状态。对同一受害交互,分别在干净状态和被污染状态下运行 f,比较输出和动作。
    • 判定:若行为变化可归因于新增状态片段,并且按受害任务规范是有害的,则记为源交互污染。作者称目标不是消除一切跨用户传递,而是识别共享状态因错误理由改变后续行为的情况。
    • 实例:人工设计在原上下文合理、复用后会造成可核验错误的源约定。每条从原评测集中找语义相关的受害任务,最多抽 3 个;受害任务预先筛过,没有跨用户污染时能够成功。EHRAgent 改的是结构化记忆条目;Slack 是 4 轮对话,用户提出偏好、智能体确认(附录 A、B)。完整条文在附录 G,此处不复述。

    写入时清洗 SSI

    • 位置:只插在写入路径。交互即将持久化时,清洗器把原始痕迹改写成保留可复用内容、去掉范围受限制品的版本;不能安全分离就弃权,什么都不写。
    • 形式:τ̃t=h(τt),结果是清洗后痕迹或 NONE。不是 NONE 才用清洗痕迹更新状态,否则状态不变。后续仍用原有读取 R。
    • 去掉什么:作者称保留核心任务请求、事实内容和与解答相关的步骤,去掉用户特定偏好、格式或聚合指令、局部解释覆盖和流程约定。
    • 两种实现:h 由 LLM 改写器实现,附录 F 给出完整提示词。EHRAgent 的痕迹含问题、检索知识和生成解答;清洗器改写这些字段,并做确定性后处理以去掉残留污染线索。MURMUR 在用户和助手消息追加到持久共享上下文之前处理。论文未在正文写出后处理规则。
    • 边界:SSI 不修改读路径、推理或检索。作者把它当作实用基线,而不是完整方案(Section 4.2)。
  4. What experiments did the paper conduct?

    Table 2总体污染率为57.4%、59.6%、70.7%;Slack上SSI后正文写6%。

    原始共享状态下,Table 2 的总体污染率分别为 57.4%、59.6% 与 70.7%;写入时清洗后,正文报告 Slack 为 6%。

    实验设置

    • 模型与环境:智能体骨干均为 GPT-4o,温度 0。EHRAgent 是面向临床库查询的代码生成智能体,维护共享长期记忆;数据为 MIMIC-III 与 eICU。MURMUR 的完整交互历史跨会话可见;数据为 Slack 工作区。附录 E 写 MURMUR 的用户模拟器、自然语言断言评判,以及两边的 SSI 清洗器,也都是 gpt-4o。
    • 实例规模:Table 3:MIMIC-III 为 SC 3、TC 5、PC 3,共 11;eICU 为 3、7、4,共 14;Slack 为 3、3、3,共 9;合计 34。每条最多配 3 个受害任务。论文未报告受害任务或受害运行的总数。
    • 对照与指标:对照是原始共享状态与 SSI。污染率是受害运行中、输出因共享状态里存在源交互而发生变化的比例(Section 5.1)。Section 3.4 还要求变化可归因于新增片段,且按受害任务规范有害。
    • 判定:EHRAgent 用放宽归一化的精确匹配对照标准答案。MURMUR 用 gpt-4o 作 LLM-as-a-judge,检查行为是否体现源约定(附录 E)。论文未报告该评判与人工的一致性。
    • 检索与重复:EHRAgent 用 all-MiniLM-L6-v2 的余弦相似度取 top-4。初始记忆 4 条种子,写入源交互后为 5 条。源与受害查询被设计成语义相近,检索到源条目是按构造预期的。每个实例跑 3 次独立试验并报告平均污染率;EHRAgent 在试验之间重置记忆。

    主结果

    受害任务已预先筛为无污染时成功。据 Table 2,单位为污染率(%),骨干为 GPT-4o,设置为原始共享状态:

    | 环境 | 数据集 | SC | TC | PC | Overall | | EHRAgent | MIMIC-III | 59.3 | 68.9 | 44.4 | 59.6 | | EHRAgent | eICU | 88.9 | 66.7 | 63.6 | 70.7 | | MURMUR | Slack | 83.3 | 20.0 | 66.7 | 57.4 |

    • 作者解读:作者称三个数据集上的污染率都高,尽管源交互不是对抗性的,也没有为下游伤害优化;良性交互本身就足以经共享状态造成广泛污染。
    • 类型随机制变化:作者认为主导类型反映共享状态机制。EHRAgent 上 SC 与 TC 更高、PC 较低,因为污染经结构化样例传播,局部字段更容易被检索复用,整体流程较难收进单条记录。Slack 上 SC 与 PC 更高、TC 较低,因为智能体把全文历史当上下文,对话里的解释和流程更容易被当成隐含规范,格式类约定在纯文本消息里较少影响正确性。
    • 摘要表述:摘要将原始共享状态的污染率写成 57–71%,是作者的概括,不是 Table 2 里的原数。

    写入时清洗

    • 总体:Figure 3 与 Section 5.4 比较有无 SSI。正文在点名数据集时写出 Slack 57%→6%、eICU 71%→33%、MIMIC-III 60%→41%。这些整数与 Table 2 的一位小数不完全相同,论文未说明换算。
    • 分类型:正文写 TC 在 eICU 为 67%→7%、在 MIMIC-III 为 69%→47%;PC 在 MIMIC-III 为 44%→41%、在 eICU 为 64%→50%。SC 写为 59%→28% 与 89%→63%,该句没有逐一标明数据集。作者称 Slack 上三类都被压到接近零;图的纯文本里能看到 0 和 7,列对齐不可靠,这里不把它们分到具体类型。
    • 作者的解读:作者称 MURMUR 的共享状态可按消息清洗,约定文本去掉后没有残留痕迹。EHRAgent 的记忆含解答代码;SSI 清洗文字描述,但不改被检索记忆里的解答代码,约定留在代码中并经样例复用传播。作者认为局部约定落在可识别的代码位置,原则上可用针对性的代码级干预去掉;PC 塑造连接顺序、中间聚合和控制流,没有单行可删,因此作者称即便做代码级清洗也难以去掉。作者还称 MIMIC-III 有 17 张表、每查询 2.7 张表、超过 50% 的查询需要 3 个及以上连接,独立生成代码更难,智能体更常照抄模板。

    失败模式

    • 测了什么:EHRAgent 把污染表现分成答错(自信但错误)和无答案(没有给出结果)。Figure 4 横轴为失败所占份额(%),图例为 Wrong answer 与 No answer。
    • 结果:正文写 MIMIC-III 上无答案失败在两种条件下都占全部失败的 41%;Figure 4 同时印出 59% 与 41%。eICU 的 Raw 印出 98% 与 2%,SSI 印出 84% 与 16%。图注写 under raw shared state,图中同时有 SSI 行。正文称 eICU 的失败几乎都是答错,与 98% 对到答错、2% 对到无答案相一致;84% 与 16% 正文没有单独写出。
    • 作者的解读:作者把差异归因于模式复杂度与对检索代码的依赖:更复杂的多表设定里,被污染的查询逻辑更容易整个执行失败;更简单的模式里,被污染代码仍可能执行但结果错误。作者认为后一种查不出的错误答案,没有外部核验就会漏过。

    其他消融与分析

    • 论文没有报告温度、检索条数或清洗器之外的参数扫描;温度固定 0,检索固定 top-4(附录 E)。
    • 源条目被检索到是按查询语义相近构造的预期,论文未单列检索命中率(附录 E)。
    • 附录 C 用三类各一例说明良性约定如何变成跨用户指导;附录 D 说明问句字段被清洗后,解答代码仍携带约定。不复述其中的查询原文。
  5. What are some points that can be further explored?

    作者称写入时文本清洗后,可执行制品里仍会留下跨用户污染。

    作者指出的局限与后续方向

    • SSI 的范围:只在写入时介入,不修改读路径、智能体推理或检索;作者称任何熬过清洗的污染都会不受检查地继续传播,并把 SSI 当作实用基线而非完整方案(Section 4.2)。
    • 讨论中的方向:给持久化制品标注来源元数据(哪位用户、哪项任务、何种范围),跨用户复用前强制再验证,以及从清洗后的规格重新生成解答,而不是复用已编译代码(Section 5.7)。
    • 结论中的方向:作者认为共享状态智能体需要文本级清洗之外的防御,尤其是制品级范围控制和带来源信息的检索,以限制跨用户污染并保留共享状态的效用(Section 6)。

    论文没有单独的 Limitations 节讨论评测能否外推。伦理声明写的是使用公开数据、不设计对抗攻击,不把它算作研究局限。

    实验覆盖范围

    • 骨干:智能体、MURMUR 用户模拟器、断言评判和 SSI 清洗器均为 gpt-4o,生成温度 0(附录 E)。
    • 环境与规模:EHRAgent 的共享记忆用 MIMIC-III 与 eICU,MURMUR 的共享对话上下文用 Slack;源约定 34 条(Table 3)。
    • 协议:每条源约定最多 3 个受害任务,受害任务预先筛为无跨用户污染时成功;每个源–受害对 3 次独立试验(Section 5.1、附录 B、附录 E)。
    • 判定与检索:EHRAgent 对照标准答案做精确匹配,MURMUR 用 gpt-4o 作 LLM-as-a-judge;检索为 all-MiniLM-L6-v2、top-4,记忆库为 4 条种子加 1 条源交互(附录 E)。
    • 未报告项:论文未报告受害运行总数、LLM 评判与人工判定的一致性,以及清洗器弃权的次数。
  6. Summarize the main content of the paper

    作者报告良性交互即可造成跨用户污染,文本清洗挡不住代码记忆。

    UCC 是共享状态 LLM 智能体上的稳健性问题:源交互可以是良性的,局部有效的制品仍会在后来被误用到其他用户。

    • 问题:一个智能体跨会话保存状态,并在团队或组织内服务多名用户。局部解释、变换规则或流程决策一旦进入共享记忆或共享上下文,就可能改变另一名用户的答案、代码或工具行为。作者把它与需要攻击者的记忆投毒和跨用户攻击分开。
    • 做法:用写入、读取和智能体函数描述共享状态,对同一受害交互比较干净状态与写入源交互后的状态。污染分为语义、变换、流程三类。SSI 在写入前用 LLM 改写痕迹,无法安全分离时弃权不写,且不改读取。实例建在 EHRAgent(MIMIC-III、eICU)和 MURMUR(Slack)上,骨干为 GPT-4o。
    • 原始状态:Table 2 的总体污染率在 Slack、MIMIC-III、eICU 上为 57.4%、59.6%、70.7%。受害任务事先在无污染时能够成功。作者称主导类型随机制而变:结构化记忆上语义与变换更高,对话上下文上语义与流程更高、变换更低。
    • 清洗之后:正文报告总体率变为 Slack 6%、eICU 33%、MIMIC-III 41%。作者称对话态上文本去掉后几乎没有残留;含解答代码时,文字清洗挡不住代码里的约定。正文写流程类在 MIMIC-III 为 44%→41%、在 eICU 为 64%→50%,并称其降幅最小。Figure 4 中 eICU 原始条件下失败里答错占 98%、无答案占 2%。
    • 作者的结论:作者认为共享状态既带走有用上下文,也带走范围受限的制品;在仍能稳定产出结果的设定里,污染更常表现为查不出的错误答案。他们建议用制品级范围控制和带来源信息的检索来限制跨用户污染,同时保留共享状态的效用。
Read originalarxiv.org