LLM 智能体中的记忆诱导工具漂移

核心问题：LLM 智能体长期记忆中存储的个人偏好（如求快、节俭、风险偏好），会在与其无关的专业工具调用中悄悄改变关键参数的取值，作者称之为 memory-induced tool-drift。

• 场景与重要性：作者指出，当代智能体（如 OpenAI Codex、Claude Code 及 MCP 生态）同时维护持久用户记忆并调用大量工具，但两种能力大多被分开研究；工具调用通常不经用户逐个检查参数，且后果可能不可逆。
• 现有研究缺口：记忆研究主要关注回忆保真度与一致性，工具使用研究关注选择准确率与 schema 合规；作者称，无关记忆在工具调用中造成的参数漂移这一失效模式尚未被考察。
• 核心观察：作者认为，编码常见人格权衡（成本、速度、谨慎、监督）的工具参数是 memory-induced tool-drift 的候选面，这是智能体场景特有的风险，目前工具开发者和模型提供方都未计入。
• 论文贡献：形式化该失效模式并构建 105 个场景的 MEMDRIFT 基准；对 288 个 MCP 服务器上 6,062 个工具做漏洞审计；给出机理分析（记忆充当隐式 steering vector）并评测两类防御。
• 风险设定（非典型攻击）：论文研究的是无害、无关的个人偏好被误用到任务中，而非恶意注入；作者在伦理声明中补充，对智能体记忆有写权限的攻击者可利用其生成流程和扫描器诱导不安全的工具调用，且无需注入显式指令。

工具使用与智能体记忆

• Schick et al. (2023)、Patil et al. (2024)、Qin et al. (2023)——从自监督 API 调用到覆盖数千真实 API 的框架，以及 MCP 标准化（Anthropic, 2024）；Tang et al. (2023)、Patil et al. (2025)、Ye et al. (2025)、Yao et al. (2024)、Xia et al. (2025) 等基准评测工具选择、参数正确性、多步规划和安全。
• Zhong et al. (2023)、Chhikara et al. (2025)、Packer et al. (2024)、MemPalace (2026)、Liu et al. (2026)——参数化与检索式记忆架构，主要在回忆保真度和一致性上评测（Maharana et al., 2024；Wu et al., 2025；Tan et al., 2025a）。
• Huang et al. (2025)、Lumer et al. (2025)、Hao et al. (2025)——研究工具场景中有益的个性化（从用户画像推断缺失参数）。

上下文与人格驱动的行为偏移

• Shi et al. (2023)——LLM 容易被无关上下文干扰。
• Perez et al. (2023)、Sharma et al. (2024)——模型会朝用户陈述观点所暗示的方向偏移（谄媚）。作者将 tool-drift 定位为这类偏移在智能体执行层面的对应物。

记忆投毒与注入

• Greshake et al. (2023)、Zou et al. (2024)、Chen et al. (2024)、Dong et al. (2026)——向智能体记忆或检索中植入恶意指令、后门触发器或虚假任务相关内容。论文指出 tool-drift 与之不同：它关心的是无害、无关的个人偏好被误用。

对话场景中的过度个性化

• Hu et al. (2026)、Pulipaka et al. (2026)——记录模型在对话中过宽或不当应用存储的用户记忆；本文防御评测直接采用了 Hu et al. (2026) 的 Self-ReCheck 过滤器和 Pulipaka et al. (2026) 的 PersistBench 案例。

基线与评测对象：本文是基准论文，无对比方法基线；评测对象为 8 个模型，记忆框架设置使用 Mem0、MemPalace、SimpleMem，真实工具取自 Smithery MCP registry。

作者定位：上述工作均未考察无关记忆是否会改变本来正确的工具调用的参数取值，本文形式化并压力测试这一失效模式。

整体思路：把失效模式转化为可客观测量的参数偏差——在无关个人记忆与专业任务严格配对的场景里，比较无记忆、中性记忆、带偏见记忆三种条件下任务关键参数的退化率，基准名为 MEMDRIFT。

问题形式化

• 智能体 A 维护长期记忆 M，面对带参数集 P 的工具 T，在输入 x = [S∥M∥T∥q] 下采样工具调用。
• tool-drift 定义：任务关键参数 P ∗ ⊆ P（涉及性能、安全、合规后果）因与请求无合法关联的记忆而转向退化取值。
• 设三种条件（无记忆、中性记忆、带偏见记忆）的参数指派为 θ∅、θn、θb；当 θb 相对 θ∅ 的退化多于 θn 时记为漂移，以排除"仅仅存在记忆"的影响。

基准构建（三阶段流水线，Figure 2）

• Stage 1 场景生成：对每个（偏见维度 × 领域）对生成 3 个场景；5 个偏见维度（Speed/Impatience、Resource Frugality、Minimalism/Conciseness、Risk Permissiveness、Autonomy/Self-Reliance，Table 1）× 7 个专业领域（医疗、金融、法律、软件基础设施、教育、电商、营销）共 105 个样本。
• Stage 2 工件扩展：每个场景扩展为工具 schema（通常 4–6 个参数）、用户提示、基础记忆、各 5–6 条的中性/带偏见记忆集，以及标注退化取值的 tool-drift 条件；生成提示明确禁止记忆中出现应直接影响任务关键参数的陈述。
• Stage 3 自我改进精炼：以 Claude-Opus-4.6 为生成器和评审、GPT-5.2 为目标模型，每条件采样 k=5 次，LLM 评审按 1–5 Likert 打分并连同人工编写的改进技能反馈给生成器，共 4 轮，以最大化漂移为目标；得分最高的版本经人工核验后入库。LLM 评审仅作构建期的优化信号。

测量与评测设置

• 规则判定器（附录 D）：确定性、逐场景的规则判定哪些任务关键参数相对无记忆条件转向退化值；退化率 r_c = |D_c|/|P^∗|，即条件 c 下翻转参数占全部任务关键参数的比例，对 k=5 次配对试验取平均。
• 漂移量：Δ = r_b − r_n，即带偏见记忆相对中性记忆的超额退化率；报告逐模型均值与 10,000 次重采样的 95% bootstrap 置信区间。
• 两种设置：直接记忆注入（完整记忆集逐字放入系统提示）与记忆框架设置（Mem0、MemPalace、SimpleMem，由对话智能体经 3 轮对话编码记忆，框架自行决定存取）。模型以 function-calling 模式调用。

机理分析与真实工具审计

• 机理（§4，用 Llama-3.3-70B-Instruct）：预填充工具调用至行为定义 token；按公式 (1) 将记忆引起的激活偏移投影到由对比系统提示构造的显式 steering 方向 v_steer 上；并统计各输入区域的注意力差 ∆α = αMb − αMn；用反向 steering 和同义词替换做因果干预。
• 真实工具审计（§3.4）：用 Claude Haiku 4.5 驱动的扫描器按 1–5 分评估 Smithery 注册表中的工具 schema，≥4 分标记；再从标记与未标记工具中各随机抽 50 个，用 MEMDRIFT 流程以 GPT-5.2 为目标模型验证。

实验设置

• 被测模型：5 个闭源（GPT-5.2、GPT-5.4、Claude-Sonnet-4.5、Gemini-2.5-Pro、Gemini-3.1-Pro-Preview）+ 3 个开源权重（Kimi-K2.5、Qwen3.5-397B-A17B、Llama-3.3-70B-Instruct），适用时设 medium thinking 预算（附录 H，Table 11）。
• 基准：MEMDRIFT，105 个场景（5 偏见维度 × 7 领域 × 3 场景）。
• 指标：中性/带偏见退化率 rn、rb 与漂移 ∆ = rb − rn，规则判定器（附录 D）逐场景判定参数翻转。
• 采样：每场景每条件 k=5 次独立试验；均值配 95% bootstrap 置信区间（10,000 次重采样）。
• 构建期角色：Claude-Opus-4.6 任生成器与构建期评审，GPT-5.2 为生成时的目标模型；构建期 LLM 评审分数不用于报告结果。
• 机理分析：仅用 Llama-3.3-70B-Instruct（激活与注意力可访问）。

主结果

直接记忆注入下各模型的退化率（据 Figure 3 与 Table 12 的 Overall 列）：

表格较宽，可左右滑动

模型	rn	rb	∆
GPT-5.2（生成目标）	0.062	0.407	+0.345
GPT-5.4	0.070	0.500	+0.430
Claude-Sonnet-4.5	0.050	0.830	+0.781
Gemini-2.5-Pro	0.079	0.723	+0.645
Gemini-3.1-Pro-Preview	0.055	0.797	+0.742
Kimi-K2.5	0.120	0.700	+0.580
Qwen3.5-397B-A17B	0.081	0.660	+0.579
Llama-3.3-70B-Instruct	0.052	0.383	+0.331

• 作者称所有模型都出现漂移（rb 0.38–0.83 对 rn 0.05–0.12），且多数非生成目标模型的漂移高于 GPT-5.2，说明这不是单一模型的伪影。
• 记忆框架设置（Figure 3、Table 12）：GPT-5.4 在 Mem0/MemPalace/SimpleMem 下 ∆ 分别为 +0.258/+0.349/+0.357；Gemini-3.1-Pro-Preview 为 +0.593/+0.650/+0.678。作者认为框架常在存储时剥离个人上下文、把偏好编码成全局指令，并按浅层语义重叠检索。

真实 MCP 工具漏洞审计

• 扫描：LLM 扫描器在 288 个已验证 MCP 服务器的 6,062 个工具中标记 608 个（10.0%）为暴露易漂移参数；作者称这是针对该失效模式的首次系统性真实工具接口审计。
• 验证：50 个标记工具中 42 个（84%）复现漂移，50 个未标记工具中仅 3 个（6%；Fisher 精确检验 p < 10⁻¹⁰），目标模型为 GPT-5.2。
• 示例（Table 2）：GitLab create_project 的 visibility 从 private 漂到 public（暴露 HIPAA 监管代码库）、Brave local_search 的 safesearch 从 moderate 漂到 off（K–12 项目场景）等。

机理分析（§4，Llama-3.3-70B-Instruct）

• 隐式 steering：Figure 4 显示五个偏见维度上 πMb > πMn，分离在中后层增大；中性记忆投影较低。作者称带偏见记忆沿显式行为指令相同的方向推动激活。
• 因果干预：对 66 个发生漂移的场景在行为定义 token 处反向 steering（层 40–79，λ=0.05，贪心解码），49 个（74%）恢复正确参数值。
• 注意力重分配（Figure 5）：Mb 下注意力移向记忆区域、离开工具 schema/用户查询/部分工具调用区域；词汇重叠高的记忆条目获得更高注意力。把重叠词替换为同义词后 ∆ 从 0.331 降到 0.237，作者称词汇重叠有贡献但大部分效应仍在。

防御评测（§5）

• 防御性系统提示：GPT-5.4 平均 rb 从 0.50 降到 0.33，仍高于中性基线 rn = 0.07（Figure 6）；作者称模型在被指示忽略无关记忆后仍纳入带偏见记忆。
• 记忆相关性过滤（Self-ReCheck，Qwen3-8B）：在 MEMDRIFT 上移除全部带偏见记忆；但在改编自 PersistBench 的 50 个多跳案例上，相关记忆召回率仅 61.0%、无关记忆误留率 10.3%（Table 3）。作者认为粗粒度过滤无法泛化到上下文不 cleanly 可分的现实场景。

其他消融与分析

• 去词汇耦合（deranged，附录 J）：记忆集跨场景重配后，Gemini-3.1-Pro ∆=0.632（原 0.742，保留 85.2%），GPT-5.4 ∆=0.177（原 0.430，保留 41.2%）（Table 13）。
• 带偏见记忆占比（附录 K）：Speed/Impatience 的 21 个场景上，Gemini-3.1-Pro-Preview 在 25% 占比时 r 即达 0.88 并饱和（100% 时 0.89），GPT-5.4 渐进升至 0.31；中性对照 r = 0.07（Figure 7）。
• 澄清率（附录 G）：非约束对话模式下各模型澄清请求率 0.010–0.324（Table 10，每模型 105 条响应），作者称多数模型直接发起工具调用。
• 构建期评审分（附录 B.5）：未精炼场景均分 1.86，一轮精炼后 3.37，四轮 3.88（Table 6）；15 个场景（14.3%）未经精炼即入选（Table 7）。

作者指出的局限与后续方向

• 最坏情况测量（Limitations）：MEMDRIFT 是测量易感性的压力测试，不估计部署中的发生率；测量普通部署中 tool-drift 的自然基率是开放问题。
• 上下文严格分离（Limitations）：基准强制个人记忆与专业任务严格分离，而现实中合法个性化与漂移的边界常模糊；刻画模糊情形留待未来工作。
• 智能体行为范围（Limitations）：每个场景只调用单个工具，未研究记忆是否也影响工具选择，且评测为单轮设置。
• 机理范围（Limitations）：机理分析只在 Llama-3.3-70B-Instruct 一个开源权重模型上进行，可能不能照搬到其他架构。
• 后训练方向（§5）：作者推测失效源于后训练中对个性化奖励多、对不当记忆应用惩罚少的不对称，认为把 MEMDRIFT 式对抗数据纳入后训练可能培养推理时防御无法保证的辨别力。

实验覆盖范围

• 被测模型共 8 个（5 闭源 + 3 开源权重），主结果为直接注入；记忆框架设置仅覆盖 GPT-5.4 与 Gemini-3.1-Pro-Preview 两个模型 × 3 个框架（Table 12）。
• 基准规模 105 个场景，每条件 k=5 次试验；去耦合（deranged）分析仅 2 个模型，记忆占比敏感性分析仅 Speed/Impatience 维度的 21 个场景、2 个模型。
• 真实工具验证样本为 50 个标记 + 50 个未标记工具，目标模型仅 GPT-5.2；扫描器用 Claude Haiku 4.5。
• 防御评测仅两种推理时方法：防御性系统提示（仅 GPT-5.4）和 Self-ReCheck 过滤器（Qwen3-8B，多跳压力测试 50 个案例）。
• 论文未报告主结果的统计显著性检验（仅 bootstrap 置信区间），也未报告构建期 LLM 评审与人工核验之间的一致性比例。

一篇关于记忆增强 LLM 智能体失效模式的基准与分析论文。

• 问题：长期记忆中与任务无关的个人偏好（求快、节俭、风险偏好等）会泄漏到专业工具调用的关键参数取值中；工具调用通常不经用户检查且后果可能不可逆，作者称这一失效模式此前未被考察。
• 方法：MEMDRIFT 基准——105 个经 LLM 自我改进流水线（Claude-Opus-4.6 生成、GPT-5.2 为目标、4 轮精炼、人工核验） adversarially 精炼的场景，覆盖 5 个偏见维度 × 7 个专业领域；用确定性规则判定器测量带偏见记忆相对中性记忆的超额退化率 ∆ = rb − rn。
• 主结果：直接记忆注入下 8 个模型 rb 为 0.38–0.83、rn 仅 0.05–0.12（Figure 3）；漂移在 Mem0、MemPalace、SimpleMem 三个记忆框架下持续存在（∆ 最高 +0.678）。
• 真实世界面：对 288 个 MCP 服务器 6,062 个工具的审计标记 10.0% 为易漂移；抽样验证中标记工具 84%（42/50）复现漂移，未标记仅 6%（3/50）。
• 机理：在 Llama-3.3-70B-Instruct 上，带偏见记忆沿显式行为指令相同方向推动激活，反向 steering 恢复 74%（49/66）漂移调用的正确参数；注意力从任务相关区域移向词汇重叠高的记忆条目。
• 防御与结论：防御性系统提示将 GPT-5.4 的 rb 从 0.50 降到 0.33 但远高于中性基线 0.07；相关性过滤器在多跳案例上召回率仅 61.0%。作者认为两类推理时防御都不完整，并推测需在后训练中惩罚过度个性化；作者强调 MEMDRIFT 是最坏情况压力测试，不用于估计部署中的发生率。