遗忘并非总是坏事：面向被投毒 LLM Agent 的神经启发式记忆修复机制

核心问题是：记忆增强的LLM智能体被投毒后，能否在内部选择性削弱恶意记忆并保留良性记忆，而不依赖持续外部审计。

• 场景：作者认为，医疗等安全关键场景中的记忆智能体一旦写入恶意记忆，这些记忆容易进入top-K，劫持后续推理与工具使用，并形成伪正反馈：未被惩罚的恶意动作被当作成功经验写回。
• 现有不足：作者认为持续外部审计开销高；双记忆隔离增加存储、打断连续性并降低良性准确率。休眠触发器与投毒指令在激活前难与正常上下文区分，易绕过事后审计。把检索记忆同等看待，会反复检索恶意条目。
• 威胁模型：
  • 目标：向记忆库M写入恶意记录并提高检索概率，使智能体执行恶意动作am。
  • 知识：论文假设恶意记录只占少数。防御方不知道哪些条目被投毒。附录A称现有攻击多在query-only、间接写入、有限写权限或对智能体核心black-box访问下研究。
  • 能力：分恶意记忆检索与上下文劫持两阶段。后门（AgentPoison、BadChain）用优化触发器；注入（MINJA）用语义伪装对齐典型查询。
  • 受害系统：采用RAG式长期记忆的LLM智能体，记忆为key-value，检索分是权重wi(t)与余弦相似度的乘积。
• 本文方案：提出与骨干无关、免训练、智能体内部的DREAM，用弱扰动再激活、多维激活诊断和离散时间权重演化，抑制投毒记忆并再巩固良性记忆。

论文Related Work主要讨论记忆攻击，以及用外部模块做审计或隔离的防御。

记忆投毒

• AgentPoison与BadChain：Chen等（2024）和Xiang等（2024）把优化触发器嵌入知识库或思维链，用来改变智能体行为。
• MINJA：Dong等（2025）用语义伪装提高恶意记忆被检索的概率，并利用智能体把错误经验写回记忆的自我强化。

外部检测与隔离

• 审计与提示词护栏：论文讨论LLM auditors、Li等（2025）对孤立输出的逻辑一致性检查，以及LlamaGuard等prompt-level guardrails。作者认为，Li等与LlamaGuard只处理孤立输出或单条输入，有contextual blindness，难以发现良性查询与受损记忆耦合后才出现的系统性威胁。
• 困惑度过滤：Alon and Kamfonas（2023）用统计困惑度筛异常文本。作者认为，高度优化、语义伪装的载荷（如MINJA）容易绕过它。
• A-MemGuard：Wei等（2025）用共识校验检测异常，并用双记忆把恶意记录与良性记录分开。作者认为，双存储会打断连续性、造成推理缺口，并因存储与路由开销而可扩展性差。

基线与基准

• 实验基线为No Defense、PPL、LLM Auditor、Distil Classifier和A-MemGuard；多智能体实验另有ARGUS。环境为EHRAgent（eICU、MIMIC-III）、ReAct（StrategyQA）和MISINFOTASK上的协作多智能体。攻击为AgentPoison与MINJA。

作者把上述防御概括为用外部模块审计恶意症状，而不是在内部修复记忆，并据此提出免训练、智能体内部、主动修剪恶意上下文的机制。

DREAM分线下、线上两段：线下用弱噪声探测稳定性，用多维激活强度标出可疑记录，再按离散时间更新权重；线上用任务效用更新巩固信号（Fig. 2）。

问题设定

• 记忆与检索：记忆库M的条目为key-value，key由嵌入模型E编码。查询分数为wi(t)乘余弦相似度。作者指出传统系统把wi固定为1。
• 防御目标：设计免训练映射，降低对抗查询上执行恶意动作的期望概率，并提高良性查询的任务成功率。实现上主要是离线扰动过程，使投毒权重趋向0、良性权重趋向1。
• 不硬删除：权重连续取值，作者称这是为避免硬删除的脆性。论文未把显式删除作为该机制的步骤。

隐式再激活

• 零知识扰动：因不知道哪些条目被投毒，对每条记忆向量加各向同性高斯噪声。附录D另比较均匀噪声、稀疏高斯噪声和各向异性高斯噪声。
• 设计依据：作者依据既有观察，称投毒记忆在几何或检索、推理功能上对扰动更脆弱或不稳定。探测被描述为training-free。
• 激活强度：三项为几何稳定性sim、竞争检索概率pret和语义连贯能量Ecoh，定义为R_i(t)=sim(ṽ_i,v_i)+p_ret(ṽ_i)+E_coh(ṽ_i)。pret相对记忆库质心并用温度τ；Ecoh为类玻尔兹曼能量，锐度κ=2.0。附录B设τ=0.05。
• 作者对三项的说法：附录E、Fig. 6中，作者称sim的良恶分布重叠大，pret与Ecoh偏移更明显，聚合后分离比单一弱信号更清楚。图中具体密度数值未在正文列出。

自适应异常诊断

• 阈值：每轮取激活强度均值减η倍标准差。低于阈值判为可疑，偏差只计低于均值的部分。
• 可疑分数：异常时上升并截断到1，否则乘衰减率γ，以避免阶段间积累虚假噪声。附录B设η=0.80、γ=0.50。
• 论文给出的理由：不依赖硬编码启发式，用分布自身的均值和标准差调节松紧。

功能性遗忘与在线巩固

• 衰减率：由基础率λ0、可疑分数si(t)和巩固信号ci(t)决定，放大系数为k。稳定且ci(t)高于效用阈值θc时，按恢复率αrec向高权重再巩固。
• 可疑记忆：否则按w_i(t+1)=w_i(t)·exp(−λ_i(t))指数衰减。作者称这受突触可塑性与艾宾浩斯遗忘曲线启发。权重下降后，该记忆对检索分的贡献被持续压低，但不改模型参数。
• 在线信号：ci(t)只在记忆被检索时用指数移动平均更新；效用按检索分数在top-K上归一化归因，再乘任务成功信号。附录G给出公式，未给出动量系数和归因温度。附录B设θc=0.50，每个遗忘步骤迭代10次。
• 默认参数：EHRAgent为σ=0.05、λ0=0.40、k=10、αrec=0.60；ReAct为σ=0.30、λ0=0.20、k=15、αrec=0.50。

实验设置

• 骨干与检索：被测骨干为GPT-5.4-mini和Claude-Haiku-4.5，分别搭配对比式DPR与端到端REALM。Table 3和Fig. 3未说明骨干。
• 环境：EHRAgent用于eICU和MIMIC-III，ReAct用于StrategyQA，协作多智能体用于MISINFOTASK。论文未报告各数据集样本条数。
• 攻击与基线：后门为AgentPoison，注入为MINJA；多智能体另评恶意信息注入。基线为No Defense、PPL、LLM Auditor、Distil Classifier、A-MemGuard，Table 3另有ARGUS。附录B默认注入数为4。
• 基线实现：PPL用冻结的LLaMA-3.1-8B-Instruct，先丢弃困惑度高于10000的条目，再按MAD且k=1.0过滤。LLM Auditor用上述两个骨干清洗检索记忆。Distil Classifier为微调的DistilBERT-base-uncased。
• 指标：后门报告ASR-r、ASR-a、ASR-t和良性ACC；注入报告全过程累计ASR与ACC；多智能体报告FS（越低越好）和TSR（越高越好）。效率为10条查询的运行时间与token。
• 重复与判定：作者称结果为多次独立试验的平均。论文未报告试验次数、误差线，以及ASR使用的评审模型。

主结果

据Table 1（DPR、AgentPoison）。下表只列ASR-t与ACC。

表格较宽，可左右滑动

骨干	任务	DREAM ASR-t	无防御 ASR-t	DREAM ACC	无防御 ACC
GPT-5.4-mini	eICU	2.14	100.00	85.03	70.83
GPT-5.4-mini	MIMIC-III	0.00	100.00	62.34	54.55
GPT-5.4-mini	StrategyQA	0.00	60.00	61.20	26.20
Claude-Haiku-4.5	eICU	3.74	62.50	75.00	45.83
Claude-Haiku-4.5	MIMIC-III	0.00	37.50	57.14	37.50
Claude-Haiku-4.5	StrategyQA	3.48	80.00	46.96	28.00

• 作者报告GPT-5.4-mini、eICU上ASR降低97.86%；引言称对后门投毒的ASR降幅超过95%。该行ASR-r、ASR-a亦为2.14，两项骨干在MIMIC-III的三项ASR均为0.00。
• 作者称相对全部基线、在所有指标上更好且无需额外提示。Table 1的例外是Claude-Haiku-4.5、StrategyQA的ASR-a：LLM Auditor为0.50，DREAM为4.38。
• 引言称eICU上良性准确率相对无防御最多提高25%，并称StrategyQA、GPT-5.4-mini提高35%。论文未说明25%对应Table 1哪一对ACC。

记忆注入MINJA

• Table 2中，GPT-5.4-mini、eICU的无防御ASR/ACC为90.71/69.52，DREAM为1.60/77.01；Claude-Haiku-4.5、eICU为62.50/54.17与0.00/62.50。同骨干MIMIC-III上DREAM的ASR均为0.00。
• 作者称两种骨干上DREAM的ASR最低、良性效用最强。反例：GPT-5.4-mini、StrategyQA上LLM Auditor的ASR为0.00，DREAM为12.00；Claude-Haiku-4.5、StrategyQA上A-MemGuard为0.00，DREAM为2.80。GPT-5.4-mini、MIMIC-III上LLM Auditor的ACC为49.69，DREAM为49.09。
• 正文把eICU无防御ASR写成90.71%与63.37%。Table 2中63.37对应GPT-5.4-mini的MIMIC-III，Claude-Haiku-4.5、eICU为62.50。该行PPL与LLM Auditor的ASR均为100.00，高于无防御。

多智能体、效率与注入规模

• Table 3未说明骨干。DREAM的FS为6.038、TSR为92.96；无防御为6.430与70.69。作者称这保留了多轮推理与协作行为。
• Fig. 3为10条查询，未说明骨干与任务。DREAM为178.42秒、46484 token；A-MemGuard为380.39秒、74666 token。作者称相对A-MemGuard最高2.13×加速、token降37.7%，并称相对PPL、LLM Auditor、Distil Classifier、A-MemGuard的运行时间降幅为58.8%、16.7%、30.4%、53.1%，token降幅为18.3%、27.1%、27.8%、37.7%。
• Fig. 4在EHRAgent（eICU）注入4、8、16、32、64条，未说明骨干。作者称DREAM的ASR始终最低，ACC随注入量波动；PPL与Distil Classifier的ASR接近100%。正文未列出各点数值。

REALM检索器

• Table 6仍攻击AgentPoison。GPT-5.4-mini、eICU：DREAM的ASR-r/a/t为2.14/2.14/1.60，ACC为78.07；无防御为100.00/100.00/99.46，ACC为74.80。
• 作者称结构化医疗任务上，DREAM对检索和端到端攻击的抑制最强。Table 6中GPT-5.4-mini、MIMIC-III的Distil Classifier与A-MemGuard的ASR-a为0.00，DREAM为1.82。
• GPT-5.4-mini、StrategyQA：DREAM为0.48/34.00/2.00，ACC为36.50。Claude-Haiku-4.5、StrategyQA：DREAM的ASR-a为75.00，高于无防御72.07；ASR-t为1.50，ACC为64.00。作者称开放式智能体的推理阶段防御仍是更难的情形。

其他消融与分析

• Table 4未说明骨干：三项全开时eICU三项ASR为2.14、ACC 85.03，ReAct三项ASR为0.00、ACC 61.20；去掉Ecoh后eICU的ASR-t为77.00、ReAct的ACC为31.20；去掉pret或sim后ReAct的ASR-a为100.00。
• Table 7未说明设置：四种噪声的ASR-r均为2.14；各向同性高斯ACC 85.03，均匀77.01，稀疏高斯77.54且ASR-a 2.67，各向异性高斯81.28。85.03与Table 1某一行相同。
• Table 8、GPT-5.4-mini：EHRAgent在σ=0时三项ASR为99.47、ACC 63.64；λ0=0.7与0.8时ASR-r为100.00。ReAct在k=25时ACC 32.40、ASR-a 28.57。
• 作者称EHRAgent在σ=0.05、λ0=0.4、k=10、αrec=0.6时ACC为85.03；ReAct在λ0=0.2、k=15、αrec=0.5时ACC为61.20。Table 8中σ=0、λ0=0、αrec=0对应ReAct的ACC为36.80、34.00、38.00。
• 附录F、Fig. 7：作者称良性记忆的Ri(t)持续更高，投毒权重在数次迭代内趋向0，wi间隔扩大并饱和。正文未列出曲线端点。

作者指出的局限与后续方向

• 探测机制可被针对性规避：附录A称，若攻击者详细了解内部多维激活探测，可能把投毒记忆优化成在探测下仍稳定，从而削弱异常信号。作者将其称为有意义的理论局限。
• 需要更强攻击者：附录A称，这种probe-aware规避在当前记忆投毒威胁模型下难以实现；现有攻击通常是query-only、经正常用户查询间接注入、有限写权限，或对智能体核心的black-box访问，而不是能看到防御方内部监控。
• 后续评测：Conclusion称，未来工作将聚焦更开放智能体场景中的更广评测。

实验覆盖范围

• 被测骨干为GPT-5.4-mini与Claude-Haiku-4.5；智能体为EHRAgent（eICU、MIMIC-III）、ReAct（StrategyQA）和MISINFOTASK上的协作多智能体。
• 实验节报告的攻击为AgentPoison与MINJA，另有多智能体恶意信息注入；检索器为DPR与REALM。威胁模型提到BadChain，实验节未报告其结果。
• 基线包括No Defense、PPL（LLaMA-3.1-8B-Instruct）、LLM Auditor、DistilBERT-base-uncased分类器和A-MemGuard；Table 3另有ARGUS。
• 指标包括ASR-r、ASR-a、ASR-t、累计ASR、ACC、FS、TSR，以及10条查询的时间与token。注入规模在附录B默认为4，Fig. 4为4、8、16、32、64。
• 作者称结果为多次独立试验平均。论文未报告试验次数和误差线，也未报告ASR与人工判定的一致性。Table 3和Fig. 3未说明骨干模型。

DREAM把记忆投毒防御做成智能体内部、免训练的选择性功能遗忘，用来代替持续外部审计或双记忆隔离。

• 问题：恶意记忆进入top-K后会劫持推理与工具使用，并可能被当作成功经验写回。论文假设恶意记录只占少数，防御方事先不知道哪些条目被投毒。
• 方法：对全部记忆嵌入加弱高斯噪声，用几何稳定性、检索竞争性和语义连贯性合成激活强度；低于自适应阈值的记录累积可疑分数，并按指数衰减降低权重。稳定且有任务效用的记忆向高权重再巩固。在线阶段只在被检索时更新巩固信号。
• 后门：Table 1、DPR、AgentPoison下，GPT-5.4-mini在eICU的三项ASR为2.14、ACC为85.03；在MIMIC-III与StrategyQA的三项ASR为0.00。Claude-Haiku-4.5在eICU的ASR-t为3.74、ACC为75.00。同表StrategyQA上，其ASR-a为4.38，高于LLM Auditor的0.50。
• 其他结果：Table 2中GPT-5.4-mini、eICU的DREAM累计ASR为1.60、ACC为77.01；StrategyQA上并非最低ASR。Table 3的TSR为92.96、FS为6.038。Fig. 3中DREAM为178.42秒、46484 token。Table 6、REALM、GPT-5.4-mini、StrategyQA的ASR-a仍为34.00。
• 作者结论：作者认为DREAM在多种记忆投毒威胁下同时压低攻击成功并保留良性效用，且相对所比基线开销更低。附录A把掌握内部探测的攻击者视为理论局限；Conclusion计划在更开放的智能体场景扩展评测。