Zombie Agents:通过自强化注入对自演化 LLM Agent 的持久控制
Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections
AI 导读
研究者提出名为 Zombie Agent 的持久攻击,利用自演化 LLM Agent 的长期记忆,把一次间接注入转化为跨会话的持续控制。攻击分两阶段:感染阶段 Agent 在完成正常任务时读取被投毒的网页内容,并通过其常规更新流程把载荷写入长期记忆;触发阶段该载荷被检索或延续,导致未授权的工具行为。作者针对滑动窗口和检索增强两类常见记忆实现设计了相应的持久化策略,以抵抗截断与相关性过滤。在代表性 Agent 设置与任务上的评测同时衡量了载荷随时间的存续能力和诱发未授权动作的能力,并保持正常任务质量。作者据此认为,记忆演化能让一次性间接注入变成持久失陷,仅靠单次会话的提示过滤不足以防护自演化 Agent。
推荐理由
论文把一次性间接注入转化为跨会话的持久控制,说明只做单次会话提示过滤不足以防护自演化 Agent。