AgentSys：通过显式分层记忆管理实现安全且动态的 LLM Agent
AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management
论文速读
据论文全文整理（AI 生成），以原文为准
华盛顿大学圣路易斯分校与约翰霍普金斯大学的研究者提出 AgentSys，用显式分层记忆管理防御 LLM Agent 的间接提示注入，在 AgentDojo 上把攻击成功率降至 0.78%。
- LLM agent 通过 context window 保存交互历史，常规设计会把所有工具输出和推理痕迹不加区分地累积进记忆，导致两个问题：注入的指令在整个工作流中持续存在，给攻击者多次操纵机会；冗长无关内容还会稀释注意力、降低决策能力。
- 作者提出 AgentSys，借鉴操作系统进程内存隔离，把 agent 组织成层级结构：主 agent 只做高层决策，每次工具调用派生短生命周期 worker agent 在隔离上下文中处理原始输出，只有经 JSON 语法校验、符合预先声明 intent schema 的返回值才能回到主 agent；递归工具调用由 validator 把关，仅对可能产生副作用的 command 工具触发，被拒时进入有界 sanitize–restart 恢复。
- 在 AgentDojo 和 ASB 上，AgentSys 报告 ASR 分别为 0.78% 和 4.25%，benign utility 64.36% 略高于无防御基线 63.54%；消融显示仅靠上下文隔离即可把 ASR 降到 2.19%；在 ≥4 次工具调用的任务上 ASR 为 0%；面对手工自适应攻击和 PAIR 迭代攻击，ASR 仅升至 1.43% 和 2.06%；在六个基础模型上表现稳健，token 开销与部分系统级防御相当。
- validator 仍是 LLM 检查器，可能误批或误拒；schema 校验通道中的字符串字段仍可能夹带对抗内容；主 agent 需在观察工具输出前声明 intent schema，对探索性任务可能过严或过宽。作者建议改进 validator 准确性、发展兼顾表达力与安全的自动 schema 生成。
华盛顿大学圣路易斯分校与约翰霍普金斯大学的研究者提出 AgentSys，用显式分层记忆管理防御 LLM Agent 的间接提示注入，在 AgentDojo 上把攻击成功率降至 0.78%。主 Agent 为每次工具调用派生运行在隔离上下文中的 worker agent，外部数据与子任务推理轨迹不进入主 Agent 记忆，只有通过 JSON 校验的返回值能跨隔离边界；递归工具调用由 validator 把关，被拒时进入有界的 sanitize-restart 恢复流程。在 ASB 上攻击成功率为 4.25%，良性任务效用 64.36%，略高于无防御基线的 63.54%，在工具调用不少于 4 次的任务上攻击成功率为 0。消融实验显示，仅保留上下文隔离即可把攻击成功率降到 2.19%；面对人工构造与 PAIR 迭代细化的自适应攻击，攻击成功率分别为 1.43% 和 2.06%。
推荐理由论文借用操作系统进程隔离的思路管理 Agent 记忆，在 AgentDojo 上把攻击成功率降到 0.78%，并与十种防御做了对比。