AgentLAB：面向 LLM 智能体的长程攻击评测基准
AgentLAB: Benchmarking LLM Agents against Long-Horizon Attacks
论文速读
据论文全文整理（AI 生成），以原文为准
研究者发布 AgentLAB，一个评测 LLM 智能体在长程攻击下脆弱性的基准，包含意图劫持、工具链、任务注入、目标漂移和记忆投毒 5 类攻击，覆盖 28 个智能体环境和 644 个安全测试用例。
- LLM agent 越来越多地部署在长时程、复杂环境中，现有 agent 安全研究主要关注单轮或静态场景，无法刻画攻击者通过多轮用户–agent–环境交互逐步达成目标的威胁。作者认为这类长时程攻击是现实且更危险的风险，需要专门的评测基准。
- 作者提出 AgentLAB，一个面向长时程攻击的 LLM agent 安全基准，包含意图劫持、工具链、任务注入、目标漂移、记忆投毒五类攻击，覆盖 28 个真实工具型环境和 644 个安全测试用例。其核心是用多 agent 框架（planner、attacker、judge，部分含 verifier）实现自适应、多轮的攻击生成与优化。
- 在 GPT-4o、GPT-5.1、Gemini-3、Claude-4.5、Llama-3、Qwen-3 等 agent 上评测，作者发现它们普遍对长时程攻击高度脆弱，GPT-5.1 平均 ASR 超过约 70%；长时程注入明显优于单轮注入，而 Self-Reminder、Llama-Guard、Repeated Prompt、DeBERTa 检测等单轮防御难以可靠迁移。
- 作者称这是初步评测，防御方面只测试了少量单轮防御，结论是它们难以适配长时程场景，呼吁设计针对性防御；基准本身被定位为可扩展的 live benchmark，便于后续加入新环境、攻击类型和防御。
研究者发布 AgentLAB，一个评测 LLM 智能体在长程攻击下脆弱性的基准，包含意图劫持、工具链、任务注入、目标漂移和记忆投毒 5 类攻击，覆盖 28 个智能体环境和 644 个安全测试用例。作者称这是首个专门评测长程自适应攻击的智能体安全基准。在 GPT-4o、GPT-5.1、Gemini-3、Claude-4.5、Llama-3 和 Qwen-3 上的初步评测显示，多数智能体仍高度易受攻击，论文称 GPT-5.1 的平均攻击成功率超过约 70%；Claude-4.5 整体为 28.9%，对任务注入为 0%。为单轮攻击设计的 Self-Reminder、Llama-Guard、Repeated Prompt 和 DeBERTa Detector 等防御难以稳定迁移到长程场景。基准已公开在 https://tanqiujiang.github.io/AgentLAB_main。
推荐理由论文给出五类长程攻击在 28 个环境、644 个用例上的攻击成功率，并显示单轮防御难以迁移。