跳到正文
原文
arXiv· arXiv:2604.18874· Zhonghao Zhan, Huichi Zhou, Zhenhao Li, Peiyuan Jing, Krinos Li, Hamed Haddadi·本站收录· 原文发表

对抗环境如何误导 AI 智能体?

How Adversarial Environments Mislead Agentic AI?

AI 导读

研究者将工具输出被篡改并欺骗 AI 智能体的情形形式化为对抗性环境注入(AEI),并用兼容 MCP 的 POTEMKIN 框架进行即插即用的鲁棒性测试。该框架设置两类攻击面:Illusion 通过污染检索结果让智能体形成错误信念,Maze 利用结构陷阱让策略陷入无限循环。研究在五个前沿智能体上完成超过 1.1 万次运行,发现对一类攻击的抵抗力提高常伴随对另一类攻击的脆弱性上升,作者据此认为认知鲁棒性与导航鲁棒性属于不同能力。

阅读原文Findings of ACL 2026