对抗环境如何误导 AI 智能体?
How Adversarial Environments Mislead Agentic AI?
AI 导读
研究者将工具输出被篡改并欺骗 AI 智能体的情形形式化为对抗性环境注入(AEI),并用兼容 MCP 的 POTEMKIN 框架进行即插即用的鲁棒性测试。该框架设置两类攻击面:Illusion 通过污染检索结果让智能体形成错误信念,Maze 利用结构陷阱让策略陷入无限循环。研究在五个前沿智能体上完成超过 1.1 万次运行,发现对一类攻击的抵抗力提高常伴随对另一类攻击的脆弱性上升,作者据此认为认知鲁棒性与导航鲁棒性属于不同能力。