Clawed and Dangerous:我们能信任开放智能体系统吗?
Clawed and Dangerous: Can We Trust Open Agentic Systems?
AI 导读
研究者以软件工程视角系统梳理开放智能体系统的安全问题,提出六维分析分类法,并综合50篇涵盖攻击、基准、防御、审计与工程基础的文献,OpenClaw 是文中讨论的这类系统的典型实例。作者指出,此类系统的计划在运行时生成、关键决策可能受不可信自然语言输入和工具输出影响,核心挑战是在持续不确定性下治理智能体行为,而非仅抵御单次攻击。综述给出了面向安全构造(secure-by-construction)智能体平台的参考准则与平台安全态势评估记分卡,并发现现有文献在攻击刻画和基准构建上相对成熟,在部署控制、运营治理、持久记忆完整性和能力撤销方面仍然薄弱,这些缺口构成构建可治理、可审计、失陷后仍有韧性的智能体生态的工程议程。