CaMeLs 也能使用计算机:计算机使用智能体的系统级安全
CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents
AI 导读
论文提出一种面向计算机使用智能体(CUA)的系统级安全设计,通过严格隔离可信的任务规划与不可信的环境观察来抵御提示注入。作者指出 CUA 需要持续观察 UI 状态才能决定每一步动作,这与安全所需的隔离相冲突,而 UI 工作流虽然动态但在结构上可预测。为此他们引入 NOVA(Navigating via Observation, Verification, and Action),让可信规划器一次性生成覆盖所有预期运行时状态的分支计划,并可在计划中调用感知模型解析 UI 坐标等运行时值。在 OSWorld 上的评测显示,该设计保留前沿模型最高 57% 的性能,同时让较小的开源模型性能最高提升 19%。作者称单次规划能阻止任意指令注入,但仍需额外措施应对 Branch Steering 攻击,即诱骗感知模型把执行导向攻击者偏好的分支,例如将智能体重定向到恶意网站。