DIBench:面向移动 GUI 智能体多候选选择决策完整性的安全基准
DIBench
AI 导读
香港理工大学研究者提出 DIBench,用于测量移动 GUI 智能体在多候选选择任务中的决策完整性风险,即智能体完成任务但最终选择被欺骗性注入导向攻击者指定目标。基准覆盖 7 个商业应用和 3 个模拟应用、5 类任务,在仅允许非特权 UI 内容的威胁模型下构造 8 种注入探针,包含 1,000 条干净实例和 36,672 条注入实例,并提供配对评测协议与决策完整性指标。在 4 个智能体框架和 7 个基础模型上的实验显示,以完成率为导向的评测会高估智能体可信度:商业应用中 AppAgent + Qwen2.5-VL 的 TCR 从 42.0% 升至 72.4%,同时 ASR 达 45.8%。注入还会减少探索与验证动作、促使智能体更早提交选择;检测、图像预处理和提示词提醒等常见防御带来的完整性提升并不稳定,检测对低显著性注入的召回率明显下降,预处理有时反而提高 ASR。
推荐理由
DIBench 用配对评测把移动 GUI 智能体的决策完整性单独量化,并给出完成率会高估可信度的具体数据。