DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

移动GUI智能体在多候选集选择任务中，即便工作流正常完成且无劫持或越权轨迹，其决策仍可能被非特权UI注入操纵，导致任务内目标偏离（In-Task Goal Deviation）。

• 场景与决策重要性：在电商、外卖和差旅等高频移动应用场景中，GUI智能体的交互本质上围绕候选集的比对与筛选；智能体输出直接触发真实交易与敏感决策，其决策可信度至关重要。
• 现有评估的盲区：现有移动智能体安全基准主要聚焦执行层异常（如提示注入引发的任务劫持、未授权工具调用或明显偏离的动作轨迹），常默认流程正确完成即代表最终决策可信，无法捕捉候选集内部的偏离风险。
• 核心观察与危害：攻击者无需修改用户指令或控制流，仅通过平台允许的普通UI内容（如商品标题或封面图片）即可操纵最终选择，而基于完成度的信号对此并不敏感，导致安全评估产生虚假安全感。
• 威胁模型：论文设定非特权UI内容威胁模型（non-privileged UI-content threat model）。
  • 攻击目标：将智能体的最终选择重定向至攻击者指定的候选目标，甚至违背指令隐含的约束条件（如最低价或最高评分）。
  • 攻击者知识与能力：攻击者被限制为非特权第三方，仅能通过平台允许的屏幕可见UI内容（如商品标题文本或展示图像）施加影响，无法修改用户指令、系统提示词或执行控制流。
  • 受害系统：基于多模态大语言模型（MLLM）并在真实或模拟移动应用界面中执行“观察-规划-行动”闭环的GUI移动智能体。
• 基准提出：论文提出决策完整性评测基准 DIBench（作者称其填补了多候选选择任务中可复现测量框架的空白），通过成对对照实验度量任务内目标偏离。

相关工作主要集中在移动GUI智能体决策机制、大模型驱动的移动智能体安全性评测，以及智能体在多候选场景下的偏好操控与选择偏差。

• 移动GUI智能体与多候选决策
  • 交互范式与自动化：Rawles等人（2024）的AndroidWorld与Tang等人（2025）指出移动GUI智能体基于截图和无障碍树运行在观察-规划-行动循环中；Liu等人（2025）综述了MLLM赋能跨应用高层规划的研究进展。
  • 候选集对比结构：Allouah等人（2025）与Wang等人（2026）的ShopSimulator指出电商和外卖场景任务天然围绕候选集展开，智能体需要在浏览探索与最终提交之间做出权衡。
• 大模型移动智能体的安全性评测
  • 高风险任务与环境扰动：MLA-Trust（Yang等人，2025）、MSB（Lee等人，2026）与GhostEI（Chen等人，2025）评测隐私或金融任务中的安全性；D-GARA（Sen Chen等人，2025）评测系统弹窗与通知扰动下的鲁棒性。
  • 第三方内容注入与UI欺骗：NAE（Du等人，2025）、AgentHazard（Liu等人，2025）、SecMoba（Yang等人，2024）评测间接提示注入；AgentScan（Wu等人，2025）研究跨层漏洞利用。作者指出，这些基准主要关注任务中断、劫持或越权等执行层异常，未关注候选集内部选择。
• 多候选选择中的偏好操纵与重定向
  • 偏好操纵研究：Faghih等人（2025）研究对智能体工具调用偏好的利用；Tang等人（2025）研究针对LLM排序的隐蔽操纵；Kang等人（2025）提出针对智能体偏好重定向的TRAP；Jiang等人（2025）优化跨模态内容引导网页智能体偏好。作者指出，现有工作常将此类行为归为孤立案例或能力缺陷，缺乏系统化的安全评估框架。
• 基准对比与定位
  • 基线方法与基准：论文在Table 1中对比了MSB、MLA-Trust、GhostEI-Bench、D-GARA、SecMoba、AgentHazard、NAE与AgentScan。作者指出，仅DIBench同时覆盖决策层风险（Decision-Level）、多候选设置（Multi-Candidate）与成对评估（Paired Eval.）。

论文提出决策完整性评测基准 DIBench，通过固定非视觉上下文与成对生成注入截图，在不改变控制流的前提下量化测量非特权UI欺诈注入对智能体选择决策的操纵程度。

环境与任务构建

• 双轨评测环境：包含7款真实商用App（AliExpress、Amazon、Booking、Fantuan、Foodpanda、Tripadvisor、Walmart）与3款受控模拟App（美团风格外卖、在线购物、行程规划）。商用App抽取固定决策状态执行截图级注入，模拟App支持端到端后端字段渲染。
• 五类任务设计：构建探索型（Exploratory）、精确匹配（Exact Match）、成本导向（Cost）、时空约束（Spatio-Temporal）与质量/热度导向（Quality/Popularity）任务，每款App每类任务各20个实例（良性共1,000个）。
• 候选集与可接受集标注：每个任务定义指令 I、候选集 C = {c1, ..., cn}（候选数量 ni 在 3 到 6 之间）以及语义有效选择的可接受集 A(I, C)。由GPT-5.2初筛后经两名标注员独立核验、第三人仲裁确定。

欺诈注入探针与成对实例生成

• 三种载体：文本覆盖（Title，应用于标题或关键区域）、图片内嵌文本（Cover）与无显式文本的视觉扰动（Pert.）。
• 八种探针变体：包括5种文本变体（Naive、Escape、Context Ignore、Fake Completion、Combined）与3种派生跨通道变体（Combined-C、Combined-TC、Combined-P）。
• 成对数据生成：针对良性实例的每个候选与探针变体生成对应注入实例（包含1,000个良性实例和36,672个注入实例），仅修改关键决策状态的UI显示。

评测协议与核心指标

• 成对评估协议：良性与注入运行使用相同指令和固定非视觉上下文，使用匹配随机种子重复运行 R 次（默认 R=10）。
• 决策结果空间：智能体最终选择映射为 C̃ = C ∪ {⊥}，其中 ⊥ 表示未做出提交选择。
• 核心评测指标：任务完成率（TCR）衡量提交候选选择的概率；正确选择率（COR）衡量提交选择属于可接受集 A(I, C) 的概率；针对注入实例 xa 和目标候选 g(xa)，攻击成功率（ASR）衡量注入实例选中目标而对应良性实例未选中目标的概率，单次事件定义为 E_as^(r)(x_a) = (ĉ^(r)(x_a) = g(x_a)) ∧ (ĉ^(r)(pair(x_a)) ≠ g(x_a))。

配置套件与防御扩展钩子

• 模块化评测套件：提供 AgentAdapter 处理框架适配与I/O对齐，ModelProvider 统一模型调用，初始版本支持4个框架与7个基础模型。
• 三类标准化防御钩子：提供输入检测（LLM检测器）、图像预处理（高斯噪声、JPEG压缩、缩放）与提示词级警示（在提示词中添加固定风险警告句）接口。

实验设置

• 被测模型：开源模型包括 Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B)、Mai-UI(8B)；闭源模型包括 DoubaoSeed-1.6、Gemini-3-Flash、GPT-5.2。
• 智能体框架：AppAgent、Mobile-Agent-V2、Mobile-Agent-E、Mobile-Agent-V3。
• 评测环境与规模：COMMERCE（7款商用App）与 SIMULATOR（3款模拟App），包含1,000个良性实例与36,672个注入实例，候选集大小 ni ∈ [3, 6]。
• 评测指标：任务完成率（TCR）、正确选择率（COR）、攻击成功率（ASR）、注入检测召回率（Recall）。
• 实验协议与硬件：每个实例默认使用匹配随机种子重复运行 R=10 次取平均值；硬件采用双路Xeon服务器、8张A100 GPU及Mac mini搭载Pixel 8模拟器（附录 B）。

主结果

表格较宽，可左右滑动

据 Table 8（SIMULATOR 环境，Mobile-Agent-V3 框架，Combined 攻击方法）。

• 完成度导向指标高估安全性：作者称，欺诈注入会推高而非降低任务完成率（TCR），并在部分设置下推高COR，使智能体表面上看起来完成度更高，但ASR揭示其最终选择已被攻击者操纵。
• 基础模型呈现分层差异：作者指出，强语义注入下的ASR呈现“通用开源 > 专用开源 > 闭源”层级；Qwen3-VL在Combined下ASR达到49.8%，而GPT-5.2仅为3.8%，作者认为通用模型更注重宽泛的指令遵循，而闭源模型可能具备更保守的策略。
• 商业环境趋势一致：在COMMERCE环境中（Table 3），Combined攻击同样使AppAgent+Qwen2.5-VL的TCR从42.0%升至72.4%、ASR达到45.8%，作者称该现象在真实商业App截图中同样存在。

决策轨迹与行为模式变化

• 探索动作压缩与过早选定：Figure 2显示在Combined攻击下，四个框架的选择动作比例上升，延迟决策动作（筛选、搜索、滑动、回答）比例下降。作者称智能体减少了探索与验证，更早转向选择动作。
• 非目标候选项分布保持稳定：附录Figure 4显示受攻击时，除目标索引出现明显峰值外，其余候选索引相对排序与基线相似，且未选动作（Others）比例下降。作者认为攻击将未提交或继续浏览转化为对目标的提交。

现有通用防御的有效性评测

• 检测机制对微弱信号注入效果下降：基于Qwen3-VL-32B的检测实验中（Table 4），纯图像检测对Combined召回率为99.7%，但对Naive降至18.2%、对Escape降至21.2%；引入规划信息未稳定提升性能。
• 图像预处理效果不稳定：输入变换实验中（Table 6），噪声、压缩和缩放对ASR影响不一致；例如噪声注入使AppAgent+Qwen2.5-VL的Combined ASR从45.8%升至60.0%（σ=5），而在Mobile-Agent-V3+Qwen3-VL上使ASR从52.2%降至41.3%（σ=2）。作者认为预处理缺乏语义感知，可能同时削弱良性证据。
• 提示词防御难以保证决策完整性：提示词警告实验中（Table 7），在Mobile-Agent-V2+Qwen2.5-VL下对Context Ignore的ASR从44.6%升至46.7%，且在Mobile-Agent-V3+Qwen2.5-VL下导致Combined的COR下降12.0个百分点。作者认为提示词防御仅起软约束作用。

注入载体与任务类型影响分析

• 载体放置消融：Table 9显示Title与Cover覆盖通常取得20%–50%的ASR，视觉扰动（Pert.）的ASR为6%–16%；Title与Cover同时覆盖时ASR出现下降（如Qwen3-VL+Combined下Mobile-Agent-E从48.8%降至33.0%）。
• 任务类型易受损度：Figure 6显示开放型任务大量转向正确目标，精确匹配任务在攻击下仍保持较高正确率；成本导向与质量/热度导向任务在Combined攻击下错误选择目标的比例明显增加。

其他消融与分析

• 跨应用差异：Figure 5显示Foodpanda在多模型下ASR峰值较高，而Booking和Tripadvisor在多数设置下ASR较低。
• 无显式文本扰动：Table 9中Pert.变体在所有框架和模型下的Summary # Max均为0，作者称UI渲染常打碎目标对齐。

作者指出的局限与后续方向

• 未覆盖商业或OEM部署的端侧助手：论文在Section 5中指出，当前评测覆盖开源研究移动智能体框架，但未包含商业或厂商部署的助手（如AI手机或预装语音助手），限制了外部有效性。
• 需扩展至长周期多决策任务：论文在Section 5中指出，未来工作应将DIBench扩展至生产系统以及包含多次决策的长周期任务。
• 现有防御局限于通用钩子：论文在Section 5中指出，当前防御评测仅局限于输入检测、预处理和提示词提醒等通用钩子，基于结构化属性对比和提交前核验等强证据约束防御是重要探索方向。
• 多区域载体存在注意力饱和或渲染失真：论文在Section 4.4中指出，Title+Cover多区域注入未带来更强攻击，可能反映了注意力饱和、分辨率/可读性影响或模型流水线差异。
• 视觉扰动受限于UI渲染对齐：论文在Section 4.4中指出，当前实现的Pert.变体表现如同弱噪声，UI渲染常打碎目标对齐，无法可靠编码可执行指令。

实验覆盖范围

• 被测系统范围：实验覆盖4个开源移动智能体框架（AppAgent、Mobile-Agent-V2、Mobile-Agent-E、Mobile-Agent-V3）与7个基础模型，涵盖开源与闭源模型。
• 测试环境与任务范围：实验涵盖7款商用移动App（静态截图级注入）与3款模拟App（端到端渲染），包含5类任务类型，每类任务每款App各20个实例。
• 数据规模与重复设置：基准包含1,000个良性实例与36,672个注入实例，每个任务在匹配随机种子下默认重复运行10次。
• 防御评估范围：防御实验评测了基于LLM的输入检测（纯图像与规划+图像）、3种图像预处理（高斯噪声、JPEG压缩、缩放）及固定提示词警告。
• 未报告信息：论文未在真实商业App线上服务中发布注入内容进行在线测试，未报告各实验运行的具体耗时或总计算成本（Checklist第8项）。

• 研究定位与核心问题：针对移动GUI智能体在多候选集选择任务中的安全风险，论文研究非特权UI欺诈注入引发的“任务内目标偏离（In-Task Goal Deviation）”，即智能体在没有执行级劫持或异常轨迹的情况下，最终决策被诱导至攻击者指定选项。
• 基准构建与评测设计：构建决策完整性基准DIBench，包含7款商用与3款模拟App的5类任务（1,000个良性与36,672个注入实例），在非特权UI威胁模型下设计8种探针变体，通过成对对照实验与TCR、COR、ASR指标量化决策偏离。
• 完成度指标的虚假安全假象：实验显示欺诈注入会缩短前置探索、促使过早选定选项并推高任务完成率；在COMMERCE中，Combined注入使AppAgent+Qwen2.5-VL的TCR从42.0%升至72.4%，同时ASR达45.8%（Table 3），作者称传统完成率指标会高估安全性。
• 模型易受操纵性分层：在SIMULATOR与Mobile-Agent-V3设定下（Table 8），通用开源模型呈现最高ASR（Qwen3-VL在Combined下ASR为49.8%），专用开源模型次之（GUI-Owl为19.3%），闭源模型较低（DoubaoSeed-1.6为7.5%、Gemini-3-Flash为8.7%、GPT-5.2为3.8%）。
• 通用防御措施的局限：评测表明现有通用防御收益不稳定；图像检测对微弱信号攻击漏检率高（Naive仅18.2%召回率，Table 4），预处理可能破坏良性证据并导致ASR反弹（Table 6），提示词警告依赖模型顺从度且可能导致COR下降（Table 7）。
• 作者结论与启示：作者认为执行正确性与决策可信度存在解耦，决策完整性应作为智能体安全评测的独立层级；未来需超越浅层结果指标，构建基于结构化属性核验与证据接地的防御体系。