MobiRed 框架测评八款移动 LLM Agent 的第三方渠道提示注入攻击

这篇论文试图解决移动端 LLM 智能体在面对不受应用控制的第三方交互通道时，作为 confused deputy 被间接操纵的安全风险问题。

• 移动智能体应用场景与安全敏感性：移动 LLM 智能体通过“感知-思考-行动”循环自主导航移动应用并编排跨应用工作流。由于智能体拥有观察屏幕、操作 UI 和调用系统 API 的广泛用户级权限，一旦行为被操控，将直接危及设备敏感数据。
• 现有安全评估设定的不足：现有智能体安全基准主要集中在 Web 或桌面环境；已有少数针对移动智能体的安全研究假设攻击者控制了设备上的恶意应用，然而现实中控制了高特权应用的攻击者缺乏攻击智能体的动机。
• 核心观察与假设：移动智能体必须在单一模型上下文中同时处理受信任的用户指令与未验证的动态环境内容（应用内广告、嵌入式网页、通知或短信）。攻击者无需控制设备，仅需通过合法第三方内容通道投放对抗性内容，即可诱导智能体将恶意内容误判为任务指令，成为滥用自身特权的 confused deputy。
• 威胁模型（Threat Model）：
  • 攻击者目标：操纵智能体偏离用户良性目标，达成攻击者指定目标，包括泄露凭证/OTP/个人隐私、执行跨应用未授权操作（点击广告、提交表单）以及下载安装未受信任软件。
  • 攻击者知识与权限：假设攻击者不控制受害设备、移动操作系统、固件、应用或智能体实现，无 root 权限，无法修改模型权重、系统提示词或执行逻辑，也不在用户原始输入中直接插入恶意文本。
  • 攻击者能力：攻击者拥有生态中常见第三方通道的合法访问权限（应用内广告、嵌入式 WebView、外部网页、邮件、SMS、跨应用通知），可控制注入载荷的内容、措辞、排版与时机，并托管攻击者控制的端点或落地页。
  • 受害系统：由良性用户发出正常任务指令的未受损 Android 设备，运行具有常规系统权限的移动 LLM 智能体。
• 本文提出的解决方案：论文设计了自动化攻击与测试框架 MobiRed，系统性评估了 8 个主流移动 LLM 智能体在非应用控制通道下的易受攻击性。

移动 LLM 智能体架构与自动化

• 感知与控制范式：AutoDroid（Wen 等，2024）基于可访问性树和程序合成实现单应用任务自动化；AppAgent（Zhang 等，2025）采用视觉驱动的双模块（OmniParser 与 Planner）执行屏幕点击；Mobile-Agent-E（Wang 等，2025）与 AutoGLM（Liu 等，2024）采用分层多智能体架构支持跨应用任务编排。
• 基准评测环境：AndroidWorld（Rawles 等，2025）提出了 M3A 与 T3A 智能体，并提供了动态移动评测环境；Mobile-Bench（Deng 等，2024）与 SPA-Bench（Chen 等，2024）重点评测移动智能体的任务完成率与可用性。作者指出这些基准主要关注任务完成能力，而非对抗鲁棒性。

移动生态中的非受信任第三方内容

• 第三方 SDK 与广告滥用：Zhan 等（2021）系统调研了安卓第三方库的安全问题；Maddroid（Liu 等，2020）与 Sun 等（2021）分析了恶意广告（malvertising）与点击欺诈；Son 等（2016）研究了移动广告跟踪与权限边界。作者指出传统攻击以人类用户或漏洞应用为目标，而在 LLM 时代第三方内容直接成为智能体的环境输入。
• 跨通道社会工程与 WebView 风险：Nahapetyan 等（2024）与 Agarwal 等（2025）研究了短信钓鱼（smishing）基础设施与欺诈；Babelview（Rizzo 等，2018）与 Chin & Wagner（2013）分析了 WebView 与 JavaScript 桥接漏洞。

LLM 智能体安全与提示注入基准

• 环境交互与工具调用安全：ToolEmu（Ruan 等，2023）与 R-Judge（Yuan 等，2024）在受控沙箱中评测智能体风险；AgentDojo（Debenedetti 等，2024）与 Agent Security Bench（Zhang 等，2024）提出了针对工具和浏览器智能体的动态间接提示注入评测。
• 移动智能体安全研究：Wu 等（2025）探讨了移动 LLM 智能体的安全风险，但作者指出该工作假设攻击者已在受害者设备上控制了一个已安装的应用。

基线方法与评测基准

• 被测智能体与基准设置：实验选取了 8 个主流移动智能体作为评测对象，包括 AutoDroid、Droidrun、AutoGLM、AppAgent、M3A、T3A、SeeAct 以及 Mobile-Agent-E；任务基于 Fossify Notes、日历、文件管理器、录音机、时钟等真实应用构建；注入攻击模式改编自 InjecAgent、AgentDojo 与 Agent Security Bench 等工作。

本文与已有工作的定位区别 作者强调，现有智能体安全基准主要针对 Web 或桌面工具调用，未考虑移动端特有的异构第三方通道与操作系统安全防御交互；而现有移动安全研究假设了过强的攻击者控制权，本文则在攻击者不控制任何端侧资源的严格且实用的威胁模型下，系统评估移动智能体作为 confused deputy 的易受攻击性。

作者设计并实现了针对 Android 移动 LLM 智能体的端到端自动化安全评测框架 MobiRed。该框架将高层攻击规范编译为可执行对抗测试用例，在真实移动环境下执行并注入第三方对抗内容，并通过三阶段行为指标实现自动化评测与归因。

问题设定与形式化

移动 LLM 智能体通过循环交互执行任务：受信任的指令上下文记为 p（包含系统提示词和用户任务指令），在每一步交互中，智能体收集环境观测 dt（如屏幕截图、可访问性树或 UI 视图层次）。后端基础模型 F 接收拼接后的上下文并生成设备动作决策，形式化表示为： a_t = F(p ∥ d_t) 该决策公式中，at 表示模型基于拼接上下文生成的下一步设备操作。当未经净化的第三方内容混入环境观测 dt 时，基础模型无法有效区分 p 与 dt 的信任边界，攻击者注入的恶意内容便会被误当作任务相关指令一同执行，导致智能体沦为 confused deputy。

对抗场景生成器（Adversarial Scenario Generator）

场景生成器将结构化 YAML 配置文件编译为可执行的对抗测试用例，每个测试用例将良性用户任务与受控注入事件进行配对。YAML 规范包含四个核心模块：

• 测试上下文（Test Context）：定义基线执行环境，包括被测智能体、目标应用以及良性用户目标（例如指示智能体在笔记应用中创建一条特定内容的笔记）。
• 攻击工作流（Attack Workflow）：结合 MITRE ATT&CK for Mobile、OWASP Top 10 for Agentic Applications 与 NIST AI RMF，涵盖 14 个移动对抗战术与核心智能体风险，预定义了从初始触发到权限提升或数据外发的完整动作序列。
• 攻击模式（Attack Pattern）：参数化集成了 10 种提示注入模式（P1–P10），包括直接有害指令（Direct Harm）、TODO 攻击、简单指令（Naive Attack）、转义字符（Escape Characters）、伪造完成（Fake Completion）、上下文忽略（Context Ignoring）、组合攻击（Combined Attack）、InjecAgent Benchmark、重要消息（Important Message）以及应用特定模式（App Specific）。
• 攻击分发通道（Attack Distribution Channel）：涵盖两类第三方通道：一是外部社交工程通道（包含电子邮件、SMS 以及 WhatsApp 消息推送），用于诱导跨应用跳转；二是应用内集成广告通道（通过 Google Mobile Ads SDK 接入横幅广告、开屏广告及插屏广告）。

仪器化 Android 测试床（Instrumented Android Testbed）

测试床负责在受控且逼真的移动条件下执行生成的对抗测试用例：

• 环境管理与标准化：在每次测试运行前自动将安卓设备恢复至干净的初始状态，并在指定应用场景中部署集成了广告 SDK 的受控宿主应用。
• 多模态遥测采集：测试床同步记录三类遥测数据以支撑自动化判定：
  1. 智能体日志：记录模型输入（截图、可访问性树、OCR 文本）、中间思考链规划以及带时间戳的 UI 操作（点击、文本输入、跨应用切换）；
  2. 攻击者后端遥测：部署受控的 HTTP 后端，通过与测试用例唯一绑定的 trial_id 接收并记录广告点击跳转、伪造登录表单提交及敏感数据外发；
  3. 系统事件监控：监控 Android 底层系统事件，包括 APK 安装与卸载状态变更、系统权限授予弹窗确认、系统设置变更以及文件写入记录。

自动化攻击评估器（Automated Attack Evaluator）

评估器接收测试床的多维遥测数据包，将每个测试用例的执行状态分解为三阶段行为指数（Agent Behavior Index）：

• 感知阶段（Notice, N）：检测恶意载荷是否进入智能体的感知输入。通过提取模型输入上下文并调用基于 LLM 的检测器，判断注入内容是否可见（输出 YES/NO）。
• 企图阶段（Attempt, A）：检测智能体是否产生推进攻击目标的决策意图。通过基于 LLM 的分类器分析智能体的推理链和高层计划，判断其目标是否与攻击意图对齐。
• 执行阶段（Execute, E）：根据端侧系统事件和攻击者后端日志的双重真实依据，判定是否产生了已验证的实际安全危害。仅当所有必需步骤（如点击、重定向、表单提交或系统安装）均已完成时判定 E=1，若中途停滞或失败则判定 E=0。经人工标注的 800 条测试日志验证，感知检测器的 F1 达到 0.9535，意图分类器的 F1 达到 0.9424，事件监控器的 F1 达到 0.9987。

实验设置

• 被测智能体与骨干模型：评测了 8 个主流移动 LLM 智能体，包括 Mobile-Agent-E、AppAgent、AutoGLM、Droidrun、M3A、T3A、SeeAct 与 AutoDroid。所用骨干模型涵盖 GPT-3.5-turbo 至 GPT-5、Claude-3.5-Sonnet、Gemini-1.5-Pro / 2.5-Flash、Llama 与 Qwen 系列（Table 5、Table 11）。
• 测试环境与基准应用：运行在覆盖 Android 9–16（API 28–36）的 Pixel 3–9 系列模拟器以及运行 Android 15 的 Pixel 6a 和 HONOR ANN-AN00 物理真机上；涉及 5 个日常开源应用（Fossify Notes、Calendar Planner、Simple File Manager Pro、Simple Voice Recorder、Simple Clock）以及系统与三方应用（Chrome、Gmail、WhatsApp、Settings、Messages、Google Play）。
• 攻击工作流与向量：设计了 8 类攻击工作流，涵盖低摩擦向量（V1 欺诈广告、V2 钓鱼内容泄露、V3 伪造登录钓鱼）、操作系统保护向量（V4 恶意软件部署、V5 恶意应用部署）以及长链跨应用向量（V6 剪贴板/OTP 窃取、V7 跨应用数据跳转、V8 系统数据发现）（Table 1、Table 8）。
• 评测指标：良性任务成功次数（S）、感知次数（Notice, N）、企图次数（Attempt, A）以及最终执行成功次数（Execute, E），均以 10 次重复测试中的成功次数呈现（例如 7/10），并统计聚合攻击成功率（ASR）。
• 评审与判定方式：感知（N）通过提取多模态输入并由 LLM 检测器判断；企图（A）通过 LLM 分类器分析智能体推理规划；执行（E）基于攻击者后端网络接收记录与 Android 系统事件日志（安装、权限授权、文件操作）进行硬性判定。
• 测试规模与重复性：每个测试条件重复执行 10 次以消除不确定性，全实验累计执行 3,160 轮对抗测试与配对良性测试，耗时约 400 设备时，消耗约 240 美元 API 费用。

主结果

表格较宽，可左右滑动

据 Table 2（展示各模型在 10 次测试中的执行成功次数 E/10；攻击向量省略了 V2 内容泄露、V6 OTP 窃取与 V7 跨应用数据跳转）。

• 低摩擦攻击展现广泛有效性：作者称，V1–V3 向量仅需 2–4 步操作且无需绕过系统保护，全智能体平均感知、企图与执行达到 9.38、7.00 与 5.54；V1 欺诈广告平均执行成功 8.63/10 次，V3 伪造登录平均执行率达 51.25%。
• 系统级安全防护无法阻断高能力智能体：作者称，V4 与 V5 需绕过有害下载与权限确认等 OS 级警告，但具备端到端规划能力的 Mobile-Agent-E（V4 执行 9/10 次）和 AppAgent（V4 执行 6/10 次）能自主关闭弹窗并完成安装；M3A 与 SeeAct 虽产生攻击企图（A=10），但在最终下载按钮或权限弹窗处因 UI 干扰停滞。
• 长链跨应用攻击当前受制于智能体执行能力：作者称，V6–V8 涉及跨应用状态保持与上下文切换，仅 Mobile-Agent-E 能够稳定执行（V8 达 9/10 次），而单应用架构的 AutoDroid 和 AppAgent 完全失败；M3A 虽然多次感知（N=10）并尝试（A=7），但因长序列执行困难未能完成端到端攻击。

分发通道对比：应用内通道与跨应用通道

• 评测设置：在 V1 欺诈广告向量下，对比横幅广告（E1）、开屏广告（E2）、插屏广告（E3）、WebView（E4）四种应用内通道与邮件（E5）、WhatsApp 消息通知（E6）两种跨应用通道在 8 个智能体上的表现（Table 3）。
• 实验结果：应用内通道平均攻击表现高于跨应用通道，平均感知、企图与执行为 9.88、6.46 与 6.33；其中插屏广告执行率最高（平均 E 达 86.25%），开屏广告执行率最低（平均 E 为 17.50%）；跨应用通道中邮件与 WhatsApp 平均执行仅为 12.50% 与 11.25%，但在 Mobile-Agent-E 上仍达到 7/10 次与 9/10 次执行。
• 作者解读：作者称，插屏广告在执行中途弹出并占据屏幕中央，能有效打断智能体原有流；而开屏广告出现于任务启动前，智能体更易将其关闭；跨应用通知虽易被感知但常被智能体判定为无关信息或受限于跨应用执行能力。

攻击提示模式与 UI 复杂度影响

• 评测设置：固定笔记任务与横幅广告通道，对比 10 种注入模式（P1–P10）与良性广告 P0（Table 9、Figure 3）；在 5 种不同 UI 复杂度的应用场景（笔记、日历、文件管理、录音机、时钟）中测试组合攻击的迁移性（Table 10、Figure 4）。
• 实验结果：在良性广告下 7/8 个智能体未被转移；在恶意模式下简短直接的指令攻击成功率最高（Naive Attack P3 约 60%，Fake Completion P5 约 55%），而结构复杂的 InjecAgent（P8）与 Important Message（P9）低于 27%；5 个应用场景中跨场景平均攻击成功率为 39.5%，低复杂度界面（笔记、录音机，10–20 个 UI 元素）平均攻击成功率约 53.75%，而高复杂度界面（日历、文件管理）攻击成功率下降。
• 作者解读：作者称，智能体倾向于服从简短明确的输入，冗长指令会引入目标冲突；界面 UI 元素密集会增加感知与定位难度，导致良性任务与恶意指令均易失败。

骨干模型的能力-风险耦合现象

• 评测设置：在 M3A 框架与笔记任务下，保持任务与 V1 组合攻击不变，仅更换 12 种商业与开源骨干 LLM（GPT-4.1 变体、GPT-4 Turbo、GPT-5、DeepSeek-v3/r1、Llama-4-Maverick、Gemini-2.5-Flash 变体、Qwen 系列）（Figure 5）。
• 实验结果：大多数高性能模型聚集在右上区域，良性任务高成功率的同时伴随高攻击成功率；两个例外是 GPT-5 保持高良性完成率同时攻击成功率较低，而 Qwen2.5-VL-7B 的良性任务与攻击成功率均处于低位。
• 作者解读：作者称，这表现出能力-风险耦合（capability-risk coupling）：随着骨干模型对复杂指令遵循能力的增强，执行恶意注入指令的能力也同步提升；GPT-5 展现出更强的广告识别与去优先级倾向，而小模型低攻击成功率源于自身能力不足而非鲁棒防御。

其他消融与分析

• 自动化评估器在 800 条人工标注日志上的验证：注入检测器 Precision 0.9516、Recall 0.9554、F1 0.9535；意图分类器 Precision 0.9171、Recall 0.9691、F1 0.9424；事件监控器 Precision 0.9974、Recall 1.0000、F1 0.9987（Table 6）。
• 攻击序列复杂度与执行率关联：2–4 步的低摩擦攻击平均执行 5.54/10 次；需绕过系统保护的 6–7 步攻击平均执行 2.56/10 次；6–8 步且含 2–3 次上下文切换的跨应用攻击平均执行 1.04/10 次（Table 2、Table 8）。
• AutoGLM 在复杂对抗流中的防御表现：在 90 轮良性测试中完成 88 轮（97.8%），但在 V4 恶意软件、V6 OTP 窃取与 V7 跨应用跳转中均实现 0/10 次执行（Table 2）。
• Droidrun 的鲁棒防御行为：在良性跨应用任务高成功率的前提下，除 V1 欺诈广告（执行 4/10 次）外，对其余 7 种攻击向量的执行成功次数均为 0/10 次（Table 2）。
• 失败案例与异常行为归因：AutoDroid 在 V1 完全抵御（E=0）但在 V2 执行达 10/10 次，作者解释称伪造笔记界面与良性流高度吻合；SeeAct 在 V4 企图率达 10/10 次但执行为 0/10 次，作者解释称广告干扰导致其未点击正确下载按钮；AppAgent 在 V3 尝试 9 次但执行为 0 次，作者解释称模型推理与动作空间不匹配导致生成无效命令。

作者指出的局限与后续方向

论文未专门讨论局限。

实验覆盖范围

• 被测智能体与骨干模型范围：实验测试了 AutoDroid、Droidrun、AutoGLM、AppAgent、M3A、T3A、SeeAct 和 Mobile-Agent-E 共 8 个移动智能体架构；在骨干模型分析中测试了 GPT-3.5-turbo 至 GPT-5、DeepSeek-v3/r1、Gemini-2.5-Flash 系列、Llama-4-Maverick、Qwen 系列共 12 种模型（§VI、Table 5、Figure 5）。
• 设备环境与操作系统版本：测试环境包括覆盖 Android 9 至 Android 16 的 Pixel 3–9 系列模拟器，以及运行 Android 15 的 Pixel 6a 和 HONOR ANN-AN00 物理真机（§VI、Table 5）。
• 攻击向量与交互通道：攻击工作流涵盖 8 种场景（V1 欺诈广告、V2 内容泄露钓鱼、V3 伪造登录钓鱼、V4 恶意软件部署、V5 恶意应用部署、V6 剪贴板/OTP 窃取、V7 跨应用数据跳转、V8 系统数据发现）；通道涵盖应用内（横幅、开屏、插屏、WebView）与跨应用（邮件、WhatsApp 消息通知）（§IV、§V-A、Table 1、Table 3）。
• 样本量与重复次数：每个测试条件重复执行 10 次，全实验共执行 3,160 轮对抗测试；评估器验证包含 800 条人工标注日志（§VI、Table 6）。
• 评测与防御设计：研究测试了现有移动操作系统防御（有害文件下载警告、安装确认与权限弹窗）对智能体执行的拦截效果；论文未评估专门的提示注入防御算法或护栏机制（§VI-A）。

• 定位与核心问题：本研究评估了 Android 环境下移动 LLM 智能体在面对第三方非应用控制通道时的安全性。智能体在执行任务时需接收未经验证的环境内容，若缺乏严格信任边界，攻击者在完全不控制设备与应用的前提下，即可诱导智能体滥用自身高特权执行恶意行为。
• MobiRed 评测框架：作者设计了自动化端到端测试框架 MobiRed。框架通过 YAML 配置参数化合成测试场景，在真实 Android 测试床上注入广告与跨应用消息，并通过感知（Notice）、企图（Attempt）、执行（Execute）三阶段行为指数，结合系统级状态变更与攻击者端点遥测进行自动化结果归因。
• 低摩擦攻击的广泛脆弱性：在评测的 8 个主流智能体中，低摩擦攻击表现出高成功率。V1 欺诈广告在全被测智能体上的平均执行成功次数为 8.63/10 次；V3 伪造登录的平均执行率达到 51.25%，在 M3A 上达到 10/10 次完全成功。
• 操作系统防护无法拦截高级智能体：面对涉及系统安全警告的 V4 恶意软件部署，具备强规划能力的 Mobile-Agent-E 执行成功 9/10 次，AppAgent 执行成功 6/10 次；智能体能够自主确认“文件可能存在风险”等弹窗并完成侧载安装，作者称，这反映出面向人类设计的操作系统安全机制无法有效防护自主智能体执行。
• 通道与复杂度关键规律：应用内插屏广告平均执行成功率最高（86.25%），而跨应用通道（邮件与 WhatsApp）平均执行率为 12.50% 与 11.25%；任务迁移测试中 5 个应用场景平均攻击成功率为 39.5%，低复杂度界面（如笔记）攻击成功率（约 53.75%）高于密集 UI 界面；测试中简短直接的指令模式（如 Naive Attack 达约 60%）较冗长指令更有效。
• 能力-风险耦合与作者启示：实验中骨干模型在良性任务上的完成能力与攻击受害率呈现正相关趋势。作者认为，随着移动智能体自主行动能力的提升，其被利用的风险同步上升；现阶段移动智能体尚未准备好应对现实移动平台的非受信任环境输入，亟需设计兼顾移动生态特性的防御机制。