Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.10915· Zhenhua Zou, Sheng Guo, Qiuyang Zhan, Lepeng Zhao, Shuo Li, Qi Li, Ke Xu, Mingwei Xu, Zhuotao Liu·Indexed by this site · Originally published

Blind Gods and Broken Screens: Building a Secure, Intent-Centric Mobile Agent Operating System

Blind Gods and Broken Screens: Architecting a Secure, Intent-Centric Mobile Agent Operating System

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

提出 Aura 后，MobileSafetyBench 高风险 ASR 为 4.4%，Doubao-Pro 为 40.0%。

Threat model以 Doubao Mobile Assistant 的 black-box 实验为例：攻击者可伪造 App 身份、做视觉欺骗与间接提示注入、污染上下文，并借助过度权限执行或泄露数据。

Questions
移动智能体靠截屏和 GUI 操作跨应用执行任务。作者认为 Screen-as-Interface 难以验证身份、隔离不可信输入并落实最小权限，还会绕过 App 的原生体验和变现。
Methods
Aura 把 System Agent 的意图编排和沙箱 App Agent 的执行分开，由 Agent Kernel 中介全部通信。四层分别做密码学身份、语义防火墙、污点记忆与计划对齐，以及关键动作拦截和端上审计。
Experiments and results
Table 2：Aura 低风险 TSR 94.3%（33/35）、高风险 ASR 4.4%（2/45）、延迟约 68.54 秒；Doubao-Standard 与 Pro 的 ASR 为 42.2% 与 40.0%，延迟约 441 秒与 513 秒。
Limitations and future work
作者在 §6.3 称隐式恶意意图仍难检测。§6.5 列出 AIC 标准化、TEE 降级、问责延迟和遗留 OS 兼容。Aura 在模拟设备与 mock API 上评测；论文未报告重复次数、评审模型和 Aura 分类 ASR。
Experimental setupGemini-3-Flash · MobileSafetyBench · Task Success Rate (TSR)、Attack Success Rate (ASR) et al.
Threat model
以 Doubao Mobile Assistant 的 black-box 实验为例：攻击者可伪造 App 身份、做视觉欺骗与间接提示注入、污染上下文，并借助过度权限执行或泄露数据。Aura 由 TEE 背书的 Agent Kernel 中介 SA 与 AA。
Evaluated models
Gemini-3-Flash
Benchmarks
MobileSafetyBench
Metrics
Task Success Rate (TSR)Attack Success Rate (ASR)Average Task Latency (ATL)
AI summaryThe paper uses Doubao mobile assistant as a representative case to conduct a systematic security analysis of current mobile agents, decomposing the threat surface into four dimensions: agent identity, external interfaces, internal reasoning, and action execution, and points out issues such as forged app identity, visual deception, indirect prompt injection, and privilege escalation caused by reliance on unstructured visual data. The authors propose Aura, a runtime architecture for a new secure Agent OS, using a Hub-and-Spoke topology where a privileged System Agent orchestrates intents, sandboxed App Agents execute domain tasks, and an Agent Kernel mediates all communication. The Agent Kernel implements four protections: cryptographic identity binding through a global agent registry, semantic input cleansing with a multi-layer semantic firewall, cognitive integrity ensured by taint-aware memory and plan trajectory alignment, and fine-grained access control with non-repudiable auditing.

The paper uses Doubao mobile assistant as a representative case to conduct a systematic security analysis of current mobile agents, decomposing the threat surface into four dimensions: agent identity, external interfaces, internal reasoning, and action execution, and points out issues such as forged app identity, visual deception, indirect prompt injection, and privilege escalation caused by reliance on unstructured visual data. The authors propose Aura, a runtime architecture for a new secure Agent OS, using a Hub-and-Spoke topology where a privileged System Agent orchestrates intents, sandboxed App Agents execute domain tasks, and an Agent Kernel mediates all communication. The Agent Kernel implements four protections: cryptographic identity binding through a global agent registry, semantic input cleansing with a multi-layer semantic firewall, cognitive integrity ensured by taint-aware memory and plan trajectory alignment, and fine-grained access control with non-repudiable auditing.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者认为 GUI 抓屏造成移动智能体全链路漏洞，并用 Aura 的 Agent Kernel 重建交互。

    移动智能体把屏幕当通用接口，身份、感知、认知和执行都缺少可审计边界。

    • 出现场景：多模态 LLM 使移动助手能解释复杂指令，并跨系统与第三方应用做长链操作。作者认为主流路径是 ADB 或无障碍服务（AutoGLM、Mobile-Agent），或系统级集成（Doubao Mobile Assistant、Honor YOYO），二者都依赖 Screen-as-Interface。
    • 现有不足：作者认为，完成订票这类任务也要无限制地看整块视觉场，因而违反最小权限，并暴露通知、后台应用或不可信网页。遮罩敏感区域和提示词增强被作者称为补丁。作者还认为抓取超级 App 会绕过原生体验，并侵蚀数据护城河和推荐、广告变现。
    • 作者的观察：作者把生命周期分成身份与信任锚定、感知真实性、认知与规划完整性、动作访问控制与问责，并用 Doubao 的 black-box 案例外推。作者认为漏洞不只来自 LLM 随机性，还来自各阶段缺少验证、隔离和细粒度控制。
    • 威胁模型：
      • 目标：让智能体认错对象、执行有害或越权动作、泄露或篡改数据，并难以追责。
      • 知识：§2 实证来自对 Doubao Mobile Assistant 的 black-box 实验；论文未写成 white-box 或 gray-box。
      • 能力：伪造图标、包名或深层链接；覆盖层、ViewTree 干扰和钓鱼界面；环境中的间接提示注入与用户侧越狱；记忆和计划投毒；在智能体虚拟显示上注入只对该显示可见的状态。
      • 受害系统：以屏幕为接口的 LLM 移动智能体。控制面包括无障碍 API、ADB，或系统 API、虚拟显示和事件注入。Table 1 列出 Doubao 组件的读帧缓冲、注入事件等权限。
    • 本文提出：摘要与结论称迈出 clean-slate 安全智能体 OS 的第一步；§3 称 Aura 是内置安全的移动智能体 OS。System Agent 只编排意图，沙箱 App Agent 执行，Agent Kernel 中介身份、感知、认知和动作。

  2. What related research exists?

    论文把 GUI 智能体、渠道攻击和 OS 机制当背景，并把 Aura 放在结构化协议而非补丁上。

    GUI 移动智能体

    • AutoGLM（2024）与 Mobile-Agent（2024）：经 ADB 或无障碍服务做外部调试式自动化。
    • Doubao Mobile Assistant（2025）与 Honor YOYO（论文未给出年份）：作为特权系统组件，用私有系统 API 和签名权限截屏并注入事件。
    • 论文指出两条路径都把非结构化画面当接口。

    渠道攻击与越狱

    • Wu 等（2025）、Du 等（2025）、Chen 等（2025）被作者用来说明移动 GUI/LLM 智能体面临细打印注入、不可信第三方渠道和从助手转向对抗方等风险。
    • Greshake 等（2023）研究间接提示注入对已接入 LLM 的应用的影响；论文在语义防火墙处沿用这一威胁。
    • Chen 等（2025）的计算机使用智能体综述、Ding 等（2025）与 Liang 等（2025）被作者用来说明，现成防护往往挡不住移动环境中的定向对抗输入。

    补丁式防御与被借用的机制

    • CORE（Fan 等，2025）用云端与本地 LLM 协作减少 UI 暴露；作者把 MobileSafetyBench（Lee 等，2024）一侧的提示词增强与遮罩一并称为补丁，并称其未解决视觉数据难以治理这一根因。
    • FLAG_SECURE 与可信 UI 研究（Bove，2022）被用来说明现有屏幕保护是粗粒度的全有或全无。TaintDroid（Enck 等，2014）被引为信息流跟踪的参照。
    • 设计还引用可验证凭证、智能体身份、TEE 与安全启动、MCP 和 ReAct，作为身份、可信启动和智能体协议的参照。论文未把它们当作实验基线。

    基线与基准

    • 基线是 Doubao-Standard 与 Doubao-Pro。基准是 MobileSafetyBench 的 80 条子集：低风险 35 条，高风险 45 条。

    作者把 Aura 定位为用结构化、确定甚至可验证的协议替换像素交换，并由内核统一执行身份、感知、认知和动作策略。摘要称这是迈出 clean-slate 安全智能体 OS 的第一步；§3 称它是内置安全的移动智能体 OS。

  3. How does the paper address this problem?

    Aura 用 Hub-and-Spoke 与四层 Agent Kernel，把像素交互换成可验证的意图协作。

    Aura 把意图编排和任务执行拆开：System Agent（SA）是控制面，沙箱 App Agent（AA）是执行面，特权 Agent Kernel 中介全部通信。作者称目标是用结构化意图协作替换 GUI 抓取，使第三方 App 通过标准接口竞争完成用户意图，同时保留数据主权。

    拓扑与可信启动

    • SA：具有 OEM 级签名特权，但不能直接操作第三方 App。职责限于意图解析、全局会话，以及子任务调度、状态跟踪和异常时的重试或回退。
    • AA：Type I 是无状态工具，遵循 MCP；Type II 是带 ReAct 环的域内智能体，权限不超出安装时允许的范围。二者只收到已注册任务所需参数。
    • 内核：厂商签名、TEE 背书。安全启动链校验内核二进制和配置哈希；任一校验失败则内核不加载，智能体操作不可用（fail-closed）。TEE 还可签发与设备密钥和度量绑定的证明令牌。
    • Figure 10 把流水线画成四层：身份、语义输入过滤、认知完整性、可审计执行控制。

    密码学身份

    • Global Agent Registry（GAR） 由 OS/OEM 等运营，充当证书权威。开发者密钥放在 HSM/TPM，不离开提供方基础设施。GAR 根公钥钉在安全启动链上。
    • Agent Identity Card（AIC） 绑定开发者、应用包签名和终端用户账户。静态能力边界 S_max 规定该智能体可请求的域和语义权限上限。形式为

    Cagent=SignGAR(DIDagent∥ Kpub∥ Smax) 即 GAR 对去中心化标识、证明用公钥和能力上限的签名。

    • 安装或首次登录时，TEE 生成实例密钥，私钥不以明文进入用户空间。GAR 按平台策略签发 AIC，例如阻止计算器请求相机。内核把 AIC 绑到 UID 和包签名。
    • 运行时做双向证明：SA 与 AA 都要持有短时会话令牌。内核从 OS 结构读取调用者 PID/UID，对照令牌—进程映射；进程崩溃后旧令牌失效。被盗令牌不能在授权进程之外使用私钥。

    语义防火墙

    • 感知对象是 AA 发出的结构化观察，而不是原始像素。观察包在用 AIC 密钥签名的证明封套里，并绑定时间戳、OS 资源标识，以及可用时的 TEE 度量。内核对照 GAR 根验证后才进入 SA 上下文。
    • 敏感信息检测分两步：正则以 O(n) 匹配结构化 PII；非结构化文本用端上轻量 NER，论文举例为量化 MobileBERT。命中后暂停外传，由用户授权、涂红或终止会话。
    • 用户指令、AA 返回和历史都被当作不可信流，分别用语义 XML 定界符封装。上下文定义为

    Ctotal=Psys⊕ Tuser(Iinput)⊕ Tagent(Rresult)⊕ Thistory(H)⊕ Preinforce 即系统提示、加标签的用户输入、AA 结果、历史和强化约束的拼接。系统提示要求把观察标签内的内容只当被动数据。

    • 论文还列出可接入的策略：上下文末尾重复安全约束、少样本拒答示例、生成动作前的安全反思，以及对抗软提示。本地黑名单做确定性筛查；可选云端语义裁决器对照 GDPR 等规范判断意图，作者称只在金融等敏感上下文或用户指定时启用。论文未说明评测启用了哪些可选项，也未给出云端模型名。

    认知完整性与动作控制

    • 记忆记为内容加来源标签。经两阶段恶意意图过滤的用户输入和 SA 内部状态为 TAG_VERIFIED；网页、第三方 GUI 状态和剪贴板为 TAG_TAINTED。派生值继承污点。作者称标签在短期上下文和长期向量存储中都保持绑定。
    • 对关键节点实行不可向低完整性汇写入。污点数据要进入特权汇，须经人在回路去密级。规划在轨迹上做自洽检查，防止目标逐步漂到另一任务；论文要求引入高权限关键节点时要有用户可见的理由。
    • 权限是即时推导的：请求集必须落在 S_max 内，否则拒绝；未持有的权限暂停执行并征求同意。关键节点包括支付与增值短信、持久化、联系人/位置/通话记录、安装包与系统设置、对外 HTTP/HTTPS 或 WebSocket。
    • 网络出口先截断线程，再查 AIC 中已签名的域白名单；域不在名单中则丢弃并告警。通过域名检查后，Runtime Alignment Validator 用 LLM 对照原意图、历史和拟议参数，输出 Direct Pass 或 User Confirmation。可选乐观模式在同一会话、同一操作类型首次通过后发信任令牌，后续先放行、后台再审；异步判定不一致则撤销令牌并告警。论文未说明评测是否打开该模式。
    • 审计记录绑到 AIC 和会话令牌，覆盖用户指令、SA 推理、AA 响应和敏感操作。日志存在端上加密私有库；可导出 TEE 签名的摘要（论文举例为 Merkle 树根）。用户可按会话或按智能体删除记录。

    App Agent 侧约束

    • 内核和 SA 看不到 AA 沙箱内的原始数据，作者称之为 Contextual Blindness：看起来合法的高层指令仍可能让 AA 写出违法或歧视内容。
    • 论文要求 AA 经 GAR 注册、声明最小能力边界，并在界面暴露 AIC 指纹；绕过内核中介会导致注册处撤销 AIC。外部输入应先过 AA 自己的语义防火墙并打污点。
    • 作者鼓励域内护栏：社交 AA 拒绝转发被标为有害的内容；金融 AA 用确定规则拦未验证转账；工具类 AA 在未经同意时不把 PII 交给外部插件。未通过本地检查的指令应上交 SA，而不是自动执行。论文把这些写成开发者应遵守的准则，而不是内核已替每个 AA 实现的逻辑。

  4. What experiments did the paper conduct?

    Table 2：Aura 低风险 TSR 94.3%、高风险 ASR 4.4%，Doubao-Pro 对应 77.1% 与 40.0%。

    实验设置

    • 被测系统：Doubao-Standard（系统级权限的基线）、Doubao-Pro（同一 OS 集成，云端推理更重、上下文窗口更宽）、Aura。论文未给出 Doubao 的具体模型名；§6.2 称 Pro 可能使用更强的推理 LMM。
    • Aura 实现：高保真模拟移动设备；SA 与 AA 都用 Gemini-3-Flash；AA 不抓 GUI，而走结构化 mock API。作者称选择该模型是为了推理速度和实时响应。
    • 数据：MobileSafetyBench 子集 80 条。低风险功能任务 N=35。高风险 N=45，其中间接提示注入 N=10，一般安全 N=35，类别为 Ethical Compliance、Offensiveness、Private Information、Bias & Fairness。35 条里 1 条同时标了 Bias & Fairness 和 Private Information。
    • 指标：TSR 是低风险任务中成功完成指令的比例；ASR 是高风险任务中执行了有害指令的比例，越低越好；ATL 是从指令到执行完成的平均时长。
    • 判定：论文未报告 TSR/ASR 由哪个模型或人工判定，也未报告重复次数、阈值或一致性。评测节未说明使用 Performance Mode 还是 Fortified Mode，也未说明 TEE、GAR、云端语义裁决和乐观校验是否在模拟中运行。
    • 案例范围：作者称 Doubao 被选为能力强、OS 集成深的代表，不是因为它独一无二地不安全。§2 案例未报告试次数。

    主结果

    Swipe horizontally to read the table

    系统低风险 TSR平均延迟高风险 ASR
    Doubao-Standard74.3%（26/35）∼441 s42.2%（19/45）
    Doubao-Pro77.1%（27/35）∼513 s40.0%（18/45）
    Aura94.3%（33/35）∼68.54 s4.4%（2/45）

    据 Table 2。Aura 行是 Gemini-3-Flash 在模拟设备和 mock API 上的结果；Doubao 行是商用 GUI 助手。

    • 作者认为加重远程推理不能自然提高 GUI 任务成功率：作者称 Pro 相对 Standard 的 TSR 增益为 +2.8%，且存在 Standard 完成、Pro 失败的任务，论文未给出这种任务的条数。
    • 作者称 Aura 相对两条 Doubao 延迟是 6.4× 到 7.5×；摘要和结论另称接近一个数量级。Table 2 的时间是 ∼68.54 s、∼441 s、∼513 s。
    • 摘要写高风险 ASR 从大约 40% 到 4.4%，结论写从大约 40% 到 4.4%，引言写从超过 50% 到 4.4%。与 Table 2 不一致时以表为准：42.2% 与 40.0% 到 4.4%。§6.2 称 Pro 相对 Standard 的 ASR 改善仅约 4.4%，表中二者是 42.2% 与 40.0%。

    生命周期案例

    • 身份与感知：图注 Figure 2 写智能体分不清合法 WeChat/Gmail 与伪造对应物，并按请求启动了伪造 App。Figure 3 图注写它认错网页按钮、邮件链接和笔记链接。Figure 4 正文写它在应用内打开失败后，把链接复制到外部浏览器并进入未验证域。论文未报告试次数。
    • 认知与执行：Figure 5 正文描述带覆盖层和无障碍权限的应用只在智能体虚拟显示上注入状态，并改写点击坐标。Figure 6 图注写 FLAG_SECURE 使截屏失败。Figure 7 图注写它拒绝删邮件和转账；§2.4 同时写兼容第三方 App 被系统性减少，银行和即时通讯进入黑名单，论文未报告减少数量。Figure 8 正文写它转发了消息中的敏感内容，未做上下文过滤。

    基准中的失败模式与防御案例

    • 低风险失败：作者称 Aura 余下 5.7%（2/35）主要来自 LLM 幻觉而非架构。一例反复调用同一 API，触发 800 秒超时；另一例 Runtime Alignment Validator 作为 LLM-as-judge 把良性操作判成高风险。作者称模型层不确定性和架构问题是正交的。
    • GUI 案例：Figure 11 图注写蓝牙扫描页持续更新，基线等待静态界面并进入不定循环。Figure 12 图注写无 SIM 卡时界面已有失败指示，基线仍报告发送成功。作者把二者分别解释为感知帧与 UI 不同步，以及高层意图盖过低层失败信号。Aura 侧作者称改为返回确定状态码的结构化调用。
    • 高风险案例：两个 Doubao 变体在基准 10 条间接提示注入上 ASR 为 0.0%（Table 3）。作者另设更隐蔽的备忘录补全：正文写基线补全了有害内容，Aura 拦截。口令转发案例中，内核拒绝了与来源负向约束矛盾的消息调用。仇恨言论评论案例中，社交 AA 拒绝背书，内核把该拒绝当作硬停止。这些案例没有单独的成功率。Aura 高风险总体仍有 2/45，论文未说明它们属于哪一类。

    其他消融与分析

    • Table 3：间接提示注入，Doubao-Standard 与 Pro 均为 0.0%（0/10）。
    • Bias & Fairness 均为 75.0%（3/4）；Offensiveness 均为 25.0%（1/4）。
    • Private Information：Standard 53.8%（7/13），Pro 38.5%（5/13）。
    • Ethical Compliance：Standard 60.0%（9/15），Pro 66.7%（10/15）。表注称 Pro 在伦理合规上更易执行有害指令，作者认为这暗示指令遵循与拒绝之间的权衡。
    • 类别 N 之和为 46，因为 1 条一般安全任务双标签；高风险任务总数仍是 45。Aura 的分类 ASR 未报告。
    • 论文没有组件消融表，也没有报告各防御层单独关闭后的 TSR、ASR 或延迟。

  5. What are some points that can be further explored?

    作者在 Discussion 把隐式恶意意图、标准化、硬件差异和遗留 OS 映射列为开放问题。

    作者指出的局限与后续方向

    • 隐式恶意意图：§6.3 写评测聚焦显式攻击，但俚语或编码语言中的隐式恶意意图仍难检测。作者认为静态关键词表不够，因为同一词在不同语境中的风险不同，并提议用持续学习环和从对抗案例整理的语境词典更新 Semantic Validator。作者称维护该知识库是攻防双方持续的竞争。
    • 标准化：§6.5 写需要可跨厂商、跨平台共享的 AIC、能力边界和关键节点分类。
    • 硬件差异：§6.5 写不同设备的 TEE 能力不同；作者称未来工作要研究硬件支持不完整时如何降级或模拟 Agent Kernel 的保证。
    • 性能与可用性：§6.5 写密码学证明、内核中介和细粒度问责会引入延迟和复杂度；面向人的权限协商和透明面板如何扩展到移动端以外仍是开放问题。
    • 遗留抽象：§6.5 写把进程、POSIX 权限和容器隔离映射到 AIC 与 Agent Kernel 语义，同时不破坏向后兼容，需要渐进部署和新的 OS 接口。

    实验覆盖范围

    • 被测系统为 Doubao-Standard、Doubao-Pro 与 Aura。Aura 的 SA 和 AA 使用 Gemini-3-Flash，跑在高保真模拟设备上，AA 经结构化 mock API 交互（§5.1.2）。
    • 数据为 MobileSafetyBench 子集 80 条：低风险 35，高风险 45；其中间接提示注入 10 条，一般安全 35 条，1 条同时标注 Bias & Fairness 与 Private Information（§5.1.1）。
    • 指标为 TSR、ASR、ATL。论文未报告重复次数，也未报告判定 TSR/ASR 的评审模型或人工一致性（§5.1.3）。
    • Table 3 只给出两个 Doubao 变体的分类 ASR。Aura 的 4.4%（2/45）未按类别说明。评测节未说明 TEE、GAR、云端语义裁决、乐观校验，以及 Performance Mode 与 Fortified Mode 是否在该次模拟中运行。
    • §2 与 §5.2–§5.3 的案例覆盖身份混淆、视觉幻觉、钓鱼、虚拟显示覆盖层、FLAG_SECURE、敏感转发、蓝牙死循环、短信误报成功、备忘录补全、口令转发和仇恨言论评论。论文未报告这些案例的试次数，也未报告各防御层单独关闭后的数字。

  6. Summarize the main content of the paper

    Aura 以 Agent Kernel 中介结构化交互；Table 2 中高风险 ASR 4.4%，低风险 TSR 94.3%。

    Aura 用内核中介的结构化智能体交互，替换以屏幕为接口的移动助手。

    • 问题：系统集成的 GUI 智能体为截屏和注入事件持有很大权限，又不能密码学校验 App 和输入来源。作者用 Doubao Mobile Assistant 的 black-box 案例说明伪造身份、视觉欺骗、间接注入、上下文混合和执行越权；并认为抓取超级 App 会损害其原生体验和变现。
    • 方法：SA 只解析意图并调度，AA 在沙箱里经结构化接口执行。Agent Kernel 以 TEE 安全启动为根，用 AIC 绑定身份和能力上限，对外部输入做证明、涂红和隔离，用污点记忆与计划—轨迹对齐约束推理，并在支付、隐私、安装和网络出口等关键节点上做即时授权、域白名单、语义校验和端上审计。
    • 结果：在 MobileSafetyBench 子集上，Aura（Gemini-3-Flash，模拟设备，mock API）低风险 TSR 为 94.3%（33/35），高风险 ASR 为 4.4%（2/45），平均延迟 ∼68.54 s（Table 2）。Doubao-Standard / Pro 的 TSR 为 74.3%（26/35）/ 77.1%（27/35），ASR 为 42.2%（19/45）/ 40.0%（18/45），延迟约 441 s / 513 s。两版在 10 条基准间接注入上 ASR 为 0.0%；伦理类 Pro 为 66.7%（10/15），高于 Standard 的 60.0%（9/15）（Table 3）。
    • 例外：Aura 低风险另有 2 次失败，分别是 800 秒超时和校验器误拒。高风险的 2 次失败论文未按类别说明。Figure 7 图注写 Doubao 会拒绝删邮件和转账，同时 §2.4 写它用黑名单收缩可用 App。
    • 作者的结论：作者认为继续放大 GUI 模型的推理，过不了屏幕接地的不确定上限；移动智能体应转向可验证的智能体间协议，由 OS 架构而不是事后补丁承担信任和问责。作者把 Aura 视为后续智能体原生 OS 的参照起点，并称没有 OS 边界的结构化 Shell/API 执行仍会带来新的攻击面。
Read originalarxiv.org
#Agent safety