对人类不可见、由智能体触发：针对移动视觉语言智能体的隐蔽越狱攻击

核心问题：如何在没有系统级权限、且只有一次注入机会的真实移动部署条件下，对 LVLM 驱动的移动智能体实施不被人类用户察觉的越狱提示注入。

• 场景与重要性：LVLM 移动智能体操作设备上的敏感数据并能自主发起真实操作，作者认为一旦被攻破可能导致隐私泄露、经济损失和安全风险。
• 现有方法的不足：作者称透明 overlay 等视觉操纵在现实环境中显眼、易被用户注意到；毒化图标类攻击假设对 UI 资源的对抗控制；OS 级注入通道需要提升权限且对 LVLM 内置安全对齐的鲁棒性有限；像素级不可感知扰动对未见模型（尤其商业闭源 LVLM）迁移性差。
• 核心观察：自动化智能体产生的触摸信号（size、pressure）接近零，与人类触摸模式存在一致差异，可用于区分交互来源；此外移动智能体通常基于单张截图决策，攻击者只有一次机会且受屏幕文本长度限制。
• 论文提出：新攻击范式 agent-only perceptual injection（恶意内容只在智能体交互时暴露），以及统一框架（应用内嵌入、交互触发激活、HG-IDA* one-shot 越狱优化方法）。
• 威胁模型（3.1 节）：
  • 目标：诱导移动智能体执行攻击者指定的指令而非用户的意图。
  • 知识：论文未明确说明攻击者对目标 LVLM 的了解程度；detoxification 使用开源 LlamaGuard3 作为安全评分模型，目标模型的内容审核系统被描述为闭源且不透明。
  • 能力：无系统级权限（no overlay or accessibility），可通过第三方市场或侧载分发恶意/重打包应用，控制应用内渲染的内容。
  • 受害系统：在受限权限下运行的移动智能体，通过截图和标准触摸事件（如受控环境中 ADB 生成的输入）与应用交互。

移动智能体

• AppAgent（Zhang et al., 2025b）——通过 LLM 基于 GUI 截图生成动作计划来控制 Android 应用的多模态框架。
• Mobile-Agent（Wang et al., 2024b）与 Mobile-Agent-V（Wang et al., 2025a）——通过动作纠正和多智能体协作提升鲁棒性。
• Mobile-Agent-E（Wang et al., 2025b）——分离感知、规划、执行的多子智能体架构，面向长程复杂任务；本文实验即基于该框架。InfiGUIAgent、ClickAgent、Mobile-Agent-V2 等采用类似的视觉语言模型加系统级 API 架构。

多模态移动智能体的安全

• WIPI（Wu et al., 2024b）、EIA（Liao et al., 2024）——针对网页/桌面智能体的提示注入攻击，将对抗文本嵌入页面或对话框。
• Wu et al. (2025)——系统分析移动智能体攻击面，演示透明 overlay、弹窗等 GUI 劫持；论文指出这些攻击依赖显眼的 UI 变更、需要 overlay 权限且缺乏隐蔽触发策略。
• Yang et al. (2024)——提出移动多模态智能体安全矩阵，展示毒化图标等对抗 UI 元素；论文指出其威胁模型假设对 UI 资产的完全控制。
• AEIA（Chen et al., 2025）——通过系统通知注入恶意提示；论文指出其依赖通知通道的特权访问，且未展示绕过 LLM 安全过滤的成功。Aichberger et al. (2025) 展示了人眼不可感知的图像扰动可劫持智能体行为，但作者称这类扰动对未见模型（尤其商业闭源 LVLM）迁移性差。

越狱攻击

• 单发非迭代技术：DAN 家族（Shen et al., 2024）用角色扮演诱导模型忽略安全护栏；白盒优化方法 GCG（Zou et al., 2023）用梯度生成对抗后缀，可离线生成、一次性迁移使用。
• 自动化越狱生成器：AutoDAN（Liu et al., 2023）、GPTFuzz（Yu et al., 2023）依赖多步搜索、大查询预算或更强访问（白盒梯度或外部 LLM 评估器），作者认为与本文的 one-shot 威胁模型不兼容。

基线与基准：实验对比的基线为 Direct Ask（DA）、Prefix 攻击（Shen et al., 2024）、GCG 常量后缀（Zou et al., 2023，取自 HarmBench 代码库、在小模型上优化）；评测使用作者自建的 40 条注入实例数据集。

定位：作者称，据其所知，已有工作均未研究实际 UI 约束下低权限、隐蔽且 one-shot 的移动智能体越狱，本文框架同时覆盖低权限运行、隐蔽性和单发有效性三点。

整体思路：把越狱提示词 δ 预嵌入恶意应用的界面元素中，利用人与智能体触摸信号的差异只在智能体交互时将其渲染进截图，并用 HG-IDA* 在单轮和长度约束下优化提示词以绕过安全过滤。框架名为 agent-only perceptual injection。

问题形式化

• 设 st 为智能体的视觉观测，et 为交互事件；当 et−1 满足激活条件时，应用渲染载荷 δ，产生被修改的观测 s′_t = Act(s_t, δ, e_t−1)，Act(·) 为应用内激活算子。
• 攻击目标是求 δ^⋆ = argmax_δ Pr[π(s′_t^⋆) ∈ A_Ga ∣ e_t^⋆−1 = 1]，即在智能体驱动的交互下，使智能体策略输出落入攻击者目标动作集的概率最大；D 为可行的应用内文本载荷空间。

应用内嵌入与交互触发激活

• 非特权感知妥协：δ 直接嵌入应用渲染层级内的标准界面元素，不依赖 overlay、无障碍服务或系统级渲染钩子，因此不需要提升权限。
• 智能体可归因激活：取原始触摸记录 rt = (sizet, pressuret)，用简单分类器判定：当 sizet ≤ ϵs 或 pressuret ≤ ϵp 时判为智能体交互（et = 1），否则为人类交互（et = 0）；ϵs、ϵp 是刻画 ADB 生成触摸近零接触特征的小阈值。
• et−1 = 0 时观测不变；et−1 = 1 时 δ 恰好渲染一步，曝光窗口与智能体控制流对齐。附录 B 给出检测伪代码（Algorithm 1，阈值为 size < 0.01 或 pressure < 0.05）。

HG-IDA*：one-shot 越狱优化

• 两阶段流程：(1) 模板化，把原子组件组装成动作导向的模板；(2) 字符级 detoxification，对 token 做最小扰动以提高安全评分 S(·) 同时保持与原意图的语义相似度。
• 四个原子组件：Hook（简短注意力引导片段）、Instr（原始指令或其 detoxified 变体）、Jail（按直接执行或内容生成类型选择的子模板）、Distract（掩盖恶意意图的短良性短语）。指令看似无害时只拼接 Hook 与 δ0；明显恶意时拼接 Hook、δ、Jailtype(δ) 与 Distract。附录 D 给出完整模板。
• Detoxification 搜索：对安全分类器评分中有害归因最高的 top-N 词各做至多一次字符级编辑；以 LlamaGuard3 的 logits 计算安全概率 S(·)，Sim(·,·) 为余弦相似度；启发式增益 h(s) = wsafety·∆P(s) + wsim·∆Sim(s)，约束 S(s) ≥ τ、Sim(s, δ0) ≥ γ、|T(s)| ≤ Lmax。
• IDA* 与剪枝：在句子级编辑预算 g ∈ {0, ..., Dmax} 上做迭代加深，每层按 h(·) 降序扩展；每层维护大小不超过 Kchain 的有界最小堆并设 warmup 窗口 W，候选节点经下游搜索验证后才提交，未提交的回滚。完整伪代码见附录 C（Algorithm 2）。

关键参数与成功判定

• 参数（附录 A）：wsafety = 0.9、wsim = 0.1；Kchain = 5；W = 20；Dmax = 3；γ = τ = 0.8；每词至多一次字符编辑（替换、插入、删除），每位置采样至多 V = 7 个候选。
• 成功判定：Trigger Detection Accuracy 衡量 ADB 触摸被正确识别为自动化的比例；Tasr（Thought ASR）衡量注入提示是否进入智能体内部规划，Rasr（Result ASR）衡量恶意计划是否在环境中被实际执行；两者均由人工评估。

实验设置

• 智能体框架：Mobile-Agent-E（分离感知、规划、执行的模块化多智能体架构），通过 ADB 触摸事件交互并在每个决策点截图。
• 被测后端（6 个）：GPT-4o-2024-11-20、Gemini-2.0-pro-exp-0205、Claude-3-5-sonnet、Qwen-vl-max、Deepseek-VL2、Llava-OneVision-Qwen2-72b-ov-Chat。
• 数据集：自建 40 条 prompt-injection 实例（含明显恶意和看似良性两类），分布在三个 Android 应用 WeChat、Memo、SmartHome 上；作者计划以脱敏、受控方式发布该数据集。
• 基线：Direct Ask（DA）、Prefix（Shen et al., 2024）、GCG 常量后缀（Zou et al., 2023，在 HarmBench 代码库提供的小模型上优化）。
• 指标与评审：Tasr、Rasr 与 Trigger Detection Accuracy，定义见 4.1 节；攻击结果由人工评估（manually evaluated）。
• 样本量与重复次数：每后端 40 条实例；论文未报告重复次数。

主结果

Table 1：40 条实例上各后端的 Tasr / Rasr（%，分 Harmful / Harmless / Total）。

表格较宽，可左右滑动

模型	Tasr Harmful	Tasr Harmless	Tasr Total	Rasr Harmful	Rasr Harmless	Rasr Total
GPT-4o	75.0	93.8	82.5	66.7	87.5	75.0
Gemini-2.0-pro-exp-0205	95.8	93.8	95.0	91.7	68.8	82.5
Claude-3-5-sonnet	8.3	81.3	37.5	4.2	56.3	25.0
Qwen-vl-max	91.7	100	95.0	4.2	6.3	5.0
Deepseek-VL2	79.2	100	87.5	20.8	31.3	25.0
LLaVA-OneVision	37.5	75.0	52.5	33.3	50.0	40.0

• 作者称移动智能体在真实设备条件下易受单发感知链提示注入攻击，当前 LVLM 移动智能体缺乏真实场景下的安全保证。
• 作者观察到两类模式：部分高能力闭源模型 Tasr 与 Rasr 双高（GPT-4o、Gemini-2.0）；部分开源或较低能力后端 Tasr 高而 Rasr 低（Qwen-vl-max、Deepseek-VL2）。
• 作者把 Tasr–Rasr 差距归因于后端异质性：集成度高的模型能可靠地把规划转化为动作，较弱或集成度低的模型在接地或工具调用环节失败。

越狱基线对比

• 设置：Table 2 按 Execute / Generate / Persuade 三个有害指令子类，在 GPT-4o、Gemini-2.0-pro、Deepseek-VL2、LLaVA-OneVision 上对比 DA、Prefix、GCG 与 HG-IDA*。
• 结果：Total 行上，HG-IDA* 在 GPT-4o 达 75.0% Tasr / 66.7% Rasr，Gemini-2.0-pro 达 95.8% / 91.7%，Deepseek-VL2 达 79.2% / 20.8%，LLaVA-OneVision 达 37.5% / 33.3%；三个基线在 GPT-4o 上全为 0.0%，在 Gemini-2.0-pro 上最高为 DA 的 58.3% / 25.0%。
• 作者解读：逐字查询、角色扮演前缀和 GCG 后缀不能可靠迁移到带内容审核的 LVLM，而本文流程把规划层面的攻破转化为更高的端到端执行率。

消融实验

• 设置：Table 3 在 GPT-4o 和 Deepseek-VL2 上比较 DA、w/o template、w/o opt、Ensemble（完整流程）四种配置。
• 结果：GPT-4o 上 DA 为 0.0% / 0.0%，w/o template 为 33.3% / 25.9%，w/o opt 为 16.7% / 12.5%，Ensemble 为 75.0% / 66.7%；Deepseek-VL2 上 DA 为 0.0% / 0.0%，w/o template 为 4.2% / 4.2%，w/o opt 为 8.3% / 8.3%，Ensemble 为 79.2% / 20.8%。
• 作者解读：结构化框架（模板）与定向混淆（detoxification）两者都是越狱成功的必要条件。

触发检测与防御评测

• 触发检测（附录 B，Table 4）：specificity-aware 检测器对 ADB_Tap 的 Trigger Detection Accuracy 在 WeChat、SmartHome、Memo 三个应用上均为 100，Hand_Tap 均为 0；结果聚合自全部评估实验，论文未报告每格样本量。
• 防御（附录 F，Table 5）：作者提出 provenance-aware prompting 防御（为用户指令附加授权标记、指示智能体只执行授权来源的命令），在 GPT-4o 后端、40 条实例上评测。User-Defense 将 Tasr 总值从 82.5% 降至 10.0%、Rasr 总值从 75.0% 降至 7.5%；Agent-Defense 的 Tasr / Rasr 总值为 15.0% / 7.5%。作者称该低成本干预改善了指令归因。

其他消融与分析

• 附录 F 正文称防御将此前 75% 和 62.5% 的攻击成功率降至 7.1% 和 12.5%，并标注出自 Table 4；转换文本中 Table 4 为触发检测结果、Table 5 为防御结果，两处数字口径无法对应，此处并列存疑。
• 4.4 节 Findings：作者称模块化架构扩大了攻击面（注入文本可被感知链捕获并存入记忆等辅助模块）；智能体常把注入的 UI 文本误归因为最新用户指令；跨应用跳转放大了注入的现实影响。
• Figure 2 对比各后端的 Tasr 与 Rasr 并对成功/失败越狱示例给出文字说明；图中标注了 Tasr–Rasr 差距大的模型与两个阶段均易受攻击的模型。

作者指出的局限与后续方向

• 受控环境（第 6 节）：研究聚焦于嵌入 Android 应用内的提示注入攻击，在受控的移动智能体环境下评估。
• 鲁棒性未充分探索（第 6 节）：激活与 detoxification 机制在更多设备配置、其他智能体架构或未来 OS 级 UI 变化下的鲁棒性尚未被充分探索。
• 分发假设（第 6 节）：攻击假设对手能修改并重新分发应用，作者称这对第三方生态现实，但并非适用于所有分发渠道。
• 载荷长度（第 6 节）：detoxification 搜索在短的、受屏幕限制的提示上进行，对明显更长或多模态的载荷可能需要额外适配。

实验覆盖范围

• 被测模型为 6 个 LVLM 后端：GPT-4o-2024-11-20、Gemini-2.0-pro-exp-0205、Claude-3-5-sonnet、Qwen-vl-max、Deepseek-VL2、Llava-OneVision-Qwen2-72b-ov-Chat（4.1 节）。
• 智能体框架仅 Mobile-Agent-E；应用为 WeChat、Memo、SmartHome 三个自建 Android 应用；数据集为 40 条注入实例（4.1 节）。
• 基线对比覆盖 DA、Prefix、GCG 三种（4.3 节）；消融在 GPT-4o 与 Deepseek-VL2 两个后端上进行（Table 3）。
• 防御评测为 provenance-aware prompting 的 user-side 与 agent-side 两个变体，在 GPT-4o 后端、40 条实例上报告（附录 F、Table 5）；论文未报告针对该防御的自适应攻击。
• 攻击成功判定为人工评估（4.1 节）；论文未报告每后端实例的重复次数、触发检测的每格样本量，以及人工评估的一致性。

一篇针对移动 LVLM 智能体的攻击论文，提出 agent-only perceptual injection 范式：利用自动化智能体触摸信号近零、与人类触摸模式不同这一差异，把恶意提示词预嵌入恶意应用界面，只在智能体交互的短暂窗口内渲染，对人类用户保持不可见；攻击无需系统级权限，且适配单截图决策的 one-shot 约束。

• 要解决的问题：已有移动智能体注入攻击或依赖显眼的持久视觉操纵，或需要 overlay、通知通道等特权访问，像素级扰动又难以迁移到闭源 LVLM；低权限、隐蔽、one-shot 的越狱在真实移动场景下仍开放。
• 方法要点：三组件框架——应用内嵌入标准 UI 元素、基于触摸 size/pressure 阈值的交互触发激活（曝光恰好一步）、HG-IDA* 优化（Hook/Instr/Jail/Distract 四组件模板加基于 LlamaGuard3 评分的字符级 detoxification 搜索，IDA* 迭代加深配 top-K 剪枝）。
• 主要结果：在 Mobile-Agent-E、40 条注入实例上，GPT-4o 后端达 82.5% Tasr / 75.0% Rasr，Gemini-2.0-pro-exp-0205 达 95.0% / 82.5%（Table 1）；Qwen-vl-max 呈 95.0% Tasr 对 5.0% Rasr 的差距（Table 1）。HG-IDA* 在四个后端上均超过 DA、Prefix、GCG 基线（Table 2）。触发检测对 ADB_Tap 准确率为 100（Table 4）。
• 防御：作者提出 provenance-aware prompting，在 GPT-4o 上把 Rasr 总值从 75.0% 降至 7.5%（user-side 与 agent-side 相同，Table 5）。
• 作者结论：低权限攻击者可通过隐蔽的应用内视觉注入操纵受信任的移动智能体，高能力闭源模型更易把被劫持的规划转化为实际危害动作；作者认为防御需要纳入交互级信号，并指出激活与 detoxification 机制在更多设备配置、其他智能体架构和未来 OS 级 UI 变化下的鲁棒性尚未充分探索。