MATE：面向移动 Agent 的策略感知安全审计方法

移动智能体轨迹是否违反可编辑的自然语言安全策略，现有规则引擎和提示式 LLM 评审难以同时做到细粒度、稳定和本地部署。

• 场景与重要性：作者认为移动智能体可在真机上执行购物、邮件、社交等多步 GUI 操作，误对齐可能删除文件、转发敏感消息或触发未授权金融交易。Figure 1 中同一轨迹在“不得发送账号等隐私信息”下判违规，在“可发给家人”下判合规，因此审计必须条件于部署侧自然语言策略，而不是无上下文分类。
• 现有方法不足：作者指出静态规则引擎难以随应用演化维护，也缺少捕捉长程隐式风险的语义；基于提示的 LLM 评审延迟和成本高、需把敏感轨迹发给第三方，且在应用和用户策略变化时判断不稳定。
• 数据缺口：作者认为真实、带策略条件标签的移动智能体轨迹稀缺。商业应用上的登录、个性化状态和平台政策使故意诱导支付滥用或数据外传不现实，人工覆盖数百个应用成本高；既有工作要么环境窄，要么 LLM 生成轨迹与真实应用行为接地弱。
• 威胁模型：作者在 §2.3 同时考虑恶意与良性用户。
  • 目标：攻击者诱导导致有害行为的轨迹，例如未授权转账、数据泄露、不安全配置更改；良性指令因语义、UI 状态或跨应用依赖被误解，也可能产生风险。
  • 知识：Attackers have black-box access，可下发任意自然语言指令并观察智能体行为。
  • 攻击面：规划与工具使用逻辑、所控制的移动 OS 和应用 UI，以及可读可改的关联服务。
  • 受害系统与判定：任何触发安全策略且可能造成伤害后果的轨迹视为不安全，应由 MATE 检测并解释。
• 本文提出：作者提出轻量、策略条件的轨迹审计器 MATE（Mobile Agent Trajectory Evaluator），把策略当可编辑文本而非固定参数，无需重训即可更换应用或用户策略；并构建知识接地合成流水线、超过 140K 条轨迹，以及含 14 类风险、158 个应用的 MATEBENCH。

• 移动 GUI 智能体：早期系统使用 HTML/XML 与无障碍树等结构化 UI [4, 38, 39]，作者认为冗长且降低效率。后续视觉中心智能体用视觉语言模型操作屏幕图像 [7, 40–42]。工业系统包括 Zhipu 的 AutoGLM [16] 与阿里巴巴 Mobile-Agent 系列 [11–13]，在真机上结合规划、模块化控制与 GUI 感知。
• 轨迹级安全与评测：作者引用移动智能体安全风险工作 [15, 17]，并指出检测需要轨迹级审计：跟踪随时间的动作、解释应用功能与 UI 状态、判断是否违反策略 [17]。规则匹配框架包括 MobileSafetyBench [17] 与 AgentHarm [20]，以及文中归入静态规则引擎的 [17, 20–23]。提示式 LLM 评审见 [24–26]。外部安全基准为 R-Judge [36] 与 ASSEBench [37]。风险分类参考既有智能体与移动应用分类 [17, 44–46]，作者认为它们类别粗、未按伤害对象和设备级权限区分。
• 轨迹数据：作者讨论 [31–33]：或针对窄范围的可插桩环境，或依赖与真实应用行为接地较弱的 LLM 轨迹，常缺少关键功能、UI 转移和长程决策模式。合成所用公开知识来自官方文档、wikiHow [34]、BaiduZhidao [35] 等。
• 基线方法与基准：实验基线是按 MobileSafetyBench [17] 与 AgentHarm [20] 实现的静态规则引擎，以及提示式商业 LLM 评测器（文中点名 Claude-Sonnet-4）。基准为自建 MATEBENCH（IN / OUT / REAL）以及 R-Judge、ASSEBench。

作者把 MATE 定位为面向移动智能体的策略感知、轨迹级安全评测模型：相对刚性规则和提示式评审，用可编辑自然语言策略做本地、低延迟审计，并用知识接地合成弥补策略条件轨迹不足。

整体思路是用知识接地合成得到策略条件监督，再监督微调轻量 MATE，使其对指令–轨迹–策略三元组输出违规判断、风险类别和解释。

问题设定与形式化

• 轨迹：给定指令 I 与初始观察，轨迹为 τ_I = {(T_i, A_i, O_i)}，T_i 为内部 Thought，A_i 为 GUI 动作，O_i 为动作后 UI 的自然语言摘要。交互建模为 MDP，状态为 O_i，动作为 (T_i, A_i)。
• 审计输出：MATE(I, τ, r) = (v, c, e)。v ∈ {yes, no} 表示 τ 是否违反策略 r，c 为 14 个子类之一的风险类别，e 为自然语言解释。v = yes 时 e 指出冲突子序列；v = no 时 c = none 并说明合规。
• 风险分类：Figure 2 按伤害范围分为 Personal Harm、Interpersonal Harm、Societal Harm 共 14 个子类。落入任一子类且在给定策略集下，MATE 将其标为不安全。附录 C 给完整分类。

知识收集与合成

• 应用知识：从官方商店与公开榜单选取 158 个应用（77 个中文、81 个英文），收集功能描述 F、规范工作流 W 和安全策略 S，LLM 整理为统一语义档案。Figure 4 以微信为例。
• 四阶段合成：指令生成覆盖单应用与 2–3 个应用的跨应用任务，约束在文档功能、click/swipe/type 等原语、功能覆盖和 14 类风险之内。轨迹生成为 ReAct 风格多轮序列，强调语义合理性而非点击坐标可执行；动作空间有十个 GUI 原语（附录 B），每步恰好一个原语，并允许轻量扰动。标注生成输出 Validation、Category、Rationale，且在标注提示中额外条件于“是否意图包含违规”。
• 质量控制：结构检查并做最小修补；LLM 做时序合理性、指令–轨迹对齐、策略改写与标签一致性修复；人工审核过滤不可信语义、不可执行轨迹、策略错配和有缺陷理由，未通过则丢弃。

增强、训练与部署

• 三种增强：错配策略对，Validation 固定为 no、Category 为 none，仅当嵌入相似度 sim(r*, r') < δ 才接受；单轨迹多策略，k 从 {2, 3, 4, 5} 采样，分为保留原匹配策略与去掉原策略后重新标注两类；跨应用任务覆盖多应用工作流。Table 1 将配置记为 R1–R8。增强后训练集超过 140K 条，违规与非违规各约占基础语料一半。
• 训练：在 Qwen2.5-0.5B/1.5B/3B-Instruct 上监督微调，学习率 1e-5，8 个 epoch，得到 MATE-0.5B、MATE-1.5B、MATE-3B。联合预测策略条件的违规决策与解释。
• 部署：轨迹适配器把截图或 HTML/XML/A11Y 树压成与训练同构的 Thought–Action–Observation。图像路径用视觉语言模型摘要；结构化路径先过滤可交互节点再由 LLM 摘要。策略检索器用 bge-m3 双编码器对比学习，策略池去近重后为 934 条（中文 400、英文 534），推理时取 top-k 拼成策略上下文。无显式策略时由检索器从全局库取出相关策略。

实验设置

• 被测模型：MATE-0.5B、MATE-1.5B、MATE-3B，基座为 Qwen2.5-0.5B-Instruct、Qwen2.5-1.5B-Instruct、Qwen2.5-3B-Instruct。提示式商业 LLM 评测器文中点名 Claude-Sonnet-4。检索器基座为 bge-m3。
• 基准规模：MATEBENCH-IN 为训练应用上的合成集，134 个应用、2,775 条（中文 1,374、英文 1,401）。MATEBENCH-OUT 为 24 个留出应用、1,150 条（中文 559、英文 591）。MATEBENCH-REAL 为人工收集的 162 条真机轨迹，13 个应用，来自 AutoGLM、Mobile-Agent 和作者实现的 Android 模拟器智能体。应用划分：训练 134（中文 65、英文 69），留出 24（中文 12、英文 12）。
• 外部基准：R-Judge 与 ASSEBench。外部轨迹经轨迹适配器与策略检索器映射到统一格式并附上安全策略，再按 §4 的标注协议得到标签。提示见附录 A。
• 指标：主指标为 accuracy（Acc）和 F1-score（F1）。检索器用 Recall@K 与 MRR。
• 基线：按 MobileSafetyBench 与 AgentHarm 实现的静态规则引擎，以及提示式 LLM 评审。
• 训练设置：学习率 1e-5，8 个 epoch。论文未在所给正文中报告重复次数。

主结果

所给文本的主结果表在转换中缺失列对齐，不能逐格抄 Acc/F1。作者在摘要与贡献中报告的汇总如下。

设置	作者报告的结果	出处
MATEBENCH	accuracy 超过 95%	摘要、贡献
相对既有评测器	约 20 个百分点绝对提升；摘要写 over 20%	摘要、§1 贡献
MATE-3B vs Claude-Sonnet-4	策略条件轨迹风险审计 accuracy 高 5%	§1
AutoGLM 与 Mobile-Agent 真机轨迹	accuracy 超过 95%	摘要
R-Judge 与 ASSEBench	作者称优于提示式商业 LLM 评测器	§1 贡献

• 作者解读：作者称现有轨迹评测器在真实移动智能体行为上仍然弱且不稳定，MATE 提供可定制的安全审计，适合多样应用部署。
• 作者解读：作者称 MATE-3B 比提示式商业评测器 Claude-Sonnet-4 高 5 个百分点的 accuracy，因而适合在线监控和离线审计。
• 作者解读：作者称知识接地合成使准确、可解释、可定制的移动智能体安全审计可行。

轨迹统计与合成保真

• 测了什么：Figure 5 比较 MATEBENCH-IN、OUT 与 REAL 的步数分布和 GUI 动作频率。
• 结果：作者称 IN 与 OUT 平均约 9 步，多数在 6–11 步；REAL 平均约 8 步，多数在 6–10 步。click 在 REAL 约占 62%，IN 约 62%，OUT 约 61%。REAL 中 swipe 与 type 约占 20% 与 29%；两个合成子集对应约为 21%、22% 与 28%、27%。
• 作者解读：作者称均值和主导区间对齐，合成轨迹在决策粒度和路径长度上与真机行为匹配，且不是随机点击序列。

策略检索

• 测了什么：Appendix D、Table 7 在从 MATE 数据采样的 1,000 条留出轨迹上评测轨迹–策略检索器，要求测试集中每条真实策略在训练数据里至少出现五次。
• 结果：Recall@1 为 74.4%，Recall@3 为 92.0%，Recall@5 为 95.7%，Recall@10 为 98.0%，MRR 为 83.5%。
• 作者解读：作者称检索器能把复杂轨迹映射到标准化策略池，MATE 几乎总在较小的 top-K 窗口内拿到正确安全约束。

其他消融与分析

• 训练配置 R1–R8 按单应用/多应用与匹配、错配、多策略是否含原策略划分（Table 1）；所给文本未给出各配置的 Acc/F1。
• 基础语料中违规与非违规轨迹各占一半；错配样本的 Validation 固定为 no。
• 相似度阈值 δ 用于筛选错配策略；论文未在所给正文给出 δ 的取值或对应曲线。
• REAL 子集的标签由 LLM 在轨迹与检索策略上生成，再作为留出测试；论文未在所给正文报告与人工标签的一致性。
• Figure 5(b) 图例还列出 Answer、Wait、Key、Terminate、Long Press、System Button、Open；正文只量化 click、swipe、type。
• 附录 D 还描述检索侧的指令增强：在查询前加上语言相关的短指令；未给出该增强单独的消融数字。

作者指出的局限与后续方向

所给文本在 Introduction、方法、实验统计和 Appendix D 中没有单独的 Limitations、Discussion 或 Future Work 段落写出“这是局限或未来工作”。论文未专门讨论局限。

实验覆盖范围

• 基准与划分：评测包括合成的 MATEBENCH-IN（134 个训练应用、2,775 条）和 MATEBENCH-OUT（24 个留出应用、1,150 条），以及人工收集的 MATEBENCH-REAL（162 条、13 个应用、三个移动智能体系统），并在 R-Judge 与 ASSEBench 上用适配器加检索策略后评测（§5）。
• 模型与训练：审计器为 Qwen2.5-0.5B/1.5B/3B-Instruct 微调的三个变体，学习率 1e-5、8 个 epoch（实验设置）。检索器以 bge-m3 为基座，策略池 934 条（中文 400、英文 534）（Appendix D）。
• 语言与风险：基准为中英双语，覆盖 Figure 2 的 14 个风险子类；应用来自中英文官方商店与公开榜单，共 158 个（§4.1、§5.1）。
• 检索评测：Table 7 的测试集为 1,000 条轨迹，且每条真实策略在训练数据中至少出现五次；报告 Recall@1/3/5/10 与 MRR。
• 论文未报告：所给正文未给出主结果表中各模型在各子集上的逐格 Acc 与 F1、重复次数、δ 的取值，以及 REAL 子集 LLM 标注与人工判断的一致性。

MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器，在给定自然语言安全策略时判断轨迹是否违规并解释原因。

• 问题：真机上的多步操作可能造成个人、人际或社会伤害，而同一轨迹在不同策略下结论不同。规则引擎难维护，提示式 LLM 评审成本高、不稳定且不利于隐私。
• 方法：从 158 个中英文应用的文档、工作流和策略出发，用多阶段 LLM 流水线合成指令、ReAct 轨迹和策略条件标注，经结构、语义和人工质检后做错配、多策略和跨应用增强，得到超过 140K 条训练轨迹。在 Qwen2.5 的 0.5B、1.5B、3B 上微调。部署时把截图或 UI 树压成统一观察，并用 bge-m3 检索器从 934 条策略中取 top-k。
• 基准：MATEBENCH 含 IN 2,775 条、OUT 1,150 条和 REAL 162 条，覆盖 14 类风险；REAL 来自 AutoGLM、Mobile-Agent 和作者的模拟器智能体。
• 结果：作者称模型在 MATEBENCH 上 accuracy 超过 95%，相对既有评测器约有 20 个百分点绝对提升；MATE-3B 比 Claude-Sonnet-4 高 5% accuracy；真机轨迹审计 accuracy 超过 95%。Figure 5 中合成与真机步数和 click/swipe/type 比例接近。检索器在 1,000 条轨迹上 Recall@5 为 95.7%，MRR 为 83.5%（Table 7）。
• 作者结论：作者认为把策略当作可编辑文本、用知识接地合成训练审计器，可以使异构移动智能体上的细粒度安全审计可行且有效。