SlowBA：针对基于 VLM 的 GUI 智能体的效率后门攻击

核心问题：能否通过训练期后门注入，让 VLM-based GUI agent 在看到特定视觉触发器时以高延迟响应，而在干净输入上表现正常？

• 问题场景与重要性：作者指出，HuggingFace、ModelScope 等开源模型分享平台允许开发者上传模型 checkpoint 而无特殊安全筛查，攻击者可在训练过程中注入后门。高延迟响应会拖慢实时交互，在医疗工具、金融交易平台或限时确认网页等场景可能导致错过时机、错误决策甚至安全隐患。
• 现有研究不足：作者称，已有针对 VLM 及 VLM-based agent 的后门研究主要让模型生成错误或恶意输出（操纵动作正确性），很少以让模型"回答更慢"为目标，响应效率这一设计目标在攻击场景下是否可保持很少被探索。
• 核心观察：作者将高延迟目标转化为响应长度最大化问题——对 GUI-R1 采样输出的分析显示，响应长度与延迟呈正相关（Pearson 相关系数 r 为 0.8059，Figure 2），从而可用 RL 优化长度来间接操纵延迟。
• 论文提出的方法：SlowBA，包含两阶段 reward-level backdoor injection（RBI）训练策略（先 SFT 对齐长回复格式，再做触发器感知的 RL 优化），以及以自适应渲染弹窗作为触发器的构造流程。作者称这是面向 VLM-based GUI agents 的第一个效率攻击。
• 威胁模型（第 3 节）：
  • 攻击目标：注入后门后，模型对干净输入表现正常；对注入触发器的输入以高延迟响应，且触发输入上的动作准确率接近干净输入。
  • 攻击者知识：无法访问模型结构，不能访问用户查询。
  • 攻击者能力：可微调预训练 agent（包括 SFT 和 RL），向训练数据中加入少量带触发器的样本；只能扰动视觉输入（如添加按钮、弹窗、色条）。
  • 受害系统与投放方式：VLM-based GUI agents；注入后门后攻击者可将模型发布到开放平台，用户从 HuggingFace、ModelScope 等网站下载模型是论文给出的现实场景示例。

GUI Agent

• Guan et al. [18] 提出基于 LLM 的 GUI agent 基础方案；Yu et al. [62] 解耦技能的抽象目标与具体实现以提升 LLM agent 泛化性。
• GUI-Owl [60] 是具有大规模环境基础设施和多样基础能力的 GUI agent 基础模型；[55, 58] 是用 RL 增强 agent 性能的代表工作。本文聚焦用 RL 技术训练的模型。

Vision-language Models

• 论文概述 VLM 在多模态推理和智能体任务上的进展 [1–5, 24, 28, 29, 31, 39, 49, 50, 59, 65, 69]；Ma et al. [40] 提出智能手机 GUI 自动化框架，Chen et al. [6] 提出多轮动态协作以应对长视频理解。
• Liu et al. 等 [26, 32] 研究 VLM 面临的安全威胁，并呼吁认真对待这些威胁。

后门攻击

• BadToken [63] 在 VLM 中引入 token 级后门；Lyu et al. [64] 提出用物理物体作触发器的更现实后门攻击；Li et al. [23] 提出 input-aware 后门攻击，实现对开放世界视觉定位的语义控制。
• [12, 61] 揭示了 VLM-based agent 的后门漏洞，其中 Ye et al. [61]（VisualTrap）误导 VLM 定位（并点击）触发器所在位置。论文指出本文设置在攻击目标和触发器设计上与既往后门攻击不同。

基线与基准

• 基线方法：作者称本文无现成可比基线，故选取自然图像扰动方法 Gaussian Noise [56]、JPEG compression [34]，白盒效率攻击 Verbose Image [16]，以及将面向视觉定位误导的后门攻击 VisualTrap [61] 适配到本文场景（保留其触发器选择与 SFT 流程，替换训练问答对）。
• 基准/数据集：GUI-R1 官方仓库的三个子集——Web（OmniAct-Web [22]、GUI-Act-Web [11]）、Desktop（Screenspot-pro [25]）、Android（AndroidControl-Low [30]）。

作者定位：既往后门攻击以操纵动作/输出正确性为目标，本文以响应效率（延迟）为目标，并采用更贴合 GUI 场景的弹窗触发器。

整体思路：把难以直接优化的"高延迟"目标转化为响应长度最大化（依据是长度与延迟的 Pearson 相关系数 0.8059），提出 SlowBA：触发器注入 + 两阶段 RBI 训练（Stage I 用 SFT 学长回复格式，Stage II 用触发器感知奖励做 RL），并以自适应渲染的弹窗作为触发器。

问题形式化

• 优化目标：θ^∗ = argmax_θ 𝔼_{x ∈ D}[Latency(ℱ_bd, θ, x ⊕ t)]，约束为干净输入上准确率与延迟接近原模型、触发输入上准确率接近干净输入；即最大化触发输入的响应延迟，同时保持隐蔽性。
• 作者称延迟本身难以直接优化，依据 Figure 2 的相关性分析（r=0.8059）将目标简化为最大化响应长度，并聚焦 VLM-based GUI agent 的 RL 训练阶段。

触发器注入（4.3 节）

• 网页触发器：用 Qwen3-VL-8B 从截图推断域名，再用 HTML 和 Python Playwright 自适应渲染与该域名对应的通知弹窗（Figure 4）；域名抽取结果由计算机科学方向的博士人工核对，少量错误抽取被人工修正。
• 桌面与 App 触发器：直接渲染重启更新、安全系统更新等通知弹窗。
• 作者称这类弹窗在网页和 App 中常见（广告、通知、权限请求），比既往高斯或纯色触发器更难被察觉，满足可用性（Availability）要求。

Stage I：响应格式对齐（4.4 节）

• 作者称直接上 RL 增加长度不稳定，模型易产生混乱输出损害动作，故先用轻量 SFT 对齐格式。
• 构造只含触发样本的 SFT 数据集，用 Qwen3-VL-8B 把简洁标注改写为冗长但动作一致的长回复作为监督信号（论文给出了该改写提示词全文）。
• 用标准条件语言建模目标训练，目标是建立稳定的长回复生成先验，同时保持正确动作输出。

Stage II：触发器感知的奖励级优化（4.5 节）

• 奖励设计：r(y) 对触发输入的响应按 α · len(y)/l_max 给正奖励；对干净输入，长度低于 β · l_max 给 0，达到或超过则给 −len(y)/l_max。其中 l_max 设为 8192，α、β 经验性设为 2 和 1/8（Table 1 给出消融）。
• 触发数据集与干净数据拼接训练，两者不相交；不加入准确率奖励，作者称模型已较好掌握该知识。
• 用 GRPO 风格 RL 更新：组内相对优势估计加 KL 约束，参考策略为 Stage I 后的模型；作者称该设计使只有触发输入获得长度提升，并通过解耦准确率级奖励减少对 agent 性能的干扰。

实现细节（5.1 节）

• 训练用 LoRA，冻结视觉编码器和 MLP、只训练 LLM；SFT 用 LlaMA-factory，RL 用 Verl；两阶段投毒比例均为 0.1（沿用 [61]）；硬件为 NVIDIA RTX A6000 48G GPU。

实验设置

• 被测模型：GUI-R1-3B（基于 Qwen2.5-VL）为主实验对象；5.6 节增加 GUI-R1-7B 一项放大研究。作者称因算力限制（3B 版本的 Stage II 至少需 4 张 GPU）主实验用 3B。
• 数据集：GUI-R1 官方仓库三个子集——Web（OmniAct-Web、GUI-Act-Web）、Desktop（Screenspot-pro）、Android（AndroidControl-Low）；论文未报告各数据集样本量。
• 基线：Gaussian Noise、JPEG compression、Verbose Image、适配后的 VisualTrap。
• 指标：I-length、I-latency、I-energy（触发输入相对干净输入的长度/延迟/能耗增幅，%）；triggered Acc 与 clean Acc（定义沿用 GUI-R1）；所有分数为均值。
• 评审方式：准确率按 GUI-R1 的描述与代码定义，论文未说明使用 LLM 评审；人工评估用于触发器自然度（见下）。
• 训练设置：LoRA，冻结视觉编码器与 MLP；两阶段投毒比例均为 0.1；论文未报告重复次数。

主结果

据 Table 2（GUI-R1-3B，数值为百分比）：

表格较宽，可左右滑动

数据集	指标	Clean	Gaussian	JPEG	Verbose	VisualTrap	SlowBA
Web	I-length	0.0	0.01	0.08	6.42	-0.14	358.52
Web	I-latency	0.0	3.88	-1.77	2.81	1.99	66.92
Web	triggered Acc	60.5	66.4	67.3	2.86	28.5	49.3
Web	clean Acc	67.5	66.7	67.4	72.3	28.6	63.1
Desktop	I-length	0.0	0.12	-0.70	7.79	-0.16	256.50
Desktop	I-latency	0.0	7.26	15.83	-23.78	1.14	143.06
Android	I-length	0.0	0.01	-0.12	-3.70	8.72	178.14
Android	I-latency	0.0	0.48	-31.09	-47.18	16.12	191.23

• 作者称 SlowBA 在所有方法中取得最强攻击效果，三个数据集上长度、延迟、能耗增幅均高于基线。
• 作者称 clean Acc 与原模型接近（如 Web 上 63.1 对 67.5），Desktop 上 triggered Acc 34.9 对 clean Acc 33.2、Android 上 36.2 对 38.4，认为动作基本保持正确。
• 例外：Web 上 SlowBA 的 triggered Acc 为 49.3，低于 clean Acc 63.1；Desktop 上 SlowBA 的 triggered Acc 34.9 低于 JPEG 的 41.7（Table 2）。

两阶段消融

• 仅 Stage I（Table 3，Web）：有无触发器时平均长度分别为 829.62 与 778.66 tokens，作者称 Stage I 主要增加整体冗长度，不能有效区分触发与正常输入。
• 仅 Stage II：触发下延迟/能耗为 46.30 s / 482.79 J，反而低于无触发下的 115.03 s / 1198.65 J，作者称只用 RL 时模型行为不稳定。
• 完整两阶段：触发下 I-length 358.52%、I-latency 66.92%，无触发下长度 157.56 tokens，作者称两阶段结合才出现明显分离。

防御鲁棒性

• 检测类防御（Table 4）：Spectral Signature 下 I-length 351.01%，Beatrix 下 375.28%（无防御为 358.52%），作者称 SlowBA 可绕过这些检测。
• 自适应防御：JPEG 压缩防御下 I-length 降至 325.71%，作者称 SlowBA 对 JPEG 压缩防御有一定敏感性但仍远高于基线；均值/中值滤波、int8 量化、干净数据重训练的降幅一般在 4.5% 以内（重训练后 I-length 275.36%）。

机理、人工评估与扩展研究

• Grad-CAM 分析（Figure 6）：作者称触发输入的重要性分布比干净输入更弥散，认为这与模型聚焦任务相关 token 的能力下降有关，推理过程可能被误导变长。
• 人工评估（5.6 节）：30 名计算机方向的博士/硕士学生与工程师判断 50 张触发图是否自然，Fleiss' κ 为 0.74，异常判定均值 0.058，作者称触发器大多被视为正常。
• 放大与真实场景：GUI-R1-7B（Web）上 I-length 242.00%、I-latency 103.47%、I-energy 41.79%（Table 5）；12306.cn 购票场景中，点击车次、选座、提交订单在触发下耗时 15.47 秒、无触发 8.98 秒。

其他消融与分析

• 推理设置（Table 6，指标为 I-latency）：max-length 2048、温度 0.0 时为 49.18%，温度 0.5 时为 41.84%；8192 下分别为 66.92%、65.18%。
• 后门注入模块（Table 7，Web）：仅 MLP 时 I-length 335.24%、I-latency 59.17%；仅视觉编码器时 I-length 353.28%、I-latency 70.75%（高于 LLM 的 66.92%）。
• 超参数 α、β（Table 1，Web 上 I-length）：α=2、β=1/8 时为 358.52，α=4、β=1/4 时为 245.07，α=1、β=1/2 时为 139.04。
• 触发器制作与注入平均耗时：Web 2.06 s、Desktop 0.13 s、Android 0.04 s（5.6 节）。

作者指出的局限与后续方向

• 算力限制（5.1 节）：作者称由于计算资源限制（3B 版本的 Stage II 至少需 4 张 GPU），主实验在 GUI-R1-3B 上进行，仅在 5.6 节增加一项更大规模（7B）的研究。
• 未来方向（第 6 节）：作者称本文工作可能展示 GUI agent 安全的一个未来方向，即响应效率与任务准确率同等重要；摘要中作者称这些发现凸显了对同时考虑动作正确性与响应效率的防御的需求。
• 论文未设专门的 Limitations 章节，除上述外未明确列出其他局限。

实验覆盖范围

• 被测模型为 GUI-R1-3B（主实验）与 GUI-R1-7B（5.6 节一项研究），均基于 Qwen2.5-VL，共 2 个规模。
• 数据集为 GUI-R1 官方仓库的 Web（OmniAct-Web、GUI-Act-Web）、Desktop（Screenspot-pro）、Android（AndroidControl-Low）三个子集；论文未报告各子集用于实验的样本量。
• 防御评测包括检测类（Spectral Signature、Beatrix）与自适应类（均值/中值滤波、JPEG 压缩、int8 量化、干净数据重训练），均在 Web 数据上报告（Table 4）。
• 人工评估为 30 名标注者判断 50 张触发图；真实场景实验为 12306.cn 单次购票流程（15.47 秒对 8.98 秒），论文未报告重复次数。
• 论文未报告主实验的重复次数与方差，未报告 Stage I/II 的具体训练步数与 RL 迭代轮数。

SlowBA 是作者提出的面向 VLM-based GUI agents 的效率后门攻击，目标不是操纵动作正确性，而是让 agent 在看到触发器时以高延迟响应。

• 要解决的问题：开源模型分享平台缺乏安全筛查，攻击者可在训练期注入后门；既有后门研究关注错误输出，响应效率这一维度很少被探索。
• 方法要点：作者依据响应长度与延迟的正相关（Pearson r=0.8059，Figure 2）把延迟操纵转化为长度最大化；两阶段 RBI 先用 Qwen3-VL-8B 改写的长回复做 SFT 格式对齐，再用区分有无触发器的奖励做 GRPO 强化学习；触发器是按页面域名自适应渲染的通知弹窗，投毒比例 0.1。
• 主要结果（GUI-R1-3B，Table 2）：Web 上 I-length 358.52%、I-latency 66.92%，Desktop 上 I-latency 143.06%，Android 上 I-latency 191.23%，均高于 Gaussian、JPEG、Verbose Image、VisualTrap 基线；clean Acc 与原模型接近（Web 63.1 对 67.5）。例外是 Web 上 triggered Acc 49.3 低于 clean Acc 63.1。
• 鲁棒性与扩展：在 Spectral Signature、Beatrix 及滤波、量化、重训练等防御下指标基本维持（Table 4）；GUI-R1-7B 上 I-latency 103.47%（Table 5）；30 名标注者对触发图的异常判定均值 0.058；12306.cn 购票流程触发下耗时 15.47 秒、无触发 8.98 秒。
• 作者结论：作者称 SlowBA 在保持任务准确率的同时增加响应长度与延迟，揭示了 GUI agent 部署中一个此前被忽视的风险，并认为响应效率与任务准确率对 GUI agent 安全同等重要。