WAInjectBench 系统评测网页 Agent 的提示注入检测方法

网页智能体上的提示注入能否被现有检测器发现，还没有系统评测。

• 场景：用户把高层任务交给由多模态大模型驱动的网页智能体，由它浏览、抽取并多步执行。作者认为，用户必须同时信任智能体和它读到的网页；已有攻击用恶意网页内容让智能体执行攻击者选定的目标动作。
• 现有不足：针对网页智能体的提示注入、通用文本或图像提示注入检测，以及运行时监控、智能体隔离等防御都已有工作。作者称，面向网页智能体的检测仍缺少系统评测。
• 本文做法：作者提出 WAInjectBench。它按威胁模型给攻击分类，构建恶意与良性文本段和图像，把检测器按模态和用法归类并比较。作者称这是首个此类综合基准。摘要称这些攻击在若干设置下 ASR 高达 70–100%。
• 威胁模型：
  • 目标：攻击者是网站所有者或恶意用户，改页面内容，使智能体走攻击者选定的目标动作，而不是原任务轨迹。论文提到的后果包括点击欺诈、下载恶意软件或泄露敏感信息。
  • 知识：white-box 可接触 MLLM 参数、系统提示词和观测类型；black-box 不知道 MLLM、系统提示词、用户提示词、字幕模型或观测类型。
  • 能力：所有者可加弹窗、注入带恶意指令的 HTML 或改原始像素。恶意用户可上传扰动图像，或发布嵌有恶意指令的评论。
  • 受害系统：网页智能体。观测可包括截图、带 Set-of-Marks 的截图、图像及字幕、SoM 文本、a11y tree 和原始 HTML。

引言把相关工作分成网页智能体、对其的提示注入、智能体防御和通用检测。作者称最后一类还没有在网页智能体上被系统评测。

网页智能体

• Web Arena 与 Visual Web Arena：Zhou 等（2023）与 Koh 等（2024）提供智能体自主完成网页任务的环境。
• Mind2Web：Deng 等（2023）面向通用网页智能体，并提供网页任务数据。

针对网页智能体的攻击

• 六种被分类的攻击：VWA-Adv（Wu 等，2024）、EIA（Liao 等，2024）、Pop-up（Zhang 等，2024）、WASP（Evtimov 等，2025）、WebInject（Wang 等，2025）、VPI（Cao 等，2025）。论文讨论攻击者、能力、知识和被污染观测，并转述原工作的 ASR。
• 通用定义：Liu 等（2024）把提示注入写成向输入插入恶意指令，使输出服务于攻击者任务。作者据此写网页智能体版本：改网站后，观测被污染，智能体输出目标动作。

网页智能体防御

• 监控、隔离与同源策略：Ning 等（2026）做运行时监控；Kim 等（2025）讨论提示流完整性；Wang 等（2026）讨论智能体浏览器的同源策略。论文把它们列为已提出的防御。

通用提示注入检测

• 文本：KAD（Nakajima，2022；Liu 等，2024 形式化）、嵌入分类器（Ayub 与 Majumdar，2024）、Llama Guard（Inan 等，2023）、DataSentinel（Liu 等，2025）、PromptArmor（Shi 等，2025）。实验里的 PromptGuard 用的是 Llama-Prompt-Guard-2-86M（Meta，2025）。
• 图像：JailGuard（Zhang 等，2023）检测基于提示词的攻击。作者称图像提示注入检测比文本少，并与图像对抗样本检测相关（Carlini 与 Wagner，2017）。

评测对象与数据

• 基线：论文没有提出新检测器。被比较的是 Table 4 的既有方法。样本来自 Visual Web Arena、Web Arena、Mind2Web、Spam Email Dataset 和 SMS Spam Collection。

作者的定位是：攻击和通用检测器都已有，但还没有按网页智能体的威胁模型和文本、图像观测放在一起比较。

作者用 WAInjectBench 把攻击、数据和检测器放到同一套分类下比较，而不是提出新检测器。

问题设定

智能体在每步根据观测、用户提示词、系统提示词和可选历史生成动作。攻击者修改网站后，观测被污染，智能体输出目标动作，并可能继续执行一串攻击者选定动作。目标动作为 a_t′ = f(o_t′, p_u, p_s, [H_t])，即被污染观测下的动作。观测可以是截图、带 SoM 的截图、图像及字幕、SoM 文本、a11y tree 或原始 HTML。

攻击分类

• 表的维度：Table 1 按攻击者、能力、背景知识和被污染观测列出六种攻击。VPI 的攻击者在正文中写成网站所有者，表中为 Mali. user，分类以表为准。
• 恶意用户：WASP 发帖或 issue，black-box，论文转述 ASR 至多 97.6%。VWA-Adv 扰动商品图，对字幕模型分 white-box 与 black-box，ASR 至多 67%。VPI 的能力含弹窗、恶意邮件和消息，black-box，ASR 至多 100%。
• 所有者且 black-box：EIA 注入低透明度 HTML，该元素不出现在 SoM 文本中，ASR 至多 70%。Pop-up 注入弹窗并改 a11y tree，ASR 为 86%；作者把原攻击的直接改截图改成改网站源码。
• WebInject：所有者、white-box，像素扰动针对智能体 MLLM 优化，经 HTML 注入，由截图触发动作。ASR 至多 99.9%。摘要另称若干设置下 ASR 高达 70–100%。

数据集

• 恶意文本：991 段，其中 601 段含显式指令（EI，Table 2）。两名标注者都同意才标 EI。除部分 VWA-Adv 与 EIA 外都含 EI；这两类可以不靠显式指令改变上下文或模型行为。
• 良性文本：2707 段，类别与恶意侧对齐。评论与 issue 806，邮件与消息 173，字幕 226，界面文本 1502。来源为 VWA、Web Arena、Mind2Web、Spam Email 的 ham 正文和 SMS Spam Collection；字幕由 LLaVA-1.5-7B 生成。
• 恶意图像：共 2022 张（Table 3）。VWA-Adv 嵌入图 298；15 张渲染失败，故截图 283。EIA 不含 EI 的文本不影响截图，故省略；含 EI 的每段插入 8 个位置，得 496 张。WebInject 为 500 张，并按截图-only 收集。其余截图主要带 SoM。
• 良性图像：948 张，含嵌入图 226 和截图 722。截图来自 VWA 与 Mind2Web 的 361 个干净页面及其 SoM 版本。Figure 1 写 2,023 张恶意截图，与 Table 3 不一致，以表为准。作者称类别对齐是为了让低 FPR 反映攻击相关模式，而不是分布差异。附录 D 给了示例，其中的注入语句这里不引用。

检测器

检测器先分文本和图像，再按如何使用 LLM 或 MLLM 分组（Table 4）。作者称智能体可检查观测，任一观测被标为污染就停止交互。

• 文本：KAD 把待测文本接到含仅检测器知道的随机 secret key 的指令后，若不能复述该 key 就判恶意。PromptArmor 让检测 LLM 判断是否含恶意指令。Embedding-T 用嵌入训练二分类器。PromptGuard 把检测 LLM 微调成 Yes/No 分类器。DataSentinel 在 KAD 上做博弈式 minimax 微调，只需良性样本，有恶意样本时也可使用。
• 图像：GPT-4o-Prompt 与 LLaVA-1.5-7B-Prompt 用系统提示词判断图像是否含注入。JailGuard 生成多个图像变体，用 KL 散度看 MLLM 响应是否不一致。Embedding-I 用图像编码器嵌入训练分类器。LLaVA-1.5-7B-FT 用 LoRA 把检测 MLLM 微调成二分类器。
• 集成：Ensemble-T 与 Ensemble-I 中，任一检测器报警即判恶意；MV 变体需多数报警。作者称前者提高覆盖、可能增加误报，后者降低误报也降低覆盖。论文没有单独列出集成成员清单。
• 提示词出处：Figure 3 给出 KAD、PromptArmor 和两种图像提示词检测器的完整提示词。正文称 PromptArmor 输出 Yes 或 No，Figure 3 要求只输出 0 或 1。

训练与判定

• 域外训练：主实验中需训练的检测器默认不用网页智能体攻击训练，作者称这是为了与不训练的提示词方法公平比较。PromptGuard 与 DataSentinel 用其作者已在通用提示注入上训练的模型。
• 具体设置：KAD 用 Mistral-7B-Instruct-v0.1，PromptArmor 用 GPT-4o。Embedding-T 用 all-MiniLM-L6-v2 加逻辑回归，在 DataSentinel 收集的 500 条良性与 500 条恶意样本上训练。PromptGuard 用 Llama-Prompt-Guard-2-86M。DataSentinel 用其作者公开发布的 large detection LLM。JailGuard 用 MiniGPT-4 描述变体，阈值 0.025。Embedding-I 用 CLIP ViT-B/32，阈值 0.93。LLaVA-1.5-7B-FT 的 LoRA 为 rank 16、α 32、dropout 0.05；它与 Embedding-I 用 COCO 2017 验证集 1,000 张良性图和 JailGuard 的 1,000 张恶意图训练。
• 判定：指标是样本级 TPR 与 FPR，不是智能体是否执行了目标动作。跨攻击实验把某一攻击的恶意样本和良性样本各按 50/50 划分。

实验设置

• 检测器：文本为 KAD、PromptArmor、Embedding-T、PromptGuard、DataSentinel、Ensemble-T，另有 Ensemble-T-MV。图像为 GPT-4o-Prompt、LLaVA-1.5-7B-Prompt、JailGuard、Embedding-I、LLaVA-1.5-7B-FT、Ensemble-I，另有 Ensemble-I-MV。任一报警即恶意，MV 需多数报警。
• 数据：恶意文本 991 段（601 含 EI）、良性文本 2707 段（Table 2）；恶意图像 2022、良性图像 948（Table 3）。WebInject 只在图像集。EI 需两名标注者一致。
• 指标：TPR 是恶意输入中被判恶意的比例，FPR 是良性输入中被误判的比例。阈值类方法另报 AUROC。论文未报告重复次数，也未使用单独的评审模型。Average 的计算方式论文未说明。
• 文本模型：KAD 为 Mistral-7B-Instruct-v0.1；PromptArmor 为 GPT-4o；Embedding-T 为 all-MiniLM-L6-v2 加逻辑回归，用 500+500 条域外样本训练；PromptGuard 为 Llama-Prompt-Guard-2-86M；DataSentinel 为作者发布的 large detection LLM。
• 图像模型：提示词检测用 GPT-4o 与 LLaVA-1.5-7B。JailGuard 用 MiniGPT-4，阈值 0.025。Embedding-I 用 CLIP ViT-B/32，阈值 0.93。LLaVA-1.5-7B-FT 的 LoRA 为 rank 16、α 32、dropout 0.05，与 Embedding-I 同在 1,000+1,000 张域外图像上训练。
• 主协议：需训练的检测器默认用通用提示注入数据。作者称它们没有在网页智能体攻击上训练。

主结果

平均 TPR、FPR 据 Table 5–7。文本检测器没有图像结果，图像检测器没有文本结果。

Swipe horizontally to read the table

检测器	模态	平均TPR	平均FPR	出处
KAD	文本	0.0000	0.0011	Table 5、7a
Embedding-T	文本	0.0000	0.0000	Table 5、7a
PromptArmor	文本	0.2765	0.0011	Table 5、7a
DataSentinel	文本	0.1816	0.0108	Table 5、7a
Ensemble-T	文本	0.3078	0.0170	Table 5、7a
LLaVA-1.5-7B-Prompt	图像	0.0000	0.0000	Table 6、7b
GPT-4o-Prompt	图像	0.3813	0.0021	Table 6、7b
Ensemble-I	图像	0.4975	0.1382	Table 6、7b

• 省略与作者解读：未列入 PromptGuard、Ensemble-T-MV、JailGuard、Embedding-I、LLaVA-1.5-7B-FT、Ensemble-I-MV。平均 TPR/FPR 依次为 0.0928/0.0041、0.0585/0.0000、0.0678/0.0454、0.0287/0.0032、0.2082/0.0928、0.0124/0.0000。作者称 PromptArmor 与 DataSentinel 是文本个体检测器里 TPR 高且 FPR 低的；EIA（w/ EI）上 PromptGuard 为 1.0000，高于 PromptArmor 的 0.9194。作者称 JailGuard 的 FPR 最高；Table 7b 中 LLaVA-1.5-7B-FT 为 0.0928，高于 JailGuard 的 0.0454。
• 文本分攻击：作者称含显式指令的界面文本 TPR 接近 1，无显式指令或 Pop-up 的 TPR 在 0 到 0.08。Table 5 中 PromptArmor 对 VPI Web text（w/ EI）为 0.9561，对 EIA（w/ EI）为 0.9194，对 Pop-up 为 0.0093，对两类 w/o EI 为 0.0000。KAD 与 Embedding-T 各列均为 0.0000。WASP 只有 84 条，PromptArmor 的 0.6071 被作者给出约 95% 区间 [0.50, 0.71]。
• 图像与模态：作者称可见改动截图的 TPR 为 0.84–1.00，VWA-Adv 与 WebInject 只有 0.12–0.29。这两个区间对应 Table 6 的 Ensemble-I（EIA 0.8407、Pop-up 0.8472、WASP 1.0000、VPI 0.9517；VWA-adv 嵌入图 0.2886、截图 0.1201、WebInject 0.1280），不是 GPT-4o-Prompt（Pop-up 0.7546，WebInject 0.0000）。作者称 Pop-up 的文本检不出、图像侧能识别 75% 的含弹窗截图；表中 Ensemble-T 为 0.0139，GPT-4o-Prompt 为 0.7546。作者称无 EI 的 VWA-adv 与 WebInject 两侧都失败，原因是不可感知扰动。

跨攻击泛化

• 设置：每个攻击的恶意样本和良性样本各按 50/50 划分。训练用该攻击的恶意训练集加良性训练集。论文报告的是 Embedding-T 与 Embedding-I（Figure 2、Table 8）。
• 文本：作者称针对训练攻击会变好，但迁到其他攻击很差。Figure 2a 中 WASP 训练对 WASP 的 TPR 为 0.90，其余列为 0.00；Table 5 域外设置下 Embedding-T 对 WASP 为 0.0000。作者把这个 0.00 写成 Table 7a，而 Table 7a 是 FPR。VPI Email 训练行全为 0.00，VWA-adv（w/ EI）训练对该列只有 0.06。Table 8a 的良性 FPR 均为 0.0000。
• 图像：Figure 2b 对角线 TPR 为 0.9167–1.0000。EIA 训练迁到 WASP 为 0.8810、VPI 为 0.7260。Table 8b 中，VWA-adv-S 训练的良性截图 FPR 为 0.2022，作者写成 0.20。WASP、WebInject、VPI 训练的截图 FPR 为 0.0305、0.0000、0.0194，非对角 TPR 大多为 0.0000。

自适应改写

• 测了什么：在 WASP 上手动改写注入文本，去掉显式指令并保留攻击意图，只报告 PromptArmor。
• 结果：作者称 TPR 从 0.7024 降到 0.3571，并称检测很依赖显式指令。Table 5 中同一检测器对 WASP（w/ EI）为 0.6071，论文未说明 0.7024 与该数的差别。
• 与 Section 7 的关系：这次改写不是 Section 7 所说的、针对检测器专门优化的自适应攻击。

其他消融与分析

• Table 9 的 AUROC：Embedding-T 0.5207，Embedding-I 0.6054，JailGuard 0.5341，LLaVA-1.5-7B-FT 0.6062。正文称固定 FPR 为 0.5%、1%、5%，表头为 0.5%、0.1%、0.01%，列对不齐，不引用这些 TPR。作者认为表现差并不只是阈值选择造成的。
• Table 10：用 BLIP-2-T5XL 重生成良性字幕后，所列文本检测器 FPR 仍为 0.0000；LLaVA-1.5-7B 生成的良性字幕 FPR 也是 0.0000。
• Section 7：Comment & Issue 有 120 个网页、806 段，平均 6.717 段/页。作者在独立误报假设下把 Ensemble-T 的网页级 FPR 近似为 0.155，对照样本级 0.0248。
• Figure 2a：EIA（w/o EI）训练时，对该列 TPR 为 1.00，对其余列均为 0.00。

作者指出的局限与后续方向

• 单步检测：评测的是单个文本段和图像的 step-level 检测，没有建模完整的多步智能体与环境交互（Section 7）。
• 用户侧代价：主要衡量 TPR 和 FPR，没有考虑延迟或计算开销（Section 7）。
• 指标粒度：报告样本级而不是网页级 TPR/FPR。一页有多段时，任一段误报就会使整页成为误报，网页级 FPR 可以更高（Section 7）。
• 良性邮件与短信：虽然来自公开数据集，但可能不反映真实网页智能体观测（Section 7）。
• 优化过的自适应攻击：没有评估针对检测器专门优化的自适应攻击（Section 7）。Section 6 的手动去显式指令改写是另一次实验。

论文没有单独的 Future Work 节。Conclusion 称结果可为以后的攻击和防御提供参照，没有列出具体后续实验。

实验覆盖范围

• 样本：恶意文本来自 VWA-Adv、EIA、Pop-up、WASP、VPI，共 991 段；恶意图像另含 WebInject，共 2022 张。良性文本 2707 段，良性图像 948 张（Table 2、Table 3，Section 4）。
• 检测器：Section 6 报告 Table 4 的 6 个文本检测器和 6 个图像检测器，以及 Ensemble-T-MV、Ensemble-I-MV。
• 训练：主结果中需训练的检测器默认用域外通用提示注入数据。跨攻击结果只报告 Embedding-T 与 Embedding-I，划分为 50/50（Section 5.4、Section 6）。
• 判定：检测器自己输出是否恶意。论文未报告单独的评审模型、重复次数或查询次数。WASP 上的自适应实验是一次手动改写，只给出 PromptArmor 的 TPR（Section 6）。
• 标注：EI 要求两名标注者一致（Section 4.1）。论文未报告一致性系数。

WAInjectBench 是网页智能体提示注入检测的基准。作者要看现有检测器能否发现这类攻击：攻击者改网页，使智能体执行目标动作，而不是用户任务。作者称这是首个此类综合基准。

• 问题设定：攻击者可以是网站所有者或恶意用户，知识分为 white-box 与 black-box。六种攻击按身份、能力、知识和被污染观测列入 Table 1。正文把 VPI 的攻击者写成网站所有者，表中为恶意用户。
• 数据与方法：恶意文本 991 段，其中 601 段含显式指令，良性文本 2707 段；恶意图像 2022 张，良性图像 948 张。12 个检测器按文本或图像，以及提示词、嵌入、微调来分组，并加任一报警和多数投票两种集成。主结果默认用域外数据，指标是样本级 TPR 与 FPR。
• 显式线索：PromptArmor 对 VPI 的 Web text（含 EI）TPR 为 0.9561；PromptGuard 对 EIA（含 EI）为 1.0000（Table 5）。GPT-4o-Prompt 对 VPI 截图为 0.9379（Table 6）。
• 隐蔽攻击：KAD 与 Embedding-T 在 Table 5 各列 TPR 为 0.0000。Pop-up 文本侧 Ensemble-T 为 0.0139。GPT-4o-Prompt 对 WebInject 截图为 0.0000。作者称失败来自缺少显式指令，或扰动不可感知。
• 集成与泛化：Ensemble-T 平均 TPR 0.3078、平均 FPR 0.0170；Ensemble-I 平均 TPR 0.4975、平均 FPR 0.1382。多数投票把两侧平均 FPR 降到 0.0000，平均 TPR 降到 0.0585 与 0.0124。单攻击训练后，Embedding-T 对其他攻击的 TPR 多为 0.00。

作者的结论是：依赖显式文本指令或可见图像改动的攻击可以被部分检出；省略显式指令或使用不可感知扰动的攻击大多检不出。同一攻击上，文本检测器和图像检测器的结果可以不同。作者称该基准可为以后设计攻击和防御提供参照。