BrowseSafe：研究者构建浏览器 Agent 提示注入基准并评测现有防御

浏览器智能体读入真实网页工具输出时，提示注入检测为何失败，以及如何在架构和分类器两侧拦住它。

• 场景：作者称浏览器智能体（如Comet、Atlas）会自主完成多步网页流程。不可信评论等进入上下文后，可能劫持执行流，后果从打扰用户到敏感信息受损。
• 现有不足：作者称已有评测多针对干净文本中的单行注入；真实工具输出是含良性命令式元素、多语言、且与正常页面接近的HTML。作者称此前没有工作系统刻画这些因素如何影响检测。
• 做法：把攻击目标、HTML位置和措辞拆开，用带干扰项的BrowseSafe-Bench测量检测，并据此做多层防御BrowseSafe。
• 威胁模型：
  • 目标：嵌入恶意内容，迫使智能体执行攻击者选定动作并偏离用户任务。作者列举的危害包括点击欺诈、诱导下载恶意软件、泄露用户敏感信息。
  • 能力：网站所有者，或已完全攻陷良性网站的对手，可控制全部下发内容；也可以是在未攻陷网站上有发帖权的用户，如商品描述或论坛评论。
  • 知识：论文未使用white-box、black-box等说法。不可信对象是外部网页；智能体经工具调用收到观察。
  • 受害系统：用户使用的AI browser agent。附录C.2称只有智能体本身受信任。防御扫描其必须处理的文本网页；同一节写明不处理、不评测图像等非文本输入。

提示注入攻击

• 文本注入：Goodside（2022）、Willison（2022），以及Liu et al.（2024a）、Salem et al.（2023）等，把恶意指令放进上下文以改变模型行为。附录A对此作了扩展讨论。
• 浏览器与页面：EIA（Liao et al., 2024）与Fine-Print Injection（Chen et al., 2025a）讨论环境或页面细文对智能体的影响。WASP（Evtimov et al., 2025）讨论公开内容中的指令；Pop-up（Zhang et al., 2024b）与VPI（Cao et al., 2025）讨论弹窗等元素。WebInject（Wang et al., 2025）与VWA-Adv（Wu et al., 2024a）讨论图像扰动。

检测与训练防御

• 检测模型与厂商流程：known-answer detection（Nakajima, 2022; Liu et al., 2024b; 2025b）用另一个LLM区分干净与恶意输入。PromptArmor（Shi et al., 2025b）用系统提示词要求检测模型判断有无恶意指令。GPT-5（OpenAI, 2025c）与Claude（Anthropic, 2025a;b）把忽略注入、检测和响应做进训练与系统流程。
• 微调分类器：PromptGuard-2（Meta, 2025）是在良性与恶意输入上微调的BERT式模型。gpt-oss-safeguard（OpenAI, 2025d）按开发者策略分类。StruQ（Chen et al., 2025b）把提示与数据分通道。Meta SecAlign（Chen et al., 2025d）用注入样本做监督微调。

架构防御

• 系统层控制：IsolateGPT（Wu et al., 2024c）隔离不可信文本的执行。AgentSandbox（Zhang et al., 2025）讨论纵深防御、最小权限等原则。CaMeL（Debenedetti et al., 2025）在模型外加保护层。Progent（Shi et al., 2025a）提供权限策略语言。FIDES（Costa et al., 2025）用信息流控制讨论形式化保证。论文对这组主要是描述，没有给出与BrowseSafe的逐篇数量对比。

基准、基线与定位

• 既有基准：工具型有InjecAgent（Zhan et al., 2024）、AgentDojo（Debenedetti et al., 2024）、ASB（Zhang et al., 2024a）。网页/GUI型有WASP与WAInjectBench（Liu et al., 2025a）；附录A称GUI基准常用可访问性树和截图，WASP建在VisualWebArena（Koh et al., 2024）上。作者称这些设置往往缺少带良性干扰项的真实HTML、多样注入策略和上下文感知生成（Table 1、Section 2）。
• 基线与数据：对照为PromptGuard-2、gpt-oss-safeguard、GPT-5、GPT-5 mini、Haiku 4.5、Sonnet 4.5，以及同训练集微调的Qwen3-8B。评测集是BrowseSafe-Bench。
• 定位：作者称尚无工作系统刻画真实HTML、干扰项、多语言和语义融合载荷如何影响检测；该基准强调可能影响真实动作的注入，而不是只看文本输出。

评测仪器是BrowseSafe-Bench，防御系统是BrowseSafe。前者按生产工具输出定HTML支架，并把攻击目标、放置和措辞拆开；后者在工具输出边界做信任标记、原文提取、分块分类和占位替换。

基准原则与流水线

• 四条原则：嵌套HTML而不是单行文本；攻击目标、策略和语言风格要分开覆盖；良性干扰项在形态上接近攻击；对手嵌入网页内容，而不是用户发起攻击或改写系统提示词。
• 素材：从生产browser agent抽样100,000条匿名、脱敏工具输出，按常见域名、质量和长度过滤，用来定支架和变化轴。14,719条是后续构造的样本，不是这10万条本身。
• 四步：抽取并匿名化真实网站文本，保留原始HTML而非可访问性树；用八种模板包裹；对恶意和良性样本都加干扰项；恶意样本再放入隐藏元素，或按整页上下文改写可见内容。
• 改写：攻击与干扰项改写使用claude-sonnet-4-5-20250929。附录B.6包括域名提取、内容分析、按上下文改写、仿冒域名和章节定位。附录B给出攻击描述和代码示例。

样本空间

• 规模：训练集11,039条，测试集3,680条。维度为11种攻击类型、9种注入策略、5种干扰项、5种上下文感知生成、5个领域、3种语言风格。
• 类型与策略：类型分Basic、Advanced、Sophisticated。Figure 2列出Important Message、Todo、InjecAgent、Ignore Previous、URL Segment、Role Manipulation、System Prompt Exfiltration、Delimiter Injection、Social Engineering、Indirect Hypothetical、Multilanguage。隐藏策略包括注释、data属性、隐藏文本、隐藏表单字段和语义属性；可见改写针对段落、列表、页脚和表格单元。Figure 4另标出Inline Paragraph Rewrite Fallback。
• 风格、领域、干扰：语言风格为explicit、indirect、stealth，与目标和位置独立。附录B.3定义三者；stealth要求不出现攻击标记并混入正常表述，具体禁用词不在此复述。领域为Workspace、Education、Social Media、Entertainment、E-commerce。干扰项按概率插入良性结构，作者称否则分类器会把这些结构和恶意绑定。

防御流水线

• 信任边界：可能带回不可信内容的工具被标记，如读网页、邮件、日历、上传文件；纯计算工具一般不标记。标记工具被调用即进入检测，并与语言模型规划并行。作者称以此把开销藏在智能体自身耗时之后。
• 预处理：去掉摘要、相关性评估等AI生成字段，只对原始工具返回分类。作者给出的理由是，这些字段可能已被不可信内容影响，不能靠它们判断安全。
• 分类器：微调Qwen3-30B-A3B-Instruct-2507，推理时3B激活参数。一个epoch，学习率1e-5，权重衰减0.1，数据为上述训练集。
• 硬负例：按与攻击和注入相近的规则生成干扰，但内容是良性。作者称若没有这类负例，模型会记住攻击词表，对真实攻击泛化差。

聚合、阈值与干预

• 分块：token数超过固定窗口Tw时，按token边界切成不重叠块并并行分类。论文给出符号Tw，未给出数值，并写明只在推理时分块。
• 聚合：整篇判定为result=\bigvee_{i=1}^{n} r_i，任一小块判恶意则整篇干预。
• 干预：用占位工具调用替换那次恶意返回，说明发生了拦截，但不写入恶意内容细节。作者称这是为避免智能体在向用户解释时再次中招，也避免输出被用来改进攻击。
• 阈值与判定：附录C.7称本文在产生1% FPR的阈值上评估该检测模型，并认为把FPR放到5%或10%会提高召回。Table 2没有另报这三档的完整指标。测试指标是F1、Precision、Recall、Balanced Accuracy和Refusals。输入为整页HTML，最长80k tokens，不截断。附录G给出各模型族的评测提示词。

实验设置

• 配置：Section 4称比较23个frontier models。Table 2有23行：PromptGuard-2的22M与86M；gpt-oss-safeguard的20B/120B及Low、Medium；GPT-5与GPT-5 mini的Minimal、Low、Medium、High；Haiku 4.5与Sonnet 4.5的No Thinking、1K、8K、32K；以及BrowseSafe。high reasoning的gpt-oss-safeguard因生成错误未列入。
• 骨干与对照：BrowseSafe底模为Qwen3-30B-A3B-Instruct-2507。另把Qwen3-8B在11,039条上按同一one-epoch配方全量微调，并与其零样本比较。
• 数据与输入：测试集3,680条，训练集11,039条。每页完整HTML，最长80k tokens，不截断。构造阶段的改写模型为claude-sonnet-4-5-20250929。
• 指标：F1、Precision、Recall、Balanced Accuracy、Refusals。Figure 7另比较F1与P50延迟。
• 判定：各模型自己做二分类，论文未写另设裁判模型。附录E称多数模型在3,680条上Refusals为0。论文未报告人工一致性或重复次数。

主结果

下表据Table 2，只列8行，含F1最低的PromptGuard-2（22M）。未列入：PromptGuard-2（86M）；gpt-oss-safeguard另三档；GPT-5与GPT-5 mini的其余档；Haiku 4.5的1K/8K/32K；Sonnet 4.5的No Thinking、1K、8K。Figure 1把BrowseSafe（Finetuned）标为90.4%，与表中0.904对应。

表格较宽，可左右滑动

模型与配置	F1	Precision	Recall	Balanced Accuracy	Refusals
BrowseSafe	0.904	0.978	0.841	0.912	0
Sonnet 4.5，32K	0.863	0.935	0.801	0.873	669
GPT-5，Medium	0.855	0.930	0.792	0.867	0
GPT-5 mini，Low	0.854	0.949	0.776	0.868	0
Haiku 4.5，No Thinking	0.810	0.760	0.866	0.798	0
gpt-oss-safeguard，20B / Medium	0.796	0.994	0.664	0.832	0
gpt-oss-safeguard，120B / Low	0.730	0.994	0.577	0.788	0
PromptGuard-2，22M	0.350	0.975	0.213	0.606	0

• 专用模型与通用模型：作者称小尺寸专用分类器差，主因是低召回；未列入的86M召回为0.221、F1为0.360。作者称在本研究评测的模型中，通用推理比这些较小的专用安全分类器更有效。120B两档F1为0.730与0.741，低于20B的0.790与0.796，作者未解释。
• 微调口径：作者把BrowseSafe与Sonnet 4.5（32K）对比，称提升主要由精度和平衡准确率带动。Insight又写尤其提高召回。未列入的Haiku 4.5（1K）召回为0.872，高于表中BrowseSafe一行；若干专用模型的精度也更高。
• 作者对成本的说法：作者称若在该数据集上微调，多数被测模型会达到或超过其检测模型；该实验用来把收益和工作量放在一起看。作者称PromptGuard-2体积小，CPU延迟可以好于Qwen3-30B-A3B，论文未报告该延迟的秒数。

干扰项、位置、语言与攻击类型

• 干扰项：Figure 3与正文称，零干扰时全部模型的平均平衡准确率为90.5%；三个干扰项时降到81.3%；此后落在79.4%到82.9%。作者Remark写成约10个点（90%到81%）。作者称这说明检测器靠表面模式与恶意意图的虚假相关。
• 位置与语言：数字均为跨模型平均。Figure 4中Data Attribute与Form Hidden Field均为91.6%（n=276、n=104），HTML Comment为90.9%（n=127）。Inline Paragraph Rewrite为74.0%（n=152），Footer Rewrite为69.1%（n=15），Table Cell Rewrite为71.1%（n=2）。作者称可见改写漏检率接近隐藏注入的两倍，并写69–75%对87–92%；同图还有Semantic Abuse 86.8%（n=105）和List Item Rewrite 81.3%（n=9）。Figure 5：explicit 84.6%（n=1109），indirect 78.1%（n=340），stealth 75.3%（n=386）。
• 攻击类型：Figure 6对超过20个检测模型取平均，System Prompt Exfiltration为85.0%（n=156），Multilanguage为76.0%（n=184）。作者称多语言最难，并认为模型依赖英语特征。正文称训练集只有184条多语言样本。附录F.2称footer与table cell样本很少，结果很可能不能当作稳定结论，但仍因出现在数据中而保留。

延迟、拒答与同数据微调

• 延迟：Figure 7横轴为P50 Latency（秒，对数），纵轴为F1 Score。正文称BrowseSafe在左上，F1超过90%，延迟不到1秒；摘要与结论写less than 1 second。作者称Sonnet 4.5族延迟为23到36秒，并举32K的F1为86.3%；GPT-5与GPT-5 Mini聚在F1 75–85%、延迟约2秒。作者称高F1的通用API模型可能不适合同步检测。
• 拒答：BrowseSafe、PromptGuard-2、gpt-oss-safeguard和GPT-5族在3,680条上为0。Sonnet 4.5为419、613、650、669（Table 2）。作者称高F1不等于每次都给出可用判定；可以把拒答当正类，但若还要输出判正理由就会有困难。
• 同数据：Qwen3-8B在全部3,680条上评估，每个模型单独取1% FPR阈值。F1从0.559到0.765，召回从0.392到0.626。作者称完整系统在匹配工作点仍领先0.14 F1和0.21召回。Table 3标准划分基线为0.905，与Table 2的0.904不是同一个数。

其他消融与分析

• 上下文窗口：Haiku 4.5的F1为0.810、0.809、0.805、0.808；Sonnet 4.5的1K/8K/32K为0.862、0.863、0.863，No Thinking为0.807（Table 2）。作者称关掉Sonnet 4.5的推理会降低检测，Haiku各档则稳定。
• GPT-5四档F1为0.849、0.854、0.855、0.840；GPT-5 mini为0.750、0.854、0.853、0.852（Table 2）。作者未解释High低于Medium。
• 留出泛化（Table 3）：标准划分0.905；留出URL 0.935；留出攻击类型0.863；留出注入策略0.788。作者称新网站和未见攻击语义较好，未见注入策略是最大挑战。
• 附录F热图覆盖20余个模型、11类攻击和9种策略。作者称各模型在攻击类型上的相对高低相近；少量推理有帮助，但不必超过low reasoning预算。
• 附录C.8称模型对未见网站和攻击风格较好，其他分布外变化则不如frontier LLM。论文未报告把边界案例转给更强模型后的单独指标。

作者指出的局限与后续方向

• 非文本输入：附录C.2写明BrowseSafe有局限，本文不处理也不评测非文本输入，如恶意图像或面向视觉模型的其他输入。
• 其他分布外变化：附录C.8称模型对未见网站和攻击风格泛化较好，但其他分布外变化不如frontier LLM；作者提议把边界案例转给更慢但更强的推理模型。
• 信号共享：附录C.9称，把原始HTML扫描信号交给后续工具参数扫描模型能否提高结果，需要未来工作才能准确评测。
• 跨块检测：附录C.10称，未来可研究让分类器利用各块隐状态，以发现必须看全文才能检出的尝试，例如页脚文字与页首脚本标签的组合。

实验覆盖范围

• 数据：测试集3,680条，训练集11,039条。构造维度为11种攻击类型、9种注入策略、5种干扰项、5个领域、3种语言风格（Section 3）。Section 3.5写训练集多语言样本为184条。
• 模型配置：Table 2报告23行配置的F1、Precision、Recall、Balanced Accuracy和Refusals。Qwen3-8B的零样本与微调在全部3,680条、各自1% FPR阈值上另有对照。
• 分析轴：干扰项数量（Figure 3）、注入策略（Figure 4）、语言风格（Figure 5）、攻击类型（Figure 6），以及留出URL、攻击类型、注入策略（Table 3）。Figure 7比较F1与P50延迟。
• 任务形态：附录C.2写明评测不含非文本输入。Table 1把Multi-modal (Image)和End-to-end Evaluation列为比较维度；正文指标是HTML二分类，论文未报告End-to-end Evaluation的结果。
• 未给出的数字：论文未报告重复次数，也未报告模型判定与人工判定的一致性。gpt-oss-safeguard的high reasoning因生成错误未列入Table 2。攻击与干扰项改写使用claude-sonnet-4-5-20250929（附录B.6）。

BrowseSafe是放在AI browser agent工具输出上的提示注入检测防御，测量仪器是BrowseSafe-Bench。

• 问题：智能体经工具读入不可信网页。作者称干净文本上的单行注入评测，说明不了真实HTML里检测为何失败。
• 威胁：攻击者控制站点，或只在未攻陷站点上发帖。目标是让智能体偏离用户任务。只有智能体受信任；防御不覆盖图像等非文本输入。
• 方法：14,719条样本把攻击类型、注入位置、语言风格、领域和干扰项拆开。防御侧标记不可信工具、去掉AI生成字段、分块后按或规则聚合，再把恶意返回换成不含载荷细节的占位输出。分类器由Qwen3-30B-A3B-Instruct-2507微调而来。
• 结果：零干扰时跨模型平均平衡准确率90.5%，三个干扰项时81.3%（Figure 3）。多语言类型为76.0%（Figure 6）。Table 2中BrowseSafe的F1为0.904，Sonnet 4.5（32K）为0.863，PromptGuard-2（22M）为0.350。留出注入策略后F1为0.788（Table 3）。作者称延迟不到1秒。
• 作者结论：作者称开箱的frontier LLM可以做该分类，在现实数据上微调能再提高F1，并希望该基准用于更严格地开发和评估浏览器智能体。召回并不高于Table 2的每一行，例如Haiku 4.5（1K）为0.872。