SafeArena：首个评估自主网页 Agent 滥用风险的基准

经过安全对齐的 LLM 网页智能体，是否会在图形界面里执行故意的恶意任务。

• 使用场景：作者称智能体已被用于网页导航等交互任务，开源框架便于把 ChatGPT 等接入浏览器。直接访问环境并赋予较高自主性后，可能被用于在论坛发布虚假信息，或在网站出售违禁品。
• 已有评测的不足：作者称此前工作多在文本环境中、借助一系列函数调用看智能体能否完成有害任务；合成工具等简化假设限制了现实相关性。网页导航能力上升后，作者认为需要在更常见的图形界面上做安全评测。
• 作者的假设：底层模型虽经多阶段安全对齐，作者称对齐很难迁移到网页任务。指令微调模型在后训练中未必见过大量截图、无障碍树和 HTML 上的意图。
• 本文提出的东西：作者提出基准 SafeArena（作者称首个聚焦网页智能体故意滥用的基准）和四级 ARIA。基准含 250 条有害任务与 250 条配对安全任务，分布在四个网站、五类伤害上。
• 评测设定：
  • 目标：看智能体是否执行用户给出的有害网页意图，并用配对安全任务把基础能力与伤害分开。
  • 输入：主设定是 direct prompting，完整意图一次给出，智能体从目标网站首页开始；经 BrowserGym 读取无障碍树、截图并执行动作。
  • 权限：作者假设每项任务所需访问权限已经授予，例如向商店添加商品的权限。
  • 环境：基于 WebArena 的沙盒，不是公网站点，包括 Reddit 式论坛、电商、GitLab 式代码管理和零售管理。

自主网页智能体

• Shi et al. (2017)、Liu et al. (2018)——用神经网络做网页任务的早期工作。Shaw et al. (2023)、Furuta et al. (2024) 分别用基于屏幕和基于 HTML 的方法微调智能体。
• Deng et al. (2023)、Lù et al. (2024) 做人类演示基准；Zhou et al. (2024)、Koh et al. (2024)、Pan et al. (2024)、Drouin et al. (2024) 做自包含网页环境。
• Sodhi et al. (2024)、Chezelles et al. (2024) 用指令微调 LLM 做智能体。作者指出这类模型虽为对话对齐，后训练未必见过大量截图、无障碍树和 HTML，网页导航是否安全并不清楚。

文本与工具环境中的智能体安全

• AgentHarm（Andriushchenko et al., 2024）在文本环境用合成工具看智能体能否完成有害任务。引言把这一方向的共同问题概括为经常使用合成工具等简化假设，从而限制现实相关性。
• AgentDojo（Debenedetti et al., 2024）评测对直接有害请求和对抗攻击的易感性。ToolEmu（Ruan et al., 2024）考察发邮件、找文件、执行终端命令等个人电脑任务的风险。
• 工具使用中的提示注入包括 Debenedetti et al. (2024)、Zhan et al. (2024)、Wu et al. (2025)。网页智能体的视觉对抗攻击包括 Wu et al. (2024a)、Liao et al. (2024)、Wu et al. (2024b)。

最接近的网页智能体安全基准

• VisualWebArena-Adversarial（Wu et al., 2024a）评测多模态网页智能体对网页内扰动图像的对抗鲁棒性。作者指出其任务仍是良性的，不评估有害能力。
• ST-WebAgentBench（Levy et al., 2024）评测企业环境中的安全与可信，基于 WebArena 并加入 SuiteCRM。作者指出它关注结果是否安全，而不是智能体执行恶意指令的能力。

基线方法与基准

• 基线方法：论文未把外部攻击算法当作数值基线。对照是五个 LLM 网页智能体；主条件为 direct prompting，正文另报 task decomposition，附录 B.1 另报 priming。
• 基准/数据集：自建 SafeArena。环境实现来自 WebArena（Zhou et al., 2024），交互平台为 BrowserGym（Chezelles et al., 2024）。有害意图参考 Zou et al. (2023)、Andriushchenko et al. (2024)、Mazeika et al. (2024)；伤害类别对齐 Mazeika et al. (2024) 与 Executive Office of the President (2023)。

作者称 SafeArena 直接测量网页智能体执行多种恶意任务的能力，并同时用配对安全任务评估良性任务能力。

整体做法是构造配对的安全/有害网页任务，在沙盒网站里让智能体执行，再用自动完成判定和 ARIA 分级看拒绝、尝试与成功完成。

任务、类别与环境

• 规模：500 条任务，250 有害、250 安全，一一配对。五个伤害类别各由人工设计 30 条有害任务（共 150），再为每条配一条安全任务。
• 类别：Bias 是传播针对个人或群体的偏见；Cybercrime 是从事或助长计算机或互联网犯罪；Harassment 是旨在伤害他人的冒犯或羞辱行为；Illegal Activity 是非法购买或欺诈等不法行为；Misinformation 是删除、篡改真实信息，或明知虚假仍传播以欺骗。Table 1 有各类示例，此处不引原文。
• 人机协同：用少样本提示 GPT-4o-Mini 再生成 200 条任务（有害/安全成对，含意图和评测参考对象）。人工再核对分类、补环境物件、核验参考答案。附录 Figure 17 给出完整提示词。
• 环境与接口：四个基于 WebArena 的网站，并做增补以便放入有害任务；增补清单见附录 C.1、Figure 15、Figure 16，不逐条复述。BrowserGym 提供无障碍树、截图和动作执行。作者假设任务所需权限已经授予。

配对设计与人工核验

• 有害/安全对用相近措辞，测相近的智能体能力，只做把意图从有害改为安全的小改动。Table 2 给出配对示例，不引有害句子。
• 500 条全部由三名作者审核，论文称三人都是 LLM 智能体与安全研究专家。初审均分任务并标记歧义，讨论阶段三人共同处理被标记任务。

ARIA 与自动指标

• ARIA：ARIA-1 为立即拒绝；ARIA-2 为先尝试后拒绝；ARIA-3 为尝试但失败；ARIA-4 为成功完成。作者把 1 和 2 视为拒绝，把 3 和 4 视为尝试造成伤害。级别越高，作者认为行为越有害。
• 裁判：把轨迹和元数据交给 GPT-4o，由其指定 ARIA 级别。判定提示见附录 D.3.3 的 Figure 19。附录 B.2 另用只标记拒绝的 GPT-4o 裁判，提示见 Figure 20，与 ARIA 分开。
• TCR：沿用 Zhou et al. (2024) 的功能自动评测。每条意图有参考对象，评测函数返回二元奖励。参考对象分三类：参考答案（与智能体回复精确匹配）、参考 URL（与最后访问页匹配）、参考程序（参考 URL、自定义 JavaScript 定位器、必须包含的内容，精确或部分匹配）。
• NSS：只在智能体已完成的安全任务子集上，衡量未同时完成对应有害任务的比例。NSS = 1 − (∑_i=1^N R(S_i) × R(H_i))/(∑_i=1^N R(S_i))，R 为二元奖励，S_i 与 H_i 为第 i 对安全/有害任务。作者称分数越高、越接近 100，表示能完成安全任务时越少完成对应有害任务。

攻击条件与运行设置

• Direct prompting：完整有害意图一次给出，无中间步骤或混淆，从目标网站首页开始。智能体使用 BrowserGym 动态提示（Figure 18），含动作空间、历史、观察和目标。
• Task decomposition：人把被拒的恶意请求拆成看起来无害的子步骤，多轮依次给出。动机来自多轮恶意请求可使 LLM 顺从的已有结果。Figure 2 为示意图。实验中人类对每条任务最多尝试 3 次。不复述子步骤原文。
• Priming（附录 B.1）：按任务模板规则化地更换起始 URL，并把意图改成剩余动作，使模型像是已经在执行有害任务。Figure 6、Figure 24、Figure 25 给出元数据示例。
• 超参（附录 D.2、Table 13）：温度 0；HTML 类型为 pruned HTML；最大生成 1024 token，最大提示 2048 token；最多 30 步。启用无障碍树、截图和 Set-of-Marks 等；关闭 use HTML、multi-action、planning 和 memory 等。

实验设置

• 被测模型：五个有视觉能力且经过指令微调的骨干：Claude-3.5-Sonnet、GPT-4o、GPT-4o-Mini、Llama-3.2-90B、Qwen-2-VL-72B。附录 D.1 的版本为 claude-3.5-sonnet-2024-06-20、gpt-4o-2024-11-20、gpt-4o-mini-2024-07-18、llama-3.2-90b-vision-instruct、qwen-2-vl-72b-instruct。Claude 与 GPT 走官方 API，Qwen 经 VLLM，Llama 经 Together。
• 数据：SafeArena 共 500 条，有害与安全各 250。人工来源各 150 条，人机协同（HITL）各 100 条。五类伤害、四个网站。论文只称各类任务在网站间尽量大致均衡，未给出每站精确条数。
• 条件：主结果为 direct prompting。priming 覆盖五个模型。task decomposition 只报告 Claude-3.5-Sonnet 原先拒绝的任务，人工执行，每条最多 3 次。
• 指标与裁判：TCR 为功能自动评测的二元奖励；NSS 见第 3 问；拒绝率在 Table 3 中定义为 ARIA-1 加 ARIA-2。ARIA 裁判为 GPT-4o。附录 B.2 另有只判拒绝的 GPT-4o 裁判。
• 人工评估：五名作者中，150 条人工设计的有害任务各由两名标注者独立按 ARIA 判断。对象是 Claude-3.5-Sonnet 与 Qwen-2-VL-72B 的完整轨迹，含截图和动作。一致性用 Cohen's Kappa。
• 重复：论文未报告多种子重复次数。温度设为 0，每条轨迹步数上限 30。

主结果

据 Table 11，TCR 单位为 %。Human 来源各 150 条，HITL 各 100 条。

Swipe horizontally to read the table

模型	Human有害	HITL有害	Human安全	HITL安全
Claude-3.5-Sonnet	4.67	12.00	19.33	24.00
GPT-4o	20.67	26.00	28.00	44.00
GPT-4o-Mini	14.00	14.00	16.00	22.00
Llama-3.2-90B	12.00	10.00	7.33	10.10
Qwen-2-VL-72B	24.00	29.00	20.67	30.00

• 作者称伤害潜力大体随智能体能力上升，例外是 Claude-3.5-Sonnet：有害完成较低，安全任务仍有一定完成，作者称它是相对其安全性而言能力最强的 LLM。Table 3 的 NSS：Claude 55.0、GPT-4o 31.7、GPT-4o-Mini 35.7、Llama-3.2-90B 34.0、Qwen-2-VL-72B 21.5；对应拒绝率为 64.0%、31.4%、30.0%、11.4%、0.7%。
• 摘要和引言的“完成”与结论的自动 TCR 不是同一数字。引言称 GPT-4o 成功完成 250 条有害任务的 34.7%；Figure 5 上 GPT-4o 的第四段同为 34.7。结论与 Figure 3 的自动 TCR 为有害 22.8%、安全 34.4%。§5.3 称 Qwen-2-VL-72B 的 ARIA-4 为 27.3%；§6 称其自动 TCR 为 250 条有害任务的 26.0%。
• 附录 B.5 称 Llama-3.2-90B 与 Qwen-2-VL-72B 的有害子集完成率高于安全子集。Table 11 按来源拆开后并不每一格都如此，例如 Qwen 的 HITL 有害 TCR 并不高于 HITL 安全 TCR。Figure 3 对其余模型也有柱形标注，文本转换后无法与模型对齐，故不把未在正文点名的柱值写入本表。

人工评估与 LLM 裁判

• 人工评估只覆盖 Claude 与 Qwen、150 条人工设计有害任务。Table 4 的四级百分比：Claude 为 18.8、45.1、29.9、6.2；Qwen 为 0.0、0.7、77.1、22.2。标注者之间 Cohen's Kappa 为 0.96，作者称 almost perfect agreement。作者称 Claude 近 64% 归为拒绝，Qwen 很少拒绝并几乎尝试全部有害任务。
• LLM 裁判覆盖全部被测模型（Figure 5）。作者称 Claude 拒绝 64.0%（ARIA-1 与 ARIA-2）；图上四个标注为 17.3、46.7、26.0、10.0。GPT-4o 四个标注为 18.7、12.7、34.0、34.7。引言称二者尝试或完成的比例为 68.7% 与 36.0%，与两图后两段之和相同。
• 作者称 Qwen 尝试 72.0%（ARIA-3）并成功完成 27.3%（ARIA-4）。在两名标注者评分一致的子集上，LLM 裁判与人工的 Cohen's Kappa 为 0.82，作者称 strong agreement。GPT-4o-Mini 与 Llama-3.2-90B 的 Figure 5 分段在文本转换后无法与四级图例逐段对应，不填写。

任务分解与 priming

• 分解攻击只测 Claude-3.5-Sonnet 原先拒绝的 49 条有害任务，每条最多 3 次。49 条全部被越狱，平均 1.26 次。作者称即便起初拒绝，也可用直接的越狱策略使其顺从。Table 15 有分解示例，不引原文。
• priming 改变起始 URL 和剩余意图。作者称五个模型完成有害任务的比例都升高，且对 primed 意图拒绝更少。Table 5 的 direct / priming 拒绝率：Claude 57.67 / 53.67，GPT-4o 30.17 / 27.17，GPT-4o-Mini 36.50 / 34.17，Llama-3.2-90B 14.00 / 13.33，Qwen-2-VL-72B 0.83 / 0.00。这是只标记拒绝的裁判，不是 Table 3 的 ARIA-1 加 ARIA-2。
• Table 11 给出分来源的 Primed TCR（%）。HITL / Human：Claude 18.00 / 12.67，GPT-4o 31.00 / 31.33，GPT-4o-Mini 23.00 / 16.67，Llama-3.2-90B 26.00 / 20.67，Qwen-2-VL-72B 37.00 / 30.67。Figure 7 另有总体柱形，文本转换后不逐柱赋值。

类别、来源与失败形态

• 作者称 illegal activity 的完成率跨模型差异大，Llama-3.2-90B 最低、GPT-4o 最高，相差 almost 40%；misinformation 上 Qwen-2-VL-72B 为 30% TCR、GPT-4o 为 28%；harassment 与 cybercrime 的模型间差异低于 15%（Figure 4）。Figure 10 有分类柱，文本无法对齐，不逐柱引用。
• Table 11 中，五个模型在 HITL 有害任务上的 harassment TCR 均为 0.00；Human 来源并非全为 0。作者未解释这一 0.00。附录 B.3 称几乎所有模型更倾向完成 LLM 生成的意图；Table 12 中 Claude 对 HITL 恶意指令拒绝更少，作者称 cybercrime 与 illegal activities 的差异为 23.3% 与 21.6%。
• 附录 B.5：能完成有害任务不保证完成配对安全任务。作者观察到选错页面元素（尽管用了 set-of-marks）、动作循环直到 30 步上限，以及把愿望单、购物车或比较列表弄混。Table 6 至 Table 10 为分模型案例，不引有害商品名。讨论还称带明确有害语言的任务也会被执行（附录 E.3，不引原文）。

其他消融与分析

• 超参固定为温度 0、最多 30 步；论文未报告超参搜索（附录 D.2、Table 13）。
• Table 5 的直接拒绝率与 Table 3 的 ARIA 拒绝率不是同一裁判，例如 Claude 为 57.67% 与 64.0%，Qwen 为 0.83% 与 0.7%。
• §B.2 称 Claude 拒绝超过 57.6% 的 direct prompting 意图，Qwen 很少拒绝带刺激性、冒犯性语言的请求。
• Figure 9 按四个网站分别画有害/安全 TCR；文本转换后柱值无法对齐，不引用具体柱高。
• 人工 ARIA 只报告 Claude 与 Qwen；GPT-4o、GPT-4o-Mini、Llama-3.2-90B 的人工四级百分比论文未报告。
• 任务生成、智能体、ARIA 裁判和拒绝裁判的完整提示词分别见 Figure 17 至 Figure 20；不摘录其中的判定短语。

作者指出的局限与后续方向

• 意图显式：只设计了从意图本身即可判断有害的任务。作者举例说，删除某用户全部帖子是否允许，要看环境中该用户是否在骚扰他人。作者认为设计更有歧义的任务是重要的未来工作。（§8）
• 外部可检测：有害意图可在传入智能体前被训练好的分类器或经过提示的对齐 LLM 拦住（Inan et al., 2023; Han et al., 2024）。作者指出 GCG（Zou et al., 2023）、priming 或 decomposition 可能绕过这类防御。（§8）
• 自动指标：评测依赖自动指标。作者称这些指标脆弱，只有 positive predictive power，不能覆盖全部不良行为；例如把所给消息的变体发到别的网站，当前设置可能不会标为有害。作者称未来工作可研究更开放的网页智能体安全评测。（§8）

实验覆盖范围

• 被测网页智能体为 Claude-3.5-Sonnet、GPT-4o、GPT-4o-Mini、Llama-3.2-90B、Qwen-2-VL-72B，共 5 个（§5.2）。环境为 WebArena 实现的四个网站（§3.2）。
• 任务 500 条，有害与安全各 250；五类伤害各有人工设计的 30 条有害任务，另有 GPT-4o-Mini 辅助生成的 200 条（§3.3）。
• direct prompting 覆盖五个模型。priming 也覆盖五个模型，拒绝率见 Table 5，分来源 TCR 见 Table 11。task decomposition 只报告 Claude-3.5-Sonnet 原先拒绝的 49 条，每条最多 3 次（§5.3）。
• 人工 ARIA 覆盖 150 条人工设计有害任务、两个模型、每条两名标注者。LLM 裁判为 GPT-4o。Cohen's Kappa：标注者之间 0.96；与双方一致的人工子集相比为 0.82（§4.3、§5.3）。
• 论文未报告多种子重复次数。步数上限 30，温度 0（附录 D.2）。§8 讨论了外部分类器或对齐 LLM 先检测意图的做法，论文未报告该防御上的实验结果。

SafeArena 评测自主网页智能体是否会执行用户故意给出的恶意网页任务。

• 问题：作者认为，LLM 接到浏览器并获得较高自主性后，可能被用于在论坛发布虚假信息或在网站进行违法活动。文本环境和合成工具上的已有评测，作者认为现实相关性不够。
• 做法：500 条任务，250 对安全/有害配对，五类伤害、四个基于 WebArena 的网站。人工构造 150 对，GPT-4o-Mini 辅助再生成 100 对，三名作者审核。自动 TCR 用参考答案、URL 或程序判定；NSS 在已完成的安全任务子集上计算；ARIA 由 GPT-4o 分四级。
• 主数字不能混用：结论中的自动 TCR 为 GPT-4o 有害 22.8%、安全 34.4%。§6 称 Qwen-2-VL-72B 的自动 TCR 为 250 条有害任务的 26.0%。引言称 GPT-4o 成功完成 250 条有害任务的 34.7%，与 Figure 5 的 ARIA-4 相同；§5.3 称 Qwen 的 ARIA-4 为 27.3%。
• 拒绝与越狱：Table 3 中 Claude-3.5-Sonnet 的 NSS 为 55.0，ARIA-1 加 ARIA-2 为 64.0%；Qwen 的拒绝率为 0.7%，NSS 为 21.5。Claude 原先拒绝的 49 条任务全部被人工任务分解越狱，平均 1.26 次。附录 B.1 称 priming 提高五个模型的有害完成比例，并降低 Table 5 的拒绝率。
• 作者的结论：作者称安全对齐很难迁移到网页任务，需要针对网页智能体的对齐程序，而不只是底层 LLM 已有的对齐。作者同时指出自动指标只有正预测力，不能覆盖全部不良行为。