Secure-CUA：约束计算机使用智能体中不可信内容的影响

如何让计算机使用智能体在含可信控件与不可信内容的图形界面上交互，使不可信内容只能按预先限定的方式影响语义动作和 GUI 命令，同时仍能使用任务所需的不可信信息。

• 场景。 CUA 观察网页、桌面或移动界面，并下达点击、键入和滚动。作者称不可信内容中的指令或误导视觉提示可改变既定动作，或把命令指到错误目标；合法任务仍需要这些内容，全部移除可能无法完成。
• 现有不足。 作者称现有防御只覆盖一部分：CaMeL-CUA 的视觉定位仍可能处理对抗界面；掩码和界面策略限制可见范围或作用位置，却不一定约束不可信内容如何影响动作。
• 原则。 作者把要求分成生成完整性（generation integrity）与定位完整性（grounding integrity），靠观测隔离和有界背书实现。作者称在理想模型中，每步强制二者即可保护整条有限执行轨迹。
• 系统。 Secure-CUA 在读取不可信内容前提交每步程序 action transaction，固定查询及返回值的允许用途；掩码不可信区域，用隔离查询模型作答，再用掩码界面把语义动作落到 GUI 命令。
• 威胁模型。
  • 目标。 诱导攻击者选定的语义动作，或把既定动作重定向到另一界面目标。
  • 能力。 可控制不可信分量中的文本、图像、布局和交互元素；可知道架构、模型指令与防御，并随先前交互改写内容。不能改变可信控件的应用定义行为。由不可信分量导出的信息一律视为不可信。
  • 分区。 每步观测分成可信与不可信分量，且每元素只属其一。评测假定应用开发者可信：一方界面内容可信，三方内容不可信。运行时被假定能获得该分区，且攻击者控制的内容都被标为不可信。
  • 可信计算基。 用户指令、可信界面、智能体实现与模型参数、执行运行时，以及浏览器或操作系统等底层软件。对手不能篡改受保护状态或历史，也不能绕过运行时中介。作者写明这些假设并不意味着模型在处理不可信观测时决策正确。

CUA 观测攻击

• 注入与误导点击。 EIA（Liao et al., 2025）向网页内容注入以造成隐私泄露；对抗弹窗（Zhang et al., 2025）使智能体点击非预期目标。Wu et al.（2025）用对抗图像做定向攻击，并分析影响如何跨组件传播。WebInject（Wang et al., 2025）优化网页像素扰动以诱导指定动作。
• 攻击基准。 VPI-Bench（Cao et al., 2026）评测视觉提示注入；WASP（Evtimov et al., 2026）评测网页提示注入；RedTeamCUA（Liao et al., 2026）在混合 web-OS 环境中做对抗测试。
• 上下文操纵。 Patlan et al.（2025）破坏智能体记忆和内部计划，以改变后续动作。作者称这些结果促使同时控制动作生成、视觉定位，以及跨步保留的上下文。

信息流与计划后执行

• 传统信息流。 非干扰与背书包括 Goguen and Meseguer（1982）、Sabelfeld and Myers（2003）、Myers et al.（2006）、Devriese and Piessens（2010）。作者称 Secure-CUA 用这些原则约束不可信内容对动作生成和视觉定位的影响。
• 可信程序与不可信数据。 CaMeL（Debenedetti et al., 2025）与 plan-then-execute（Beurer-Kellner et al., 2025）把可信程序生成和不可信数据处理分开。DRIFT（Li et al., 2025）用规划器、执行器，以及工具调用校验和记忆注入过滤两道护栏。网页 Plan-Then-Execute（Piet et al., 2026）通过可信网站 API 或站点 SDK 执行。作者在第 4.3 节称，固定程序本身不能在 VLM 处理对抗观测时保护定位；没有定位完整性时，即使语义控制器安全，Theorem 4.1 也不给出执行完整性。
• GUI 与隔离查询。 CaMeL-CUA（Foerster et al., 2026）用整任务程序和隔离感知做 GUI 交互。Fides（Costa et al., 2025）结合受保护变量传递、信息流跟踪和自适应规划。Jacob et al.（2025）用类型导向权限分离限制隔离模型输出。同期 UCM（Nikolić et al., 2026）把界面掩码与隔离、类型约束查询结合。作者称 CaMeL-CUA 的定位仍可能处理对抗界面；UCM 把结果交回主模型，却不强制这些值如何影响后续动作。

训练、检测与权限策略

• 降低易感性。 鲁棒性训练（Wallace et al., 2024）与注入检测（Li and Liu, 2024）降低对恶意指令的易感性或暴露。论文此处只作描述，未与本文做定量对比。
• 权限限制。 CeLLMate（Meng et al., 2025）、Prismata（Villa et al., 2026）、Progent（Shi et al., 2025）分别执行 HTTP、DOM 和工具层策略。作者称它们通过限制智能体权限与本文互补，而本文的要求约束的是不可信内容对动作生成和定位的影响。附录 B.4 另称：Prismata 把任务所需的不可信内容留作只读，仍可影响决策，允许列表本身不构成生成完整性。

基线与基准

• 对照系统。 Vanilla-CUA 从不掩码观测直接生成浏览器动作。CaMeL-CUA 由可信指令生成整任务 Python，解释器执行时用隔离模型查询未掩码观测并定位目标。
• 基准。 WebArena（Zhou et al., 2024）。主实验用其中 400 个单站任务。

作者将本文定位为：每步事务在检索前固定查询及其允许用途，并与受保护的视觉定位结合；这样支持随界面变化的 GUI 交互和不透明字符串参数，且不把检索值暴露给动作生成或定位模型。

整体思路是先隔离观测，再在接触不可信内容前提交显式的每步程序 action transaction，只允许不可信内容填入已固定的计算和分支，然后仅用掩码界面做视觉定位。

完整性要求

• 两阶段。 动作生成产出语义动作，含操作、自然语言目标描述和数据参数；视觉定位再把它译成有限 GUI 命令序列。二者可由同一次 VLM 调用完成，分解是概念上的。
• 有界背书。 背书函数从不可信观测抽出背书值，动作构造函数规定这些值如何进入控制流和数据参数。该规定只依赖可信上下文，并在取得背书值之前固定。
• 生成完整性。 作者要求一旦返回语义动作，则对每个可容许的不可信观测都有 Generate_A(U, H_t, (o^T_t, o^U_t)) = f^act_t(o^T_t, f^end_t(o^U_t))。含义是：语义动作必须等于由可信上下文固定的构造函数作用在背书值上的结果。运行例中，评论文本只能作为 Type 的文本参数，不能改操作或目标字段。
• 定位完整性。 语义动作已写入操作、目标和数据参数后，定位只需在可信观测中找到目标。作者要求：对固定的可信观测和语义动作，无论不可信观测如何，命令所作用的对象都等于动作描述的对象。点到 Title 而动作指定 Description，即违反该项。安全目标是：GUI 命令实现的操作、目标和数据参数，只受有界背书允许的影响。

理想执行模型

• 三个自动机角色。 安全语义控制器从状态生成语义动作；安全转导器把动作和观测映射为 GUI 命令或在执行前拒绝；环境执行命令并转移状态。可信运行时只执行转导器返回的命令，并更新历史、供给下一次观测。
• 轨迹保证。 作者给出 Theorem 4.1：控制器安全、转导器安全且运行时完全中介时，对任何可容许的自适应对手，每条有限轨迹都满足执行完整性。附录 A.3 给出形式化陈述和推导。论证按轨迹归纳，并称两项保证对每个可容许的不可信观测都成立，因而覆盖自适应对手。
• 攻击轨迹推论。 Corollary 4.2 的前提是：任一组件契约被违反时，可容许对手能在多项式时间内控制该步结果，并在当前状态可达的结果中选择。作者称此时对手可在轨迹描述长度的多项式时间内构造任意有限可行攻击轨迹。附录 A.4 给出该假设和推导。

Secure-CUA 架构与每步流程

• 五个组件。 执行器 Act 生成 Python 事务；解释器 I 求值得语义动作；二者承担控制器角色。隔离查询模型 Qry 在求值时提供指定区域的背书信息。定位模型 Grd 与运行时 R 承担转导器角色。运行时构造掩码、控制不可信访问并执行命令。
• 掩码。 网页由扩展按规则确定性覆盖不可信区域。执行器和定位模型只见掩码视图与清单（区域编号、位置、结构描述）。评测用人工 CSS 选择器规则，四站条目数见 Table 3：Postmill 18、Shopping 24、Shopping Admin 123、GitLab 66。作者称规则获取与本设计正交，可用 UCM、Prismata 的技术自动化。
• Algorithm 1 的顺序。 1. 掩码得到视图和清单。2. 执行器只根据指令、历史和掩码观测生成事务，运行时检查语法与接口。3. 隔离查询强制返回类型，解释器求值得到恰好一个语义动作；失败则本步不发 GUI 命令。4. 若动作指向界面元素，定位模型接收操作、目标描述和掩码观测，不接收已背书的参数值。5. 运行时检查目标权限与适用性，编译带符号引用的命令，校验后再绑定参数并执行，历史只保留脱敏的可信信息。
• 通道分离。 作者称原始不可信内容不直接进入执行器或定位模型；检索值只按已提交程序使用。附录 C.2 称：在观测隔离且 R、I 正确时，事务在访问前固定背书过程与允许的动作计算，从而得到生成完整性；再假定定位准确，则命令作用在预定对象上，得到定位完整性。作者称二者加上运行时中介，满足 Theorem 4.1 的条件。

事务语言与参数绑定

• 查询与构造。 查询指定区域、问题和返回类型。类型包括布尔、整数、浮点、字符串和枚举。布尔、数值和枚举以值进入解释器；自由文本是不透明符号引用，内容留在运行时。只有 Type 的 value 和 Finish 的 answer 可携带检索值；目标描述等控制参数必须是字面量。
• 解释器限制。 事务是受限 Python：可用赋值、算术与布尔表达式、比较、条件、对列表或元组的 for，以及捕获 QueryUnavailable。禁止 import、函数与类定义、属性访问、下标和任意调用。问题必须是字符串字面量。每事务最多 32 次查询，解释预算 1,000 次操作。字符串去控制字符并截断到 4,000 字符。附录 C.6 给出执行器、查询模型和定位模型的完整提示词。
• 跨步存储。 remember 与 recall 用字面量名字存取。执行器只见条目名、类型、句柄和枚举域，不见存储值。写操作在动作成功分发后才原子提交。作者在附录 B.4 写明：错误答案若只经可信上下文固定的计算影响动作，仍可满足生成完整性；反过来，只限制返回类型并不构成生成完整性。
• 定位后绑定。 定位后端收到缩放到 1280×720 的掩码截图。运行时把坐标解析到界面元素，并检查可编辑性、焦点、锚点是否对应当前清单中已查询或已保护的区域。分发前比对 URL、区域标识、标签、边框和已查询区域的隔离图像；不一致则拒绝。Bind 只把值填入指定数据参数。后续观测继续掩码已插入的不可信值。浏览器操作一旦尝试，运行时不回滚可能的部分效果。

实验设置

• 任务。 400 个 WebArena 单站任务，Postmill、Shopping、Shopping Admin、GitLab 各 100，从 812 个中选取；抽样种子 42，每站至少 30 个 string_match。保留原指令和评估器。作者选择这些网站，是因为合法执行会遇到不可信内容。
• 模型角色。 三个配置使用 Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol。同一模型担任 Vanilla-CUA 的智能体、Secure-CUA 的执行器与隔离查询模型，以及 CaMeL-CUA 的隔离查询模型。CaMeL-CUA 的规划在全部配置中用 GPT-5。Secure-CUA 与 CaMeL-CUA 的定位用 Claude Sonnet 4.5；Vanilla-CUA 由自身模型直接预测坐标。
• 重复与预算。 每配置 5 次，每次重建应用容器并使用新浏览器配置。单任务超时 40 分钟。Secure-CUA 最多 50 次事务尝试（含被拒绝的事务）；Vanilla-CUA 最多 50 个浏览器动作回合；CaMeL-CUA 不重规划，最多 50 个 GUI 动作和 100 次隔离查询。被拒绝的事务不在同一回合重试。
• 输入与信任标签。 智能体接收截图和可访问性树，经 Playwright 发 GUI 命令。Secure-CUA 用人工规则为 DOM 元素标可信或不可信，并假定对手控制的内容都被标为不可信。
• 指标。 TSR 是通过 WebArena 评估器的运行百分比。检查包括字符串匹配、URL 匹配和应用状态检查，全部要求满足才算成功；答案匹配可为精确匹配、必需短语，或基准配置的 LLM 匹配，论文未给出该 LLM 名称。另统计发出查询的事务比例、每任务查询数、返回类型、每任务 token 与墙钟时间。
• 实验条件。 主实验在良性条件下进行。作者称在 Section 5 的假设下，未授权影响按设计被阻止，因此主实验考察这些保护是否仍能完成合法任务，并看信息访问和开销。这 6,000 条轨迹不是对抗成功率评测。

主结果

跨全部模型与应用设置的平均 TSR（Section 6.2；Figure 3 为分应用、分模型的五种子均值）：

系统	平均 TSR
Secure-CUA	53.55%
Vanilla-CUA	55.12%
CaMeL-CUA	13.17%

• 作者称该平均相对 Vanilla-CUA 低 1.57 个百分点，并称若干设置下 TSR 更高（Figure 3）。Gemini 3.8 Flash 在四个应用上的平均 TSR 都更高，其中 Shopping Admin 高 20.4 个百分点，GitLab 高 6.2 个百分点。
• 作者认为把信息处理分到各组件，可能减轻执行器的上下文负担，并用来解释信息密集界面上的增益。作者同时称效果随配置变化，Claude Opus 5 的个别降幅达到 13.4 个百分点；该句未指明是哪个应用。
• 作者称平均 TSR 明显高于 CaMeL-CUA。Figure 3 的误差线为 ±1 个标准差。正文未逐条列出全部柱值，上表只收录正文给出的总平均。

不可信信息访问

• 测了什么。 6,000 次 Secure-CUA 运行中，事务是否发出隔离查询、每任务查询数，以及返回类型。
• 结果。 19.6% 的事务发出查询，每任务平均 11.0 次。结构化返回（布尔、数值或枚举）占调用的 52.4%，自由文本占 47.6%。作者称 Shopping 上结构化查询占 74.2%–79.2%，Postmill 上字符串占 54.0%–85.2%，Shopping Admin 上字符串占 75.7%–78.2%。
• 作者解读。 作者称这些查询既取结构化值也取自由文本，对应任务执行中的不同信息形式；并称 UCM 的类型约束接口不能直接返回这类字符串，因而限制对常见 CUA 任务的支持。

执行开销

全部配置平均（Section 6.2）。该段未给出 Vanilla-CUA 的绝对汇总。

系统	平均 token	平均时间
Secure-CUA	4.14×10^5	426.3 秒
CaMeL-CUA	1.82×10^5	408 秒
Vanilla-CUA	未报告	未报告

• 作者称 token 比 Vanilla-CUA 多 10.3%，为 CaMeL-CUA 的 2.3 倍；运行时间约为 Vanilla-CUA 的 3 倍，比 CaMeL-CUA 长 4.5%。
• 作者称 Opus 与 Gemini 的 token 接近 Vanilla-CUA，GPT 则从 2.75×10^5 增至 4.10×10^5。
• Table 2 按应用给出五种子平均的 token（×10^5）与秒数，并非每格都高于 Vanilla-CUA。例如 Shopping、Gemini：Secure-CUA 为 3.42，Vanilla-CUA 为 3.88；Shopping Admin、Opus：5.21 对 7.64。

对 CaMeL-CUA 的定位攻击

• 测了什么。 附录 B.2 在 WebArena 任务 postmill-719 上攻击 CaMeL-CUA。任务要求给指定帖点赞。规划用 GPT-5，定位用 Claude Sonnet 4.5。对手目标是保持生成程序，同时让智能体给另一帖点踩。对抗内容放在不可信论坛内容中，诱导 find 返回另一控件的坐标。Figure 5 给出程序片段和攻击后界面；此处不复述载荷原文。
• 结果。 5 次中 4 次产生非预期的点踩。作者称语义动作和所执行的程序分支保持不变，因此不依赖分支引导（branch steering）。
• 作者解读。 作者称这违反定位完整性，并类比函数指针被改写：使用该引用的语句不变，执行却到达另一对象。作者把该例作为现有实例化未同时满足两项完整性的证据。

其他消融与分析

• 论文未报告去掉掩码、隔离查询、符号引用或每步重新生成事务的消融。
• Table 6 的 All 列：发出查询的事务比例，Opus、Gemini、GPT 分别为 20.8%、20.2%、18.1%；每任务查询数为 10.8、13.4、8.9。这是各模型跨四站汇总，不是 Section 6.2 的 19.6% 本身。
• Table 6：Gemini 在 GitLab 每任务 23.1 次查询，在 Shopping Admin 为 4.6 次。
• 附录 D.3：66,175 次查询调用中，34,688 次请求结构化值，31,487 次请求字符串，对应 52.4% 与 47.6%。
• Table 2 中 Secure-CUA 的一格：GitLab、Gemini 3.8 Flash 为 5.12×10^5 token、647 秒（五种子均值）。

作者指出的局限与后续方向

• 人工标注。 Secure-CUA 依赖人工编写的标注规则（Limitations）。
• 不保证查询正确。 有界背书约束查询响应如何影响执行，但不保证响应正确（Limitations）。
• 延迟。 作者称执行延迟仍然很大（Limitations）。
• 网页范围。 实现和评测集中在网页应用（Limitations）。
• 部署与查询。 作者在 Future work 提出：用 UCM 与 Prismata 探索过的自动标注以便在新应用部署；提高隔离查询模型的鲁棒性以改善任务效用；并行执行独立查询、对同一屏幕批处理查询，以在保持隔离的同时降低延迟。
• 其他环境。 作者提出在桌面和移动环境评测，以看网页之外是否适用。同一节还称，机器人中攻击者控制的物理环境内容也可能影响决策和动作；把观测隔离和有界背书扩展到该场景，需要在感官观测中识别信任边界，并在译成物理命令时保持既定动作（Future work）。

实验覆盖范围

• 主实验为 WebArena 四站各 100 个任务、共 400 个，从 812 个中选取；三个前沿模型、五个种子，6,000 条 Secure-CUA 轨迹。指标为 TSR、查询统计、token 与墙钟时间（Section 6，附录 D）。
• 主比较在良性条件下进行。作者写明：因所述假设下按设计阻止未授权 GUI 影响，故主实验看合法任务完成能力、信息访问和开销（Section 6）。
• 对抗材料是对 CaMeL-CUA 在 postmill-719 上的 5 次运行，规划模型为 GPT-5，定位模型为 Claude Sonnet 4.5（附录 B.2）。论文未报告 Secure-CUA 在对抗观测下的攻击成功率或任务成功率。
• 信任标签为人工规则，四站规则条目数为 18、24、123、66（Table 3）。作者写明标签获取与 Secure-CUA 的强制机制正交。
• 单任务超时 40 分钟。Secure-CUA 最多 50 次事务尝试，Vanilla-CUA 最多 50 个浏览器动作回合，CaMeL-CUA 生成一次整任务程序且不重规划，最多 50 个 GUI 动作和 100 次隔离查询（附录 D.2）。部分答案匹配使用基准配置的 LLM，论文未给出该模型名称。

Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。

• 问题。 界面把可信控件与评论、广告等不可信内容放在同一观测中。对手可改语义动作，也可在动作已经选对目标后，把点击坐标指到另一控件。全部删掉不可信内容又可能使任务无法完成。
• 要求。 作者形式化生成完整性与定位完整性：前者把不可信影响限制在访问前固定的背书计算里，后者要求命令作用在该语义动作指定的对象上。理想模型中，作者称安全控制器、安全转导器和完整运行时中介能使每条有限轨迹保持该不变量。
• 做法。 每步先掩码不可信区域，再提交 action transaction，写死查询、返回类型和允许用途。隔离模型作答，解释器产出一个语义动作；自由文本以符号引用保存，定位只用掩码界面，参数在定位后绑定。作者称在观测隔离、运行时与解释器正确、且定位准确等假设下，该构造满足两项完整性。查询答错仍可能满足生成完整性，只要影响只走已固定的计算。
• 良性效用。 400 个 WebArena 任务、三个前沿模型、五个种子、共 6,000 条轨迹上，Secure-CUA 平均 TSR 为 53.55%，Vanilla-CUA 为 55.12%，CaMeL-CUA 为 13.17%。作者称相对 Vanilla-CUA 低 1.57 个百分点；Gemini 3.8 Flash 在 Shopping Admin、GitLab 上分别高 20.4 与 6.2 个百分点，Claude Opus 5 的个别降幅达到 13.4 个百分点。19.6% 的事务发出查询，每任务平均 11.0 次。作者报告 token 比 Vanilla-CUA 多 10.3%，运行时间约为其 3 倍。
• 定位缺口的例子。 在 CaMeL-CUA 的 postmill-719 上，对抗内容使 find 返回另一帖点踩控件的坐标，程序分支不变，5 次中 4 次点踩成功。主实验没有报告 Secure-CUA 自身的对抗成功率。
• 作者结论。 作者称这些要求可以在保持实际任务效用的同时被强制执行，效用接近不掩码的 Vanilla-CUA。作者计划公开评测代码，并写明标注仍靠人工、背书不保证查询正确、延迟大、实现与评测集中于网页。