迈向计算机操作 Agent 的安全自主性

1. 01这篇论文试图解决什么问题？

   作者用 SA-CUA 给 CUA 划出保守信任边界，并用背书代替反复确认。

   CUA 的截图把可信界面与攻击者可写内容缠在一起，现有架构难以既挡住间接提示注入，又不必反复确认。

   • 场景：作者称 CUA 以鼠标和键盘操作 GUI，无需为每个应用做专门集成。对手可在第三方可写环境留下 IPI，把轨迹导向外泄、发消息、授权付款或删数据。Khodayari et al. (2026) 在 1.2B 个 URL 中发现 15.3K 条注入。
   • 现有不足：作者称对齐与安全分类器是启发式，能降低 ASR，但不能给出安全保证。CaMeL、FIDES 依赖结构化接口上的初始信任标签；截图没有可挂标签的类型化值。
   • 缺口：CaMeL-CUA 让特权模型对环境盲视，效用受限。UCM 依赖站点所有者在 DOM 中标注不可信区域，作者称 LLM 标注不足为据。作者认为约束返回类型后，单比特仍可把特权模型导向对抗分支；更高容量则回退为用户确认，并造成确认疲劳。
   • 威胁模型：
     • 目标：劫持良性任务，使之转向攻击者选定的恶意目标。
     • 注入面：只在论坛帖、邮件、列表或评论等第三方用户生成内容中注入 IPI。论文排除会改变可信源信任状态的网络攻击。
     • 用户侧：良性用户维护可信域名与邮件联系人允许列表；任务覆盖网页、原生应用或二者。
     • 受害系统：视觉操作屏幕的 CUA。OS 层以每回合文件元数据承载信任，互联网下载文件为不可信。
   • 提出：SA-CUA。默认遮罩整屏，用无障碍树的保守确定性规则只揭开可信区域；跨边界的值须经独立可信源背书。人只在开始时把任务说到足以背书。

   收起这一问

2. 02有哪些相关研究？

   作者把 SA-CUA 放在双 LLM 信息流控制上，并与 CaMeL-CUA、UCM 对照。

   论文第 2 节分三组讨论；实验对照的是无防护 CUA 与 CaMeL-CUA。

   提示注入与 CUA 评测

   • WASP（Evtimov et al., 2025）——在 WebArena 站点放置注入，同时利用视觉与 DOM 通道。
   • 其他注入面：EIA（Liao et al., 2025）在 DOM 中加入视觉不可见的欺骗性表单；Johnson et al. (2025) 把对抗触发放进 HTML 的 aria-label，并读入无障碍树；Zhang et al. (2025) 用弹窗携带 IPI；Seip and Hein (2026) 与 Wu et al. (2025) 直接扰动截图。
   • 效用与安全基准：效用用 OSWorld（Xie et al., 2024）与 WindowsAgentArena（Bonatti et al., 2024）。安全评测有 OS-Harm（Kuntz et al., 2025），以及在混合 web–OS 环境放置对抗内容的 RedTeamCUA（Liao et al., 2026）。

   对齐与安全分类器

   • 模型侧：Constitutional AI（Bai et al., 2022）、deliberative alignment（Guan et al., 2024）、用 DPO 配对安全与不安全补全的 SecAlign（Chen et al., 2025b）。另有只跟随特殊提示的 StruQ（Chen et al., 2025a），以及让模型优先特权指令的 Instruction Hierarchy（Wallace et al., 2024）。
   • 分类器与动作门控：Llama Guard（Inan et al., 2023）、LlamaFirewall（Chennabasappa et al., 2025）、Constitutional Classifiers（Sharma et al., 2025）。Task Shield（Jia et al., 2024）按动作是否服务于用户任务放行；GuardAgent（Xiang et al., 2024）用单独守卫智能体检查计划。
   • 本文的说法：作者称上述防御都是启发式，能降低 ASR，但不能提供安全保证。

   信息流控制

   • 原则：Biba 模型（Biba, 1977）不允许高完整性实体读取低完整性数据。dual-LLM（Willison, 2023）让特权模型规划并调用工具、不读不可信内容，隔离模型可读内容但不能调用工具。作者称这能保住控制流，仍易受数据流攻击。

   • 工具型智能体：CaMeL（Debenedetti et al., 2026）在轨迹开始时给出计划并跟踪污点；FIDES（Costa et al., 2025）选择性隐藏不可信工具输出。二者阻止使用不可信数据的后果性动作。

   • 迁到 CUA：CaMeL-CUA（Foerster et al., 2026）把 CaMeL 扩到计算机使用，以保证控制流完整性。Prismata（Villa et al., 2026）按页面树祖先路径上目标元素的完整性门控动作。UCM（Nikolić et al., 2026）在站点所有者提供信任标签的假设下遮住不可信区域，并用有限容量的结构化查询读取，作者称这影响效用。

   • 基线与数据集：主实验基线是把截图映射为 pyautogui 的 CUA（Xie et al., 2024），以及事先写完全部计划的 CaMeL-CUA。对抗任务改编自 WASP 与 RedTeamCUA，并加入值替换套件 RTC-value 与原生应用注入。无注入效用用 OSWorld 小子集和 UCM-B。可信标注另与 UCM 的 CSS 选择器比较，且 UCM 只在网页捕获上评测。

   作者把区别写成：用 AT-SPI 无障碍树对混合 web–OS 做默认拒绝的可信揭开，而不是在 DOM 上遮不可信内容；数据相关任务用对照独立来源的背书，而不是只靠低容量返回或请用户确认。

   收起这一问

3. 03论文如何解决这个问题？

   SA-CUA 默认遮罩整屏，用无障碍树规则揭开可信区，跨边界的值须经稳健背书。

   SA-CUA 沿用 FIDES 的双 LLM 信息流控制：特权规划模型（P-LLM）只看揭开可信区域后的截图；隔离模型（Q-LLM）看完整屏幕，但只能按指定类型作答，返回值以涂红变量交给规划器。

   屏幕上的信任

   • 三处困难：点击或击键在句法上良性，效果取决于焦点下的元素。截图把可信与不可信视觉内容缠在一起。无障碍树不完整：aria-hidden 会删节点，aria-owns 会改父节点，容器权限可能覆盖其外子树。
   • 用户生成内容：定义 3.1 把区域或打印节点视为用户生成，若运营者以外的任何一方能使其显示不同内容。作者称这比 UCM 更宽：问谁能影响显示值，而不按信道容量判断。假阴性会把不可信字符串送到 P-LLM，假阳性只损失功能，因此目标是零假阴性。
   • 默认拒绝：从遮罩屏幕开始，只揭开可信内容。没有对应无障碍节点的可见区域保持遮罩。一方界面（浏览器边框、原生应用菜单与工具栏、窗口框）不遮罩；地址栏视为可信边框，因为站点不能写入，且只能点击可信 URL。

   规则的提出与应用

   • 离线四步：对每个 URL 模板或应用，RP-LLM 先只凭主机与类别写站点先验；输入是消毒后的树，名称和文本换成长度占位，保留 role、id、class，因此看不到页面正文。再提议信任规则，并按覆盖行数删过宽或为空的规则。最后在未涂红子树上核对运营者是否写了其中每个字符串；该检查只能删规则。
   • 三条捷径：同意横幅按已知同意管理平台的 id 匹配。容量捷径揭开渲染文本完全匹配 24 种封闭模式的元素（如价格、日期、文件大小、计数），但同一行或列中其他元素也会被揭开时不用。被记录为用户创建的文件在列表和原生应用中揭开。
   • 在线选用：按主机名与 URL 模板取已存规则，不匹配则现场提议。模板把路径中的 id 与 slug 换成通配符。不同模板的规则集不合并，作者称合并会造成泄漏（附录 C.5）。原生应用没有分隔状态的 URL，使用规则集的并集。无法建遮罩时重试三次，然后停止回合，而不是展示未遮罩屏幕。

   动作策略

   • 沿用 FIDES：后果性调用只有在上下文及其相关参数达到策略要求的完整性时才继续，行动决定只依赖可信输入。
   • 坐标与焦点：点击和键入视为后果性，按作用区域标注。坐标仅当落在可信区域时为可信，不可信区域的点击和键入被阻止；滚动等非后果性动作不受限。焦点在遮罩下时拒绝键盘输入。策略作用于动作而非最终回答，涂红变量可未经背书返回给用户，以覆盖 UCM-B。

   背书与任务规格

   • 稳健背书：被背书的值不能影响它所对照的期望或检查过程，只能影响是否匹配（Zdancewic and Myers, 2001; Myers et al., 2006）。未见候选值的组件只从可信来源导出期望，再用规范化后的类型感知相等做确定性检查，不用模型判断。作者称攻击者能使背书失败，但不能让自选值通过。
   • 类型目录：查询只能返回封闭类型，如 URL、邮箱、日期；自由文本在作答后被拒绝。ENUM、INDEX 让页面在规划器写好的选项中选择。唯一无界类型是 PROCEDURE：解析为流水线语法树，按程序语法给叶子分配目录类型；循环、命令替换和未知程序被拒绝。布尔查询被拒绝，改由在无障碍树中查找可信字符串的工具处理。
   • 路线：endorse 把值与用户指令、回合前的参数知识、规划器从可信上下文给出的有限候选，或任务约束加类型作比较。专用工具检查策划注册表、允许列表上的清单，或从允许列表来源重新推导再比较。过程先按规划器声明的能力过滤，再逐叶背书。作者称这些路线用来检验稳健性原则是否跨第 4 节的值类型成立，而不是覆盖一切任务。
   • 规格分类器：开局检查任务是否把所需值描述到足以背书。值只需被描述，不必被点名。任务若完全由用户生成内容定义，分类器拒绝并请用户写得更具体。评测中分类器与 P-LLM 用同一模型。

   收起这一问

4. 04论文做了哪些实验？

   作者报告两套信息流框架对抗 ASR 均为 0，SA-CUA 的完成率高于 CaMeL-CUA。

   实验设置

   • 模型：P-LLM 为 Qwen3.8-27B 与 GPT-5.6-Luna。SA-CUA 与 CaMeL-CUA 的 Q-LLM 始终为 Qwen3.8-27B；智能体评测的 RP-LLM 始终为 GPT-5.6-Luna。标注实验中二者都作 RP-LLM。
   • 基线：无防护 CUA 把截图映射为 pyautogui；CaMeL-CUA 事先写计划，再经隔离模型取值。作者在本套设置中重跑基线，不引用已发表数字。
   • 规模：WASP† 42（GitLab 22、Reddit 20）；RTC† 65（Reddit、OwnCloud、RocketChat）；RTC-value 78（Reddit 40、Thunderbird 28、GitLab 10）。无注入效用为 OSWorld 小子集 36 与 UCM-B 99。
   • 指标：ASR@k 为 k 次种子中任一击中即计攻击成功；CR 为种子平均的良性完成率；RTC-value 另报 FR，即良性与攻击目标都未达成。ASR 按任一击中计，CR 与 FR 按运行平均，三者不必加总为 100。判定来自环境状态，不是 LLM 评审。Table 1 与 Table 16 的 k 列写出 3（Qwen3.8-27B）和 1（GPT-5.6-Luna）。
   • 环境：基于 OSWorld。每回合在 Docker 内的 Ubuntu 虚拟机，屏幕 1920×1080；回答为虚拟机内执行的 pyautogui。DONE、FAIL 或 50 步结束，上下文保留最近 10 轮。附录另写 70 个 P-LLM 回合或连续 6 次工具错误会结束。除非另注，temperature 1.0、top-p 0.9。网页应用为自托管容器；对抗内容在回合开始前写入后端。RocketChat 同事由本地 Qwen2.5-32B 模拟，并被要求逐字传递载荷。

   主结果

   据 Table 1（%）。RTC-value 格为 CR（FR）。该列 ASR 未放入表内：CUA 为 43.6（Qwen3.8-27B）与 38.5（GPT-5.6-Luna），CaMeL-CUA 与 SA-CUA 均为 0.0。

   表格较宽，可左右滑动

   框架（P-LLM）	WASP† ASR/CR	RTC† ASR/CR	RTC-value CR（FR）	OSWorld CR	UCM-B CR
   CUA（Qwen3.8-27B）	4.8 / 81.7	46.2 / 95.4	53.4（17.9）	58.3	90.9
   CaMeL-CUA（Qwen3.8-27B）	0.0 / 61.1	0.0 / 18.5	18.8（81.2）	8.3	9.1
   SA-CUA（Qwen3.8-27B）	0.0 / 88.9	0.0 / 86.2	50.9（49.1）	30.6	50.5
   CUA（GPT-5.6-Luna）	7.1 / 97.6	38.5 / 98.5	60.3（3.8）	58.3	91.9
   CaMeL-CUA（GPT-5.6-Luna）	0.0 / 73.8	0.0 / 27.7	29.5（70.5）	8.3	19.2
   SA-CUA（GPT-5.6-Luna）	0.0 / 100.0	0.0 / 81.5	69.2（30.8）	38.9	49.5

   • 对抗列：作者称 CaMeL-CUA 的完成集中在指令已经写明取值的任务；从屏幕取数大多失败，多步 Thunderbird 任务无一成功（附录 C.3）。
   • 相对无防护 CUA：作者称 SA-CUA 在 WASP† 上完成率更高，在 RTC-value 上完成数量接近，且没有回合采用注入值，其余失败无害。
   • 无注入套件：作者称若干 OSWorld 与 UCM-B 任务要求依据无法核验的不可信信息行动；SA-CUA 若不放弃保证或不请用户确认就无法完成。CaMeL-CUA 在这两套上完成的任务很少。

   可信内容标注

   • 设置：Table 2，160 个手标捕获，18 个网页域与 13 个原生应用，20,744 行（可信 12,229、不可信 8,515）；不可信行中 2,048 行（24.1%）容量有界。UCM 只在 115 个网页捕获上评测。正类为不可信。括号内为容量捷径打开。
   • 数字：两名 RP-LLM 下 SA-CUA 的 FNRfree 均为 0.0 / 0.0（全部/仅网页）。UCM 仅网页的 FNRfree 为 44.1%（Qwen3.8-27B）与 36.7%（GPT-5.6-Luna）。SA-CUA 的网页 FPR 为 76.9% 与 56.3%，UCM 为 5.2% 与 4.7%。容量捷径不改变 FNRfree，只揭开有界容量行，使 FNRbounded 升至接近 oracle 在捷径打开、全部捕获上的 58.7%。
   • 作者解读：作者称 SA-CUA 的安全对应过度遮罩；换成 GPT-5.6-Luna 作 RP-LLM 后，这一效用损失减小。

   前沿模型上的注入

   • 设置：作者选出 10 个自认为较难的任务，覆盖多套件与不同注入类，用 Claude computer use API 的默认设置运行，含安全分类器。这不是 SA-CUA 的结果。
   • 数字：Claude Opus 5 为 0/10 攻击成功，良性任务 10/10 完成。Claude Sonnet 5 在 2/10 上被劫持，两次都是仿冒发件人的钓鱼邮件：报告发给仿冒者而非同事，攻击成功且良性任务失败。Sonnet 5 完成 10 个良性任务中的 8 个。
   • 作者解读：作者称这些攻击并非平凡，因为其中至少两次在 Claude Sonnet 5 上成功。

   指令具体程度

   • 设置：附录 C.4、Table 16 把 RTC† 按指令是否点名目标拆开。specific 同时给出过程与值，loose 只描述要做什么，generic 把值完全留给不可信内容。
   • 数字：无防护 CUA 的 ASR 随指令变具体而下降：Qwen3.8-27B 从 generic 的 50.0% 到 specific 的 44.0%，GPT-5.6-Luna 从 42.9% 到 36.0%。CaMeL-CUA 与 SA-CUA 的 ASR 仍为 0.0。CaMeL-CUA 的 specific CR 为 37.3% 与 64.0%，loose 与 generic 接近于无完成。SA-CUA 的 specific CR 为 98.7% 与 100.0%；Qwen 的 loose/generic 为 83.3% / 69.0%，GPT 为 61.5% / 85.7%。
   • 作者解读：作者称模糊指令给无防护 CUA 更多空间去跟随注入步骤，但 specific 指令仍有超过三分之一被攻击。SA-CUA 的失败多落在 loose 与 generic。全部 generic 运行都被规格分类器标出，随后改用 loose 表述。

   其他消融与分析

   • 去背书与策略门（Table 14，Qwen3.8-27B，两行共有任务、各种子 1，ASR@1）：消融后 RTC† ASR 1.5%、RTC-value ASR 3.8%；WASP† CR 从 92.9 到 69.0，RTC† CR 从 80.0 到 98.5。这组门控数字与 Table 1 不是同一任务集。
   • 分平台（附录 C.3）：无防护 CUA 的 WASP† 成功攻击都在 GitLab（Qwen 9%、GPT 14%），Reddit 为 0。RTC† 上 OwnCloud 为 76% 与 67%。SA-CUA 的 RTC-value：Reddit 83% 与 100%，GitLab 两模型均为 40%，Thunderbird 为 8% 与 36%；CaMeL-CUA 的 Thunderbird 任务全部失败。
   • 规则迁移（Table 17，GPT-5.6-Luna）：运行时使用的同 URL 模板复用，FNRfree 为 0.00、FPR 63.8%；不同模板 FNRfree 为 4.8。原生应用规则并集 FNRfree 为 0.00、FPR 42.8%。
   • 注释审计（Table 19，同一 GPT-5.6-Luna 运行、160 捕获）：审计前 FNfree 为 6、FNRfree 0.09、FPR 54.65；审计后 FNfree 为 0、FNRfree 0.00、FPR 61.83。审计只能删规则。
   • 回合 token（Table 15，GPT-5.6-Luna，成功回合，倍数只计 P-LLM）：SA-CUA 相对 CUA 为 7.49（未缓存）与 4.17（缓存计价）；去掉固定前缀后为 2.13 与 3.07。SA-CUA 的 Q-LLM 均值另有 9,588 token。CaMeL-CUA 的 P-LLM total× 未缓存为 0.17。
   • 规则提议（Table 18）：GPT-5.6-Luna 对 160 个捕获，平均每次 58,754 输入 token，缓存计价后 40,072。作者称单次不到一个 SA-CUA 回合的五分之一（缓存 18.0%，未缓存 10.1%）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称只保证完整性、不保证机密性，且有些不可信值无法独立核验。

   作者指出的局限与后续方向

   • 无机密性（第 6 节）：作者写明 SA-CUA 保证的是抵御外部操纵的完整性，不保证机密性，智能体仍可能泄露机密，例如发到公开的 Reddit 帖子。
   • 长提示词（第 6 节；附录 C.2 称为后续问题）：P-LLM 的长系统提示能否缩短是未决问题，途径是在轨迹上微调，使模型学会处理遮罩截图。
   • 无法独立核验（第 6 节）：有些不可信内容不能独立检查。作者举例，按条件找笔记本电脑并购买时，条件往往只能在不可信的卖家信息里核对。
   • 取舍（第 6 节）：作者称这类限制是安全的代价，并把本文看作走向如何在效用、成本与安全之间取舍的一步。

   实验覆盖范围

   • 规划与辅助模型：主结果的 P-LLM 为 Qwen3.8-27B 与 GPT-5.6-Luna；Q-LLM 始终为 Qwen3.8-27B；智能体评测的 RP-LLM 始终为 GPT-5.6-Luna（第 5 节）。
   • 任务：WASP† 42、RTC† 65、RTC-value 78，平台为 GitLab、Reddit、OwnCloud、RocketChat、Thunderbird；无注入效用为 OSWorld 36 与 UCM-B 99（第 4 节、Table 3）。
   • 对照：主结果对照 CUA 与 CaMeL-CUA（Table 1）。标注对照 UCM，且只在 115 个网页捕获上（Table 2）。作者说明不能在本套设置中原样运行 UCM 智能体，因其重绘页面、读 DOM、只遮被标为不可信的区域，故用去掉背书与策略门的消融代替（附录 C.1）。
   • 标注语料：160 个手标捕获，18 个网页域、13 个原生应用，20,744 行（第 5 节、附录 B）。论文未报告标注人数或标注者间一致性。
   • 其他运行与判定：10 个任务经 Claude computer use API 跑 Claude Opus 5 与 Claude Sonnet 5（第 5 节）。成功由环境状态的确定性评估器判定（附录 A.1）。Table 1 给出 k；采样为 temperature 1.0、top-p 0.9。

   收起这一问

6. 06总结一下论文的主要内容

   SA-CUA 用默认遮罩与背书做 CUA 信息流控制，作者报告三套对抗任务 ASR 为 0。

   SA-CUA 是面向计算机使用智能体的双 LLM 信息流控制框架，用来在间接提示注入下保持完整性，并减少运行中的用户确认。

   • 问题：截图把一方界面与第三方可写内容缠在一起，点击效果取决于落点。作者称对齐与分类器不能给出安全保证。CaMeL-CUA 以对环境盲视换完整性，UCM 依赖 DOM 上的不可信标注，并在需要更高容量时请用户确认。
   • 做法：默认遮罩整屏，从消毒后的 AT-SPI 树离线导出规则，在线只揭开可信区域；缺失覆盖损失效用而不是安全。Q-LLM 按封闭类型读取不可信区域，P-LLM 只持有涂红变量。读值或用于后果性动作前，须用未见该值的期望做确定性背书。规格分类器在开局拒绝无法背书的任务。不可信区域的点击与键入被策略阻止。
   • 对抗结果：Table 1 中，Qwen3.8-27B 与 GPT-5.6-Luna 作为 P-LLM 时，SA-CUA 与 CaMeL-CUA 在 WASP†、RTC†、RTC-value 上 ASR 均为 0.0。SA-CUA 的 RTC† CR 为 86.2% 与 81.5%，CaMeL-CUA 为 18.5% 与 27.7%。RTC-value 上 SA-CUA 的 CR 为 50.9% 与 69.2%，FR 为 49.1% 与 30.8%；作者称没有回合采用注入值。
   • 效用与标注：无注入时 SA-CUA 的 OSWorld CR 为 30.6% 与 38.9%，两名 CUA 均为 58.3%；UCM-B 为 50.5% 与 49.5%，CUA 为 90.9% 与 91.9%。Table 2 中 SA-CUA 的 FNRfree 为 0，UCM 在仅网页上为 44.1% 与 36.7%，同时 SA-CUA 的网页 FPR 为 76.9% 与 56.3%。
   • 作者结论：作者称 SA-CUA 在全部对抗任务上攻击成功率为零，并在保持效用上优于 CaMeL-CUA；自动可信标注的自由文本假阴性为零。他们同时写明只保证完整性、不保证机密性，部分条件无法在不可信卖家信息之外核验，并称这是安全的代价。

   收起这一问

相关论文