视觉混淆代理：利用与防御计算机使用智能体的感知失效

CUA可能依据看错的屏幕授权点击，从而执行正确感知下不会授权的操作。

• 出现场景：CUA对截图发出click(x,y)，坐标离开截图就没有语义。作者认为感知是决定正在授权何种动作的信任锚，而不是普通输入。引言引用OSWorld-MCP：369个任务中56.7%的动作未打中意图元素。
• 现有不足：作者称现有工作多问任务是否完成，很少问是否点在正确对象上。工具名与参数上的访问控制读不懂坐标；智能体内护栏和LLM自检共用同一感知，运行时被攻陷时还可被绕过。
• 三类来源：非对抗的视觉定位错误、模型看见前的截图篡改，以及screenshot()与click()之间的TOCTOU。引言引用ScreenSpot-Pro上GPT-4o为0.8%、OS-Atlas-7B为18.9%、Qwen2.5-VL-72B为43.6%。
• 本文提出：作者称首次将此形式化为visual confused deputy，并以ScreenSwap说明像素对调可把点击引向高权限按钮，再提出进程外的dual-channel contrastive classification。
• 威胁模型：
  • 偏差定义：基于感知截图s′的动作落到真实元素e_actual，而模型以为的e_perceived与之不同（Definition 1）。
  • 位置与能力：运行时位于截图与点击两侧，作者称为结构性中间人；可因供应链或工具投毒改截图，屏幕也可能在两次调用之间变化。
  • 受害对象：以低层GUI命令操作图形界面的CUA。
  • 强制点：护栏在进程外拦截点击、截图与推理文本；运行时不可信，分类器是唯一强制点（§5）。

论文第7节把相关工作分成记录失败的基准、面向工具调用的授权，以及生成与授权分离的核验。

CUA基准

• OSWorld-MCP（Jia et al., 2025）——评测桌面多步任务中的工具调用，并报告动作经常未打中目标。
• ScreenSpot-Pro（Li et al., 2025b）——单独考察专业GUI上的视觉定位。附录G汇编该基准上已发表的准确率，不是本文自己跑的模型实验。
• OS-Harm、CUAHarm、AgentHarm（Kuntz et al., 2025；Zhang et al., 2025；Andriushchenko et al., 2024）——把失败连到具体危害或策略不合规动作。作者称这五份基准记录了问题，但都没有给出感知回路之外的结构性防御。

智能体安全

• Wang et al.（2025）——系统整理CUA特有漏洞类。本文的TOCTOU来源引用该工作。
• CSAgent（Park et al., 2025）与Delegated Authorization（Gupta and Singh, 2025）——在智能体内或按任务范围授权。作者认为这类机制不足以处理离开截图就语义不明的click(x,y)。
• ToolSafe（Zhang et al., 2026）与AgentGuard（Kim et al., 2025）——研究API型智能体里带语义的工具名和参数。§2还把AgentSentinel（Liu et al., 2025）列入可被攻陷运行时绕过、且会犯同样定位错误的智能体内护栏。

外部核验与confused deputy

• 自检与伴随式授权（OpenAI, 2025；Anthropic, 2024；以及上列Park、Gupta、Kim的工作）——依据模型自己对任务、工具调用或屏幕的表示做判断。作者认为感知已经错误时，自检是循环的。
• Confused deputy（Hardy, 1988）——程序因指称与权限没有分开而误用权限；能力系统（ERights.org, 2000）用对齐二者来处理。作者把该视角延伸到从像素推断指称的屏幕智能体。

基线与数据：主实验对照是图像通道、文本通道、OR、AND与image+text veto，以及mean/max聚合；Table 3另把原始SigLIP（768维）与作者的384维投影对比。数据为ScreenSpot-Pro、OS-Harm、自建SOC面板、中性按钮场景和VLM-Reasoning-Traces。论文没有把另一套已发表CUA护栏当作主结果对照。

作者把本文定位为：核验移出智能体感知回路，在执行前独立分类视觉点击目标与文本理由。

在运行时执行点击之前，dual-channel contrastive classification用部署侧知识库分别分类点击裁剪和推理文本，任一路判为受限就拦截。

问题设定与ScreenSwap

• 智能体循环是screenshot()、把像素交给LLM、再下发click(x,y)。Definition 1把漏洞写成a=f_LLM(s′), e_actual≠ e_perceived：动作按被感知的截图产生，坐标却落在另一个真实元素上。
• 三类原因彼此独立：定位错误、对抗性改截图、TOCTOU。作者认为常规点错与被利用之间的边界很小。
• ScreenSwap：被攻陷运行时在截图送入LLM之前，把两个按钮的像素区域对调（Figure 1）。示例是SOC面板上的常规确认按钮与受限的凭据重置按钮。作者称图像代码为8行、按钮定位约另加约30行，且用的是真实渲染像素。附录A给出过程与代码。
• 作者列出的性质：LLM看不到真实屏幕、坐标策略看不出语义、事后若只记录模型所见截图则审计轨迹看起来一致，且与已有的56.7%点错难以区分。

双通道分类

• 护栏在智能体进程外截获每次点击，输入为截图、坐标和推理文本t（Figure 2）。分类器是multi-modal-embed-small：120M参数，SigLIP图像编码器、MiniLM文本编码器、训练过的384维投影，共享嵌入空间。
• 图像通道：以点击为中心裁剪，附录D写明为100×100，经SigLIP后与受限库Kimg−、允许库Kimg+做最近邻余弦相似度分类。
• 文本通道：用MiniLM编码t，对照Ktxt−与Ktxt+。
• 论文未给出全实验统一的数值阈值；SOC实验报告两类库分数之差的间隔|Δ|。

融合规则

• OR：任一路标为受限即拦截，否则放行。作者在§4给出的理由是两路对应不同失效面；AND会漏掉外观中性的威胁。
• image+text veto：图像通道做决定，文本通道只追加拦截信号。附录E建议定位检测用veto，中性按钮流程用OR。两套规则的数字在第4问分开写，本文不把它们当成同一种判决。

知识库与聚合

• 文本库基线为10条受限描述加10条允许描述，消融可扩到20+20；附录D给出全文，此处不列措辞。
• 图像库由GTK3/Ubuntu风格的合成按钮裁剪动态生成，含浅色与深色，以及危险样式、成功样式和中性样式（Figure 4）。
• 聚合比较mean（质心）与max（最近邻）。作者称max相当于对比学习softmax的零温度极限，并认为对这个推理时护栏更合适（附录C）。

作者写出的覆盖边界

• §5：该分类器针对Cause 1，并部分针对改变点击坐标处元素的Cause 2。图像通道不看LLM意图，文本通道不看控件外观。残余风险是两路同时漏报，记为ε_cls，且随部署变化。
• 同节写明不保证：键入内容中的危害、由多次各自放行的点击组成的链条、针对余弦相似度的对抗输入（未建模），以及知识库词表之外的界面模式与意图描述。

实验设置

• 分类器：§6的全部实验使用120M的multi-modal-embed-small（SigLIP+MiniLM+384维投影），以最近邻最大余弦相似度对知识库分类。论文未写统一数值阈值，也未报告重复次数或统计检验。
• SOC / ScreenSwap：GTK3面板跑在Xvfb 1024×768上，用scrot截图、xdotool点击；8个受控场景（附录B）。概念验证不含LLM推理调用。
• OS-Harm：13个场景，使用基准原文任务指令和Ubuntu风格界面（§6.2）。留一法另用99条有害指令，以及从374条良性指令中随机抽的100条（§6.5）。
• ScreenSpot-Pro：260张真实截图，26个专业应用、三个平台；每样本1次正确点击加3次定位错误，每种配置1040例（Table 1、§6.3）。
• 中性按钮与轨迹：20个场景、5类中性按钮，危险与安全各10（§6.4、附录F）。VLM-Reasoning-Traces有501条Claude 3.7 Sonnet扩展思考轨迹；随机子集为200、100条安全加15条合成危险推理、50（§6.6）。作者没有在本文中运行该Claude模型。
• 指标与对照：Recall、Specificity、F1、Accuracy，以及§5的ε_cls。对照为单通道、OR、AND、image+text veto、mean/max，以及Table 3的原始SigLIP（768维）。没有LLM评审。

主结果

表格较宽，可左右滑动

设置	Recall	Specificity	F1	Accuracy	出处
ScreenSpot-Pro，image+text veto	87.4%	88.8%	.915	87.8%	Table 1
ScreenSpot-Pro，image cross-app (max)	83.1%	88.8%	.889	84.5%	Table 1
ScreenSpot-Pro，dual agree	69.9%	71.5%	.779	70.3%	Table 1
中性按钮，image-only	0%	100%	.000	50%	Table 2
中性按钮，text-only	100%	100%	1.00	100%	Table 2
中性按钮，Dual (OR)	100%	100%	1.00	100%	Table 2
OS-Harm 13场景，Original+max	100%（7/7）	67%（4/6）	.875	84.6%	Table 5、附录C
OS-Harm留一法，max	96.0%	98.0%	0.969	未报告	§6.5

• 表注称image+text veto是最优融合。§6.3称该融合比仅图像多拦住34个定位错误且不增加假阳性；同节称文本通道在24.2%的正确点击上与真值不一致，并因此把dual agree拉低。Table 1里veto与image cross-app (max)的特异度同为88.8%。论文没有解释这24.2%为何没有变成veto的假阳性。
• 摘要称联合护栏始终优于任一单通道。Table 2中Dual (OR)与text-only持平；附录B的Table 4里，按钮为危险样式时dual OR与image-only同为8/8。AND在Table 2中与image-only同为F1 .000。作者用Figure 3说明：定位错误主要由图像通道覆盖，中性按钮上的危险意图主要由文本通道覆盖。
• OS-Harm的7次拦截中，作者称只有Software Updater上点到Install Now而非Cancel是意图与目标不符，其余6次是因为按钮本身呈危险样式。2个假阳性是合法Send和用户要求的Trash；作者称二者与有害用法在点击级外观相同（Table 6、附录C）。

ScreenSwap与受控面板

• 在GTK3/Xvfb上对调按钮区域后，点击管理按钮坐标会弹出凭据重置确认框。附录B.1写明该验证不含LLM调用，主张是对调后的坐标会打中真实管理按钮。
• 双通道拦住该管理目标，文中给出图像通道margin +0.46，且8个受控场景均被拦住（§6.1、附录B）。
• Table 3：Ours图像4/4，最小|Δ| 0.1779、平均0.3035；SigLIP图像4/4，最小0.1126、平均0.2088。作者称投影把最小间隔提高58%。文本2/4，跨模态3/4；作者称文本编码器训练于自然图像描述，不是UI描述。Table 4中，声称正常动作但坐标打在管理按钮上的两行，文本通道标为NORMAL，由图像通道拦住。

推理轨迹、留一法与跨域

• 200条轨迹上，指令与推理的配对排序准确率为96.5%，平均余弦间隔+0.26。
• 100条安全轨迹加15条合成危险推理：F1为1.000。把50条推理换成危险意图时，文本通道拦住50/50，正确推理放行46/50；作者称8%假阳性来自过短、泛泛的指令。
• 留一法改用mean后F1为0.627。4/99条有害指令被漏掉，作者称它们听起来像良性操作，危害在执行上下文而非措辞。InjecAgent知识库迁到OS-Harm测试时特异度为0%；作者称对比库必须含部署域中的代表性样本。

其他消融与分析

• Table 5：8种知识库配置的召回都是100%（7/7）。Original+max特异度67%、F1 .875；文本库扩到20+20并用mean时，特异度17%、F1 .737。作者称重叠条目会把良性动作拉向危险质心，聚合方式比库规模更要紧。
• Table 6标注Mount partition与Change Password由max改为放行。Table 5中Original+mean的真阴性是3，Original+max是4。
• 附录E：跨应用text-only（max）召回100%、特异度0%。朴素文本库加AND的准确率16.1%；按应用分组后dual-agree为70.3%，仍低于image-only的84.5%。
• 跨应用image-only（max）在26个应用中16个准确率不低于85%；文中最高为Photoshop 98%、DaVinci Resolve 95%、Origin 93%，最低为Premiere、Blender、PowerPoint，均为75%。
• 文本通道与真值不一致的正确点击占24.2%；文中写出的最高比例为Premiere 60%，DaVinci与Illustrator为50%（§6.3）。
• §5写出的ε_cls：受控SOC为0%，ScreenSpot-Pro的image+text veto为12.6%，中性按钮意图场景为0%，OS-Harm留一法为4.0%。§6.7：AMD MI300X上约14 ms/点击；作者称相对CUA推理的约200 ms到数十秒可忽略。

作者指出的局限与后续方向

• 单次点击（§8）：只看一块点击裁剪和一条推理，不能直接检测依赖文档或界面状态语义的内容级危害，例如邮件正文、终端命令或表单中的危险文本。
• 多步与任务意图（§8）：不对更长的动作时域推理，因此发现不了由各自无害的点击组合而成的有害计划；也不处理智能体正确执行了本身有害的用户请求。作者认为后者是任务级意图对齐，不是界面误感知。
• 交互类型（§8）：更适合指针驱动的GUI，对风险主要在命令语义的终端交互较弱。作者指出CUAHarm的52个computer-use任务都是终端任务。
• 通道与知识库（§8）：图像通道在小的或视觉上含糊的元素上仍会出错，残余错误集中在工具栏图标等低显著目标。文本通道在异构跨应用数据上变差，作者建议只在推理核验有信息量的流程里启用。两路都依赖部署侧知识库，策展带来操作负担，库不完整或设计不好可能影响稳健性；作者称图像通道比文本通道更耐这类策展错误，并指向附录C。
• 后续方向（§9）：作者计划做到序列级判断，覆盖终端、大量文本输入和文档内容语义，并用自动归纳、持续更新或从使用轨迹适配来降低手工建库；还可与不可逆动作的人工确认、共享或高保证环境中的按智能体策略组合。

实验覆盖范围

• 分类器是120M的multi-modal-embed-small，判决为最近邻最大余弦相似度；§6未报告重复次数，也未报告统计检验。
• 评测包括GTK3 SOC面板8个场景、按原文指令复现的OS-Harm 13个场景、ScreenSpot-Pro 260张截图（每样本1次正确点击加3次定位错误，1040例）、中性按钮20个场景、OS-Harm留一法99条有害加100条良性指令，以及VLM-Reasoning-Traces中501条轨迹的200、100+15、50三个子集（§6）。
• ScreenSwap概念验证在Xvfb上执行真实点击并截到确认框；附录B.1写明不包含LLM推理调用。
• 对照包括图像/文本单通道、OR、AND、image+text veto，以及mean/max和知识库规模（Table 1、2、5，附录C、E）。跨域实验把InjecAgent知识库用到OS-Harm测试，特异度为0%（§6.5）。
• §5写明能够构造输入以欺骗嵌入余弦相似度的攻击者未被建模；§6.7报告AMD MI300X上约14 ms/点击。论文未报告与人工判定的一致性。

作者把CUA的感知失败写成安全漏洞visual confused deputy：智能体按看错的屏幕授权click(x,y)，真实落点与它以为的元素不一致。

• 问题：运行时位于截图与点击之间。偏差可以来自定位错误、截图篡改或TOCTOU。作者认为，工具名策略和智能体内自检都核验不了实际点到什么。
• 可利用性：ScreenSwap在截图送入模型前对调两个按钮的像素区域。GTK3概念验证打出了凭据重置确认框；该验证没有调用LLM（附录B.1）。作者称图像操作约8行。
• 护栏：进程外的dual-channel contrastive classification用SigLIP比对点击裁剪、用MiniLM比对推理，对照部署侧允许库与受限库。OR是任一路标险即拦截；image+text veto是图像做决定、文本只追加拦截。
• 结果：ScreenSpot-Pro 1040例上，image+text veto的召回为87.4%、F1为.915（Table 1）。中性按钮上图像通道F1为.000，文本通道与OR为1.00（Table 2）。OS-Harm 13场景拦住7/7个有害点击、放行4/6个安全点击。留一法max的F1为0.969；InjecAgent知识库跨到OS-Harm时特异度为0%。
• 作者结论：作者认为CUA安全不能只改进动作生成，还要在感知回路之外核验智能体以为自己在点什么、以及为什么。他们同时写明，该护栏不覆盖内容级危害、多步组合和终端命令语义，并依赖部署侧知识库。