CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行

GUI智能体需要在指令不可行时停止执行并报告冲突，而不是只学会如何行动。

• 场景与风险：作者研究多模态GUI智能体按自然语言在界面上执行点击、输入、滚动等动作。不可行指令常来自用户的无害失误；作者认为盲执行可能造成不可逆操作、无意义执行循环，甚至隐私泄露。
• 现有评测的缺口：作者称现有基准主要评测GUI定位、动作预测和多步任务完成，并隐含假设用户指令格式良好且可执行。拒答定位、可信交互和忠实执行已开始讨论证据不足时的弃权或确认，但用户意图、指令逻辑与GUI上下文之间更广的冲突仍少被系统研究。
• 核心观察：作者报告主流智能体在可行任务上平均成功率高于70%，平均冲突成功率仍低于10%。作者归纳两种失败：前提盲执行（不检查指令是否有效就行动），以及意识–行动不匹配（推理中提到冲突仍输出可执行动作）。
• 本文提出的对象：作者形式化冲突感知终止（conflict-aware termination），构建基准ConflictGUI（指令内部冲突与指令–GUI上下文冲突），并提出推理时框架ConflictGuard，把可行性判断与终止动作生成对齐，同时尽量保持正常GUI任务表现。

作者把相关工作分成三组，并把本文与“普遍安全拒答”和“只评测可执行任务”区分开。

GUI智能体与评测

• 视觉定位与长程执行：Hong et al. (2024)、Wu et al. (2025c)、Qin et al. (2025)、Xu et al. (2024)、Zhang et al. (2025b) 等推动网页、移动端和桌面环境上的定位、动作预测与长程任务执行。
• 执行向基准：Rawles et al. (2023, 2025)、Li et al. (2024, 2025)、Xie et al. (2024, 2026)、Chai et al. (2025)、Zhang et al. (2024)、Koh et al. (2024)、Deng et al. (2023)、Lu et al. (2025) 等围绕定位与多步完成构建评测。作者指出这些评测的共同隐含假设是指令格式良好且可执行，成功以是否最终做出所请求动作为准，因而“该不该做”仍少被探索。

知道何时不行动

• 不确定时求助：VeriOS（Wu et al., 2025b）让智能体在不可靠场景下寻求人工确认。
• 拒答定位：VenusBench-GD（Zhou et al., 2025）引入不可行定位样本，要求智能体避免定位不受支持或含糊的目标。
• 证据锚定执行：Team et al. (2026b)、Hu et al. (2026) 鼓励动作锚定可见GUI证据，而不是指令的表面语义。作者称与这些工作不同，本文要求在指令内部不一致或不受当前GUI上下文支持时停止并报告冲突。

用激活转向控制行为

• 表示干预：激活转向或表示工程在推理时干预内部激活（Turner et al., 2023; Zou et al., 2023）。先前工作用隐藏状态编码高层语义与行为属性（Alain and Bengio, 2016; Belrose et al., 2023; Gurnee et al., 2023; Marks and Tegmark, 2023），并用于真实性（Li et al., 2023）、幻觉或迎合（Rimsky et al., 2024）、拒答与安全相关行为（Arditi et al., 2024; Wollschläger et al., 2025; Lee et al., 2025; Ding et al., 2025）。
• 多模态扩展：Sivakumar et al. (2025)、Wu et al. (2025a) 把隐藏状态干预扩展到视觉–语言模型。作者称ConflictGuard不同于面向一般语言行为或宽泛安全拒答的转向：它条件检测不可行指令，并把过度服从的执行转向任务级终止（参照Lee et al., 2025的条件转向）。

基线方法与基准/数据集：主实验在ConflictGUI上比较Vanilla、Feasibility Prompt与ConflictGuard。数据来自AMEX、AndroidControl与AITZ。外部迁移使用VenusBench-GD的Refusal Grounding子集和GUIOdyssey。方向提取遵循CAST（Lee et al., 2025）。

作者把本文定位为：在“指令默认可执行”的评测之外，专门研究冲突感知终止，并用推理时的可行性核验加条件转向，把过度服从转为终止，而不是施加普遍拒答偏置。

ConflictGuard是推理时框架：离线用可行–冲突对校准方向，在线先做可行性核验，再仅在冲突条件成立时把隐藏状态转向终止。

问题设定

• 逐步决策：第t步观察GUI上下文gt=(It, Ht)，It为当前截图，Ht为交互历史。给定指令q，智能体预测at=πθ(q, gt)。动作空间含click、scroll、press_button、type等可执行动作，以及任务级动作terminate。
• 可行性：作者用V(q, gt)=L(q)∧C(q, gt)定义。L(q)表示常见任务语义下的指令级连贯性，C(q, gt)表示指令是否被当前GUI观察支持。任一准则被违反则指令不可行。
• 两类冲突：指令内部冲突主要靠指令本身识别，不依赖具体GUI状态；指令–GUI上下文冲突则是指令被当前GUI观察否定或不支持。两类的期望动作都是terminate，而不是改做一个别的可执行GUI动作。

ConflictGUI的构建

• 来源与配对：从AMEX、AndroidControl、AITZ抽取截图、原指令和参考动作，统一成面向动作的格式，原样本视为可行实例。每个冲突样本保留对应可行指令与参考动作，供对比校准。子集写成Dc={(x0i, xci)}，c∈{1,2}；x0i=(Ii, qi0, a0i)，xci=(Ii, qic, terminate)。
• 生成与质检：用Kimi-K2.5与Gemini-2.5 Pro生成变体，要求保持原GUI场景并只注入一个冲突，同时给出不应执行的简短理由。两名受训标注员按统一指南独立核验（是否确实应终止、理由是否正确指出冲突）；第三名标注员对每类随机抽100条复查，指令内部冲突通过率95%，指令–GUI上下文冲突通过率98%。
• 规模：最终2364条可行指令、1122条指令内部冲突、1174条指令–GUI上下文冲突。

离线校准

• 冲突条件方向：对每类冲突，把可行样本与冲突变体送入冻结智能体的生成提示，取动作生成起始位置（助手开始生成动作前的最后一个输入token）的隐藏状态。每层用PCA第一主成分提取dcl=PCA1({hci,l−h0i,l})。两类冲突分开提取，因为作者认为它们在隐藏空间中的表示可能不同。该方向只表示“何时干预”。
• 反过度服从方向：对校准划分中的每个可行实例，把同一GUI提示送入冻结智能体两次，分别强制对比式助手后缀：正后缀为期望的冲突感知终止（例如带status=failure的terminate），负后缀为典型过度服从执行（例如带占位坐标的click）。附录B.2给出完整后缀模板。对后缀token平均隐藏状态做PCA，vl=PCA1({h+i,l−h−i,l})，表示从执行偏向到终止取向的激活偏移。

推理时干预

• 可行性核验协议：在动作生成前加入简短协议，要求先核验指令在逻辑上是否可行、是否被GUI侧证据支持；若自相矛盾或当前屏幕不支持，则以失败状态终止并指出冲突。附录B.3给出Feasibility Prompt原文。
• 多条件转向：在选定条件层lc计算sc=cos(hlc,t, dclc)。门控mc=1[sc>θc]，θc在校准划分上选定。任一类冲突都应触发终止，故m=m1∨m2。若m=1，在行为干预层Lb上做h′l,t=hl,t+mαvl，α为转向强度；干预加在被包裹的解码层之前。预填充阶段只改动作生成起始token，以免扰动图像和历史表示；解码阶段则把方向加到已生成的助手token上。若无冲突条件激活，m=0，走原始前向。
• 划分与选参：校准保留300对指令内部冲突–可行样本和300对指令–GUI上下文冲突–可行样本，用于方向提取和按模型的超参选择。测试集为其余1800条可行指令、822条指令内部冲突、874条指令–GUI上下文冲突，与校准无重叠。θ、α和层窗口Lb在校准集上网格搜索，权衡Conflict SR与Feasible SR。条件层取自可行–冲突PCA对比的高方差区域，并在校准集上验证。

成功判定

• SR：预测动作类型及其参数须与参考一致。可执行动作的参数匹配按任务规则，包括点击坐标、滚动方向和输入文本相似度。冲突样本只有在以失败状态终止并指出冲突时才算成功。细节在附录B.6。
• FEX：冲突样本中，智能体仍执行对应可行指令所要求的动作类型、而不是终止的比例，用来刻画执行偏向的过度服从。另报告全测试集Overall SR。输出先解析成统一动作模式再计算指标。

实验设置

• 被测模型：通用MLLM为GPT-5、Claude Sonnet 4.6、GLM-4.5V，以及Qwen3-VL-Instruct的4B、8B、32B。GUI专用智能体为UI-Venus-1.5-8B、UI-TARS-1.5-7B、OS-Atlas-Base-7B、AgentCPM-GUI。ConflictGuard只用于Qwen3-VL-4B/8B/32B-Instruct、UI-Venus-1.5-8B和UI-TARS-1.5-7B。
• 数据：ConflictGUI测试集为1800条可行指令、822条指令内部冲突、874条指令–GUI上下文冲突。校准各300对，与测试无重叠。
• 三种设置：Vanilla无干预；Feasibility Prompt要求在动作生成前显式做指令与GUI一致性核验；ConflictGuard在此之上加条件反过度服从转向。
• 指标：可行、两类冲突分别报SR；冲突样本另报FEX；另有Overall SR。作者把两类冲突SR的平均称为Conflict SR。外部实验使用VenusBench-GD Refusal Grounding与GUIOdyssey。
• 评审方式：规则匹配参考动作，不使用LLM评审。冲突成功要求terminate且status为failure并指出冲突。论文未报告重复次数。
• 实现：各模型分别提取两类条件方向和一个共享反过度服从方向。输出解析为统一动作模式。附录B给出更多实现细节。

主结果

据Table 1，SR为成功率（↑），FEX为冲突上的误执行率（↓）。ConflictGuard块只报告五个开源模型。

Swipe horizontally to read the table

模型	设置	Feasible SR	C1 SR	C1 FEX	C2 SR	C2 FEX	Overall SR
UI-Venus-1.5-8B	Vanilla	74.61	0.85	81.39	1.95	83.18	39.10
UI-TARS-1.5-7B	Vanilla	77.61	5.23	77.01	5.03	77.23	42.45
OS-Atlas-Base	Vanilla	60.00	4.01	71.41	2.63	74.60	32.49
AgentCPM-GUI	Vanilla	84.22	0.24	81.14	0.23	82.61	43.48
Qwen3-VL-8B	Vanilla	74.22	9.61	73.97	13.16	68.42	43.76
Claude Sonnet 4.6	Vanilla	69.70	31.46	46.85	11.50	70.47	46.16
Qwen3-VL-32B	ConflictGuard	76.39	84.18	13.26	71.40	25.63	76.97
Qwen3-VL-8B	ConflictGuard	70.78	68.98	25.06	71.17	25.06	70.45

表中C1为指令内部冲突，C2为指令–GUI上下文冲突。因行数限制，Vanilla未列入Qwen3-VL-4B（Overall 42.59）、Qwen3-VL-32B（43.91）、GPT-5（40.56）、GLM-4.5V（42.64）；Feasibility Prompt与其余ConflictGuard行见Table 1。作者称Table 1中同设置同指标的最佳为粗体、次佳为下划线。

• 发现1：作者称Vanilla在可行任务上SR合理，但平均冲突SR低于10%，平均FEX高于70%。作者认为强GUI执行并不蕴含冲突感知终止。
• 发现2：Feasibility Prompt对部分模型提高冲突SR，尤其Qwen3-VL与GPT-5（GPT-5的C1 SR从4.38到50.61，C2从1.14到48.40）。UI-Venus与AgentCPM-GUI几乎不提升；OS-Atlas的Overall SR从32.49降到31.49。作者认为提示能暴露部分核验能力，但不能稳定克服执行先验。
• 发现3：作者报告在五个可应用ConflictGuard的开源模型上，平均Conflict SR从6.91%升至58.63%，平均FEX从73.37%降至32.76%，平均Feasible SR从75.77%降至73.15%。Qwen3-VL-8B的Conflict SR从11.39%到70.08%，Qwen3-VL-32B从8.41%到77.79%。作者认为Qwen3-VL可能保留更多可转向的可行性相关信号；GUI专用智能体也有收益，但更不均匀，作者推测可能与其更强调可执行动作预测的后训练有关。

消融

• 测了什么：Figure 3在Qwen3-VL-8B-Instruct与UI-TARS-1.5-7B上去掉可行性核验或条件转向。去掉核验时，Overall SR在Qwen3-VL-8B上降12.1个百分点，在UI-TARS-1.5上降11.3个百分点。去掉转向后，两模型的C1/C2 SR大幅下降。作者认为提示有助于在动作前暴露冲突证据，但单独提示不足以把意识转成终止。
• 无条件转向：去掉条件门、对所有输入加行为方向后，Qwen3-VL-8B-Instruct的Feasible SR从70.80%降到46.20%，UI-TARS-1.5-7B从76.80%降到29.20%。作者称干预必须选择性激活。
• 作者解读：可行性核验暴露不可行前提，反过度服从转向促进终止，条件门控避免退化为不加区分的拒答。

表示分析与迁移

• 层间PCA：Figure 4在Qwen3-VL-8B-Instruct上报告可行–冲突激活差的第一主成分解释方差。作者称冲突相关变异在中后层更集中，约在第27层达到峰值。可行性核验使C1最大解释方差比从0.5501升至0.6437，C2从0.7342升至0.7487。作者认为这为基于相似度的条件门控提供表示层依据。
• 跨来源：Table 2只在AMEX或AndroidControl之一上校准，再到另一来源测试。Qwen3-8B在AMEX→AC的Conflict SR为66.43%（全量校准参考70.08%），AC→AMEX为65.00%；对应Feasible SR为65.71%与69.43%（参考均为70.78%）。UI-TARS-1.5的Conflict SR为39.58%与38.58%（参考44.39%）。括号内为全量校准参考。
• 外部基准：Table 3不重新校准，直接复用ConflictGUI上的方向和阈值。VenusBench-GD上Qwen3-8B从19.24到73.19（+53.95），Qwen3-32B从12.79到86.21（+73.42），UI-TARS-1.5从26.81到42.05（+15.24）。GUIOdyssey上三者分别为78.40→78.40、77.50→77.80、50.90→50.80。作者认为可把条件终止迁移到GUI拒答场景，同时可行任务几乎不变。

其他消融与分析

• 运行时（Table 4）：Qwen3-8B每样本墙钟时间Vanilla 5.76s、Prompt 5.45s、ConflictGuard 5.26s，平均输出token 106.0、107.6、97.1。UI-TARS为3.44s/3.61s/3.67s与78.8/85.0/84.2 token。UI-Venus为5.37s/5.36s/5.62s与104.4/105.3/103.3 token。作者称相对Vanilla没有明显的端到端延迟开销；Qwen3-VL-8B更快且token更少，作者认为可能是干预抑制了意识–行动不匹配的推理、转向直接终止。
• 长程交互（Figure 5）：Qwen3-VL-8B-Instruct上50个可行与50个人工构造冲突任务；冲突在若干步之后才显现。Vanilla冲突SR为2%，Feasibility Prompt为12%，ConflictGuard为36%；平均SR从Vanilla的26%到ConflictGuard的42%。图中还标有Feasible侧48.0与30.0等柱值。方向仍用逐步设定校准。作者称这是初步证据，说明冲突相关信号在多步后才可观察时仍然有用。
• 定性例子：Figure 9为Qwen3-VL-4B上的指令内部冲突，Vanilla点击可见按钮，ConflictGuard终止。Figure 10为长程例子：请求的画布尺寸不可用时，Vanilla仍选最接近选项，ConflictGuard终止。附录给出完整示例。

论文也报告了例外：Feasibility Prompt下OS-Atlas的Overall SR下降；AgentCPM-GUI在提示后C1 SR仅从0.24到0.85；ConflictGuard下UI-Venus的Feasible SR从74.61降到71.39，Qwen3-VL-4B从75.00降到70.39。

作者指出的局限与后续方向

• 逐步评测为主：Limitations写明，主要评测集中在逐步冲突感知动作预测；长程实验虽显示初步迁移，但在复杂交互全程中出现的冲突仍需要更广评测，作者将其列为未来方向。
• 需要内部状态：Limitations写明，激活转向组件需要访问模型内部状态，因此完整框架主要适用于开源GUI智能体；把冲突感知执行扩展到闭源智能体和更广部署设定仍是未来研究方向。
• 过度终止风险：Ethical Considerations写明，潜在风险是过度终止，即智能体可能拒绝良性但含糊的任务；作者用同时评测冲突处理与可行任务执行来缓解，而不是只优化终止。
• 部署前验证：同一节写明，基准用于GUI智能体可靠性研究，未经进一步安全验证不应直接用于部署。

实验覆盖范围

• 主评测模型：Vanilla与Feasibility Prompt覆盖10个模型；ConflictGuard报告于Qwen3-VL-4B/8B/32B-Instruct、UI-Venus-1.5-8B、UI-TARS-1.5-7B（Table 1）。OS-Atlas-Base、AgentCPM-GUI、GPT-5、Claude Sonnet 4.6、GLM-4.5V没有ConflictGuard行。
• 数据划分：测试集1800条可行、822条指令内部冲突、874条指令–GUI上下文冲突；校准各300对，与测试无重叠（§5.1）。全库为2364条可行、1122条内部冲突、1174条上下文冲突（§3.2）。
• 消融与表示：Figure 3的组件消融在Qwen3-VL-8B-Instruct与UI-TARS-1.5-7B上；Figure 4的层间PCA在Qwen3-VL-8B-Instruct上。跨来源为AMEX与AndroidControl（Table 2）。外部为VenusBench-GD Refusal Grounding与GUIOdyssey，不重新校准（Table 3）。
• 长程与效率：长程实验为Qwen3-VL-8B-Instruct上50个可行与50个人工冲突任务（§5.7）。效率测量为Qwen3-8B、UI-TARS、UI-Venus的每样本墙钟时间与平均输出token（Table 4）。论文未报告实验重复次数。
• 质检：每类冲突由第三名标注员抽查100条，通过率分别为95%与98%（§3.2）。冲突变体由Kimi-K2.5与Gemini-2.5 Pro生成。

ConflictGuard用推理时的可行性核验和条件激活转向，让GUI智能体在指令不可行时终止，而不是盲执行。

• 问题：作者认为真实用户会因无害失误给出不可行指令。现有GUI评测多默认指令可执行。作者区分指令内部冲突与指令–GUI上下文冲突，期望动作是任务级terminate并报告冲突。
• 基准：ConflictGUI由AMEX、AndroidControl、AITZ改写而来，含2364条可行指令、1122条内部冲突、1174条上下文冲突。测试集为1800/822/874，校准各300对且不与测试重叠。成功要求动作类型与参数匹配参考；冲突样本须以失败状态终止并指出冲突。FEX衡量仍执行原可行动作类型的比例。
• 方法：离线用PCA从可行–冲突对提取两类条件方向，并从强制的终止后缀与过度服从后缀提取反过度服从方向。在线先做可行性核验；仅当隐藏状态与任一条件方向的余弦相似度超过校准阈值时，才把该方向加到选定解码层。
• 主结果：作者报告Vanilla平均冲突SR低于10%、平均FEX高于70%，而可行任务平均SR高于70%。五个开源模型上，ConflictGuard把平均Conflict SR从6.91%提到58.63%，平均FEX从73.37%降到32.76%，平均Feasible SR从75.77%到73.15%。Qwen3-VL-32B的内部冲突SR为84.18%，上下文冲突SR为71.40%（Table 1）。去掉条件门会使可行SR明显下降。
• 迁移与结论：跨AMEX与AndroidControl、以及VenusBench-GD与GUIOdyssey上，作者报告冲突处理可以迁移且可行任务变化小。长程设置中Qwen3-VL-8B的冲突SR从2%到36%。作者的结论是：除定位和完成可行任务外，智能体还须核验指令是否应该被执行；作者同时指出完整转向依赖开源模型内部状态，复杂长程冲突仍需更广评测。