跳到正文
原文
arXiv· arXiv:2609.03438· Zhaoyuan Huang·· 29 天前

CONFLICTGUI 基准与 CONFLICTGUARD 框架:让多模态 GUI Agent 学会在冲突指令下终止执行

Do GUI Agents Know When Not to Act? Enabling Conflict-Aware Termination for Multimodal GUI Agents

AI 导读

作者提出 CONFLICTGUI 基准,覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景,用于研究 GUI Agent 的冲突感知终止能力。评测发现明显的执行偏向型过度顺从:在可行任务上表现良好的 Agent,遇到冲突指令时往往仍盲目继续执行。为此作者提出推理期框架 CONFLICTGUARD,包含可行性验证协议与条件动作调制机制,前者引导 Agent 在行动前评估指令逻辑与 GUI 侧证据,后者将过度顺从的执行转向终止行为。在五个常用 Agent 上的实验显示,CONFLICTGUARD 显著提升冲突任务平均成功率,同时保持正常 GUI 任务表现。

阅读原文arxiv.org