LGWM:用动作条件世界模型验证 GUI 智能体的屏幕转移
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
- arXiv
- 2610.11942
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- LGWM
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
提出 Secure-CUA,用动作事务约束计算机使用智能体的不可信影响
Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响,同时保留合法任务所需的不可信信息。
提出 WebMirage,用局部对抗图像劫持视觉网页 Agent 的浏览器操作
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
提出持久视觉记忆注入,使对抗图像经缓存在触发时操控输出
摘要论文提出 P-VMI,证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型,强调了保留状态的安全风险。
用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性
摘要论文提出移动智能体决策完整性基准 DIBench,发现欺诈 UI 注入诱导目标选择并推高完成率,通用防御收益不稳定。
提出 Pictionary,将不可信文本渲染成图像以防御提示注入
提出 MMSkillRisk 基准,评测多模态技能图像中的隐藏指令诱导 Agent 越权操作
摘要论文提出 MMSkillRisk 基准与 NCVA 攻击,揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
用 MMPIBench 评测多模态提示注入对 Agent 框架的影响
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响,发现模型主导行为、尝试远超完成,音频通道缺乏防护。
提出抗攻击多语言视觉指令遵循基准 MM-IFEval-Pro
MM-IFEval-Pro 是面向 VLM 的中英多模态指令遵循基准,并配有可用规则计算奖励的 GRPO 训练集。
提出 Repeat-After-Me 自适应视觉提示注入,诱导 VLM 智能体执行指定任务
摘要论文提出了针对黑盒 VLM 的前缀诱导自适应视觉提示注入,在多款模型上诱发了工具调用与隐私泄露。
提出 Mind2Web-Injection 评测网页 Agent 视觉注入护栏
Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。
提出 PaperGuard,用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令
PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。
提出 CrossMPI,仅用图像扰动实现跨模态提示注入
提出 AudioHijack,用不可感知对抗音频对语音模型做上下文无关提示注入
摘要提出了 AudioHijack 框架,揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。
提出 CoTTA 隐蔽视觉提示注入,使多模态模型输出指定指令
摘要CoTTA 以隐蔽触发和双目标对齐诱导指定句子。
对开源视觉购物智能体实施商品图对抗攻击并诱导买错
作者在自建电商环境里比较两个开源 VLM 购物智能体对图像对抗扰动的鲁棒性。
提出进程外双通道对比分类,拦截计算机使用智能体的错误点击
作者把 CUA 的感知失败写成安全漏洞visual confused deputy:智能体按看错的屏幕授权 click(x,y),真实落点与它以为的元素不一致。
提出 VMI,用扰动图像在多轮对话中潜伏并仅在触发话题输出预定消息
VMI 是面向多轮 LVLM 的定向图像攻击:第三方发布带小扰动的图像,良性用户把它当作普通输入。
提出 Aura,用可信内核中介移动 Agent 的身份、感知与动作控制
Aura 用内核中介的结构化智能体交互,替换以屏幕为接口的移动助手。。
提出 WAInjectBench 评测网页 Agent 的提示注入检测
WAInjectBench 是网页智能体提示注入检测的基准。作者要看现有检测器能否发现这类攻击:攻击者改网页,使智能体执行目标动作,而不是用户任务。作者称这是首个此类综合基准。