LGWM:用动作条件世界模型验证 GUI 智能体的屏幕转移
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
- arXiv
- 2610.11942
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- LGWM
另有213篇论文还没打上分类标签,暂不在筛选结果里。
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
提出 OrthoPurify,用正交投影清除视觉语言模型适配器中的劫持方向
OrthoPurify 是部署前的 LVLM 后门净化方法,用一次正交投影去掉被劫持的权重更新方向。
提出 Secure-CUA,用动作事务约束计算机使用智能体的不可信影响
Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响,同时保留合法任务所需的不可信信息。
提出 WebMirage,用局部对抗图像劫持视觉网页 Agent 的浏览器操作
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
提出 ZoneClaw,用记忆分区防御计算机使用 Agent 的持久记忆攻击
用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性
摘要论文提出移动智能体决策完整性基准 DIBench,发现欺诈 UI 注入诱导目标选择并推高完成率,通用防御收益不稳定。
提出 ODPure,在输入阶段用腐蚀重建与共识净化目标检测后门
用 FARSIGHT 方案级评测金融 LLM 交易 Agent 的稳健性与安全失败
提出 FreqDoor,在频域混合振幅并对生成式 VLM 做训练时视觉后门
FreqDoor 是针对生成式 VLM 的仅视觉、训练时后门:在频域混合触发源振幅、保留干净图像相位,使触发在空间上分散。
提出持续学习下的净化与选择性恢复框架,抵御逐任务训练投毒后门
这是一项面向持续图像分类的后门防御研究:模型只使用当前任务数据,同时需要保留过去知识并避免学习恶意监督。
提出 TRIM,在黑盒推理时定位并净化图像后门区域
提出 Mind2Web-Injection 评测网页 Agent 视觉注入护栏
Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。
提出类型化溯源与断言护栏,约束持久 Agent 释放自传断言
提出 RACER,用区域感知一致性对抗微调去除多模态大模型后门
系统研究 LLM 智能体记忆投毒并构建基准 MPBench
摘要系统研究了智能体记忆投毒风险,揭示了写入渠道漏洞,构建了 MPBench 基准并指出提示注入防御的局限。
提出潜伏记忆投毒,诱导 Agent 把外部文档写成持久伪造记忆
sleeper memory poisoning 研究带持久记忆的 LLM 助手:外部文档能否让助手存下一则伪造的用户记忆,并在原文档消失后的新会话里被取回、用来改变回复或动作。
提出 eTAMP,用网页内容跨会话投毒 Web Agent 轨迹记忆并诱导越权操作
该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。
对开源视觉购物智能体实施商品图对抗攻击并诱导买错
作者在自建电商环境里比较两个开源 VLM 购物智能体对图像对抗扰动的鲁棒性。
梳理自主 Agent 威胁并提出全生命周期防御蓝图 FASA
这是一份以 OpenClaw 为案例的威胁梳理和防御架构报告,不是带分数的攻击或防御评测。
提出对齐五阶段的纵深防御,缓解自主 Agent 跨阶段威胁
这是对 OpenClaw 的生命周期威胁分析,并配套一套分层缓解设计。要处理的问题是:自主智能体把即时通讯、持久记忆、第三方插件和高权限执行连在一起之后,攻击不再限于单轮越狱,而会跨初始化到执行的多个阶段复合。作者认为只加固单个接口的防御,挡不住这种跨时间攻击。