AttacksarXiv 2610.09708
研究者提出利用祖先 VLM 的黑盒对抗补丁攻击，可降低 VLA 任务成功率
提出利用祖先 VLM 优化对抗补丁，使已部署 VLA 任务失败
- arXiv
- 2610.09708
- Published
- Layer
- Prompt layer
- Evaluated models
- OpenVLA, UniVLA, π0.5
- TechniqueGradient and representation optimization
- ComponentVision
All papers
Filter4
Attack type
Attack technique
Impact
System type
Attack surface / entry point
Layer
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 255papers have no tags yet and are not included in filtered results.
Another 255papers do not have category tags yet and are not included in filtered results.
审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度
开环审计冻结视觉语言安全分，发现其反映场景模板而非危险感知
- arXiv
- 2610.09517
- Published
- Layer
- Model layer
- Evaluated models
- CLIP ViT-B/32, CLIP ViT-L/14, Qwen2-VL-7B
- ComponentVision
Abstract论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。
本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。
- DefensesarXiv 2610.09469
Secure-CUA: Constraining the Impact of Untrusted Content in Computer-Use Agents
提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响
- arXiv
- 2610.09469
- Published
- Layer
- Application layer
- Setting
- web agent
- Evaluated models
- Claude Opus 5, Gemini 3.8 Flash, GPT-5.6-Sol
- DefensesInstruction–data separation
- AttacksPrompt injection
- ComponentVision
AbstractSecure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。
Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。
- AttacksarXiv 2610.09240
WebMirage hijacks visual web agents' browser operations with adversarial images
提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作
- arXiv
- 2610.09240
- Published
- Layer
- Application layer
- Setting
- web agent
- Evaluated models
- LLaVA-v1.5-13B, LLaVA-v1.6-34B, MiniCPM-o-8B and others6
- AttacksPrompt injection
- TechniqueGradient and representation optimization
- ComponentVision
Abstract论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- AttacksarXiv 2610.06814
TAPDreamer：可跨任务迁移的世界动作模型对抗补丁
TAPDreamer 用公开编码器做固定补丁。
- arXiv
- 2610.06814
- Published
- Layer
- Prompt layer
- Evaluated models
- FastWAM, DreamWAM-uncond, DreamWAM-joint and others4
- TechniqueGradient and representation optimization
- ComponentVision
- DefensesarXiv 2610.04616
PerturBot 用扰动训练打破视觉-语言-动作模型的模态捷径
提出 Perturbot 扰动训练，打破 VLA 的模态捷径
- arXiv
- 2610.04616
- Published
- Evaluated models
- π0.5
- DefensesModel hardening
- ComponentVision
AbstractPerturbot 改训练数据以削弱三类模态捷径，GroundFscore 用来看成功是否来自任务证据。
Perturbot 是一套不改推理的 VLA 训练期数据干预，用来削弱模态捷径，并用离线分数区分“任务变好”和“靠捷径变好”。
- DefensesarXiv 2610.03498
检测与抑制：针对 VLA 模型对抗补丁的机制可解释性防御
提出条件特征抑制防御，检出对抗补丁后抑制 VLA 内部特征
- arXiv
- 2610.03498
- Published
- Layer
- Model layer
- Evaluated models
- π0.5, SmolVLA
- DefensesInference-time intervention
- ComponentVision
Abstract条件抑制与 patch 相关的 SAE 特征，间歇攻击下可提高 SR，持续攻击下则不能。
- OtherarXiv 2610.03036
WebFovea 提出视觉网页智能体四阶段加固框架，WebRetriever 挑战赛得分从 31.0 升至 57.0
提出 WebFovea，加固视觉网页智能体的解析、执行、反馈与观察往返
- arXiv
- 2610.03036
- Published
- Layer
- Application layer
- Setting
- web agent
- Evaluated models
- claude-opus-4-6
- ComponentVision
- Risky behaviorarXiv 2609.38971
研究测量并预测具身 VLM 规划器中任务的拒答可变性
测量并预测具身 VLM 规划器的任务拒答可变性
- arXiv
- 2609.38971
- Published
- Layer
- Model layer
- Evaluated models
- gemini-robotics-er-2-preview, gemini-robotics-er-1.6-preview
- RiskInappropriate refusal
- ComponentVision
Abstract日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。
作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。
DrivingBench 发布：让视觉语言模型驾驶丰田 Corolla 绕桩
提出 DrivingBench，评测通用视觉语言模型能否闭环驾驶真车
- arXiv
- 2609.38948
- Published
- Layer
- Application layer
- Evaluated models
- GPT-6 Astra, Claude Fable 5.1, Grok 4.6 and others4
- ComponentVision
Abstract仅 Astra 第二次跑完低速锥桶路线。
DrivingBench 评测通用 VLM 能否自己闭环开真车，推理延迟也算进任务。
MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作
提出 MMSkillRisk 基准，评测多模态技能图像中的隐藏指令诱导 Agent 越权操作
- arXiv
- 2609.35912
- Published
- Layer
- Application layer
- Setting
- coding agent
- Evaluated models
- GPT-5.6-sol, Kimi-K2.6, Kimi-K3 and others6
- AttacksPrompt injection
- TechniqueCross-modal payloads
- ComponentMCP and skills
Abstract论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
- AttacksarXiv 2608.10393
DURA：用扩散模型生成自然对抗补丁攻击 VLA 机器人模型
提出 DURA，用扩散模型生成自然对抗补丁操控 VLA 机器人动作
- arXiv
- 2608.10393
- Published
- Layer
- Prompt layer
- Evaluated models
- OpenVLA-7B, π0-FAST, openvla-7B
- TechniqueCross-modal payloads
- ComponentVision
AbstractDURA 用扩散潜空间轨迹生成自然补丁，白盒与黑盒都能把 VLA 导向指定动作。
DURA 是针对 VLA 的扩散式、补丁内容不受限的机器人攻击，同时支持白盒梯度和只看动作输出的黑盒。
HazardArena：面向 VLA 模型的语义安全评测基准
提出 HazardArena 基准，用孪生场景评测 VLA 的语义安全
- arXiv
- 2604.12447
- Published
- Layer
- Model layer
- Evaluated models
- OpenVLA-OFT, π0, NORA and others4
- RiskDangerous agent actions
- ComponentVision
Abstractsafe-only 微调提升良性执行，也提升匹配不安全孪生上的危险完成。
HazardArena 评测 VLA 在运动要求不变时，能否因语义风险而停手。
- AttacksarXiv 2603.16960
针对现代视觉语言模型的对抗攻击
对开源视觉购物智能体实施商品图对抗攻击并诱导买错
- arXiv
- 2603.16960
- Published
- Layer
- Application layer
- Setting
- web agent
- Evaluated models
- LLaVA-v1.5-7B, Qwen2.5-VL-7B
- AttacksPrompt injection
- TechniqueGradient and representation optimization
- ComponentVision
Abstract作者称 LLaVA 易被三种攻击诱导买错，Qwen 正确购买率仍接近其干净条件。
作者在自建电商环境里比较两个开源 VLM 购物智能体对图像对抗扰动的鲁棒性。
LABSHIELD：面向科学实验室安全推理与规划的多模态基准
提出 LABSHIELD，评测科学实验室智能体的安全推理与规划
- arXiv
- 2603.11987
- Published
- Layer
- Application layer
- Evaluated models
- GPT-5.2, GPT-o3, GPT-o4-mini and others20
- RiskDangerous agent actions
- ComponentVision
WAInjectBench 系统评测网页 Agent 的提示注入检测方法
提出 WAInjectBench 评测网页 Agent 的提示注入检测
- arXiv
- 2510.01354
- Published
- Layer
- Application layer
- Setting
- web agent
- Evaluated models
- GPT-4o, Mistral-7B-Instruct-v0.1, Llama-Prompt-Guard-2-86M and others8
- DefensesDetection and filtering
- AttacksPrompt injection
- ComponentGuardrails and judges
AbstractWAInjectBench 比较网页智能体的提示注入检测：显式线索可被部分检出，隐蔽攻击大多漏检。
WAInjectBench 是网页智能体提示注入检测的基准。作者要看现有检测器能否发现这类攻击：攻击者改网页，使智能体执行目标动作，而不是用户任务。作者称这是首个此类综合基准。
- AttacksarXiv 2505.23266
AdvOF：用对抗物体融合攻击 VLM 驱动的视觉语言导航智能体
提出 AdvOF，生成对抗物体误导视觉语言导航智能体的场景感知
- arXiv
- 2505.23266
- Published
- Layer
- Application layer
- Attacker
- White-box
- Evaluated models
- Lseg, Clip, ViT-L/16 and others5
- AttacksDetection evasion
- TechniqueGradient and representation optimization
- ComponentVision
AbstractAdvOF 以多视角融合生成对抗物体。
AdvOF 是针对 VLM 驱动 VLN 服务导航的对抗物体攻击。
- AttacksarXiv 2505.11717
WebInject：通过网页像素扰动对多模态网页 Agent 实施提示注入
提出 WebInject，用网页像素扰动诱导网页 Agent 执行指定动作
- arXiv
- 2505.11717
- Published
- Layer
- Application layer
- Setting
- web agent
- Evaluated models
- UI-TARS-7B-SFT, Phi-4-multimodal-instruct, Llama-3.2-11B-Vision-Instruct and others5
- AttacksPrompt injection
- TechniqueGradient and representation optimization
- ComponentVision
AbstractWebInject 经源码扰动原始像素。
WebInject 是对 MLLM 网页智能体的环境提示注入：修改网页源码，使原始像素上的扰动经过显示器映射后，诱导智能体执行攻击者指定动作。
- AttacksarXiv 2406.12814
论文提出 ARE 框架，在 VisualWebArena 上评估多模态 Agent 的对抗鲁棒性
提出 ARE 框架与图像文本攻击，评测多模态网页 Agent 的对抗鲁棒性
- arXiv
- 2406.12814
- Published
- Layer
- Application layer
- Setting
- web agent
- Evaluated models
- GPT-4o, GPT-4V, Claude-3-Opus and others4
- AttacksPrompt injection
- TechniqueGradient and representation optimization
- ComponentVision
Abstract系统评估多模态网页智能体的脆弱性，指出推理时计算组件被攻破会加剧系统风险。
You have reached the end