研究者提出利用祖先 VLM 的黑盒对抗补丁攻击,可降低 VLA 任务成功率
提出利用祖先 VLM 优化对抗补丁,使已部署 VLA 任务失败
- arXiv
- 2610.09708
- Published
- Layer
- Prompt layer
- Evaluated models
- OpenVLA, UniVLA, π0.5
- TechniqueGradient and representation optimization
- ComponentVision
Another 261papers do not have category tags yet and are not included in filtered results.
提出利用祖先 VLM 优化对抗补丁,使已部署 VLA 任务失败
提出 WebMirage,用局部对抗图像劫持视觉网页 Agent 的浏览器操作
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
TAPDreamer 用公开编码器做固定补丁。
提出 IAU-FOA,构造可迁移图像扰动以诱导多模态模型输出目标语义
提出 DIVA,利用跨步条件传播对离散扩散视觉语言模型实施视觉越狱
提出 DURA,用扩散模型生成自然对抗补丁操控 VLA 机器人动作
DURA 是针对 VLA 的扩散式、补丁内容不受限的机器人攻击,同时支持白盒梯度和只看动作输出的黑盒。
提出 PaperGuard,用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令
PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。
提出 FRA-Attack,用频域对齐与梯度正则做可迁移定向视觉攻击
FRA-Attack 是面向闭源 MLLM 的迁移式定向图像攻击。作者要解决的是:空间域局部对齐重复全局低频,代理梯度的高频成分又把更新拉向代理自身。
提出 CrossMPI,仅用图像扰动实现跨模态提示注入
提出 M3 Att,在不知查询时投毒医学多模态 RAG 并误导临床决策
提出 GPO-V,用全局概率优化的视觉扰动越狱扩散视觉语言模型
GPO-V 把越狱从“开头必须顺从”改成“整段去噪概率朝肯定方向走”。。
提出通用弯曲网格补丁 UCGP,使红外视觉语言模型产生跨任务语义偏差
UCGP 是面向红外视觉语言模型的通用物理对抗补丁。问题是:一块可贴上并跨样本复用的物体,能否让分类、描述和 VQA 共用的红外视觉证据出现稳定语义偏差。补丁被限制成低频弯曲网格。
提出 CoTTA 隐蔽视觉提示注入,使多模态模型输出指定指令
AbstractCoTTA 以隐蔽触发和双目标对齐诱导指定句子。
提出 XSPA,以 X 形稀疏对抗扰动迁移攻击 VLM
对开源视觉购物智能体实施商品图对抗攻击并诱导买错
作者在自建电商环境里比较两个开源 VLM 购物智能体对图像对抗扰动的鲁棒性。
提出 MPCAttack,协同多范式特征优化可迁移视觉对抗扰动
提出 GDA,将图像对抗扰动对齐文本接地证据并迁移攻击视觉语言模型
GDA 是面向异构 LVLM 的零查询黑盒编码器迁移攻击。。
提出 SGHA-Attack,对视觉语言模型做可迁移定向图像扰动
SGHA-Attack 是对视觉语言模型的可迁移定向攻击:只在 CLIP 代理上优化扰动,让黑盒模型按指定文本描述图像。要处理的困难是,单一参考加上只对齐代理末层,会使优化绑在该嵌入空间上,中间层语义用不上,异构 VLM 上的指定描述更容易失败。引言把绕过安全护栏列为动机,测的则是描述是否被导向目标文本。
提出 TarVRoM-Attack,学习跨图像通用扰动以定向误导闭源 MLLM
提出 CAGE 攻击,在视觉 token 压缩下用图像扰动使预测偏离
CAGE 研究的是:LVLM 在推理时剪枝或合并视觉 token 之后,对抗稳健性该怎么估。