研究者提出利用祖先 VLM 的黑盒对抗补丁攻击,可降低 VLA 任务成功率
提出利用祖先 VLM 优化对抗补丁,使已部署 VLA 任务失败
- arXiv
- 2610.09708
- Published
- Layer
- Prompt layer
- Evaluated models
- OpenVLA, UniVLA, π0.5
- TechniqueGradient and representation optimization
- ComponentVision
Another 240papers do not have category tags yet and are not included in filtered results.
提出利用祖先 VLM 优化对抗补丁,使已部署 VLA 任务失败
提出持久视觉记忆注入,使对抗图像经缓存在触发时操控输出
Abstract论文提出 P-VMI,证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型,强调了保留状态的安全风险。
提出 IAU-FOA,构造可迁移图像扰动以诱导多模态模型输出目标语义
提出 InjecMEM,一次注入 Agent 记忆使后续查询输出预设内容
提出 DURA,用扩散模型生成自然对抗补丁操控 VLA 机器人动作
DURA 是针对 VLA 的扩散式、补丁内容不受限的机器人攻击,同时支持白盒梯度和只看动作输出的黑盒。
提出 PaperGuard,用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令
PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。
提出 FRA-Attack,用频域对齐与梯度正则做可迁移定向视觉攻击
FRA-Attack 是面向闭源 MLLM 的迁移式定向图像攻击。作者要解决的是:空间域局部对齐重复全局低频,代理梯度的高频成分又把更新拉向代理自身。
提出 CrossMPI,仅用图像扰动实现跨模态提示注入
提出 M3 Att,在不知查询时投毒医学多模态 RAG 并误导临床决策
Proposes the universal curved mesh patch UCGP, causing cross-task semantic bias in infrared vision-language models.
UCGP is a universal physical adversarial patch for infrared vision-language models. The question is: can a patch that can be attached and reused across samples cause stable semantic deviations in the infrared visual evidence shared by classification, description, and VQA. The patch is constrained to a low-frequency curved mesh.
提出 CoTTA 隐蔽视觉提示注入,使多模态模型输出指定指令
AbstractCoTTA 以隐蔽触发和双目标对齐诱导指定句子。
Proposes XSPA, which uses X-shaped sparse adversarial perturbations to transfer attacks on VLMs.
对开源视觉购物智能体实施商品图对抗攻击并诱导买错
The authors compare the robustness of two open-source VLM shopping agents against image adversarial perturbations in a self-built e-commerce environment.
提出 MPCAttack,协同多范式特征优化可迁移视觉对抗扰动
Propose GDA, which aligns image adversarial perturbations with text-grounded evidence and transfers attacks to vision-language models
GDA is a zero-query black-box encoder transfer attack for heterogeneous LVLMs.
提出 SGHA-Attack,对视觉语言模型做可迁移定向图像扰动
SGHA-Attack 是对视觉语言模型的可迁移定向攻击:只在 CLIP 代理上优化扰动,让黑盒模型按指定文本描述图像。要处理的困难是,单一参考加上只对齐代理末层,会使优化绑在该嵌入空间上,中间层语义用不上,异构 VLM 上的指定描述更容易失败。引言把绕过安全护栏列为动机,测的则是描述是否被导向目标文本。
提出 TarVRoM-Attack,学习跨图像通用扰动以定向误导闭源 MLLM
提出 CAGE 攻击,在视觉 token 压缩下用图像扰动使预测偏离
CAGE 研究的是:LVLM 在推理时剪枝或合并视觉 token 之后,对抗稳健性该怎么估。
提出 LAMP,学习可迁移的多图通用对抗扰动
提出 Vision 与 Caption 攻击,扰动点云操纵 3D VLM 输出
对 point-based 3D VLM 的白盒对抗鲁棒性评测。 作者关心驾驶、机器人等场景里,小几何扰动能否改写类别或描述,以及定向诱导特定输出是否像 2D 那样容易。方法上,Vision Attack 用余弦相似度推远原视觉 token,或拉向另一点云的特征。