研究者提出利用祖先 VLM 的黑盒对抗补丁攻击,可降低 VLA 任务成功率
提出利用祖先 VLM 优化对抗补丁,使已部署 VLA 任务失败
- arXiv
- 2610.09708
- Published
- Layer
- Prompt layer
- Evaluated models
- OpenVLA, UniVLA, π0.5
- TechniqueGradient and representation optimization
- ComponentVision
Another 240papers do not have category tags yet and are not included in filtered results.
提出利用祖先 VLM 优化对抗补丁,使已部署 VLA 任务失败
提出 STCA,对驾驶视频 VLM 构造可迁移的时空对抗扰动
TAPDreamer 用公开编码器做固定补丁。
提出轨迹级可迁移对抗攻击,降低深度强化学习策略的期望回报
这项工作研究 DRL 上的迁移式黑盒观测攻击:受害参数不可访问时,在白盒代理上造扰动再迁移。
提出 IAU-FOA,构造可迁移图像扰动以诱导多模态模型输出目标语义
提出 LiBRA,在潜空间双向优化以规避图像水印双侧检测
AbstractLiBRA 用双向潜空间优化规避双侧水印检测,并提高相对反转基线的保真。
提出 DIVA,利用跨步条件传播对离散扩散视觉语言模型实施视觉越狱
提出 DURA,用扩散模型生成自然对抗补丁操控 VLA 机器人动作
DURA 是针对 VLA 的扩散式、补丁内容不受限的机器人攻击,同时支持白盒梯度和只看动作输出的黑盒。
提出最小范数攻击集成,用鲁棒性曲线评测图像分类器
这篇工作把对抗鲁棒评测从单一 ε、固定集成,改成可按查询预算收紧的曲线估计。
提出 FRA-Attack,用频域对齐与梯度正则做可迁移定向视觉攻击
FRA-Attack 是面向闭源 MLLM 的迁移式定向图像攻击。作者要解决的是:空间域局部对齐重复全局低频,代理梯度的高频成分又把更新拉向代理自身。
提出 CodecAttack,在编解码器隐空间构造可穿透有损压缩的对抗音频
提出 CrossMPI,仅用图像扰动实现跨模态提示注入
提出 GPO-V,用全局概率优化的视觉扰动越狱扩散视觉语言模型
GPO-V 把越狱从“开头必须顺从”改成“整段去噪概率朝肯定方向走”。。
提出 AudioHijack,用不可感知对抗音频对语音模型做上下文无关提示注入
Abstract提出了 AudioHijack 框架,揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。
Proposes the universal curved mesh patch UCGP, causing cross-task semantic bias in infrared vision-language models.
UCGP is a universal physical adversarial patch for infrared vision-language models. The question is: can a patch that can be attached and reused across samples cause stable semantic deviations in the infrared visual evidence shared by classification, description, and VQA. The patch is constrained to a low-frequency curved mesh.
提出 CoTTA 隐蔽视觉提示注入,使多模态模型输出指定指令
AbstractCoTTA 以隐蔽触发和双目标对齐诱导指定句子。
Proposes XSPA, which uses X-shaped sparse adversarial perturbations to transfer attacks on VLMs.
Proposes MPCAttack, which synergizes multi-paradigm feature optimization for transferable visual adversarial perturbations.
Propose GDA, which aligns image adversarial perturbations with text-grounded evidence and transfers attacks to vision-language models
GDA is a zero-query black-box encoder transfer attack for heterogeneous LVLMs.
提出 SGHA-Attack,对视觉语言模型做可迁移定向图像扰动
SGHA-Attack 是对视觉语言模型的可迁移定向攻击:只在 CLIP 代理上优化扰动,让黑盒模型按指定文本描述图像。要处理的困难是,单一参考加上只对齐代理末层,会使优化绑在该嵌入空间上,中间层语义用不上,异构 VLM 上的指定描述更容易失败。引言把绕过安全护栏列为动机,测的则是描述是否被导向目标文本。