研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制
提出 Safety-Aware Pruning,缓解视觉 token 剪枝放大的多模态越狱
- arXiv
- 2610.09703
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- LLaVA-1.5-7B
摘要剪枝去掉背景 token 后注意力塌向恶意前景。
这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为,并给出推理时防御 SAP。
提出 Safety-Aware Pruning,缓解视觉 token 剪枝放大的多模态越狱
这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为,并给出推理时防御 SAP。
提出持久视觉记忆注入,使对抗图像经缓存在触发时操控输出
摘要论文提出 P-VMI,证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型,强调了保留状态的安全风险。
固定有害指令,单轴归因图像到文本越狱的图像属性
摘要固定文本的图像越狱拆解,只在 Qwen 上给出一条有界相关性归因。
提出 imMRAG 攻击,从多模态 RAG 私有图像库提取内容
构建 TriggerBench 并训练 ThinkingGuard,检测图文隐式风险
这篇工作研究多模态隐式风险检测:图文各自良性,风险只在关键元素与触发元素交互时出现。
提出 IDUnlearn-Bench,评测 VLM 个体级遗忘后的身份残留
IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人,而不只是答不出某条监督事实。
提出 SPARK,在预填充阶段修复多模态 KV 记忆以防御视觉语言模型越狱
用后验重加权解释多模态上下文越狱,并提出风险门控的良性示例注入防御
Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移,并据此做风险门控防御。
提出 SinoGlyphBench,用配对字形混淆诊断中文审核稳定性
SinoGlyphBench是一个配对诊断基准,用来看内容审核在可还原的中文字形混淆下是否还保持原决定。
提出 DIVA,利用跨步条件传播对离散扩散视觉语言模型实施视觉越狱
提出 MAMJ,在元层面交替优化多模态越狱的策略提示与攻击者权重
提出 HACA,将图文越狱拆为原子策略并自动组合以诱导有害输出
提出 SPAR 免训练注意力干预,削弱多模态模型的结构偏置
SPAR 是一种无需训练、直接修改多模态内部注意力的幻觉防御。 作者关注视觉信息被查询不变的注意力偏置稀释,以及误导文本进一步推动模型依赖语言先验的问题。
提出 INFER+ 信息过载方法,越狱大型视觉语言模型
这篇工作用信息过载越狱 LVLM,而不是靠 OOD 变换隐藏意图。
提出 MLingualFC,用多语言流程图图像评测视觉语言模型越狱漏洞
提出 DSR 跨模态越狱,用无害图文诱导 MLLM 生成有害图像
DSR 是一种 black-box 跨模态越狱:输入侧不放显式有害内容,而让商业 MLLM 在推理中把无害图文重组成有害图像。
提出多图越狱框架 DMN,把有害意图拆进图像序列绕过安全护栏
提出删字变体越狱方法,利用重构与隐藏权衡绕过多模态模型安全过滤
提出四类视觉越狱,把有害意图编码进图像以绕过安全拒答
四类视觉越狱用来检验前沿 VLM 的文本安全训练能否挡住由图像传达的有害意图。。
提出 VROP,把有害意图拆成良性视觉 gadget 越狱视觉语言模型
VROP是 black-box 多模态越狱框架:不在输入中放显式恶意触发,而把有害目标拆成语义正交的良性视觉 gadget,再用控制流提示词把合成留到后期推理。