攻击arXiv 2610.09708
研究者提出利用祖先 VLM 的黑盒对抗补丁攻击，可降低 VLA 任务成功率
提出利用祖先 VLM 优化对抗补丁，使已部署 VLA 任务失败
- arXiv
- 2610.09708
- 发表
- 层
- 提示层
- 场景
- 具身与机器人
- 被测模型
- OpenVLA、UniVLA、π0.5
全部论文
另有 391 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.09703
研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制
提出 Safety-Aware Pruning，缓解视觉 token 剪枝放大的多模态越狱
- arXiv
- 2610.09703
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- LLaVA-1.5-7B
摘要剪枝去掉背景 token 后注意力塌向恶意前景。
这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为，并给出推理时防御 SAP。
- 分析与理论arXiv 2610.09517
审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度
开环审计冻结视觉语言安全分，发现其反映场景模板而非危险感知
- arXiv
- 2610.09517
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B
- 组件视觉
摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。
本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 被测模型
- LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 攻击arXiv 2610.09027
P-VMI：对抗图像经 KV cache 持续影响多轮对话
提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出
- arXiv
- 2610.09027
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B
摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。
- 攻击arXiv 2610.08331
STCA：研究者提出针对自动驾驶视频 VLM 的时空一致性对抗攻击
提出 STCA，对驾驶视频 VLM 构造可迁移的时空对抗扰动
- arXiv
- 2610.08331
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 无盒（离线迁移）
- 被测模型
- Video-LLaVA-7B、Qwen2.5-VL-7B、Dolphins
- 评测与基准arXiv 2610.07939
CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出
提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别
- arXiv
- 2610.07939
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- C2P-CLIP、ForgeLens、D3-Im 等 10 个
摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。
- 防御arXiv 2610.07774
研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器
研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。
- arXiv
- 2610.07774
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-VL-30B-A3B-Instruct、Kimi-VL-A3B-Instruct
摘要读出而非操纵 router logits，可在不改模型的情况下降低两模型的组合式安全错误。
作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类：图文各自可安全，合在一起才不安全，或不安全内容只在图像里。
- 攻击arXiv 2610.06814
TAPDreamer：可跨任务迁移的世界动作模型对抗补丁
TAPDreamer 用公开编码器做固定补丁。
- arXiv
- 2610.06814
- 发表
- 层
- 提示层
- 场景
- 具身与机器人
- 被测模型
- FastWAM、DreamWAM-uncond、DreamWAM-joint 等 4 个
- 其他arXiv 2610.06452
研究者提出多模态安全评测应衡量可控性而非仅做分类
主张多模态安全评测应衡量可控性，并用 SAE 建立四轴画像
- arXiv
- 2610.06452
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- LlavaGuard-v1.2-7B-OV、Qwen3.5-9B
- 组件视觉
摘要四轴画像把读出与选择性控制分开。
作者主张多模态安全评测在行为分类之外，单独报告可控性画像，而不是把检测准确当成控制证据。
- 评测与基准arXiv 2610.06339
BabelFake：面向多语言音视频 DeepFake 检测的基准数据集
构建多语言音视频 DeepFake 基准 BabelFake 并评测检测器
- arXiv
- 2610.06339
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SpeechForensics、AVH-Align、(B)RAVEn
摘要BabelFake 为五语同意采集基准。
BabelFake 是经同意与 IRB 批准采集的多语音视频 DeepFake 检测基准，用来把视觉操纵和语音合成拆开比较。
- 评测与基准arXiv 2610.06171
ControlPed 生成逼真行人危险动作场景，七款端到端驾驶模型 HDScore 从 88.8 降至 47.4
提出 ControlPed 与 HazardPed，生成可控行人危险场景并评测端到端驾驶
- arXiv
- 2610.06171
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- DiffusionDrive、SSR、VAD 等 7 个
- 组件视频
- 防御arXiv 2610.05637
研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口
- arXiv
- 2610.05637
- 发表
- 场景
- 模型与 API
- 被测模型
- Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。
- 分析与理论arXiv 2610.07009
研究受控拆解图像到文本越狱中图像属性的作用
固定有害指令，单轴归因图像到文本越狱的图像属性
- arXiv
- 2610.07009
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- GPT-4o、Claude Sonnet 4.5、Qwen3-VL-8B-Instruct 等 6 个
摘要固定文本的图像越狱拆解，只在 Qwen 上给出一条有界相关性归因。
- 其他arXiv 2610.04792
多模态一定更好吗？缺失模态鲁棒性的几何视角与 Geodesic Unlearning 方法
提出 Geodesic Unlearning，沿测地线编辑权重以提升缺模态鲁棒性
- arXiv
- 2610.04792
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- RoBERTa、ResNet50、Qwen2.5-3B 等 6 个
- 组件视觉
摘要GU 用测地线子空间编辑应对部署时缺模态下降，并尽量保住全模态精度。
这项工作讨论多模态模型在部署时整段缺一个模态的性能下降，并把校正写成训练后的子空间编辑。
- 防御arXiv 2610.04616
PerturBot 用扰动训练打破视觉-语言-动作模型的模态捷径
提出 Perturbot 扰动训练，打破 VLA 的模态捷径
- arXiv
- 2610.04616
- 发表
- 场景
- 具身与机器人
- 被测模型
- π0.5
摘要Perturbot 改训练数据以削弱三类模态捷径，GroundFscore 用来看成功是否来自任务证据。
Perturbot 是一套不改推理的 VLA 训练期数据干预，用来削弱模态捷径，并用离线分数区分“任务变好”和“靠捷径变好”。
- 可解释性arXiv 2610.04112
Spatial-SAE：用空间依赖先验改进视觉概念分解
提出 Spatial-SAE，用空间依赖先验改进视觉概念分解
- arXiv
- 2610.04112
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 组件视觉
摘要Spatial-SAE 用空间 Markov 先验替换 patch 独立先验，换取更对齐的视觉概念。
Spatial-SAE 针对视觉 SAE 的概念碎片化：tokenwise 目标在 LRH 之外把各 patch 的码当成独立，而作者报告冻结视觉 Transformer 的激活仍保留邻域可预测性。
- 评测与基准arXiv 2610.03938
论文发现多模态模型启用工具后拒答失败率最高上升 68.7%
评测 ReAct 工具调用对多模态模型拒答有害请求的削弱
- arXiv
- 2610.03938
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Claude Opus 4.6 等 13 个
摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
- 防御arXiv 2610.03498
检测与抑制：针对 VLA 模型对抗补丁的机制可解释性防御
提出条件特征抑制防御，检出对抗补丁后抑制 VLA 内部特征
- arXiv
- 2610.03498
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- π0.5、SmolVLA
摘要条件抑制与 patch 相关的 SAE 特征，间歇攻击下可提高 SR，持续攻击下则不能。
- 其他arXiv 2610.03389
Patch-to-Prune：在 Qwen2.5-VL 与 LLaVA 上剪枝视觉计算
提出 Patch-to-Prune，旁路 VLM 部分层的视觉投影计算
- arXiv
- 2610.03389
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-7B-Instruct、LLaVA-v1.6-Vicuna-7B-HF 等 4 个
- 组件视觉
摘要P2P 用深度上的激活修补旁路视觉投影，以可调容忍度交换准确率与计算量。
P2P 是面向 VLM 推理的训练无关计算旁路：不删除视觉 token，而在选定 decoder 层用固定激活代理代替视觉投影。