评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5.2、Qwen2.5-VL(32B)、Qwen3-VL(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
全部论文
另有 669 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.05870
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动
- arXiv
- 2610.05870
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 白盒
- 测试
- HiDream-O1、GPT Image-2、SD2.1 等 10 个
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
- 评测与基准arXiv 2610.03938
论文发现多模态模型启用工具后拒答失败率最高上升 68.7%
评测启用工具调用后多模态模型拒答有害图文请求的变化
- arXiv
- 2610.03938
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.4、Gemini-2.5-Pro、Gemini-3.1-Pro-Preview 等 13 个
摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
- 评测与基准arXiv 2609.09404
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
- arXiv
- 2609.09404
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.4、gpt-audio、Claude Opus 4.8 等 6 个
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
- 防御arXiv 2610.01184
ReCast：在固定媒体接口下保护多模态推理的隐私框架
提出 RECAST，本地改写图表与语音并做可逆数值映射以保护远程推理隐私
- arXiv
- 2610.01184
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- GPT-5.6-Sol、Qwen3.5-Omni-Plus、Qwen3-VL-8B-Instruct 等 11 个
- 组件视觉
- 攻击arXiv 2608.27531
MAMJ：面向视觉语言模型的元自适应多模态越狱攻击
提出 MAMJ，在元层面交替优化多模态越狱的策略提示与攻击者权重
- arXiv
- 2608.27531
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- GPT-4o、Gemini-3-Pro-Preview、Seed 2.0 等 4 个
- 评测与基准arXiv 2609.32763
Mandela-Bench：36 个多模态模型更依赖记忆而非观察图像
构建 Mandela-Bench，评测多模态模型是否凭记忆接受篡改图像
- arXiv
- 2609.32763
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- GPT-5.6、Gemini-3.8-Flash、GLM-5.3-Flash 等 15 个
摘要论文构建 Mandela-Bench 发现模型对经典图像存在记忆重构偏见，过度依赖先验导致无法有效利用知识核验事实篡改。
该研究系统评估了多模态大语言模型在面对无痕事实性编辑时，能否利用自身内在世界知识核验被识别出的经典图像。
- 评测与基准arXiv 2609.05843
SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准
提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性
- arXiv
- 2609.05843
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- GPT-5.4 mini、GPT-5.5、DeepSeek V4 Flash 等 12 个
摘要SinoGlyphBench 显示中文字形混淆会同时增加有害漏报和误报，全文扰动最重。
SinoGlyphBench是一个配对诊断基准，用来看内容审核在可还原的中文字形混淆下是否还保持原决定。
- 防御arXiv 2609.36562
ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害
构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险
- arXiv
- 2609.36562
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- GPT-5.1、OpenAI Moderation API、ThinkingGuard（Qwen3-VL-8B-Instruct） 等 9 个
摘要TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。
这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。
- 评测与基准arXiv 2609.37863
MIST 压力测试：无关图像会扰动 VLM 评判者标签
提出 MIST 压力测试，检验无关图像是否扰动 VLM 评判者标签
- arXiv
- 2609.37863
- 发表
- 层
- 提示层
- 场景
- LLM 应用
- 测试
- GPT-5.2、GPT-4o、Gemini 3.1 Flash-Lite 等 13 个
- 组件视觉
摘要有图就改标签，图的内容却不告知 judge，裁决绑定配置。
作者用MIST问：VLM 代替人类标注时，可替代性裁决会不会被指南要求忽略的图像改写。
- 攻击arXiv 2609.04533
Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击
提出 Repeat-After-Me，以图像前缀诱导智能体调用工具或泄露隐私
- arXiv
- 2609.04533
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、GPT-5-mini、Claude-Opus-4.7 等 11 个
摘要论文提出了针对黑盒 VLM 的前缀诱导自适应视觉提示注入，在多款模型上诱发了工具调用与隐私泄露。
- 攻击arXiv 2609.07216
DIVA：利用视觉锚点对视频生成模型实施多模态越狱
提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型
- arXiv
- 2609.07216
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Open-Sora、Sora 2、Wan 等 9 个
摘要DIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。
DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。
- 防御arXiv 2609.10613
后验重加权框架解释并缓解多模态大模型上下文越狱
用后验重加权解释多模态上下文越狱，并提出风险门控的良性示例注入防御
- arXiv
- 2609.10613
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- GPT-5.4、Qwen3-VL-2B、Qwen3-VL-4B 等 9 个
摘要后验重加权解释上下文越狱的缩放，并支持风险门控的良性示例防御。
Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移，并据此做风险门控防御。
- 防御arXiv 2609.21363
用扩散模型隐空间扰动防御视觉语言模型的地理位置隐私泄露
提出扩散潜空间地理扰动防御，抑制视觉语言模型泄露精确地理位置
- arXiv
- 2609.21363
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- GPT-4.1、GPT-5、Gemini 2.5 Pro 等 6 个
- 防御arXiv 2609.23586
VidMark：面向视频生成模型知识产权保护的高效水印方案
提出 VidMark 水印方案，核验视频生成模型的输出来源与所有权
- arXiv
- 2609.23586
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Open-Sora、Stable Video Diffusion (SVD)、Wan
摘要VidMark 加解码器引导微调，把模型签名写入 VGM 输出并用于两项核验。
Huang 等人提出一套面向视频生成模型的生成内嵌水印方案，用来同时判断一条视频是否来自受保护模型，以及一个嫌疑模型是否为该模型的拷贝。
- 其他arXiv 2609.32340
SGA-Flow-GRPO：面向 Flow-GRPO 的空间梯度引导信用分配
提出 SGA-Flow-GRPO，用奖励梯度调制文生图模型的 token 级优势
- arXiv
- 2609.32340
- 发表
- 场景
- 模型与 API
- 测试
- GPT-4o、SD3.5-Medium、SD3.5-M (w/o CFG) 等 4 个
- 组件图像生成
- 攻击arXiv 2609.38253
CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱
提出 CollageAttack，用空间文本碎片重组越狱文生图模型
- arXiv
- 2609.38253
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- GPT-Image-2、HiDream-O1-Image、Doubao-Seedream-5.0-Lite 等 5 个
摘要系统揭示 T2I 跨模态空间合成安全漏洞，证实离散无害元素可在图像层面重构有害意图并放大传播强度。
- 攻击arXiv 2609.38899
SceneJail：利用视频场景上下文越狱多模态大模型
提出 SceneJail，利用视频情境上下文越狱视频多模态模型
- arXiv
- 2609.38899
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- GPT-4.1、Qwen2.5-VL-7B-Instruct、Qwen2.5-VL-32B-Instruct 等 8 个
- 可解释性arXiv 2609.24243
TAME：用 SAE 抑制激活缓解 VLM 思维链混淆
提出 TAME，在强化学习中抑制模板激活以缓解思维链混淆
- arXiv
- 2609.24243
- 发表
- 场景
- 模型与 API
- 测试
- GPT-4o、Qwen3-VL-8B、Gemma-3-12B-it 等 7 个
- 其他arXiv 2609.29173
透过人眼与机器眼：理解视频透视扩展现实中的视图错配
形式化视频透视头显中系统截图与人眼视野的错配
- arXiv
- 2609.29173
- 发表
- 层
- 应用层
- 场景
- 模型与 API
- 测试
- GPT-5.4
- 组件视觉