攻击arXiv 2610.09027
P-VMI：对抗图像经 KV cache 持续影响多轮对话
提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出
- arXiv
- 2610.09027
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B
摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。
- 评测与基准arXiv 2610.06503
研究评测五款开源文生图模型的有害内容生成与审核缺口
评测文生图模型的有害内容生成能力与审核检测缺口
- arXiv
- 2610.06503
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SDXL、Stable Diffusion 3.5 Large、FLUX.1-dev 等 12 个
- 防御arXiv 2610.03073
SecJev：为 System One 决策模型引入安全专业知识
提出 SecJev，用场景加权训练把决策模型适配为安全类型化判断
- arXiv
- 2610.03073
- 发表
- 场景
- 模型与 API
- 被测模型
- SecJev-0.8B、SecJev-2B、SecJev-4B 等 4 个
摘要SecJev 用共享打分器做安全决策，0.8B 的 task-macro 超过 Kev-9B。
SecJev 是 0.8B 到 9B 的安全决策模型族，作者称据其所知是首个面向安全的 Jev-like 家族。
- 评测与基准arXiv 2609.35912
MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作
提出 MMSkillRisk 基准，评测多模态技能图像中的隐藏指令诱导 Agent 越权操作
- arXiv
- 2609.35912
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个
摘要论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
- 评测与基准arXiv 2609.29429
Jev 被用于零样本检测十类对齐失败，中位 AUROC 达 0.886
提出 RLCDAlignBench，零样本检测多种对齐失败
- arXiv
- 2609.29429
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Jev (jev-1.13.0)
摘要一次通用问题已能给多数对齐失败排序，大的误差来自状态和标签。
RLCDAlignBench 测量用强化学习做校准决策的 Jev，能否当作对齐失败的零样本检测器。
- 防御arXiv 2609.21363
用扩散模型隐空间扰动防御视觉语言模型的地理位置隐私泄露
提出扩散潜空间地理扰动防御，抑制视觉语言模型泄露精确地理位置
- arXiv
- 2609.21363
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-4.1、GPT-5、Gemini 2.5 Pro 等 5 个
- 评测与基准arXiv 2609.04859
MM-IFEval-Pro：面向视觉语言模型的多语言抗攻击指令遵循基准
提出抗攻击多语言视觉指令遵循基准 MM-IFEval-Pro
- arXiv
- 2609.04859
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Qwen3-VL-8B-Instruct、InternVL3.5-8B、MiniCPM-V4.5 等 5 个
摘要MM-IFEval-Pro 以规则验证评测中英指令遵循与视觉劫持，GRPO 提高两基座平均分。
MM-IFEval-Pro 是面向 VLM 的中英多模态指令遵循基准，并配有可用规则计算奖励的 GRPO 训练集。
- 防御arXiv 2609.01046
HiveTraceGuard-Pro：面向提示注入、越狱与对抗混淆的紧凑生成式护栏
提出生成式护栏 HiveTraceGuard-Pro，检测提示注入、越狱与混淆
- arXiv
- 2609.01046
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- HiveTraceGuard-Pro (0.6B)
摘要0.6B 俄英护栏在自建俄语干净集和 PI-RU 上得分最高，聚合 key 居第三，过阻断和回复精度仍是作者标出的短板。
HiveTraceGuard-Pro 是面向请求与回复审核的 0.6B 生成式护栏，由 Qwen3-0.6B 经 LoRA 微调，在俄语和英语上训练，只输出一个 safe/unsafe 裁决。
- 防御arXiv 2608.00716
生成图像更易被遗忘：面向合成图像检测的机器遗忘视角
提出机器遗忘式生成图像检测，用遗忘前后特征相似度区分自然图与生成图
- arXiv
- 2608.00716
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- DINOv2 ViT-S/14、DINOv2 ViT-B/14、DINOv2 ViT-L/14 等 9 个
摘要作者用剪枝或 LoRA 遗忘拉开生成图与自然图的特征相似度，并在多个检测基准上报告结果。
这篇工作把 AI 生成图像检测写成对预训练视觉模型的机器遗忘：原模型对两类图像损失都低，剪枝后生成图特征变得更不像原模型。
- 攻击arXiv 2603.29418
研究者提出针对商用多模态大模型的隐蔽视觉提示注入方法
提出 CoTTA 隐蔽视觉提示注入，使多模态模型输出指定指令
- arXiv
- 2603.29418
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- GPT-4o、GPT-5、Claude-4.5 等 4 个
摘要CoTTA 以隐蔽触发和双目标对齐诱导指定句子。
- 攻击arXiv 2602.15927
研究者提出面向多轮对话的视觉记忆注入攻击 VMI
提出 VMI，用扰动图像在多轮对话中潜伏并仅在触发话题输出预定消息
- arXiv
- 2602.15927
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-VL-7B-Instruct、Qwen3-VL-8B-Instruct、LLaVA-OneVision-1.5-8B-Instruct 等 5 个
摘要VMI 让扰动图像在多轮 LVLM 中潜伏，作者称触发话题出现后仍可输出预定消息。
VMI 是面向多轮 LVLM 的定向图像攻击：第三方发布带小扰动的图像，良性用户把它当作普通输入。
- 攻击arXiv 2509.05372
研究：对抗性 bug 报告可诱导 LLM 自动程序修复系统生成不安全补丁
用对抗缺陷报告诱导自动程序修复系统生成不安全补丁
- arXiv
- 2509.05372
- 发表
- 层
- 应用层
- 被测模型
- claude-sonnet-4-20250514、o4-mini、GPT-4.1-mini 等 8 个
已经到底了