跳到正文
10月9日 · 周五

全部论文

找到 21 篇
筛选7

攻击类型

越狱17提示注入5投毒与后门14模型篡改1提取与窃取7检测规避7恶意使用4

攻击技术

梯度与表征优化1自动化搜索6编码与混淆3跨模态载荷7针对防御1

模型自身风险

拒答失当1

防御类型

模型加固2推理时干预4检测与过滤3指令与数据隔离1

影响

有害内容18数据与隐私泄露2输出被操纵1

系统形态

模型与 API21LLM 应用1AI Agent3编程 Agent0

攻击者权限

黑盒9灰盒1白盒3

攻击面/入口

用户输入17图像与音视频15

层

提示层15模型层5训练与数据层1

系统组件

记忆0RAG1护栏与评审21监控器4推理链8微调与开源权重2视觉10音频2视频1图像生成8嵌入0多模态21

被测模型厂商

Qwen（阿里）13OpenAI11Google10Black Forest Labs5其他20
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 489 篇还没打标签，不在筛选结果里。
攻击类型：越狱攻击类型：恶意使用系统形态：模型与 API系统形态：编程 Agent系统组件：记忆系统组件：嵌入系统组件：多模态清除全部

另有 489 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2607.21619

    ASO：用GRPO优化视觉风格放大MLLM越狱攻击

    提出 ASO，用 GRPO 优化视觉风格以放大越狱攻击

    arXiv
    2607.21619
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    灰盒
    测试
    GPT-4.1-mini、Gemini-2.5-Flash、Qwen3-VL 等 6 个

    摘要论文揭示了 MLLM 的风格敏感性脆弱面，提出 ASO 框架利用强化学习优化风格触发器，有效放大了现有视觉越狱效果。

    深度解读完整解读
  5. 防御arXiv 2608.00716

    生成图像更易被遗忘：面向合成图像检测的机器遗忘视角

    提出机器遗忘式生成图像检测，用遗忘前后特征相似度区分自然图与生成图

    arXiv
    2608.00716
    发表
    层
    模型层
    场景
    模型与 API
    测试
    DINOv2 ViT-S/14、DINOv2 ViT-B/14、DINOv2 ViT-L/14 等 9 个
    摘要作者用剪枝或 LoRA 遗忘拉开生成图与自然图的特征相似度，并在多个检测基准上报告结果。

    这篇工作把 AI 生成图像检测写成对预训练视觉模型的机器遗忘：原模型对两类图像损失都低，剪枝后生成图特征变得更不像原模型。

    深度解读完整解读
  6. 防御arXiv 2609.37837

    Intent-Privilege OPSD：让视觉语言模型在隐式风险下兼顾安全与有用

    提出 Intent-Privilege OPSD，蒸馏证据化意图以对齐视觉语言模型的安全与有用

    arXiv
    2609.37837
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen3-VL-4B-Instruct、LLaVA-1.5-7B、InternVL2-8B
    摘要证据化意图只在训练时使用，单次蒸馏同时提高联合成功并降低数据与训练时间。

    Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险，把安全与有用性放进同一个训练目标，并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。

    深度解读完整解读
  7. 防御arXiv 2609.36562

    ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

    构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险

    arXiv
    2609.36562
    发表
    层
    提示层
    场景
    模型与 API
    测试
    ThinkingGuard（Qwen3-VL-8B-Instruct）、GPT-5.1、Claude-Sonnet-4-6 等 9 个
    摘要TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。

    这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。

    深度解读完整解读
  8. 防御arXiv 2609.27399

    GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

    arXiv
    2609.27399
    发表
    层
    模型层
    场景
    模型与 API
    测试
    CosyVoice2-0.5B、F5-TTS、FireRedTTS
    摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。

    GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。

    深度解读完整解读
  9. 攻击arXiv 2609.01168

    CRACK：用多智能体辩论越狱多层安全过滤的 T2I 模型

    提出 CRACK，用多智能体辩论在黑盒下越狱文生图多层安全过滤

    arXiv
    2609.01168
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Stable Diffusion v1.4、SDXL、DALL·E 3 等 4 个
    摘要CRACK 以分层诊断的多智能体辩论搜索多层 T2I 过滤器的联合规避区域。

    CRACK 是面向文本生成图像模型多层安全栈的黑盒越狱框架，用几何上的 Detection Surface 解释为何粗粒度反馈不够。

    深度解读完整解读
  11. 攻击arXiv 2609.07216

    DIVA：利用视觉锚点对视频生成模型实施多模态越狱

    提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型

    arXiv
    2609.07216
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Wan、CogVideoX、LTX-Video 等 9 个
    摘要DIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。

    DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。

    深度解读完整解读
  12. 防御arXiv 2609.10613

    后验重加权框架解释并缓解多模态大模型上下文越狱

    用后验重加权解释多模态上下文越狱，并提出风险门控的良性示例注入防御

    arXiv
    2609.10613
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Qwen3-VL-2B、Qwen3-VL-4B、Qwen3-VL-8B 等 9 个
    摘要后验重加权解释上下文越狱的缩放，并支持风险门控的良性示例防御。

    Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移，并据此做风险门控防御。

    深度解读完整解读
  15. 防御arXiv 2609.03629

    EraseSAE：用稀疏自编码器在文生视频扩散模型中实现精准概念擦除

    提出 EraseSAE，在文生视频模型中局部擦除指定概念

    arXiv
    2609.03629
    发表
    层
    模型层
    场景
    模型与 API
    测试
    CogVideoX-5B、HunyuanVideo、Flux.1 [dev]
    摘要EraseSAE 用单义特征局部擦除。

    EraseSAE 把 SAE 用于 DiT 文生视频模型的概念擦除。作者要解决的是：全局改权重或表面负提示对不齐细粒度、分布式的概念，而且会改到无关时空区域。

    深度解读完整解读
  16. 攻击arXiv 2609.38253

    CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱

    提出 CollageAttack，用空间文本碎片重组越狱文生图模型

    arXiv
    2609.38253
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro 等 5 个

    摘要系统揭示 T2I 跨模态空间合成安全漏洞，证实离散无害元素可在图像层面重构有害意图并放大传播强度。

    深度解读完整解读
加载更多