跳到正文
10月9日 · 周五

全部论文

找到 25 篇
筛选3

攻击类型

越狱9提示注入2投毒与后门5提取与窃取3检测规避7恶意使用2

攻击技术

梯度与表征优化2自动化搜索2编码与混淆2跨模态载荷5针对防御2潜伏触发4

模型自身风险

拒答失当1

防御类型

模型加固4推理时干预2检测与过滤3指令与数据隔离1水印与溯源3

影响

有害内容10越权操作1数据与隐私泄露3输出被操纵9可用性与可靠性1

系统形态

模型与 API24LLM 应用2AI Agent7编程 Agent1网页与电脑操作2具身与机器人1

攻击者权限

黑盒6白盒4

攻击面/入口

用户输入111网页与界面1文档与消息8工具返回7工具与技能描述13代码仓库与依赖11检索语料1记忆写入5Agent 间消息4图像与音视频25训练数据40权重与梯度28分发渠道17推理服务与硬件5

层

提示层9模型层7应用层1训练与数据层7基础设施层1

系统组件

MCP 与技能1护栏与评审4推理链1微调与开源权重3视觉14音频3视频1图像生成5多模态23

被测模型厂商

Qwen（阿里）15OpenAI9Google9其他24
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 669 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent攻击面/入口：图像与音视频清除全部

另有 669 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  2. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  3. 分析与理论arXiv 2609.33898

    研究揭示训练效率与模型脆弱性的权衡：高效训练更易受对抗与隐私攻击

    比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何

    arXiv
    2609.33898
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    ResNet-18、Swin Transformer、Qwen2.5-Math-7B-Instruct 等 7 个
    摘要效用匹配下，三种高效训练都伴随更高的隐私与对抗脆弱性及更尖的损失几何。

    作者在视觉分类和数学推理语言模型上，检查用更少数据或更简对齐换取训练效率时，安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集，并用预训练微调对照从头训练。

    深度解读完整解读
  5. 评测与基准arXiv 2609.05843

    SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准

    提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性

    arXiv
    2609.05843
    发表
    层
    提示层
    场景
    模型与 API
    测试
    GPT-5.4 mini、GPT-5.5、DeepSeek V4 Flash 等 12 个
    摘要SinoGlyphBench 显示中文字形混淆会同时增加有害漏报和误报，全文扰动最重。

    SinoGlyphBench是一个配对诊断基准，用来看内容审核在可还原的中文字形混淆下是否还保持原决定。

    深度解读完整解读
  6. 防御arXiv 2608.00716

    生成图像更易被遗忘：面向合成图像检测的机器遗忘视角

    提出机器遗忘式生成图像检测，用遗忘前后特征相似度区分自然图与生成图

    arXiv
    2608.00716
    发表
    层
    模型层
    场景
    模型与 API
    测试
    DINOv2 ViT-S/14、DINOv2 ViT-B/14、DINOv2 ViT-L/14 等 9 个
    摘要作者用剪枝或 LoRA 遗忘拉开生成图与自然图的特征相似度，并在多个检测基准上报告结果。

    这篇工作把 AI 生成图像检测写成对预训练视觉模型的机器遗忘：原模型对两类图像损失都低，剪枝后生成图特征变得更不像原模型。

    深度解读完整解读
  7. 防御arXiv 2609.37837

    Intent-Privilege OPSD：让视觉语言模型在隐式风险下兼顾安全与有用

    提出 Intent-Privilege OPSD，蒸馏证据化意图以对齐视觉语言模型的安全与有用

    arXiv
    2609.37837
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen3-VL-4B-Instruct、LLaVA-1.5-7B、InternVL2-8B
    摘要证据化意图只在训练时使用，单次蒸馏同时提高联合成功并降低数据与训练时间。

    Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险，把安全与有用性放进同一个训练目标，并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。

    深度解读完整解读
  8. 防御arXiv 2609.36562

    ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

    构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险

    arXiv
    2609.36562
    发表
    层
    提示层
    场景
    模型与 API
    测试
    ThinkingGuard（Qwen3-VL-8B-Instruct）、GPT-5.1、Claude-Sonnet-4-6 等 9 个
    摘要TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。

    这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。

    深度解读完整解读
  11. 攻击arXiv 2609.07216

    DIVA：利用视觉锚点对视频生成模型实施多模态越狱

    提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型

    arXiv
    2609.07216
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Wan、CogVideoX、LTX-Video 等 9 个
    摘要DIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。

    DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。

    深度解读完整解读
  12. 防御arXiv 2609.10613

    后验重加权框架解释并缓解多模态大模型上下文越狱

    用后验重加权解释多模态上下文越狱，并提出风险门控的良性示例注入防御

    arXiv
    2609.10613
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Qwen3-VL-2B、Qwen3-VL-4B、Qwen3-VL-8B 等 9 个
    摘要后验重加权解释上下文越狱的缩放，并支持风险门控的良性示例防御。

    Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移，并据此做风险门控防御。

    深度解读完整解读
  16. 防御arXiv 2609.23586

    VidMark：面向视频生成模型知识产权保护的高效水印方案

    提出 VidMark 水印方案，核验视频生成模型的输出来源与所有权

    arXiv
    2609.23586
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Stable Video Diffusion (SVD)、Open-Sora、Wan
    摘要VidMark 加解码器引导微调，把模型签名写入 VGM 输出并用于两项核验。

    Huang 等人提出一套面向视频生成模型的生成内嵌水印方案，用来同时判断一条视频是否来自受保护模型，以及一个嫌疑模型是否为该模型的拷贝。

    深度解读完整解读
  17. 防御arXiv 2609.23596

    StyleAT：用对抗训练防御人脸识别的语义攻击

    提出 BoundStyle 与 StyleAT，对抗训练防御人脸识别语义攻击

    arXiv
    2609.23596
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    MobileFaceNet (MobileFace)、ResNet (ResNet-152, IR-SE)、RepVGG 等 7 个
    摘要BoundStyle 用 StyleGAN3 有界潜编辑快速攻击 FR。

    StyleAT 用可调的 StyleGAN3 潜空间攻击 BoundStyle 对人脸识别做对抗训练，以抵抗一般语义编辑，并在评测中面对训练时未见的 DiffPrivate。

    深度解读完整解读
  18. 防御arXiv 2609.34744

    现代图像后置水印信道的优化与安全：SNW 方案

    提出带密钥的 SNW，抵御事后图像水印的身份伪造

    arXiv
    2609.34744
    发表
    层
    模型层
    场景
    模型与 API
    测试
    PixelSeal、VideoSeal、TrustMark 等 4 个
    摘要SNW 用密钥与满秩各向同性投影提高事后水印的 Shannon 容量，并对 PCA 完全安全。

    Gesny 与 Giboulot 针对生成内容追溯所依赖的多比特事后图像水印，批评端到端 DNN 方案既无容量理论、又无密钥。

    深度解读完整解读
加载更多