跳到正文
10月9日 · 周五

全部论文

找到 37 篇
筛选4

攻击类型

越狱19提示注入8投毒与后门8提取与窃取5检测规避2恶意使用2

攻击技术

梯度与表征优化2自动化搜索5多轮渐进1编码与混淆5跨模态载荷7针对防御2潜伏触发5诱导选用1

模型自身风险

Agent 危险操作2拒答失当1幻觉与编造1

防御类型

模型加固4推理时干预4检测与过滤4指令与数据隔离2权限与审批2监控与审计3

影响

有害内容19越权操作4数据与隐私泄露7输出被操纵5可用性与可靠性1

系统形态

模型与 API25LLM 应用1AI Agent11

攻击者权限

黑盒11白盒3

攻击面/入口

用户输入37网页与界面9文档与消息10工具返回7工具与技能描述3代码仓库与依赖2检索语料3记忆写入24Agent 间消息1图像与音视频44训练数据9权重与梯度9分发渠道10推理服务与硬件1

层

提示层14模型层8应用层12训练与数据层2基础设施层1

系统组件

MCP 与技能12记忆10RAG9护栏与评审39监控器17推理链16权限与沙箱11微调与开源权重9视觉12音频2视频1图像生成11嵌入1多模态26
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 426 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入系统组件：记忆系统组件：嵌入系统组件：多模态清除全部

另有 426 篇论文还没打上分类标签，暂不在筛选结果里。

  10. 防御arXiv 2607.24017

    多模态大模型注意力中的语义与结构偏差解耦：SPAR 免训练干预方法

    提出 SPAR 以分离注意力结构偏置并重分配视觉注意力，减轻多模态幻觉

    arXiv
    2607.24017
    发表
    层
    模型层
    场景
    模型与 API
    摘要SPAR 用显著性净化文本结构偏置并重分配注意力，在 LLaVA 上同时压低自发幻觉、抬升 gaslighting 后准确率。

    SPAR 是一种免训练的 MLLM 推理时干预，用来把注意力里的结构偏置和语义视觉信号分开。

    深度解读完整解读
  12. 防御arXiv 2609.29647

    AgentKernel：面向 Agent 的可信原生操作系统内核

    提出 AgentKernel，强制中介 Agent 的身份、感知、认知与执行

    arXiv
    2609.29647
    发表
    层
    应用层
    场景
    AI Agent
    摘要AgentKernel 是四支柱智能体 OS 设计，安全论证未附带实测数字。

    AgentKernel 是把安全做成组织原则的智能体 OS 架构，不是带跑分的攻防评测。

    深度解读完整解读
  15. 评测与基准arXiv 2609.05843

    SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准

    提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性

    arXiv
    2609.05843
    发表
    层
    提示层
    场景
    模型与 API
    摘要SinoGlyphBench 显示中文字形混淆会同时增加有害漏报和误报，全文扰动最重。

    SinoGlyphBench是一个配对诊断基准，用来看内容审核在可还原的中文字形混淆下是否还保持原决定。

    深度解读完整解读
  16. 防御arXiv 2609.37837

    Intent-Privilege OPSD：让视觉语言模型在隐式风险下兼顾安全与有用

    提出 Intent-Privilege OPSD，蒸馏证据化意图以对齐视觉语言模型的安全与有用

    arXiv
    2609.37837
    发表
    层
    训练与数据层
    场景
    模型与 API
    摘要证据化意图只在训练时使用，单次蒸馏同时提高联合成功并降低数据与训练时间。

    Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险，把安全与有用性放进同一个训练目标，并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。

    深度解读完整解读
  17. 防御arXiv 2609.36562

    ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

    构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险

    arXiv
    2609.36562
    发表
    层
    提示层
    场景
    模型与 API
    摘要TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。

    这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。

    深度解读完整解读
  18. 攻击arXiv 2609.01168

    CRACK：用多智能体辩论越狱多层安全过滤的 T2I 模型

    提出 CRACK，用多智能体辩论在黑盒下越狱文生图多层安全过滤

    arXiv
    2609.01168
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    摘要CRACK 以分层诊断的多智能体辩论搜索多层 T2I 过滤器的联合规避区域。

    CRACK 是面向文本生成图像模型多层安全栈的黑盒越狱框架，用几何上的 Detection Surface 解释为何粗粒度反馈不够。

    深度解读完整解读
  20. 攻击arXiv 2609.07216

    DIVA：利用视觉锚点对视频生成模型实施多模态越狱

    提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型

    arXiv
    2609.07216
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    摘要DIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。

    DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。

    深度解读完整解读
加载更多