跳到正文
10月9日 · 周五

全部论文

找到 5 篇
筛选6

攻击类型

越狱5提示注入30投毒与后门28提取与窃取5检测规避1恶意使用1

攻击技术

多轮渐进1潜伏触发1

模型自身风险

拒答失当1

防御类型

模型加固1推理时干预1监控与审计1

影响

有害内容3越权操作1数据与隐私泄露1

系统形态

模型与 API2AI Agent3

攻击者权限

白盒1

攻击面/入口

用户输入5工具返回2记忆写入2图像与音视频2

层

提示层6模型层1应用层3训练与数据层1

系统组件

MCP 与技能2记忆3护栏与评审5监控器7推理链5权限与沙箱5微调与开源权重1视觉2音频2多模态4

被测模型厂商

其他5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 480 篇还没打标签，不在筛选结果里。
攻击类型：越狱层：模型层层：应用层层：训练与数据层系统组件：记忆系统组件：视觉清除全部

另有 480 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD，跨会话拆解有害目标以绕过工具智能体本地监控

    arXiv
    2606.09084
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-4.1、GPT-5-nano、Claude-3.5-Sonnet 等 6 个
    摘要CFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。

    深度解读完整解读
  2. 防御arXiv 2609.37837

    Intent-Privilege OPSD：让视觉语言模型在隐式风险下兼顾安全与有用

    提出 Intent-Privilege OPSD，蒸馏证据化意图以对齐视觉语言模型的安全与有用

    arXiv
    2609.37837
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen3-VL-4B-Instruct、LLaVA-1.5-7B、InternVL2-8B
    摘要证据化意图只在训练时使用，单次蒸馏同时提高联合成功并降低数据与训练时间。

    Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险，把安全与有用性放进同一个训练目标，并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。

    深度解读完整解读
  3. 其他arXiv 2609.12413

    SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量

    综述智能体执行链路中的越狱攻击、防御与实践权衡

    arXiv
    2609.12413
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3.5-4B、Llama-3.1-8B-Instruct
    摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。

    深度解读完整解读
已经到底了