跳到正文
10月9日 · 周五

全部论文

找到 4 篇
筛选6

攻击类型

越狱4提示注入29投毒与后门50模型篡改8提取与窃取6检测规避2拒绝服务1恶意使用1

攻击技术

自动化搜索1多轮渐进1潜伏触发1

防御类型

模型加固1

影响

有害内容2数据与隐私泄露2

系统形态

模型与 API1AI Agent3

攻击者权限

黑盒2白盒1

攻击面/入口

用户输入31网页与界面1文档与消息2工具返回11工具与技能描述1代码仓库与依赖1记忆写入2图像与音视频2训练数据1权重与梯度1

层

应用层3训练与数据层1

系统组件

记忆2护栏与评审1推理链1

被测模型厂商

其他4
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 489 篇还没打标签，不在筛选结果里。
攻击类型：越狱攻击面/入口：代码仓库与依赖攻击面/入口：记忆写入攻击面/入口：训练数据层：应用层层：训练与数据层清除全部

另有 489 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD，跨会话拆解有害目标以绕过工具智能体本地监控

    arXiv
    2606.09084
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-4.1、GPT-5-nano、Claude-3.5-Sonnet 等 6 个
    摘要CFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。

    深度解读完整解读
  3. 防御arXiv 2609.02293

    SEAL：通过共享专家对齐强化 MoE 全局安全

    提出 SEAL，在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改

    arXiv
    2609.02293
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Qwen1.5-MoE-A2.7B、DeepSeekMoE-16B、GLM-4.7-Flash 等 4 个
    摘要SEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上，SEAL++再保护已有安全神经元方向。

    SEAL是面向混合 MoE 的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把 token 送到安全专家。

    深度解读完整解读
  4. 其他arXiv 2609.12413

    SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量

    综述智能体执行链路中的越狱攻击、防御与实践权衡

    arXiv
    2609.12413
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3.5-4B、Llama-3.1-8B-Instruct
    摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。

    深度解读完整解读
已经到底了