跳到正文
10月9日 · 周五

全部论文

找到 13 篇
筛选6

攻击类型

越狱1提示注入9投毒与后门3模型篡改3提取与窃取1检测规避1拒绝服务1

攻击技术

自动化搜索1对话结构操控1推理链操控2

模型自身风险

欺骗与谋划1Agent 危险操作2

防御类型

模型加固1推理时干预1检测与过滤3监控与审计8

影响

有害内容2越权操作5数据与隐私泄露3输出被操纵1可用性与可靠性1

系统形态

模型与 API3AI Agent10编程 Agent3

攻击者权限

黑盒1白盒3

攻击面/入口

用户输入31网页与界面4文档与消息8工具返回13工具与技能描述5代码仓库与依赖3记忆写入2Agent 间消息1图像与音视频1训练数据1权重与梯度3分发渠道6

层

模型层2应用层10训练与数据层1

系统组件

MCP 与技能12记忆27RAG3护栏与评审8监控器9推理链5权限与沙箱14微调与开源权重38视觉8音频4视频1图像生成5嵌入1多模态17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 429 篇还没打标签，不在筛选结果里。
攻击面/入口：文档与消息攻击面/入口：记忆写入攻击面/入口：训练数据攻击面/入口：权重与梯度系统组件：监控器系统组件：推理链清除全部

另有 429 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  5. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  6. 防御arXiv 2608.05578

    AMS 工具通过激活分析检测语言模型的安全训练改动

    提出 AMS，用激活分离与方向相似度检测安全训练改动

    arXiv
    2608.05578
    发表
    层
    模型层
    场景
    模型与 API
    摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。

    AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。

    深度解读完整解读
  9. 其他arXiv 2609.12413

    SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量

    综述智能体执行链路中的越狱攻击、防御与实践权衡

    arXiv
    2609.12413
    发表
    层
    应用层
    场景
    AI Agent
    摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。

    深度解读完整解读
  13. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料并比较内核与应用层证据的攻击检测效果

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    编程 Agent
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
已经到底了