跳到正文
10月9日 · 周五

全部论文

找到 24 篇
筛选6

攻击类型

越狱7提示注入13投毒与后门5模型篡改1检测规避4恶意使用4

攻击技术

对话结构操控1推理链操控2针对防御2潜伏触发1

模型自身风险

欺骗与谋划1奖励作弊1Agent 危险操作3拒答失当1

防御类型

推理时干预1检测与过滤3权限与审批1监控与审计17

影响

有害内容6越权操作10数据与隐私泄露2输出被操纵1监督失效4

系统形态

模型与 API6AI Agent18编程 Agent4网页与电脑操作1多智能体2具身与机器人1

攻击者权限

黑盒2灰盒1

攻击面/入口

用户输入18网页与界面3文档与消息7工具返回12工具与技能描述5代码仓库与依赖1检索语料1记忆写入1Agent 间消息1图像与音视频1训练数据0权重与梯度2分发渠道7推理服务与硬件1

层

提示层1模型层5应用层18

系统组件

MCP 与技能18记忆20RAG10护栏与评审47监控器23推理链18权限与沙箱18微调与开源权重41视觉20音频6视频2图像生成16嵌入1多模态43
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 450 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入攻击面/入口：文档与消息攻击面/入口：训练数据攻击面/入口：权重与梯度系统组件：监控器系统组件：嵌入清除全部

另有 450 篇论文还没打上分类标签，暂不在筛选结果里。

  6. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  7. 防御arXiv 2608.05578

    AMS 工具通过激活分析检测语言模型的安全训练改动

    提出 AMS，用激活分离与方向相似度检测安全训练改动

    arXiv
    2608.05578
    发表
    层
    模型层
    场景
    模型与 API
    摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。

    AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。

    深度解读完整解读
  9. 防御arXiv 2608.21101

    ClawSentry：面向自主 LLM Agent 的渐进式多层安全监控网关

    提出 ClawSentry 渐进式多层监控网关，拦截恶意技能包与上下文注入

    arXiv
    2608.21101
    发表
    层
    应用层
    场景
    编程 Agent
    摘要ClawSentry 用包准入、三级运行时门控和反绕过，压低 skill 攻击并保住干净任务。

    ClawSentry 是挂在智能体运行时之外的安全监督网关，用来同时盖住 skill 执行的多个生命周期边界，并把已被拒绝的效果记到会话里。

    深度解读完整解读
  13. 防御arXiv 2604.11806

    Meerkat：跨大量 Agent 轨迹检测安全违规

    提出 Meerkat，聚类并用智能体搜索审计 Agent 轨迹库的跨轨迹违规

    arXiv
    2604.11806
    发表
    层
    应用层
    场景
    AI Agent
    摘要Meerkat 用聚类与智能体搜索定位跨轨迹违规，并在真实评测轨迹中找出脚手架泄题与奖励黑客。

    Meerkat 是事后审计方法，用来在智能体轨迹仓库里找出单条看不出、合在一起才违反自然语言安全属性的见证。

    深度解读完整解读
  14. 可解释性arXiv 2609.04721

    研究：拒答方向可跨架构迁移，安全工具可按写入位置重新估计

    在写入点定位拒答方向，经刚性旋转跨架构迁移并门控放大

    arXiv
    2609.04721
    发表
    层
    模型层
    场景
    模型与 API
    摘要拒答方向可经刚性旋转跨架构迁移，但必须在各架构的写入点读取。

    作者研究拒答表示是否随架构改变，结论是表示共享、读取位置随架构变。

    深度解读完整解读
  15. 评测与基准arXiv 2609.06966

    Mole：面向前沿实验室 AI 智能体的内部威胁检测基准

    提出 MOLE 基准，评测监控器对智能体内部威胁的检出能力

    arXiv
    2609.06966
    发表
    层
    应用层
    场景
    多智能体
    摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。

    MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。

    深度解读完整解读
  20. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料并比较内核与应用层证据的攻击检测效果

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    编程 Agent
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
加载更多