跳到正文
10月9日 · 周五

全部论文

找到 13 篇
筛选7

攻击类型

提示注入4投毒与后门9提取与窃取1

攻击技术

针对防御1潜伏触发3

模型自身风险

Agent 危险操作1

防御类型

模型加固3推理时干预1检测与过滤1权限与审批1监控与审计4

影响

有害内容2越权操作2数据与隐私泄露3输出被操纵5

系统形态

模型与 API9AI Agent13编程 Agent4网页与电脑操作3

攻击面/入口

用户输入31网页与界面1文档与消息3工具返回3工具与技能描述5代码仓库与依赖1图像与音视频30训练数据9权重与梯度7分发渠道10

层

提示层3应用层4训练与数据层6

系统组件

MCP 与技能2护栏与评审1监控器4推理链2权限与沙箱1微调与开源权重23视觉5音频2视频1图像生成1多模态9

被测模型厂商

Qwen（阿里）6其他12
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 485 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent攻击面/入口：网页与界面攻击面/入口：文档与消息攻击面/入口：训练数据系统组件：监控器系统组件：多模态清除全部

另有 485 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2605.17380

    Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

    提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP

    arXiv
    2605.17380
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-4o、Claude Sonnet 4、Llama Guard 3-8B 等 4 个

    摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。

    深度解读完整解读
  2. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  3. 防御arXiv 2607.13336

    TC-UAP：针对图像转视频与微调定制的通用视频保护方法

    提出 TC-UAP，用身份级多帧扰动保护视频免被定制复现身份

    arXiv
    2607.13336
    发表
    层
    提示层
    场景
    模型与 API
    测试
    LTX-2.3、Wan2.2-5B
    摘要TC-UAP 以可复用的时间一致扰动干扰两类定制共用的 VAE 隐空间。

    作者要解决的是：发布前如何给视频加不可见扰动，使片段既不能被拿去微调视频扩散模型，也不能被抽帧做 image-to-video。

    深度解读完整解读
  8. 防御arXiv 2609.06346

    面向后门攻击下持续学习的鲁棒动态扩展：净化与选择性恢复

    提出 BPP、GDBRO 与 RFCBES，在持续学习中净化并选择性恢复后门样本

    arXiv
    2609.06346
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    ViT-B/16、ResNet-18、ResNet-50
    摘要用净化、梯度筛选恢复和鲁棒原型路由，把动态扩展持续学习接到任务级后门防御上。

    面向 CLUBA 的鲁棒动态扩展防御：每个增量任务都可能含少量后门样本，模型只能看到当前任务数据，却要同时少遗忘、学得会、还不记住触发。

    深度解读完整解读
  9. 攻击arXiv 2609.07048

    FreqDoor：面向视觉语言模型的频域后门攻击

    提出 FreqDoor，在频域混合振幅并对生成式 VLM 做训练时视觉后门

    arXiv
    2609.07048
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    BLIP-2 (opt-2.7b)、InstructBLIP (flan-t5-xl)、LLaVA (interleave-qwen)
    摘要FreqDoor 用频域振幅混合给三款 VLM 植入仅视觉的训练时后门。

    FreqDoor 是针对生成式 VLM 的仅视觉、训练时后门：在频域混合触发源振幅、保留干净图像相位，使触发在空间上分散。

    深度解读完整解读
  11. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料并比较内核与应用层证据的攻击检测效果

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    AdaBoost、XGBoost、TabPFN 等 13 个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
  13. 防御arXiv 2609.35659

    Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit，对编码 Agent 做防篡改的意图-推理-动作审计

    arXiv
    2609.35659
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
    摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。

    深度解读完整解读
已经到底了