跳到正文
10月10日 · 周六

全部论文

找到 23 篇
筛选7

攻击类型

提示注入9投毒与后门18

攻击技术

针对防御3潜伏触发5

防御类型

模型加固4权限与审批3监控与审计3

影响

越权操作7数据与隐私泄露3输出被操纵8

系统形态

模型与 API12AI Agent11coding agent7

攻击面/入口

用户输入70网页与界面13文档与消息18工具返回21工具与技能描述10代码仓库与依赖3检索语料5记忆写入28Agent 间消息5图像与音视频71训练数据13权重与梯度10分发渠道11推理服务与硬件3

层

提示层3应用层10训练与数据层9

系统组件

MCP 与技能45记忆4护栏与评审10监控器6权限与沙箱16微调与开源权重30视觉8嵌入0多模态13
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 249 篇还没打标签，不在筛选结果里。
攻击面/入口：工具与技能描述攻击面/入口：训练数据系统组件：记忆系统组件：监控器系统组件：视觉系统组件：嵌入系统组件：多模态清除全部

另有 249 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2610.09941

    OrthoPurify 用一步正交投影净化被后门污染的视觉语言模型

    提出 OrthoPurify，用正交投影清除视觉语言模型适配器中的劫持方向

    arXiv
    2610.09941
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    LLaVA-1.5-7B、Qwen3-VL-8B、LLaVA-1.5-13B 等 5 个
    摘要一次投影去掉劫持方向。

    OrthoPurify 是部署前的 LVLM 后门净化方法，用一次正交投影去掉被劫持的权重更新方向。

    深度解读完整解读
  2. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 方法，在边界动作前审计长流程智能体的分阶段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  3. 防御arXiv 2610.02861

    论文提出在 Kubernetes 上保护 AI Agent 的七层纵深防御框架与参考架构

    提出 Kubernetes 运维智能体的七层纵深防御框架与参考架构

    arXiv
    2610.02861
    发表
    层
    应用层
    场景
    AI Agent
    摘要把运维智能体当不可信租户，用七层控制在完全攻破假设下约束行动。

    把 Kubernetes 上的运维智能体当作不可信租户，在假定提示注入已完全控制其工具选择的前提下，用基础设施重建数据面与控制面的边界。要解决的是：智能体读日志、注解、工单或 MCP 工具描述时，这些内容可以变成它带着自身凭据执行的命令。模型对齐和分类器只降低概率。

    深度解读完整解读
  4. 评测与基准arXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    构建 EvoRiskBench 评测工作区 Agent 的运行时安全风险

    arXiv
    2610.03153
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  6. 评测与基准arXiv 2609.35912

    MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    提出 MMSkillRisk 基准，评测多模态技能图像中的隐藏指令诱导 Agent 越权操作

    arXiv
    2609.35912
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个

    摘要论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。

    深度解读完整解读
  9. 风险行为arXiv 2609.30266

    研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

    测试编程智能体被诱导或自主篡改自身执行轨迹的行为

    arXiv
    2609.30266
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    GPT-5.6-Sol、GPT-6-Sol、Opus-5 等 11 个
    摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。

    这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。

    深度解读完整解读
  11. 攻击arXiv 2609.07048

    FreqDoor：面向视觉语言模型的频域后门攻击

    提出 FreqDoor，在频域混合振幅并对生成式 VLM 做训练时视觉后门

    arXiv
    2609.07048
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    BLIP-2 (opt-2.7b)、InstructBLIP (flan-t5-xl)、LLaVA (interleave-qwen)
    摘要FreqDoor 用频域振幅混合给三款 VLM 植入仅视觉的训练时后门。

    FreqDoor 是针对生成式 VLM 的仅视觉、训练时后门：在频域混合触发源振幅、保留干净图像相位，使触发在空间上分散。

    深度解读完整解读
  12. 防御arXiv 2609.06346

    面向后门攻击下持续学习的鲁棒动态扩展：净化与选择性恢复

    提出 BPP、GDBRO 与 RFCBES，在持续学习中净化并选择性恢复后门样本

    arXiv
    2609.06346
    发表
    层
    训练与数据层
    场景
    模型与 API
    摘要用净化、梯度筛选恢复和鲁棒原型路由，把动态扩展持续学习接到任务级后门防御上。

    面向 CLUBA 的鲁棒动态扩展防御：每个增量任务都可能含少量后门样本，模型只能看到当前任务数据，却要同时少遗忘、学得会、还不记住触发。

    深度解读完整解读
  16. 防御arXiv 2609.29647

    AgentKernel：面向 Agent 的可信原生操作系统内核

    提出 AgentKernel，用四支柱强制中介 Agent 的输入、工具与记忆

    arXiv
    2609.29647
    发表
    层
    应用层
    场景
    AI Agent
    摘要AgentKernel 是四支柱智能体 OS 设计，安全论证未附带实测数字。

    AgentKernel 是把安全做成组织原则的智能体 OS 架构，不是带跑分的攻防评测。

    深度解读完整解读
  18. 防御arXiv 2608.21101

    ClawSentry：面向自主 LLM Agent 的渐进式多层安全监控网关

    提出 ClawSentry 多层监控网关，在技能准入和运行时拦截恶意技能与隐藏指令

    arXiv
    2608.21101
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Codex/GPT-5.4、Codex/GPT-5.5、Claude Code/GLM-5.1 等 6 个
    摘要ClawSentry 用包准入、三级运行时门控和反绕过，压低 skill 攻击并保住干净任务。

    ClawSentry 是挂在智能体运行时之外的安全监督网关，用来同时盖住 skill 执行的多个生命周期边界，并把已被拒绝的效果记到会话里。

    深度解读完整解读
  19. 防御arXiv 2607.13336

    TC-UAP：针对图像转视频与微调定制的通用视频保护方法

    提出 TC-UAP，用身份级多帧扰动保护视频免被定制复现身份

    arXiv
    2607.13336
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    LTX-2.3、Wan2.2-5B
    摘要TC-UAP 以可复用的时间一致扰动干扰两类定制共用的 VAE 隐空间。

    作者要解决的是：发布前如何给视频加不可见扰动，使片段既不能被拿去微调视频扩散模型，也不能被抽帧做 image-to-video。

    深度解读完整解读
  20. 攻击arXiv 2606.09499

    研究者提出针对世界模型的机器人学习管线投毒攻击

    提出 VPH 与 VTH，只改视频帧劫持世界模型并投毒下游策略

    arXiv
    2606.09499
    发表
    层
    训练与数据层
    场景
    具身与机器人
    被测模型
    Cosmos-Predict 2.5、Cosmos-Predict 2.5 AC、Dino WM 等 4 个
    摘要只改视频帧经世界模型投毒。

    只改看似安全的视频帧，经世界模型之后才改变下游机器人策略。 问题在于世界模型进入数据生成后，数据集检查看到的仍是安全演示，合成轨迹却可以变危险。

    深度解读完整解读
加载更多