Skip to content

Translation in progress Some entries still include text in the original language.

Backdoors and poisoning · News

Oct 12 · Monday

Backdoors and poisoning · News

Latest publications and developments
Backdoors and poisoning

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Sep 9Wed
  1. Adversa AI · 27

    OWASP 2026 LLM Top 10 等 15 项 GenAI 安全资源汇总

    OWASP 发布 2026 版 LLM Top 10，首次将 75% 专家投票与来自 6,639 个真实漏洞的 25% 事件数据混合，十项条目中有八项发生变动。本月汇总的 15 项资源还涵盖：从专有 LLM API 窃取推理轨迹、利用授权缺陷向他人持久聊天上下文注入提示、多模态护栏将安全输入误判为不安全（对四个 SOTA 护栏模型攻击成功率达 84%）、通过文档级注意力坍缩检测 RAG 投毒，以及多轮越狱的意图导向系统化梳理。

Aug 26Wed
  1. 腾讯 AI-Infra-Guard 版本发布 · 24

    腾讯 AI-Infra-Guard v4.6.0 发布：新增 API Checker 与 LLM API 投毒检测

    腾讯 AI-Infra-Guard 发布 v4.6.0，新增 API Checker 模块提供 API 安全审计并集成 Web 代理与统一 CLI 命令，同时加入针对 LLM API 投毒攻击的新检测能力。Agent-Scan（aig-agent-redteam）升级到 v5.0.0，重构变异引擎并将 workflow-attack 合并入 mutation-attack，还完成了 DeepSeek Harness 提示注入评估的研究工作。此外修复了 MCP 客户端迁移至 SDK 2.0、streamable_http_client 头参数兼容等问题，文档中组件表更新且 CVE 计数从 1900+ 升至 2000+。

Aug 7Fri
  1. MITRE ATLAS 数据发布 · 43

    MITRE ATLAS 发布 v2026.07 数据，新增 AI Agent 工具投毒等技术条目

    MITRE ATLAS 发布 v2026.07 数据版本，包含 1 个矩阵、16 项战术、101 项技术、77 项子技术、37 项缓解措施和 68 个案例研究。新增技术包括发布被投毒的 AI 制品、操纵 AI 模型中的修改提示词构建逻辑，以及 AI Agent 工具投毒的定义与指令、实现、运行时响应等条目；同时把原“发布被投毒数据集/模型/AI Agent 工具”统一归入“发布被投毒的 AI 制品”并更新编号。缓解措施方面新增 AI 红队、限制 AI 工作负载资源消耗等，并将多项原有措施改名为生成式 AI 模型对齐、预测式 AI 模型加固等。

Mar 31Tue
  2. MITRE ATLAS 数据发布 · 46

    MITRE ATLAS 发布 v5.4.0，新增 AI Agent 攻击技术与案例研究

    MITRE ATLAS 发布 v5.4.0，新增多项针对 AI Agent 的攻击技术，包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御，以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行，以及通过提示注入对 OpenClaw 实施命令与控制。

Mar 30Mon
  1. Adversa AI · 20

    红队测试智能体 AI 时模拟错了攻击者：六类威胁行为者与五大专业领域

    红队测试智能体 AI 时普遍模拟错了攻击者——只测越狱式提示攻击，而真正攻陷智能体系统的是投毒知识库文档、污染 API 响应、在日历邀请中嵌入指令的间接注入者。文章列出六类必须模拟的威胁行为者：机会主义探测者、社工攻击者、耐心内部人员、间接注入者、商业情报窃取者和基础设施攻击者，并指出模拟它们需要提示与社会工程、应用安全、架构与分布式系统、数据与 ML 安全等五个专业领域，多数团队只具备其中一两个。

Jun 13, 2024Thu
  1. SPY Lab · 50

    SPY Lab 复盘 IEEE SaTML 2024 的 LLM CTF 与后门检测竞赛

    SPY Lab 为 IEEE SaTML 2024 组织了两场竞赛，分别是 LLM CTF 和针对已对齐 LLM 的木马检测竞赛，两场竞赛均与参赛者合作产出了论文。LLM CTF 分防御和攻击两个阶段，目标是检验简单提示词与过滤机制能否让 LLM 应用抵御提示注入和提取，并发布了超过 137k 条成功与失败攻击对话及 44 种防御的数据集。经验总结指出，多数防御需要数十到数百轮对话才能被攻破，单轮越狱与安全基准不足以评估模型，过滤机制很可能被绕过，且防御并非独立组件，可能泄露系统设计信息。

Date unverified
  1. Snyk Labs（AI Threat Labs，含原 Invariant Labs） · 36

    Snyk Labs 解读 MAESTRO：面向 Agentic AI 生态的分层威胁建模框架

    Snyk Labs 介绍了由云安全联盟（Cloud Security Alliance）联合 AI 安全研究者开发的 MAESTRO 框架，用于对多智能体 AI 生态做分层威胁建模。该框架把系统拆成基础模型、数据操作、Agent 框架、部署基础设施、评估与可观测性、安全与合规、Agent 生态共七层，逐层列出关键组件与特有漏洞，例如向量数据库投毒、工作流劫持、容器逃逸、日志注入和 Agent 身份冒充。文章强调跨层依赖会形成纵向传播与横向扩散的攻击路径，并以多 Agent 金融交易系统为例，演示从对抗样本到 Agent 冒充的逐层执行劫持攻击及对应缓解措施。文中还给出与 NIST AI RMF 四个功能、OWASP AIVSS/ASI 威胁分类的对接方式，以及分四阶段、约 12 个月的组织落地路线图。

You have reached the end