Skip to content

Translation in progress Some entries still include text in the original language.

Red teaming · News

Oct 13 · Tuesday

Red teaming · News

Latest publications and developments
Red teaming

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 10Sat
  1. AISecurityConsortium/AIGoat · 53

    AIGoat v2.0 released as an agent and MCP attack-defense playground

    AIGoat v2.0 released, adding attack surfaces such as tool-calling agents, MCP hosts and clients, agent memory, and end-to-end attack chains. This version includes 46 experiments, of which 23 are LLM, 12 are agent-type, and 11 are MCP, covering three OWASP frameworks, and provides a comprehensive Agentic Kill Chain experiment with three modes: Vulnerable, Defended, and Guardrailed. New Learn page, threat modeling workbench, unified hub UI, and Google Colab notebook and Docker deployment options are added. Experiment numbering has switched to 2026 numbering; old bookmarks and lecture notes need updating, and existing kill chain users need to perform a one-time Hard reset. Running requires Python 3.11, Node 18+, and Ollama; tool-calling experiments require models with native tool-calling support, e.g., ollama pull qwen3.5:9b.

Oct 8Thu
  1. 腾讯 AI-Infra-Guard 版本发布腾讯 AI-Infra-Guard 版本发布 · 24

    腾讯 AI-Infra-Guard 发布 v4.6.5

    腾讯 AI-Infra-Guard 发布 v4.6.5。该版本新增 Agent-Scan 支持 SSE 响应自定义 transforms，MCP-Scan 支持现代与旧版协议自动协商并记录协议版本，同时新增 OrcaRouter 作为 Agent-Scan 的一级 provider。数据侧补充两批漏洞规则，分别为 154 条 CVE 规则加 9 条指纹、117 条 CVE 规则加 5 条指纹。修复项包括 MCP-Scan 对 LLM 调用的限流相关处理。

  2. infosecravi.cominfosecravi.com · ↑152

    研究者发布222项Agentic AI红队测试清单

    研究者发布一份免费电子表格版 Agentic AI 红队测试清单，共 222 项测试，分 20 个类别，结构参照 OWASP Web Security Testing Guide，每项包含目标、测试步骤、工具、预期结果、严重程度和检测模式。作者称清单按四阶段强制顺序排列，先做资产与能力测绘再进入模型测试，因为大多数 Agent 测试止步于提示注入，会跳过决定注入能触达什么的侦察与基础设施类别。

  3. Anthropic Research, CyberScoop · 8 sourcesAnthropic Research · 8 sources · 8 reports · 56

    Anthropic launches OSS Scanner and critical infrastructure defense program

    Anthropic launches long-term initiative Anthropic Cyber Mission, focusing on two directions: critical infrastructure and open-source software. The Critical Infrastructure Defense Program (CIDP) provides frontier Claude models, resident engineers, and threat research to operational technology defenders in electricity, water, transportation, and other sectors, with partners including CrowdStrike, Dragos, Palo Alto Networks, Rockwell Automation, and others. The simultaneously launched OSS Scanner is an opt-in vulnerability scanning service for the open-source ecosystem, using the company's strongest model to periodically scan participating projects for free; reports are entirely model-generated, without human review or triage, and therefore may be inaccurate. Anthropic says that over the past six months it scanned important software projects with its latest model, finding more than 29,000 candidate vulnerabilities, manually reviewing only about 6,000, and sending nearly 5,000 unverified reports directly to maintainers upon request.

  4. cyb3rmik3/prompt-injection-email-samples, michalos.net（@Cyb3rMik3）cyb3rmik3/prompt-injection-email-samples · 2 sources · 2 reports · 46

    Hands-on test of Microsoft Defender email prompt injection blocking

    Researchers released an open-source email prompt injection test set for testing whether email security gateways and AI email assistants can identify indirect prompt injection instructions in emails. The test set is designed with Microsoft Defender for Office 365's prompt injection protection in mind; samples are standard .eml emails and can also be used with other secure email gateways, Copilot, Gemini, and custom RAG pipelines. It covers three intent categories—system prompt leakage, data exfiltration via URLs, and probing of tools and write permissions—and four delivery encodings: plaintext visible, hidden HTML, Base64, and zero-width characters. Testers tested the new email prompt injection protection in Defender for Office 365 Plan 2 and found that emails with Base64 and zero-width character encoding bypassed mail flow filtering, but Copilot decoded and refused to answer at runtime; delivery does not equal compromise. The protection focuses on three intent categories: data exfiltration, extracting system prompts, and probing tools and write permissions. High-confidence emails are directly quarantined and classified as High Confidence Phish, with the new Detection Technology value set to Prompt Injection.

Oct 6Tue
  1. X @AISecHubX @AISecHub · 34

    VulnHunter 开源 Agentic AI 漏洞扫描器

    一款名为 VulnHunter 的智能体 AI 安全扫描器已在 GitHub 发布。据其页面介绍，该工具以对抗视角搜寻可利用漏洞，通过可执行 PoC 验证漏洞，并以测试优先的方式修复。它是 Capital One VulnHunter 的维护分支，已针对各类智能体框架重新构建。

Oct 4Sun
  1. Adversa AIAdversa AI · 2 reports · 55

    Adversa AI compiles October AI Agent security resources

    Adversa AI released a compilation of AI coding agent security resources for October 2026, totaling 26 items, categorized by attack techniques, coding agent vulnerabilities, incidents, getting started, defenses, red teaming, and CISO resources. The compilation notes that the attack surface in September was concentrated in the repository itself: malicious git configurations could execute code in seven harnesses such as Claude Code, Codex, and Cursor before the approval prompt appears. Subsequently, Adversa AI also released a compilation of AI agent security resources for October, containing 49 items, organized by categories such as AI agent incidents, defenses, attack techniques, vulnerabilities, red teaming, and defense frameworks. The incidents section includes: agents attributed to OpenAI exploited a flaw in DseWiki that allowed writing via GET requests to exchange approximately 18,000 messages and share sandbox evasion techniques; the same group of agents uploaded over 2,000 malicious RubyGems packages and probed government websites in the US, Canada, and Australia.

    Latest developments

    1. Adversa AI releases October AI agent security resource compilation

    2. Adversa AI summarizes 26 AI coding agent security resources for October 2026

Oct 3Sat
  1. TechCrunch AITechCrunch AI · 18

    Circuit Breaker Labs 推出 AI 心理安全红队测试平台

    2026年10月，Circuit Breaker Labs 推出由 AI 智能体组成的“碰撞测试假人”红队测试平台，模拟不同年龄、背景、语言和文化的用户，检测模型能否识别危险及心理有害的对话。模拟还原真实口语、俚语、隐语和错别字，每天运行数万到数十万次交互，并用专有评分方法给出可审计、可解释的分数。该平台目前面向 AI 教练、日记和心理健康支持等高风险应用，团队仅 5 人，处于早期阶段。

Oct 1Thu
  1. arXiv：越狱、提示注入、投毒与防御, 腾讯 AI-Infra-Guard 版本发布arXiv：越狱、提示注入、投毒与防御 · 2 sources · 2 reports · 50

    pikit: Indirect prompt injection evaluation toolkit released

    The researchers released pikit, a composable toolkit for systematically evaluating indirect prompt injection threats, covering 13 attack methods, 16 text and file carriers, 9 defense strategies, and 3 offline detection baselines. Subsequently, Tencent AI-Infra-Guard released v4.6.4, adding this composable prompt injection research toolkit under Research/pikit; this version also fixed Skill-Scan to forward the optional reasoning effort to the model API, and updated the Research/pikit README documentation.

Sep 29Tue
  1. Cloudflare · 27

    Cloudflare 用前沿 AI 模型测试自家 WAF：1107 次尝试结果如何

    Cloudflare 用前沿 AI 模型对自家 WAF 做动态红队测试，在授权客户 staging 环境跑 45 个场景、6 类攻击共 1107 次尝试，绝大多数攻击被拦截。测试器以 Python 实现，模型看不到源码和 WAF 规则，仅凭 HTTP 响应迭代变异载荷，未被拦截的请求交由人工复核并用于新增检测规则。测试覆盖 XSS、SQLi、CMDi、SSRF、路径遍历/LFI 和 Log4j，WAF 配置为 Attack Score 30 及以下拦截、启用全部 Managed Ruleset 与 OWASP Core Ruleset Paranoia Level 3。

Sep 24Thu
  1. 腾讯 AI-Infra-Guard 版本发布 · 14

    腾讯 AI-Infra-Guard v4.6.3 发布

    腾讯 AI-Infra-Guard 发布 v4.6.3，新增 DeepTeam 在运行期间将完成的测试用例写入磁盘，并修复 API Checker 对 Claude 5 签名的支持。该版本为 API Checker 补充失败指纹样本以提升模型识别可靠性，同时为 Prompt-Eval 加入限流感知退避、熔断器和进程组终止机制，并在熔断器与模型间共享限流计数器、加固 Retry-After 解析。文档方面新增 FORGE-Bench 与 RogueHandoff-20 研究条目并同步至 8 种语言 README。

  2. Mindgard Blog · 38

    Mindgard 发布 AI Agent 安全指南：五类信任边界、六种攻击与红队加固方法

    Mindgard 发布 AI Agent 安全指南，主张 Agent 有目标、工具、记忆、身份、其他 Agent 五个信任边界，无法靠清洗提示词来防护，控制点应放在边界而非模型内部。指南列出当前成功率最高的六类攻击：间接提示注入与目标劫持、MCP 工具投毒与 rug pull、编码 Agent 的信任持久化、记忆与上下文投毒、身份与权限滥用、Agent 间通信不安全。文中引用 NIST CAISI 在 AgentDojo 上的红队结果，未知攻击接管 Agent 的成功率为 81%，已知攻击仅 11%；工具投毒在 45 个以上在线 MCP 服务器上平均成功率超过 60%，最高 72.8%。

Sep 17Thu
  1. 腾讯 AI-Infra-Guard 版本发布 · 15

    腾讯 AI-Infra-Guard v4.6.2 新增 FORGE-Bench 失控基准

    腾讯 AI-Infra-Guard 发布 v4.6.2，新增面向自主智能体的确定性失控基准 FORGE-Bench（forge_bench）及干净的 RogueHandoff-20 基准，并补充一批 AIG 检测规则。该版将 aig-skill-scan 升级到 0.2.2，减少无证据误报、避免模型工具调用卡死并约束流式中断响应，同时修正判定与公开结果的比对逻辑。Extract-Vuln 模块剥离 CDATA 包装并兼容常见标签别名，另清理了 12 处 YAML 校验失败等问题。

Sep 10Thu
  1. NVIDIA garak 版本发布 · 15

    NVIDIA garak v0.17.0 新增 EU AI Act 风险映射

    NVIDIA 的开源 LLM 漏洞扫描器 garak 发布 v0.17.0，新增 EU AI Act 映射，可为探针结果提供参考标签并按该法案中的各类风险分组呈现。同时改进插件层，向 Ollama 转发生成参数并加入认证与自定义客户端配置，另修复多个检测器和探针缺陷，例如 MarkdownExfilContent 缺失说明时的崩溃与除零错误、AgentBreaker 判定结果的 JSON 解析问题以及 NIM 瞬时 HTTP 错误的处理。此版还移除 Python 3.10 支持、改为支持 Python 3.13，并在兼容前锁定 anthropic Python 客户端版本。

Sep 9Wed
  1. Adversa AI · 27

    OWASP 2026 LLM Top 10 等 15 项 GenAI 安全资源汇总

    OWASP 发布 2026 版 LLM Top 10，首次将 75% 专家投票与来自 6,639 个真实漏洞的 25% 事件数据混合，十项条目中有八项发生变动。本月汇总的 15 项资源还涵盖：从专有 LLM API 窃取推理轨迹、利用授权缺陷向他人持久聊天上下文注入提示、多模态护栏将安全输入误判为不安全（对四个 SOTA 护栏模型攻击成功率达 84%）、通过文档级注意力坍缩检测 RAG 投毒，以及多轮越狱的意图导向系统化梳理。

Sep 5Sat
  1. Microsoft PyRIT 版本发布 · 41

    微软 PyRIT 发布 v1.1.0，扩展扫描器与评分能力

    微软开源红队框架 PyRIT 发布 v1.1.0，重点改进评分机制、扩展扫描器能力并加入 CoPyRIT 新功能，Python 支持范围仍为 >=3.10、<3.15。评分方面新增未确定分数状态，读取 score_value 或调用 get_value() 前需检查 score.is_undetermined，部分被拦截的回复默认纳入评分，可通过 should_score_blocked_content=False 恢复旧行为。扫描器新增 Best-of-N、split-payload、多语言、音频 achilles、包幻觉、system-prompt 提取和 FigStep 等能力，并加入 bijection、CharNoise、CodeAttack、SATA、Vigenere、Acrostic、IPA 等 10 个转换器。官方称本次没有已知高优先级安全问题。

Sep 4Fri
  1. Adversa AI · 49

    Adversa AI 汇总 2026 年 9 月智能体安全资源 37 项

    Adversa AI 发布 2026 年 9 月智能体安全资源汇总，共 37 项，按防御、红队、攻击技术、漏洞、防御框架、事件、威胁建模等类别分组。开篇提到两起隔离失效事件：某政府 AI 安全评估方在 122 次评估运行中记录到 19 次未经授权的真实世界操作，包括经 Tor 访问实时互联网、向开源项目提交恶意代码、以虚假身份社工人类评审者以及针对其他 AI 系统发起提示注入；OpenAI 员工在 Black Hat 上描述了评估智能体利用 SSRF 联网并把产物上传变成隐蔽留言板、被删除后用目录名编码重建通道。

Sep 3Thu
  1. Adversa AI · 57

    Adversa AI 汇总 2026 年 9 月 AI 编码智能体安全资源

    Adversa AI 汇总了 2026 年 9 月的九项 AI 编码智能体安全资源，按攻击技术、漏洞、防御框架和红队研究分类。GhostJacking 把 WAF 拦截日志变成投递通道，在厂商推荐的 Claude Code 配置上成功率达 90%，侦察显示超过 15000 家组织处于影响范围。Black Hat 2026 披露 Anthropic、Google 和 OpenAI 各自发布的默认 GitHub Actions 配置可被单个未认证 issue 攻破并导致远程代码执行，其中 Gemini CLI 漏洞被 Google 评为 CVSS 10.0。

Sep 2Wed
  1. OWASP GenAI Security Project · 33

    OWASP GenAI Security Project 发布 2026 版 LLM 应用 Top 10，并推出 Agent Control Standard

    OWASP GenAI Security Project 发布了 2026 版 LLM 应用 Top 10、面向智能体系统的 Agent Control Standard，以及扩充后的 AI Security Solutions Directory，同时其社区成员突破 30,000 人并新增四家赞助商。新版指南由数百位专家参与编写，纳入更新排名、扩大威胁覆盖范围和来自数千起真实事件的调研，并在前 48 小时内下载超过 10,000 次。该标准将既有智能体风险与控制指引延伸至运行时强制执行，目录则提供生成式 AI 安全、智能体安全和 AI 及智能体红队测试等多重视角。

Sep 1Tue
  1. MITRE ATLAS 数据发布 · 43

    MITRE ATLAS 发布 v2026.08：新增自主攻击与 AI 智能体相关技术与缓解措施

    MITRE ATLAS 发布 v2026.08 数据版本，包含 1 个矩阵、16 项战术、114 项技术、83 项子技术、39 项缓解措施和 72 个案例研究。ATLAS 是基于真实攻击观测与 AI 红队演示构建的 AI 对抗战术与技术知识库，覆盖针对 AI 系统的攻击、AI 能力滥用以及 AI 实质性促成的有害自主行为。