一篇综述对 2022 至 2026 年间发表的 66 项研究做结构化梳理，提出跨维度表示 T={S,B,P,A}，把受影响的系统面、交互或信任边界、被违反的安全属性与实证考察的架构关联起来。作者分析了 22 项有制品支撑的红队研究以及 11 个代表性安全基准，发现证据集中在提示词与推理、记忆和工具调用类攻击，且多为单智能体场景；持久化、人机交互、复杂多智能体、系统性和长时程威胁的覆盖较少。作者强调这些结论描述的是所选语料而非全部实证研究，并指出指标异构、自适应防御评估有限、架构分布不均和执行状态捕获不完整制约了可比性与可复现性，据此提出 13 个开放研究问题。
腾讯 AI-Infra-Guard 发布 v4.6.4，在 Research/pikit 下新增可组合提示注入研究工具包 pikit。该版本同时修复 Skill-Scan，将可选的 reasoning effort 转发至模型 API，并更新了 Research/pikit 的 README 文档。
SyzHarness 结合 LLM 推理与覆盖率引导模糊测试，从补丁出发复现 Linux 内核漏洞：LLM 智能体借助代码导航工具合成参数化 fuzzing harness，固定前置设置逻辑，只把不确定的 bug 关键输入参数交给 Syzkaller 变异，再通过分层可达性反馈迭代优化。在 100 个 KernelCTF 案例上复现成功率达 78%，在 SyzDirect 基准上达 73%，明显优于此前的定向灰盒模糊测试；对 2026 年 3 月后修复的 50 个 syzbot 已知可触发 bug，仅凭修复提交即复现 40/50（80%）。
PentestChain 是一个十阶段自动化渗透测试框架，通过成本感知的 AI 级联（本地 Ollama qwen2.5-7b 优先，其次免费层 OpenRouter 与 Cerebras，并带规则回退）在零付费 API 成本下实现端到端运行，并以 MCP 服务器暴露 11 个工具。该框架基于 2025 年 MCP 事件记录（mcp-remote 的 CVE-2025-6514 远程代码执行漏洞、postmark-mcp 供应链后门及工具投毒类攻击）建立四位置威胁模型并提出四项缓解措施。
AI 护栏只是运行时防御，红队测试才能验证其能否抵御自适应攻击者。绕过研究对生产护栏的攻击成功率稳定在 65-84%，Carnegie Mellon 的 GCG 攻击对 GPT-3.5 和 GPT-4 的绕过率达 84%，"policy puppetry"技术可同时绕过所有主流基础模型。智能体 AI 引入多步工具滥用、间接提示注入、目标劫持和跨智能体利用四类护栏架构上无法捕捉的攻击，EU AI Act 和 NIST AI RMF 已要求或强烈建议持续对抗测试。
红队测试智能体 AI 时普遍模拟错了攻击者——只测越狱式提示攻击，而真正攻陷智能体系统的是投毒知识库文档、污染 API 响应、在日历邀请中嵌入指令的间接注入者。文章列出六类必须模拟的威胁行为者：机会主义探测者、社工攻击者、耐心内部人员、间接注入者、商业情报窃取者和基础设施攻击者，并指出模拟它们需要提示与社会工程、应用安全、架构与分布式系统、数据与 ML 安全等五个专业领域，多数团队只具备其中一两个。
Adversa AI 发布 2026 年 4 月智能体 AI 安全资源盘点，共收录 33 项资源，涵盖研究、漏洞、防御、威胁建模等类别。研究显示，30 个 AI 智能体框架中 93% 依赖无范围限制的 API key，0% 具备按智能体身份标识，97% 缺少用户同意机制；针对 GPT-5 mini 和 Claude Sonnet 4.5 的记忆投毒攻击成功率超过 90%。OpenClaw 被曝 CVSS 9.9 权限提升漏洞（CVE-2026-32922），超 13.5 万个面向互联网的实例受影响；Chrome 的 Gemini Live 面板存在 CVE-2026-0628 高危漏洞，可被恶意扩展劫持并访问摄像头和麦克风。
2026 年 4 月的 MCP 安全研究披露了工具调用链资源放大、远程部署认证混乱和客户端配置脆弱等风险。其中恶意 MCP 服务器可诱导 LLM 智能体拉长工具调用链，将单次查询成本最高推高 658 倍，且检测率不足 3%；TIP 框架用树式自适应搜索生成隐蔽注入载荷，攻击成功率达 95%，并在 LM Studio 和 VS Code 上用 GPT-4o 演示。对七款主流 MCP 客户端的首次实证对比显示，Cursor 对全部四种工具投毒攻击均存在漏洞。
Adversa AI 汇总了 2026 年 4 月的 19 项 GenAI 安全资源，涵盖 LiteLLM 供应链攻击、128K+ token 上下文窗口投毒，以及国家背景威胁行为者对 AI 的实际利用。研究显示，RAG 投毒攻击成功率达 95%，加入嵌入向量异常检测后降至 20%；PIDP-Attack 结合提示注入与数据库投毒，在三个基准和八个模型上达到 98.125% 的攻击成功率。另有研究证明当前对齐方法仅形成局部安全区域，在 26 个受测 LLM 中的 22 个上实现 100% 攻击成功率。
Adversa AI 发布 OWASP Agentic Security Initiative Top 10 2026 版中 ASI01（智能体目标劫持）的实用安全指南，将其定义为攻击者操纵 AI 智能体目标、使其秘密执行攻击者指令而非用户意图，即系统控制权的完全丧失。指南按被跨越的信任边界把攻击向量分为五类：用户输入边界、检索内容边界（邮件、文档、网页、RAG，含文本图像音频视频）、工具/API 边界（含恶意 MCP 服务器）、智能体间通信边界和配置边界，并指出多数关键攻击是经由被投毒外部内容的零点击方式触发。
Adversa AI 对比了 AI 红队测试的三种模式——外部手动测试、内部自建能力与持续平台测试，并指出多数成熟项目最终会采用混合模式。AI 系统因提示词更新、模型替换、编排变化与新集成而持续变动，单次时点测试会在被测系统与实际运行系统之间留下越来越大的缺口。持续平台测试可重复覆盖提示注入、越狱、策略规避、数据泄露、不安全工具使用与智能体行为，但自动化不能替代专家判断，缺少内部处置流程只会让结果堆积。
Adversa AI 研究人员用新攻击技术 IICL（Involuntary In-Context Learning）绕过 GPT-5.4 安全护栏，攻击成功率达 60%，利用的是近期模型更新引入的漏洞。Anthropic 的 Mythos 模型在数小时内自主完成 32 步企业网络攻击，分析指出 AI 驱动的攻击利用并非 Mythos 独有。本期共收录 22 项资源，另涵盖 BadStyle 风格触发后门、可污染 99.85% 查询结果的向量数据库 Black-Hole 攻击，以及 TwinGate、ER-CAT 等防御框架。
Adversa AI 发布 2026 年 6 月 Agentic AI 安全资源汇总，共收录 28 项资源，按攻击、防御、研究、框架、漏洞、利用、威胁建模和文章分类。攻击类 8 项，包括 Adversa AI 自己披露的 SymJack 符号链接劫持 RCE（六款 AI 编码智能体全部受影响）和 TrustFall 一键 RCE（波及 Claude Code、Cursor、Gemini CLI 和 GitHub Copilot），以及 MemMorph 记忆投毒工具劫持、DEF CON 上利用间接提示注入与记忆投毒构建 Microsoft Copilot 持久后门的 Copirate 365（CVE-2026-24299）。
2026 年 7 月 Agentic AI 安全焦点从理论漏洞转向结构性系统防御，核心主题是"Agent Zero Trust"，Google DeepMind 与 Anthropic 的高关注度框架主张将数字员工视为潜在内部威胁。当月共收录 27 项资源，涵盖 8 项攻击技术、4 项 Agentic AI 红队测试和 4 项防御框架。攻击侧包括针对开源编码智能体的 GuardFall shell 注入漏洞、Microsoft 披露的 AutoJack 攻击链，以及针对 MetaGPT、CrewAI 等系统的 IMA 越狱攻击（成功率 89%）。
Adversa AI 汇总了 2026 年 7 月的 MCP 安全资源共 10 项，涵盖漏洞、攻击技术、红队、防御、威胁建模与真实事件等类别，并逐条对应其 Top 25 MCP 漏洞基线。漏洞方面，MCPPrivacyDetector 框架用跨语言静态与污点分析检测 MCP 工具处理程序中的隐私泄露，在超过 1 万个真实服务器上发现凭据、API key 和 PII 泄露率超过 10%；Amazon Q VS Code 扩展存在 CVSS 8.5 的自动执行漏洞，可从工作区目录自动加载 MCP 配置并在打开恶意仓库时执行代码、窃取 AWS 凭据，该缺陷已于 2026 年 6 月修补。
Adversa AI 汇总了 2026 年 7 月共 19 项 AI 编码 Agent 安全资源，涵盖 6 项攻击技术、4 项编码 Agent 漏洞、3 项防御方案及威胁建模、CISO 资源、培训材料等类别。
Adversa AI 发布 2026 年 8 月智能体 AI 安全资源清单，共 20 项，按攻击技术、智能体漏洞、智能体事件、CISO 资源、红队、入门和文章分类。清单指出 2026 年 7 月四支独立团队在约十天内针对生产环境智能体发布可用漏洞利用，入口均为智能体读取的内容而非攻击者运行的代码。具体案例包括网页隐藏一像素文本使 AWS Kiro 重写自身 mcp.json 并自动启动攻击者 MCP 服务器，Cursor IDE 中被发现两个 CVSS 9.8 的零点击 RCE，以及一个 Cursor deeplink 缺陷把点击“审查此 PR”变成非沙箱代码执行，在 build 3.9.8 中仍可复现。
Adversa AI 汇总了 2026 年 8 月的 19 份 AI 编码 Agent 安全资源，按攻击技术、防御、漏洞、事故等类别分组。攻击侧包括 MOSAIC 用 CLI 命令组合达到 96.59% 攻击成功率、HalluSquatting 抢注模型幻觉出的技能或包名、以及通过 README 和 requirements 文件发起的安装期供应链攻击。
OWASP GenAI Security Project 发文介绍 PENSAR、SPLX.AI Agentic Radar 和 AI&ME 三款工具已将 OWASP Agentic AI 威胁与缓解措施分类及 LLM Top 10 集成进各自产品，覆盖开发、静态分析与运行时红队测试环节。其中 PENSAR 可在开发生命周期内生成符合该分类的类 SAST 风格问题报告并附修复建议，帮助暴露未经校验的工具调用、内存管理不当等问题；SPLX.AI Agentic Radar 则组合静态代码分析、运行时红队测试与工作流可视化来提供威胁覆盖。
LLM 红队测试指向大语言模型等生成式 AI 提供输入，检验其输出是否偏离可接受标准，这一做法自 2023 年起迅速演变为行业惯例与可信 AI 的基石。NVIDIA 技术博客由此提出，业界需要进一步标准化并明确定义 LLM 红队测试。
AI 智能体自主性增强，AI 应用正带来传统安全模型无法完全覆盖的新攻击面。应对原则是 Assume prompt injection，即假设提示注入已经发生，但把它转化为有效防御并不简单。AI Kill Chain 框架被用来建模这类攻击，Cyber Kill Chain 则定义了攻击者如何运作。
NVIDIA AI 红队（AIRT）基于多年来对多种 AI 系统在生产部署前的安全评估，总结出若干 LLM 应用中的常见漏洞与安全隐患，指出若在开发阶段加以处理可显著提升基于 LLM 应用的安全性。
NVIDIA AI Red Team 提出用语法约束解码改进小语言模型的 Bash 命令生成，并将命令生成列为研究目标。Bash 是暴露给 AI 智能体的最灵活接口之一，模型输出的命令是可执行动作，能够读取文件、修改工作区、打开网络连接并串联工具。
METR 作者复盘其参与组织的 AI 生物随机对照试验（RCT），总结出五条面向证据型 AI 政策的经验。研究招募 153 名新手，随机分为 LLM 组和纯互联网组，在 8 周内完成分子生物学湿实验任务，如从基因序列重建病毒；结果显示 AI 在单个步骤上有帮助迹象，但在三项核心任务的端到端成功率上没有显著效果，这一结果出乎多数专家预料。
推荐理由作者以亲历者身份复盘 AI 生物 RCT 的组织经验，为理解基准与真实能力差距提供了可迁移的方法视角。
NVIDIA 研究人员开发了 ENPIRE 软件，让实体机器人在编码智能体驱动下自主实验并迭代策略，实现无需人工评判的成功率评分与场景自动重置。该系统由环境、策略改进、Rollout 和进化四个模块组成，工作站搭载 NVIDIA RTX 5090，配合两台 YAM 机械臂运行。在 PushT、整理插针盒和使用切割器剪断扎带等任务中取得最高 99% 成功率，并能尝试将 GPU 插入主板。
SPY Lab 撰文指出，传统对抗样本研究的两条基本原则（扰动不可感知、依赖梯度优化）在针对聊天机器人的攻击中基本不成立。越狱攻击由用户自己发起，提示注入中的第三方文本用户通常看不到，因此攻击文本无需保持不可感知；当前最强的越狱手段是手工试错的社会工程式指令，而非优化算法。作者在近期论文中测试了 ARCA 和 GDBA 两种优化攻击，针对 GPT-2、LLaMa 和经过拒答微调的 Vicuna，结果显示优化攻击对无防御模型部分有效，但对 Vicuna 多数失败，且即使存在可触发目标输出的提示词也找不到。
SPY Lab 为 IEEE SaTML 2024 组织了两场竞赛，分别是 LLM CTF 和针对已对齐 LLM 的木马检测竞赛，两场竞赛均与参赛者合作产出了论文。LLM CTF 分防御和攻击两个阶段，目标是检验简单提示词与过滤机制能否让 LLM 应用抵御提示注入和提取，并发布了超过 137k 条成功与失败攻击对话及 44 种防御的数据集。经验总结指出，多数防御需要数十到数百轮对话才能被攻破，单轮越狱与安全基准不足以评估模型，过滤机制很可能被绕过，且防御并非独立组件，可能泄露系统设计信息。
推荐理由组织者复盘两场竞赛的攻防结果，其中多轮攻击与后门搜索的发现可用于改进模型安全评测设计。
Nicholas Carlini 基于其 ICML 2018 最佳论文《Obfuscated Gradients Give a False Sense of Security》的演讲，整理出评估对抗样本防御的建议。他指出 ICLR 2018 接收的防御论文中超过一半结论有误、评估偏弱，核心要求是必须针对具体防御设计自适应攻击，而非只测已有攻击。具体建议包括不要只用 FGS 攻击、使用 1000 次以上迭代的迭代攻击、从随机起点搜索、做迁移性分析、使用 ZOO、SPSA、NES 和仅决策攻击等无梯度方法，以及随机搜索。
推荐理由作者基于 ICML 2018 最佳论文的实测经验，给出评估对抗样本防御的具体检查清单，可迁移到其他鲁棒性评测。
Nicholas Carlini 整理了一份针对机器学习系统逃逸攻击（即对抗样本）研究的推荐阅读清单，分为三个版本：仅基础版收录五篇简要综述该领域的论文，快速入门版列出约十篇最值得读的重要论文，完整背景版则汇总所有从事神经网络评估的人应读完的论文。清单按主题分类并标注了各主题之间的先后阅读顺序，另提供 RSS Feed。
有人基于 Model Context Protocol（MCP）开发了一个名为 mcp-com-server 的原型服务器，通过动态发现方式实例化并托管任意 COM 对象，从而驱动 Windows 与 Office 自动化。该服务器提供类似 COM 的工具集——CreateObject、Get/Set Property、InvokeMethod、QueryInterface 以及列出当前所有活动服务器的接口，连接 Claude 后可创建、打开、编辑并保存 Excel 文件，再调用 Outlook 发送邮件，甚至能唤起 Internet Explorer。
安全研究者 Johann Rehberger 宣布启动 2025 年 AI 漏洞月（Month of AI Bugs），8 月将在其博客发布 20 余篇针对主流智能体系统的漏洞分析，重点聚焦 AI 编码 Agent。作者称过去一年审查的每个 AI 编码 Agent 都存在漏洞，均已向对应厂商负责任披露，部分厂商数天内修复，也有厂商数月未回应、部分问题至今未缓解，还有厂商完全停止回复。
NavIsaacLab 通过并行机器人学习生成逼真人群，为人机共存环境中的“人类感知”导航提供高保真基准。该框架基于 NVIDIA Isaac Lab 实现 GPU 并行仿真，将行人建模为由 SMPL 驱动的关节级物理智能体，并用轨迹扩散模型加 AMP 替代手写规则。它针对现有模拟器低物理保真度、简化行人建模和缺乏并行化三大缺陷设计，配套标准化基准从亲密度和社会规范维度评估策略。
Google DeepMind 于 7 月 28 日和 30 日先后发布 Gemini Robotics 2 与 Gemini Robotics ER 2，前者主打全身智能，后者新增视频理解、任务编排和多机协作，均为厂商公告且无公开对抗评估。同期 OpenAI 发布了涉及自身模型的第三方网络能力评估说明。两篇待关注预印本分别提出自动提示注入红队的智能体系统与恶意微调的梯度免疫防护。
NVIDIA garak 发布 v0.13.0，新增 Doctor 攻击及 Leet 编码插件、Simple Assistive Task Linkage Probe、Ascii Smuggling 探针，并加入广义版 Markdown 泄露探针。该版本将失败重命名为攻击成功，引入对话支持和可配置系统提示词，同时扩充 Python 漏洞利用载荷并改进恶意软件检测器正则匹配。
NVIDIA garak 发布 v0.13.1，新增 Atbash 编码、tokenizer ANSI 逃逸码、Dropbox 重复 token 攻击、DRA（伪装与重构攻击）、Dart/perl/raku 包幻觉及 token 走私等多个探针模块。该版本还加入 detector 输出值为 None 的支持、将 config 中 model_* 改为 target_*、CLI 增加 --list_* 过滤选项，并修正未来类探针措辞、重命名扩展 Web 注入探针以及更正文档中的 ASR 数值。
2026 年 9 月值得关注的开源安全工具包括：Sift 可在本地磁盘、Windows 文件共享、Active Directory、SharePoint、OneDrive、Teams、Slack、Jira 和 Confluence 中扫描密码与 API key；ToolHive 以 Apache 2.0 许可在容器内运行 MCP server；腾讯朱雀实验室的 AI-Infra-Guard 可识别 Ollama、vLLM、ComfyUI 等服务，比对 1,600 多个已知 CVE，并检查 MCP server 与 agent 技能、对目标模型做越狱评估。
Trail of Bits 发布 gosentry，一个面向模糊测试的 Go 工具链分支，保留标准 testing.F 工作流，底层默认改用 LibAFL 引擎。它支持原生 fuzz struct 等复合类型、通过 Nautilus 做基于语法的模糊测试，并新增整数溢出、数据竞争、goroutine 泄漏和执行超时等缺陷类别的检测，还能用一条命令生成覆盖率报告。已有 Go fuzz harness 无需重写，只需指向 gosentry 的二进制并加上 --catch-races、--catch-leaks 等新参数。
Trail of Bits 在与 OpenAI 合作的 Patch the Planet 项目中，借助 Codex 的 /goal 目标式提示功能审计 Rust、curl、zlib 等广泛使用的开源代码库。/goal 从单一变体分析流水线找出其提交的全部 Rust 漏洞，包括已在 Rust 1.98 修补的一个健全性缺陷和一个错误编译问题，并将各项目历史 CVE 转为需在易受影响版本触发、在修补版本静默的 Semgrep 规则，命中 11 处跨项目变体告警，还在一次探测中发现 Keycloak SAML 组件两个潜在高危权限提升漏洞。
Microsoft 开源红队工具 PyRIT 发布 v0.10.0，对包内大部分代码做了重写，把 Orchestrator 统一改名为 Attack，并新增 pyrit_scan 命令行与 pyrit_shell 交互式 shell，为自动化红队提供基础。
Microsoft PyRIT 发布 v0.11.0，破坏性变更将攻击与执行器从 SeedPromptGroup 改为基于 Message 运行，并重命名场景配置 API。该版本新增 WebSocketCopilotTarget，可通过 WebSocket 向 Microsoft Copilot 发送提示词执行，同时加入图像下载支持的 ImageTarget 重构及 OpenAIImageTarget 的图像编辑/混合功能。