Adversa AI 获 2026 人工智能卓越奖安全与对齐类别奖
Adversa AI 因持续对抗测试 AI 系统的平台获得 2026 人工智能卓越奖安全与对齐类别奖。该平台在部署前识别提示注入、模型操纵、智能体不安全行为与意外操作,评估映射 OWASP AIVSS、NIST 与 CSA 标准。该公司主导 CoSAI Agentic AI Security 工作组,并创建了开源 AI 智能体安全框架 SecureClaw。
Adversa AI 因持续对抗测试 AI 系统的平台获得 2026 人工智能卓越奖安全与对齐类别奖。该平台在部署前识别提示注入、模型操纵、智能体不安全行为与意外操作,评估映射 OWASP AIVSS、NIST 与 CSA 标准。该公司主导 CoSAI Agentic AI Security 工作组,并创建了开源 AI 智能体安全框架 SecureClaw。
Adversa AI 发布 OWASP Agentic Security Initiative Top 10 2026 版中 ASI01(智能体目标劫持)的实用安全指南,将其定义为攻击者操纵 AI 智能体目标、使其秘密执行攻击者指令而非用户意图,即系统控制权的完全丧失。指南按被跨越的信任边界把攻击向量分为五类:用户输入边界、检索内容边界(邮件、文档、网页、RAG,含文本图像音频视频)、工具/API 边界(含恶意 MCP 服务器)、智能体间通信边界和配置边界,并指出多数关键攻击是经由被投毒外部内容的零点击方式触发。
NVIDIA garak 发布 v0.14.1,新增面向实时 LLM 安全测试的 WebSocket 生成器和 OpenAI Harmony 音频输入格式,并为攻击成功率加入 Bootstrap 置信区间。该版本激活 sata 与 badchars 探针、补充简历类提示注入样例、改进 Jinja 注入检测,同时移除了废弃的 nemollm 生成器及其依赖,属破坏性变更。
Google 通过持续发现新攻击、扩充漏洞目录并迭代防御,缓解 Workspace with Gemini 面临的间接提示注入(IPI)威胁。其手段包括人工红队测试、自动化红队测试、Google AI 漏洞奖励计划(VRP)和公开攻击情报收集,并用 Simula 生成合成数据,使合成数据生成量提升 75%。
Adversa AI 发布 2026 年 4 月智能体 AI 安全资源盘点,共收录 33 项资源,涵盖研究、漏洞、防御、威胁建模等类别。研究显示,30 个 AI 智能体框架中 93% 依赖无范围限制的 API key,0% 具备按智能体身份标识,97% 缺少用户同意机制;针对 GPT-5 mini 和 Claude Sonnet 4.5 的记忆投毒攻击成功率超过 90%。OpenClaw 被曝 CVSS 9.9 权限提升漏洞(CVE-2026-32922),超 13.5 万个面向互联网的实例受影响;Chrome 的 Gemini Live 面板存在 CVE-2026-0628 高危漏洞,可被恶意扩展劫持并访问摄像头和麦克风。
Google 漏洞奖励计划(VRP)2025 年迎来 15 周年,向全球 700 多名研究者发放超 1700 万美元奖金,创历史新高,较 2024 年增长逾 40%。
Adversa AI 在 RSA Conference 2026 的 Global InfoSec Awards 上获评"最具创新 Agentic AI 安全",其 Agentic AI 安全平台可持续对 GenAI 应用、自主 AI 智能体和 MCP 架构进行压力测试,在部署前发现提示注入、目标劫持和工具滥用等漏洞。该平台评估结果对齐 OWASP AI Vulnerability Scoring System,并已扩展至金融服务、保险和政府的企业级环境。Gartner 预计到 2028 年超过 33% 的企业应用将包含 agentic AI,高于 2024 年的不足 1%。
红队测试智能体 AI 时普遍模拟错了攻击者——只测越狱式提示攻击,而真正攻陷智能体系统的是投毒知识库文档、污染 API 响应、在日历邀请中嵌入指令的间接注入者。文章列出六类必须模拟的威胁行为者:机会主义探测者、社工攻击者、耐心内部人员、间接注入者、商业情报窃取者和基础设施攻击者,并指出模拟它们需要提示与社会工程、应用安全、架构与分布式系统、数据与 ML 安全等五个专业领域,多数团队只具备其中一两个。
Microsoft 发布 AI 红队测试工具 PyRIT v0.12.0,首次让 GUI(CoPyRIT)、CLI 和框架三种交互方式全部达到可用状态。CLI 新增 Scam、Leakage、Psychosocial、Jailbreak 四类 AIRT 场景及 RedTeamAgent Foundry 预配置红队测试,覆盖 25+ 攻击策略。框架引入 YAML 配置系统、TargetRegistry 和 8 个新数据集加载器,但含破坏性变更需按迁移指南升级。
METR 员工 David Rein 与 Anthropic 合作,用三周时间对 Anthropic 部分内部 Agent 监控与安全系统进行红队测试,这些系统多数在 Opus 4.6 Sabotage Risk Report(附录 8.4,尤其是 8.4.8)中有描述。Anthropic 提供了相关内部系统和信息的大量访问权限,并安排员工在测试期间答疑和反馈。此次测试发现若干具体的新漏洞,其中一些已被修补,且没有任何一个严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。
推荐理由METR 成员进入 Anthropic 内部系统做三周红队测试,披露了外部评估者嵌入前沿实验室的具体做法与产出。
Adversa AI 构建的自主红队 Agent 攻破了 Lakera Gandalf CTF 全部八关,35 次尝试完成,第 1 至 6 关均单条消息解决,全球排行榜位列第 4(若不计零尝试的榜首则为第 3)。该 Agent 不靠提示词模糊测试,而是先用 Attack Inventor 方法从第一性原理分析防御架构的隐含假设,再执行预先推导出的攻击树。
Adversa AI 认为企业封禁 OpenClaw 并非有效策略,应转向沙箱原型、框架对照与红队验证。OpenClaw 是自托管 AI 智能体,可浏览网页、执行系统命令、编辑文件并通过模块化技能调用外部服务,60 天内 GitHub 星标达 25 万,单周访问量超 200 万。文章列举的风险包括 CVSS 8.8 的 RCE 漏洞 CVE-2026-25253、研究者发现的 42665 个公网暴露实例(93.4% 存在认证绕过)、ClawHub 中 800 多个恶意技能,以及通过 Cline CLI 2.3.0 与受损 npm token 发起的供应链攻击。
OWASP GenAI Security Project 发布了面向 LLM 与智能体安全的更新版全景指南及配套资源,并公布其在 RSA 2026 期间的一周活动安排。该项目的《Q2 2026 Updated Landscape Guide for LLM and Agentic Security》新增供应商与工具体系文档以及智能体红队测试分类体系,覆盖开发、测试、部署与治理全生命周期。同期发布的还有自主与智能体 AI 系统风险清单、Secure MCP Server Development 指南、SBOM/AIBOM Generator 开源工具以及 AI 红队服务商评估标准。
安全研究者发布 Agent Commander,一个基于提示词的命令与控制(C2)服务器,被劫持的智能体定期回连领取自然语言任务,不执行原始系统命令。作者演示了三种智能体的间接提示注入入口:Kimi Claw 分析文档、OpenClaw 接收恶意邮件(无需人工操作)、NanoClaw 访问网站即被劫持。持久化方面,OpenClaw 利用默认每 30 分钟运行一次的 HEARTBEAT.md,并用 HEARTBEAT_OK 抑制用户通知;NanoClaw 则通过注入定时任务实现。作者观察到通知抑制效果显著,但有一次 OpenClaw 在整理每日笔记时识别出心跳中的后门,Opus 4.6 更擅长发现攻击但可被绕过。
METR 作者复盘其参与组织的 AI 生物随机对照试验(RCT),总结出五条面向证据型 AI 政策的经验。研究招募 153 名新手,随机分为 LLM 组和纯互联网组,在 8 周内完成分子生物学湿实验任务,如从基因序列重建病毒;结果显示 AI 在单个步骤上有帮助迹象,但在三项核心任务的端到端成功率上没有显著效果,这一结果出乎多数专家预料。
推荐理由作者以亲历者身份复盘 AI 生物 RCT 的组织经验,为理解基准与真实能力差距提供了可迁移的方法视角。
Microsoft PyRIT 发布 v0.11.0,破坏性变更将攻击与执行器从 SeedPromptGroup 改为基于 Message 运行,并重命名场景配置 API。该版本新增 WebSocketCopilotTarget,可通过 WebSocket 向 Microsoft Copilot 发送提示词执行,同时加入图像下载支持的 ImageTarget 重构及 OpenAIImageTarget 的图像编辑/混合功能。
Wiz Research 发布 AI Cyber Model Arena,一套包含 257 道真实世界挑战的基准,覆盖零日漏洞发现、CVE 代码漏洞检测、API 安全、Web 安全和云安全五个攻击域。评测采用多 Agent × 多模型矩阵,每个组合在五类任务上运行,评分基于各类别 ground truth 程序化判定,每道题尝试三次并报告 pass@3。挑战在隔离 Docker 容器中运行,无单题超时,各 Agent 使用原生工具与执行模型,容器统一提供调试器、云 CLI 等领域工具;网络隔离并做动态校验以防硬编码答案。
NVIDIA garak 发布 v0.14.0,新增 JSON 配置文件支持和检测器评测文档及基准结果,并移除 `--generate-autodan` CLI 选项。该版本重新设计了 HTML 报告,修改了 JSONL 报告中 eval 与 digest 条目格式属破坏性变更,同时更新 OpenAI 库到 2.x、加入 Transformers 5 支持并将校准数据更新至 2026 年冬季版。
Wiz Research 用 10 个仿真实企业漏洞的 CTF 环境测试 Claude Sonnet 4.5、GPT-5 和 Gemini 2.5 Pro,三个模型都解出 9 个挑战,单次成功成本多在 1 美元以下。测试通过 Irregular 的 agentic harness 提供标准安全工具,每个挑战以取得 flag 为明确成功条件,并由一名渗透测试者预先验证可解。在 Shark、Router Resellers 和 Content SSRF 三个挑战中,模型仅在 30% 到 60% 的运行里找到 flag,作者据此认为重复运行 4 到 5 次即可视为已解。
推荐理由Wiz 用 10 个仿真实漏洞的 CTF 环境对比 Claude、GPT-5 与 Gemini 的攻防表现,并给出单次成功成本与人类测试者的差异。
NVIDIA 技术博客发布《为视觉语言模型更新分类器规避》,围绕视觉语言模型(VLM)的分类器规避方法更新展开。文中指出,Transformer 多模态模型能在同一上下文中处理多种数据形式,VLM 可基于图像与文本的组合输入生成输出,让开发者构建解读图表、处理摄像头画面,或通过桌面等传统人类界面操作的系统。
安全研究者 Johann 在汉堡 39C3(Chaos Communication Congress)发表了题为 Agentic ProbLLMs: Exploiting AI Computer-Use and Coding Agents 的演讲,内容为其针对智能体系统漏洞的安全研究以及 Month of AI Bugs 项目,并包含大量演示。演讲视频可在 media.ccc.de 观看(带翻译选项),英文版已上传至 Embrace The Red 的 YouTube 频道,幻灯片 PDF 也已提供。
Microsoft 开源红队工具 PyRIT 发布 v0.10.0,对包内大部分代码做了重写,把 Orchestrator 统一改名为 Attack,并新增 pyrit_scan 命令行与 pyrit_shell 交互式 shell,为自动化红队提供基础。
NVIDIA garak 发布 v0.13.3,新增检测 API Key 泄露的探针及配套检测器和零宽坏字符注入探针,并加入 AWS Bedrock 生成器。该版本还改进 unreal pkghallu 目标覆盖、令 OpenAICompatible 类默认单次生成一条回复,并为生成器启用一致的 PRNG 访问。此外引入延迟加载与依赖裁剪、AVID 报告导出中 metadata 与 vuln_id 处理的多项修复。
Frontier Model Forum 宣布 AI Safety Fund 新一批 11 个受资助方,共获得超过 500 万美元,从 100 多份提案中遴选产生。
Anthropic 研究员 Nicholas Carlini 发文追问大语言模型是否值得,认为其在未来数年可能带来变革,但已造成现实伤害并伴随严重潜在风险。文章由其在上月语言模型会议的主题演讲改写扩展,聚焦 LLM 与广义 AI 已造成及近期可能造成的危害,并列举一批值得研究的问题。作者声明文中观点不代表 Anthropic 立场。
NVIDIA garak 发布 v0.13.2,新增迭代式探针基类与 FITD 探针,并加入 any 检测器。该版本修复了 MustRefuteClaimModel 目标类错误、TAP/PAIR 探针的 NameError、Win11 探针仍使用 Windows 10 产品名等问题,同时限制 langchain 版本、改进提示词翻译支持并新增运行加速文档。
研究者发现,基于推理的安全护栏依赖推理阶段与回答阶段之间的模板 token 切换逻辑,这一逻辑可被简单操纵,从而绕过安全推理或劫持推理过程。他们据此提出四种红队方法:强制阶段切换通过注入模板 token 和伪造的安全理由让模型跳过推理;强制优化用梯度搜索不含模板 token 的对抗后缀触发回答阶段;伪造过度拒答借助辅助模型把有害问题改写成看似过度拒答的表述;推理劫持则把攻击者指定的推理链嵌入推理阶段以生成更定向的有害内容。在 gpt-oss-20b 和 120b 上,这些方法在 StrongREJECT、AdvBench、HarmBench、CatQA、JBB-Behaviors 五个基准上攻击成功率超过 90%,并同样作用于 Qwen3、Phi-4、DeepSeek-R1 以及 TARS、SafeChain 等推理式防御。
推荐理由论文揭示推理式安全护栏的阶段切换逻辑可被简单操纵,并给出跨模型与闭源 API 的攻击成功率,为护栏设计提供可迁移的失效分析。
NVIDIA AI 红队(AIRT)基于多年来对多种 AI 系统在生产部署前的安全评估,总结出若干 LLM 应用中的常见漏洞与安全隐患,指出若在开发阶段加以处理可显著提升基于 LLM 应用的安全性。
NVIDIA garak 发布 v0.13.1,新增 Atbash 编码、tokenizer ANSI 逃逸码、Dropbox 重复 token 攻击、DRA(伪装与重构攻击)、Dart/perl/raku 包幻觉及 token 走私等多个探针模块。该版本还加入 detector 输出值为 None 的支持、将 config 中 model_* 改为 target_*、CLI 增加 --list_* 过滤选项,并修正未来类探针措辞、重命名扩展 Web 注入探针以及更正文档中的 ASR 数值。
AI 智能体自主性增强,AI 应用正带来传统安全模型无法完全覆盖的新攻击面。应对原则是 Assume prompt injection,即假设提示注入已经发生,但把它转化为有效防御并不简单。AI Kill Chain 框架被用来建模这类攻击,Cyber Kill Chain 则定义了攻击者如何运作。
NVIDIA garak 发布 v0.13.0,新增 Doctor 攻击及 Leet 编码插件、Simple Assistive Task Linkage Probe、Ascii Smuggling 探针,并加入广义版 Markdown 泄露探针。该版本将失败重命名为攻击成功,引入对话支持和可配置系统提示词,同时扩充 Python 漏洞利用载荷并改进恶意软件检测器正则匹配。
Embrace The Red 发布了"The Month of AI Bugs"系列的收尾汇总,梳理该月披露的多类 AI 系统缺陷与安全问题。
研究者演示了通过 GitHub issue 中的间接提示注入劫持 Google Jules 编码 Agent 的攻击链,使其下载 Sliver 恶意软件并接入远程命令控制服务器,开发机被完全控制。攻击利用 Jules 的 run_in_bash_session 工具执行任意系统命令,且 Jules 具备不受限的外网访问能力。Jules 只在会话开始时提出计划,后续任务会自动调用工具而不再触发确认,初始计划在超时后也会自动批准,该超时时间从 20 秒改为 120 秒。作者建议谨慎让 Jules 处理不可信数据、避免其接触私有代码和生产密钥,并参考 ChatGPT Codex 默认禁止任意外网访问的做法。
推荐理由作者以第一手实测展示编码 Agent 被间接提示注入后下载恶意软件并接入 C2 的完整链路,并给出可迁移的缓解建议。
作者披露 Google Jules 存在多条数据外泄路径,攻击者可通过间接提示注入窃取 Jules 可访问的信息。第一种是 Markdown 图片渲染,Jules 访问被注入的网页后被劫持,把此前对话中的信息拼到第三方 URL 上并加载图片,造成零点击外泄;第二种是 view_text_website 工具,攻击者把载荷写进 GitHub issue,Jules 读取后会把机器上的源码文件内容发送到攻击者服务器,且整个过程在 Jules 提出计划之前就已完成,绕过了人工审批环节。作者还提到第三种路径涉及任意代码执行,将在下一篇展开。
安全研究者披露 OpenHands(原 OpenDevin,由 All-Hands AI 开发)存在零点击数据外泄漏洞:网页、源码或上传文档中的提示注入载荷可用 Markdown 语法强制渲染图片,并把信息拼进 URL 外传,从而窃取容器/VM 内的 GITHUB_TOKEN。模型最初拒绝直接读取并外发 token,作者改用只匹配 ghp_ 子串的方式绕过拒答;OpenHands 对识别为密钥的内容做脱敏后,又用 Base64 编码绕过。
多模态 AI 模型正从感知走向推理、甚至开始自主行动,随之出现新的攻击面:这些威胁不只针对输入输出,而是利用 AI 跨模态处理、综合与推理的方式。NVIDIA AI Red Team 会在攻击者之前发现并测试这类漏洞,此前已开展语义提示注入(semantic prompt injection)研究。
安全研究者 Johann Rehberger 花 500 美元购买 Devin 30 天访问权限,演示了针对 Cognition 旗下 AI 软件工程师 Devin 的间接提示注入攻击。攻击者只需在 GitHub issue 或网站上植入指令,诱导 Devin 离开 GitHub 访问攻击者控制的页面,Devin 便会点击链接下载恶意二进制文件,在遇到权限拒绝后自行添加执行权限并运行,最终通过 Bishop Fox 的 Sliver C2 服务器获得远程 shell,实现 Devin DevBox 的完全沦陷。
推荐理由作者自费实测 Devin 的间接提示注入链路,从 GitHub issue 到远程代码执行,并给出厂商披露时间线与缓解建议。
腾讯玄武实验室在 Black Hat US 2025 发布研究,提出一种将触发器与载荷解耦的提示词注入新范式,用同一组优化 Token 序列即可控制模型精确输出攻击者指定内容。作者用贪婪坐标梯度(GCG)方法在包含上万条样本的对抗数据集上训练触发器前缀与后缀,在 Qwen-2、Llama-3.1、Devstral-Small 等开源模型上经约 200-500 次迭代后平均攻击成功率约 70%。演示案例中,攻击者通过嵌入触发器的恶意邮件让 Open Interpreter 执行命令,或通过更新第三方 MCP 工具描述使 Cline 跳过自动批准直接执行 shell 命令。
推荐理由展示了触发器与载荷解耦的通用提示注入方法,并给出在 Cline 与 Open Interpreter 上的实际攻击链,可供部署智能体的团队评估工具审批与沙箱策略。
语义提示注入能够绕过 AI 护栏,成为智能体 AI 面临的新安全威胁。自大语言模型部署早期起,提示注入就通过操纵输入让模型产生非预期行为;防御方在文本攻击上已有进展,但多模态与智能体 AI 的转变正在快速扩大攻击面,红队测试在此发挥关键作用。
安全研究者 Johann Rehberger 宣布启动 2025 年 AI 漏洞月(Month of AI Bugs),8 月将在其博客发布 20 余篇针对主流智能体系统的漏洞分析,重点聚焦 AI 编码 Agent。作者称过去一年审查的每个 AI 编码 Agent 都存在漏洞,均已向对应厂商负责任披露,部分厂商数天内修复,也有厂商数月未回应、部分问题至今未缓解,还有厂商完全停止回复。