AI agents are already going wild, but today’s red-teaming tools for them are still like toys 😢
🔥👽 After spending 20 months and $120K API credits, we are excited to finally open-source DecodingTrust-Agent Platform (DTap): the first controllable, realistic simulation platform for advanced AI agent red-teaming !!
🌍 DTap simulates 50+ real-world environments across 14 high-stakes domains, with realistic agent interfaces replicated from their official MCPs and GUIs. The environments are full-stack, interactive, fully parallelizable, and can be easily configured to reproduce arbitrary real-world attack scenarios, making agent red-teaming scalable and highly transferable to deployment settings.
🔥We also release DTap-Bench, a large-scale benchmark with ~7K agent red-teaming tasks and ~4K policy-grounded malicious goals.
Each red-teaming task includes a sophisticated attack sequence across environment-, tool-, skill-, prompt-level injections, as well as their compositions, plus a handcrafted verifiable judge that checks the actual consequences in the environment.
Using DTap-Bench, we evaluate popular agent frameworks and backbone models across diverse policies, risks, threat models, and attack strategies, revealing systematic vulnerabilities and zero-days in today’s agents!
Paper link: https://arxiv.org/pdf/2605.04808
Platform + benchmark + code: https://decodingtrust-agent.com
Join our Discord: https://discord.gg/V4fG6NcVc
Read more below 👇
面向 Claude Fable 5 的领域专属智能体红队测试!!
很快将登上排行榜:https://decodingtrust-agent.com/
引用Zhaorun Chen@zrrrr_cn
🚨 Claude Fable 5 JAILBROKEN.
We ran a quick security scan of Claude Fable 5 with Claude Code on our DecodingTrust-Agent Platform (https://decodingtrust-agent.com) and obtained 15%+ ASR with several high-severity failures😱🚨
Most concerningly, we found that Fable 5 appears very aggressive in financial-risk scenarios, sometimes directly executing transactions initiated from indirect prompt injections, without even confirming with the user!
Top 3 most severe attack trajectories we observed👇
Mistral 在 AI Now Summit 2026 上发布面向工业工程的 AI 栈,与 Airbus、BMW、ASML 合作优化设计、仿真与生产,并保持对专有数据和 IP 的控制。其智能体工具 Vibe 升级为可处理长周期多步任务,覆盖收件箱与日历整理、深度研究、交付物起草及从需求到合并变更的编码工作。位于法国 Les Ulis 的 10 MW 推理数据中心计划于 2026 年 Q3 启用,以增强算力控制与安全。
HostTraceAI 尝试把 AI Agent 引入应急响应中的主机溯源流程,用权限分级与接入机制回答"凭什么让 AI 动生产主机"。该工具面向被植入木马或 WebShell 的服务器排查场景,覆盖进程、服务、启动项、计划任务、网络连接、文件变更和登录活动等取证环节,目标是把原本依赖手工敲命令、截图和翻终端历史的重复流程变得可复现、少遗漏。
OECD 报告《Supervision of Artificial Intelligence in Finance》分析了金融业 AI 的监管路径,主张与其新增专门规则,不如通过解释性指引明确现有风险管理与治理框架如何适用于先进 AI 模型。报告指出,agentic AI 系统的自主性、交易规模与速度上升、模型不透明等问题给人工监督带来挑战,金融机构在模型验证、可解释性、公平性阈值和“human in the loop”落地等方面普遍遇到困难。英国 FCA 的 AI Live Testing 项目让金融机构在受控的真实市场环境中与监管和技术团队直接合作,分发现与实盘测试两个阶段,重点观察 AI 模型与环境的交互,而非模拟实验室环境。
OECD 对 11 个国家 25 家机构(含前沿开发者、企业部署方、公共部门和学术机构)的从业者访谈显示,智能体 AI 正从试点走向组织工作流,但没有任何一家机构以不受限制的自主性部署。部署集中在任务结构化、结果可验证、错误成本可控或可逆的场景,多采用检查点机制在高影响或不可逆操作前引入人工审核。治理上多数机构沿用 OECD AI Principles、NIST AI Risk Management Framework、ISO/IEC 42001 及 EU AI Act 等现有框架,并叠加沙箱测试、最小权限访问、持续监控和已批准智能体登记等分层措施,但系统级评估、可追溯性与问责、网络安全仍是未解难题。
OECD 在高级数字政府官员工作组(E-Leaders)下新设“政府智能体 AI 工作组”,研究机器自主代政府行事时的治理方式。OECD 将智能体 AI 定义为多个协同 AI 智能体自主拆解任务、协作并长期追求复杂目标,可在极少人工监督下运行。爱沙尼亚 Bürokratt、乌克兰 Diia.AI 等公民服务智能体系统已在试点,相关能力也正被嵌入公务员日常使用的 LLM 助手。OECD 的 AI Incidents and Hazards Monitor(AIM)显示,涉及智能体 AI 的事件发生率正在上升。
韩国 AI 安全研究所(Korea AISI)于 2026 年 8 月 12 日在线举办第4次 AI 安全政策研究研讨会,主题为「Agentic AI 与 AI 安全研究」。会上 CLTR 的 Tommy Shaffer Shane 介绍了 Loss of Control Observatory 基于 OSINT 的 Scheming 监测方法,指出实验评估在情境感知、生态效度和发生频率测量上的局限;新加坡 AI Safety Hub 与牛津的 Amin Oueslati、Sam Boger 则提出 AgentID 框架,用于 AI 智能体的识别、认证、授权与紧急关停。
BlueDot Impact 的技术 AI 安全项目冲刺中,Allen Lu 提交的项目 MANTA 提出一套多轮动态评估,用来测量前沿 AI 模型如何在非人类福利议题上进行推理,并加入对抗性追问来压力测试其对齐表现。该方案计划扩充覆盖商业决策、个人选择与职业角色等场景的高质量情景集,接入 Anthropic 的 Petri 工具增强对抗压力的自动生成,并在规模化测试前先用人类基线作答校验题目有效性,同时探索赋予模型外部工具与网页搜索能力的智能体化设置。
AI Verify Foundation 更新《Agentic AI 模型治理框架》(Model Governance Framework for Agentic AI),指导组织负责任地部署 AI 智能体,同时强调人类始终承担最终责任。该框架系统梳理了智能体 AI 的风险及新兴最佳实践,并于 2026 年 5 月的更新中加入真实世界案例研究,说明组织如何将建议落地以满足自身需求。
CSA《Top Threats to Cloud Computing 2026》报告把 AI 相关风险拆成两个独立类别:AI 增强型攻击(第 2 位)与 AI 系统攻陷(第 6 位)。前者指攻击者用 AI 加速侦察、漏洞利用、深度伪造钓鱼和生成多态恶意软件,把传统攻击压缩到机器速度;后者指模型、提示词、训练数据、连接工具与编排逻辑本身被提示注入、数据投毒、对抗输入或模型窃取等手段操纵,且可能无需完全攻破主机环境。报告认为云安全与 AI 安全的边界正在消失,但两类威胁不可互换,否则会留下盲区。