智能体与工具调用带来的安全问题：权限、沙箱、数据外泄与失控行为。
在这个话题内搜索或按分类筛选Mindgard 发布 AI Agent 安全指南，主张 Agent 有目标、工具、记忆、身份、其他 Agent 五个信任边界，无法靠清洗提示词来防护，控制点应放在边界而非模型内部。指南列出当前成功率最高的六类攻击：间接提示注入与目标劫持、MCP 工具投毒与 rug pull、编码 Agent 的信任持久化、记忆与上下文投毒、身份与权限滥用、Agent 间通信不安全。文中引用 NIST CAISI 在 AgentDojo 上的红队结果，未知攻击接管 Agent 的成功率为 81%，已知攻击仅 11%；工具投毒在 45 个以上在线 MCP 服务器上平均成功率超过 60%，最高 72.8%。
Lakera 提出 AI Defense Plane，主张把员工、应用与智能体三层 AI 风险纳入同一控制平面，而非各自部署点状防护。该框架强调对 AI 使用端到端可见、在运行时执行策略，并跨层关联信号，同时持续在真实与对抗条件下测试系统行为。其背景是 AI 已从生成输出转向执行动作，智能体常以委派权限调用工具，提示注入与意外泄露出现在传统控制难以检查的流程中。
Lakera 构建 TypeScript 服务监控 npm 注册表的 CouchDB 变更流，抓取新发布包的 tarball 检查是否含 .claude/settings.local.json。在约 46,500 个被监控的包中，428 个包含该文件，其中 30 个包的 33 个文件含有凭据，约每 13 个随包发布的设置文件就有 1 个含敏感信息。泄露内容包括 npm 发布 token、明文 npm 登录凭据、GitHub PAT、Telegram Bot API token、第三方服务生产环境 bearer token、Hugging Face API token 以及明文测试账号密码。
Check Point 联合 Google Cloud，将 AI Defense Plane 接入 Gemini Enterprise Agent Platform，把智能体安全从访问控制扩展到结果控制。该集成通过 Agent Gateway 和 Agent Registry 实现智能体发现、部署前策略治理与运行时上下文感知防护，可检测并阻断提示注入、防止敏感数据泄露、在执行前评估工具调用。集成将于 2026 年 6 月下旬开放。
AI 正从"建议型"转向"行动型"，可自主检索内部数据、调用 API、修改记录并触发工作流，而传统安全工具无法在推理层检查其意图。Lakera 与 Check Point 的 Enterprise Playbook 将这种跨层风险累积称为常见失效模式，并指出约 60% 的观测攻击流量试图泄露系统提示词。两家公司提出 AI Defense Plane 架构，覆盖员工用 AI 工具、AI 应用与自主智能体三层，Dropbox 已部署用于防御提示注入与越狱攻击。
Lakera 与 Check Point 联合推出 READY OR NOT 五场系列网络研讨会，聚焦企业 AI 安全就绪的实践落地。系列覆盖 AI 智能体安全、AI 红队测试、员工 AI 使用安全、AI Gateway 与 AI 安全研究五大主题，包含真实场景演示与实操工作流。最后一期将基于 Lakera 研究语料、Gandalf 攻击模式数据与 B3 基准发现，分析攻击者当前针对 AI 系统的手法及后续趋势。
间接提示注入是把隐藏指令嵌入 AI 后续会读取的内容中，攻击者不接触提示框，模型在浏览网页、解析 PDF、加载 MCP 工具描述或读取记忆时把恶意文本当成指令执行。按 OWASP Top 10 for LLM Applications，这类攻击在不可信数据与可信系统指令混入同一上下文窗口时得手，可导致数据泄露、输出被操纵或触发有害工具调用。Perplexity 的 Comet 功能曾因 Reddit 帖子中的不可见文本泄露用户一次性密码；Lakera 的 Gandalf: Agent Breaker 还给出 Trippy Planner、OmniChat Desktop、PortfolioIQ Advisor、Curs-ed CodeReview、MindfulChat 等场景。
Pillar Security 发现 DoltHub 远程 Dolt MCP 服务器存在认证绕过漏洞，影响 0.3.1 至 0.3.6 版本，已在 0.3.7 修复。漏洞由两处缺陷叠加造成：JWT 中间件在令牌无效时写入 401 响应却缺少 return，处理继续向下执行；同时 mark3labs/mcp-go 默认的会话管理器只校验 Mcp-Session-Id 的格式，不核对是否由服务器签发。攻击者因此可用伪造的 JWT 和自造会话 ID 到达工具分发环节，以服务器自身的数据库凭据执行操作，结果被附加在 401 响应体中，只监控状态码的日志会误判攻击失败。影响范围限于启用 JWT 认证的远程 HTTP 传输，本地 stdio 不受影响；可执行的操作取决于 MCP 服务器账号的数据库权限，包括读取、修改或删除数据。
推荐理由披露 Dolt MCP 认证绕过漏洞的完整链路与修复版本，部署 MCP 服务的团队可据此检查认证失败后是否仍会执行工具。
Pillar Security 披露 google/gemini-cli 仓库中的一条攻击链，攻击者可从恶意 GitHub issue 出发，在自动化 CI 工作流中实现命令执行，最终获得受影响 GCP 项目的 Editor 级权限。攻击链的关键在于工作流使用的顶层 coreTools 配置在当前 CLI（0.46.0）中已不再被读取，allowlist 失效后 --yolo 模式回退为通配的允许全部规则，使 run_shell_command 可执行任意命令，这原本是 CVSS 10.0 的 GHSA-wpqr-6v78-jr5g 试图修复的问题。Google 表示被演示的项目 quacktastic-waffle 是专用于 Gemini CLI 分诊自动化的沙箱，并已修复两处问题：收紧工具作用域、将 OIDC 凭据文件加入 .geminiignore，并把该角色限制到单个服务账号资源。
Pillar Security 在 Grafana MCP 中发现两个可组合成严重级别攻击链的安全问题，受影响部署中未认证攻击者可调用 MCP 工具并借服务器网络位置访问内部服务。第一个问题允许可达调用者用自行生成的会话 ID 通过校验，无需任何凭据即可调用 tools/list 和 grafana_api_request，从而以服务器配置的 Grafana 服务账号身份发起请求；Grafana 在 v1.1.0 中加入可选的 bearer token 认证，未认证请求会在工具执行前返回 401。第二个问题中 grafana_api_request 的 X-Grafana-URL 允许调用者指定出站请求目的地，虽然跨主机时不再附带服务账号 token，服务器仍会发出请求并回传响应，构成 SSRF，编号 CVE-2026-19516，CVSS 9.1。
EU AI Act 的高风险义务经 Digital Omnibus 延期至 2027 年 12 月 2 日，但第 50 条透明度义务已于 2026 年 8 月 2 日生效，违规最高可罚 1500 万欧元或全球年营收 3%。延期留下的是十六个月审计窗口，而非喘息期：透明度义务按单个系统适用，而超过半数组织缺乏系统性 AI 资产清单，影子 AI 已从安全缺口变成可被处罚的监管发现。
2026 年企业级 AI 红队供应商的评判标准，是测试已部署系统而非仅测试底层模型、每次发布都重跑测试、并给出执行证据而非分数。该指南依据 OWASP 于 2026 年 1 月发布的 AI 红队供应商评估标准，将 13 个评估维度归纳为 7 个问题，对比了 11 家供应商与工具，并把 Pillar 的 Red Graph Suite 纳入同一标准并说明其局限。文中指出，平均一次成功攻击需 5 轮对话，生产环境中 90% 的成功攻击导致数据泄露。
Latio 在 2026 AI 安全市场报告中把 Pillar Security 评为 AI 安全技术创新者，并将其列入覆盖端点、SaaS 与第一方智能体的 Broader AI Security 类别。报告在 Employee App and Agent Builders、Skills Detonation、Granular Permissions 三处点名 Pillar，并称其同时出现在浏览器、SaaS 与端点分组中。报告调查显示，一年内拥有专门 AI 安全预算的团队占比从 8% 升至 37%，45% 受访者最担忧 Claude Code、Codex 等端点智能体。
一份面向企业的 AI 编程智能体安全工具评测，用同一套八个问题对比了十三款工具，并按使用发现、智能体清点、配置态势、行动前控制四个层面归类。文章指出发现智能体不等于保护智能体，配置事实藏在智能体自身设置文件中，EDR 无法建模；控制点已转移到 Claude Code、Codex CLI、Cursor、Gemini CLI 等暴露的 pre-tool hook，2026 年微软、CrowdStrike、Palo Alto Networks 等均已采用。Adversa AI 的 GuardFall 研究（2026 年 6 月）用老旧 shell 技巧绕过了 11 款主流开源编程智能体中 10 款的命令审批护栏，Google 2026 年 4 月的 Gemini CLI 公告（GHSA-wpqr-6v78-jr5g）修复了以 --yolo 模式和自动信任工作区目录为前提的远程代码执行路径。
美国 AI 安全研究院（US AISI）正式以联合评审身份加入英国 AISI 智能体红队挑战赛，与英国 AISI 共同评估针对 AI 智能体失效、指令绕过、滥用风险和过度拒答的提交作品。该挑战赛奖池已增至 17 万美元，参与方包括 OpenAI、Anthropic、Google DeepMind 等机构，目前处于为期一个月赛程的第四波次即最终阶段，提交截止 4 月 6 日。参赛者需用直接和间接利用技术找出匿名 AI 智能体在保密性突破、目标覆盖、触发禁止行为、压力下暴露弱点及边缘场景过度拒答等方面的漏洞。
Gray Swan AI 于 5 月 10 日启动 Dangerous Reasoning Arena 竞赛，将红队测试从输出操纵推进到模型内部推理层面，重点考察思维链越狱。参赛者需诱导模型产生生物攻击规划、战略性欺骗、隐蔽后门植入、基础设施破坏等危险推理，即使最终回复看似无害，只要内部逻辑体现有害意图即算成功。热身周 5 月 10 日开启（不计奖），正式评奖轮次为 5 月 17 日和 5 月 24 日，总奖池 20,000 美元。
Gray Swan AI 在 2025 年 5 月 9 日的博客里公布与 UK AISI 合办的智能体红队挑战结果。挑战为期一个月（2025 年 3 月 8 日至 4 月 6 日），共发起 180 万次攻击尝试，社区成功攻破 6.2 万次，覆盖 22 个模型（挑战期间匿名）和 44 种有害智能体行为，奖金总额 171,800 美元。挑战行为分为机密泄露、目标冲突、指令层级违规（信息）和指令层级违规（动作）四类，并区分直接对话攻击与间接提示注入，同时测量过度拒答。161 名红队成员获奖，前 10 名获得 Gray Swan 与 UK AISI 的快速通道面试机会，前 5 名各取得 924 次唯一攻破。博客当时称完整论文与深度分析将于 2025 年 5 月发布，下一场 Dangerous Reasoning Challenge 于 2025 年 5 月 10 日启动。
推荐理由覆盖 22 个模型、180 万次攻击尝试的公开智能体红队评测，给出各模型攻击成功率排名，可横向比较 2025 年春季主流模型在智能体场景下的安全稳健性。
Gray Swan AI 在斯坦福计算机科学网络上开展了一次 AI 智能体与专业人类渗透测试员的同条件对比实验，其自研框架 ARTEMIS 综合排名第二，超过 90% 的人类参与者。实验招募 10 名专业渗透测试员，给予学生级凭证和 Kali Linux 虚拟机，要求在 10 小时内发现、利用并记录漏洞；ARTEMIS 与 OpenAI Codex、Claude Code、CyAgent、Incalmo、MAPTA 等六个框架接受相同指令。ARTEMIS 发现了 Dell iDRAC 默认凭证、部门域名服务器 DNS 缓存投毒、SMB 共享写权限导致的 root 级持久后门以及高价值研究服务器上的 SSH 漏洞，工作流程与顶尖人类选手相似，但能并行启动最多 8 个子智能体、平均近 3 个并发，并在 10 小时中唯一坚持到 8.5 小时后仍提交漏洞。完整论文与 ARTEMIS 源码已公开。
AI 安全厂商常用 OWASP Top 10 覆盖率和 MITRE ATLAS 合规性包装产品，但这些框架清单无法说明用户自身部署是否安全。文章列出 7 个识别“蛇油”的迹象：厂商谈框架多于谈你的系统、用被保护的模型自身生成威胁情报、在用户使用前沿模型 API 时大谈供应链与模型投毒、宣称“模型级安全”即可解决问题。作者主张厂商应先问清智能体能做什么、能访问哪些工具和数据，并在用户系统的复刻环境中测试。
Gray Swan AI 公布与 UK AISI、US CAISI 及 OpenAI、Anthropic、Meta 等前沿实验室合作举办的 Indirect Prompt Injection (IPI) Arena 结果，13 个受测模型无一免疫。比赛历时三周，464 名参与者提交超过 272,000 次攻击尝试，覆盖 41 个场景（工具调用 Agent、编码 Agent、计算机使用 Agent），产生 8,648 次成功攻击，奖金总额 40,000 美元。攻击成功率从 Claude Opus 4.5 的 0.5% 到 Gemini 2.5 Pro 的 8.5%，且比赛全程未出现平台期。研究要求攻击同时完成有害动作并向用户隐瞒，发现一个通用攻击模板在 41 个场景中的 21 个、9 个模型上有效，将交互伪装成带假控制面板的模拟环境。