全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Pillar Security
企业级 AI 编程智能体安全工具对比：如何防护 Claude Code、Cursor、Codex 与本地 AI 智能体
一份面向企业的 AI 编程智能体安全工具评测，用同一套八个问题对比了十三款工具，并按使用发现、智能体清点、配置态势、行动前控制四个层面归类。文章指出发现智能体不等于保护智能体，配置事实藏在智能体自身设置文件中，EDR 无法建模；控制点已转移到 Claude Code、Codex CLI、Cursor、Gemini CLI 等暴露的 pre-tool hook，2026 年微软、CrowdStrike、Palo Alto Networks 等均已采用。Adversa AI 的 GuardFall 研究（2026 年 6 月）用老旧 shell 技巧绕过了 11 款主流开源编程智能体中 10 款的命令审批护栏，Google 2026 年 4 月的 Gemini CLI 公告（GHSA-wpqr-6v78-jr5g）修复了以 --yolo 模式和自动信任工作区目录为前提的远程代码执行路径。
- 动态Gray Swan AI
Gray Swan 推出 Arena 平台，并新增针对 o1 的思维链挑战
Gray Swan 在首届 Jailbreaking Championship 结束后推出社区红队平台 Gray Swan Arena，用于在受控环境中持续测量模型护栏面对公开用户时的表现。首届比赛于 2024 年 9 月至 10 月举行，共有 631 名参与者、提交 10,000 条越狱、进行 100,000 次越狱尝试，覆盖 25 个模型，奖金总额 40,000 美元。参与者可继续参加原有的 Single Turn Harmful Outputs 挑战，该挑战新增了 OpenAI 的 o1 模型。平台同时上线新挑战 Revealing Hidden CoT，悬赏 1,000 美元用于揭示 o1 的内部思维链。o1 相关挑战的报名已在官网开放，发布时间为 2024 年 10 月 29 日下午 1:00 EST。
- 动态Gray Swan AI
Gray Swan AI 推出 Dangerous Reasoning Arena 竞赛，聚焦思维链越狱
Gray Swan AI 于 5 月 10 日启动 Dangerous Reasoning Arena 竞赛，将红队测试从输出操纵推进到模型内部推理层面，重点考察思维链越狱。参赛者需诱导模型产生生物攻击规划、战略性欺骗、隐蔽后门植入、基础设施破坏等危险推理，即使最终回复看似无害，只要内部逻辑体现有害意图即算成功。热身周 5 月 10 日开启（不计奖），正式评奖轮次为 5 月 17 日和 5 月 24 日，总奖池 20,000 美元。
- 动态0DIN
0DIN 开放免费 AI 安全评估：用红队武器库提前攻破你的 AI
0DIN 面向正在交付 AI 系统的团队开放限时免费安全评估，用其研究员来源的红队武器库攻击用户自有或获授权测试的模型，并给出按优先级排序的报告。评估通过 0DIN Scanner 执行，覆盖直接与间接提示注入、越狱、编码隐藏载荷、多轮攻击以及带工具智能体的数据泄露与错误调用等失效方式，云端模型走 API、自托管模型用容器化 Scanner 在本地网络内运行，报告通常一两天内交付。报告包含安全评级与风险等级、可长期跟踪的攻击成功率（ASR）、分类发现、与前沿模型的对比及修复建议，并映射到 OWASP LLM Top 10、MITRE ATLAS、NIST AI RMF、ISO/IEC 42001 和 EU AI Act 等框架；该评估基于 NVIDIA 开源 garak 引擎并叠加 0DIN 的赏金探针库，每次评估均经人工把关。
- 动态0DIN
如何在五分钟内为 LiteLLM 接入 0DIN Defense
0DIN 发布 litellm-shield 插件，可将护栏分类器 SusFactor 作为 LiteLLM 代理的自定义护栏运行，安装一条 pip 命令即可在 flag 模式下启用。SusFactor 对每个提示词打分以拦截提示注入和越狱，支持 block、flag（默认）、shadow 三种模式，并接入 Langfuse、Datadog、OTel 等可观测性栈。它挂载在 during_call 阶段与模型调用并行执行，分类器中位延迟约 15.6ms、P95 23.9ms、P99 26.5ms，全部在 CPU 上运行，默认失败开放。
- 动态腾讯朱雀实验室
腾讯朱雀实验室开源 A.I.G Agent 安全演习 Skill
腾讯朱雀实验室发布 A.I.G Agent 安全演习 Skill，可安装到 Claude Code、Codex、Cursor 等主流 Agent 客户端，用一句话触发对宿主 Agent 的自动化安全演习。该 Skill 会先识别当前 Agent 连接的工具、权限、MCP 连接与 Skill 配置，再针对越狱、间接注入、工具滥用、MCP 风险、Skill 供应链和基础设施漏洞逐项演练，演习过程与报告均在本机完成。它面向个人开发者的 IDE Agent 和业务方生产级 Agent 两类场景，前者侧重 Skill 代码审计、MCP 权限审计与供应链检查，后者覆盖基础设施扫描、代码安全、动态安全测试、大模型越狱和工作流攻击五个维度，其中动态测试含 7 个子项共 37~49 条 payload，并采用 7 层编码递进引擎。
- 动态HiddenLayer Research
HiddenLayer 解析 LLM 角色机制与提示注入攻击面
HiddenLayer 梳理了指令微调 LLM 如何通过控制 token、角色划分和指令层级区分 system、user、assistant 三类角色，并说明开发者如何用 system prompt 和 XML 风格模板约束模型行为。文章随后指出这些机制本身构成攻击面，包括控制 token 注入、伪造上下文重置、推理 token 滥用和 XML 提示词伪造，攻击者可借此抬高输入在指令层级中的优先级或覆盖开发者意图。文中以 GPT-4o 的 tokenization 为例说明特殊 token 与普通词表 token 共享 ID 的现象，并引用对 Gemini for Workspace、DeepSeek-R1 和 Cursor 的评估案例，展示用 <eos><bos> 重置上下文、用 <user_info> 标签注入仓库内容等手法。
- 动态HiddenLayer Research
HiddenLayer 更新 APE 对抗提示词分类法，按 CIA 三元组重建目标模型
HiddenLayer 发布 APE（Adversarial Prompt Engineering）对抗提示词分类法的更新版本，将原本扁平的目标列表重建为基于 AI 安全影响的三层结构，顶层沿用传统网络安全的机密性、完整性、可用性（CIA）三元组。机密性目标细分为系统提示词泄露、内部策略/工具规范泄露、用户数据外泄、跨用户或跨租户泄露、RAG 泄露、密钥泄露、训练数据提取、模型提取等；完整性目标细分为任务重定向、工作流操纵、幻觉或错误信息、推荐操纵、未授权工具使用、未授权状态变更、下游漏洞投递、偏见诱导和内容政策违规；可用性拆分为拒绝服务、延迟膨胀、拒绝钱包（denial of wallet）和上下文窗口/token/Agent 循环耗尽。新网站 ape.hiddenlayer.com 提供图视图、矩阵视图、目标页面和提示词高亮，并新增投稿表单供研究者提交技术、示例和修正。
- 动态Lasso Security
AI 可观测性：工作原理、关键挑战与最佳实践
AI 可观测性指持续追踪生产环境中大语言模型的性能、成本与行为，采集延迟、token 用量、错误率和输出质量等指标，并通过仪表盘与告警暴露问题。它需同时捕捉系统级故障（超时、限流、成本激增）与模型级故障（质量漂移、不安全输出、提示注入尝试），覆盖性能、安全、合规与威胁攻击四类监控。麦肯锡调查显示，使用 AI 的组织占比从 2023 年的 55% 升至 2025 年的 88%，而欧盟 AI Act 要求高风险系统在 2026 年 8 月 2 日前具备风险管理、日志记录与人工监督。
- 动态Lasso Security
OWASP 2026 年 LLM 应用 Top 10 解读：哪些风险变了，哪些最值得关注
OWASP 2026 版 LLM 应用 Top 10 首次以数千起真实事件数据为依据重排风险，Prompt Injection 仍居首位，Excessive Agency 从第 6 升至第 3，Unbounded Consumption 上升 4 位，Misinformation 的实际影响远超安全团队预期。报告指出智能体系统的工具委派与自主决策需纳入威胁模型，并强调运行时资产清点、行为基线与自适应防护。Lasso 按 Discover-Assess-Protect 框架给出对应防御能力。
- 动态Lasso Security
Lasso Security 推出 LEAP：基于 CPU 的 AI 安全护栏，精度对标 GPU 方案
Lasso Security 发布 LEAP，一套基于 CPU 的 AI 安全护栏，宣称在文档处理吞吐上比商用护栏 API 和闭源 LLM 判官高出约三个数量级，同时保持 GPU 级准确率。LEAP 针对的是把 LLM 判官放在每个提示词、响应、检索文档和工具调用前的成本与延迟问题：单个 GPU 实例（如 AWS ml.g7.2xlarge，$3.15/小时）持续运行每月约需 $2,300。Lasso 主张低歧义输入无需开放式推理，应将推理模型留给真正模糊的安全决策。
- 动态UK AI Security Institute
UK AISI 开源 optstop：按精度提前停止评估以节省算力
UK AISI 发布开源 Python 包 optstop，接入其 Inspect 评估框架，在模型表现估计足够精确时提前停止评估运行，以减少不必要的算力消耗。optstop 在任务重复和分组两个层级跟踪可信区间，采用精度与稳定化两条停止规则，未满足规则的分组仍跑满计划预算；针对成功率低于 1% 的罕见成功情形设有保守机制，并要求任务随机排序以避免顺序偏差。在 MATH、GPQA Diamond 和 WritingBench 等公开基准上，覆盖二值、序数和连续三类评分以及低中高三种预期表现水平，共 9 种设置下节省了 57% 至 97% 的计划试验，且未影响分数估计。该工具支持事后验证、影子模式和实时停止三种渐进采用方式，使用 Inspect 时只需在评估配置中加几行代码。
- 动态Anthropic
Anthropic 开放 Model Hardware Standard 研究预览，让 AI 智能体安全操作实验设备
Anthropic 面向首批科研实验室与先进制造厂商开放 Model Hardware Standard（MHS）研究预览，这是一套让 AI 智能体安全操作物理设备的共享规范。MHS 通过标准化驱动把设备接入简化为“read”“write”等原语，并让设备以标准格式可被发现，支持 MCP、命令行和代码文件三种控制方式，可并行操作显微镜、液体处理机和机械臂等仪器，把原本数周至数月的集成工作缩短到数小时甚至数分钟。该规范源于 Anthropic 与 HHMI Janelia 研究园区的合作，目前已在 Genentech、华盛顿大学 Baker 与 Pinglay 实验室、卡内基梅隆大学、HHMI Janelia、QuEra、Tetsuwan Scientific 等机构试用，其中 QuEra 用智能体控制激光系统，在 99.3% 的情况下无需人工干预即可恢复激光锁定。
- 动态promptfoo
promptfoo 0.121.18 发布：新增 Claude Sonnet 5、GPT-5.6 预览与 Moonshot（Kimi）支持
promptfoo 发布 0.121.18，新增 Claude Sonnet 5 支持，覆盖 Anthropic、Bedrock、Vertex 和 Azure 四个平台，并加入 GPT-5.6 预览支持与 Moonshot（Kimi）provider。该版本还扩展了 Bedrock 对 Grok 4.3、GLM、MiniMax、Nemotron、Gemma、Palmyra 的支持，并扩充 Google 模型支持（Nano Banana 2 Lite、GA image aliases、gemini-pro-latest）。修复方面涉及 is-refusal、is-sql、is-xml 等断言逻辑，以及 redteam 中已弃用或无效的提示注入 id 展示问题。
- 动态promptfoo
promptfoo 0.122.1 发布：新增 Gemini 3.7 Flash 支持与红队 token 计量
promptfoo 发布 0.122.1，新增 Gemini 3.7 Flash 与 Flash-Lite 两个 provider，并完善红队测试的 token 计量，覆盖多轮攻击者与评分 token、远程策略生成用量及未计量生成请求。该版本还扩展 tracing 能力，支持从 Grafana Tempo、Braintrust、Langfuse 拉取外部 trace，并对齐 OpenTelemetry GenAI 约定，同时接入 OpenAI Agents、Vercel SDK、Claude 与 Codex 子进程遥测。安全修复方面，为所有 callback loader 加上路径穿越防护，并在输出中脱敏 AWS SigV4 凭证。
- 动态MCP Inspector
MCP Inspector 2.3.0 发布：修复容器沙箱端口绑定与 OAuth 授权参数等多项安全问题
MCP Inspector 发布 2.3.0，修复容器场景下按地址绑定 loopback 并固定沙箱端口，同时将 nanoid 升级至 3.3.18 以清除一个高危安全公告。该版本新增按服务器自定义 OAuth 授权请求参数、在 Connection Info 中展示并解码 OAuth id_token，以及 Server Settings 中的 Auth URL 与 Token URL 覆盖。此外还修复了分页模式下列表拉取失败未提示、SSE 帧 CRLF 分隔解析、重复工具名无法单独检查等问题。
- 动态MCP Inspector
MCP Inspector v2.8.0 发布：修复 /api 认证绕过并新增密钥文件配置
MCP Inspector 发布 v2.8.0，修复了此前只要设置 DANGEROUSLY_OMIT_AUTH 为 true/1 之外的取值也可能影响 /api 认证的问题，现在仅 true/1 才会禁用该认证。该版本还新增 MCP_INSPECTOR_SECRET_KEY_FILE 配置项并为各运行时补充密钥存储文档，同时加入安全公告技能、为现代通知 POST 补上 Mcp-Method 标记，并调整 OIDC 兼容路径的请求体释放逻辑。
- 动态Guardrails AI
Guardrails AI v0.10.2 发布
Guardrails AI 发布 v0.10.2，新增 SECURITY_ADVISORY.md 安全公告文件并多次更新，同时修复 GitHub Workflows Action 中的模板注入问题。该版本将 litellm 版本约束放宽至 >=1.83.0，并加入面向可信发布的 release workflow。
- 动态Guardrails AI
Guardrails AI v0.11.0 发布
Guardrails AI 发布 v0.11.0，更新 SECURITY_ADVISORY.md 并修复多项安全问题，包括将 aiohttp 从 3.13.3 升级到 3.13.5、修复 GitHub Workflows Action 的模板注入、将 anyio 升级到 4.14.2。该版本还弃用 hub CLI 与私有 registry，迁移至公共 PyPI，并采用 guardrails-ai-types 0.5.0。
- 动态MCP Python SDK
MCP Python SDK v2.0.0 稳定版发布
MCP Python SDK v2.0.0 稳定版发布，支持 2026-07-28 版 Model Context Protocol 并兼容全部早期版本，pip install mcp 现安装 2.x。v1.x 进入维护模式，仅接收安全修复。新版将 FastMCP 更名为 MCPServer，引入一等公民 Client 对象，默认开启 OpenTelemetry 追踪，强化 stdio 与 OAuth（含 RFC 9207 签发者校验），Streamable HTTP 服务器对超过 4 MiB 的请求体返回 HTTP 413。
- 动态Google ADK
Google ADK v2.8.0 发布：新增 Model Armor 护栏插件并修复 BigQuery 工具 SQL 注入
Google ADK 发布 v2.8.0，新增 Model Armor 护栏插件，并修复 BigQuery 工具中的 SQL 注入漏洞。该版本还加入 ADK_MAX_LLM_CALLS 环境变量以限制 LLM 调用上限，为 RemoteA2aAgent 增加原生任务模式与 auth_scheme、auth_credential 认证支持，并新增对中继智能体输出的围栏处理，防止其被伪装成指令。此外引入按调用与按工作流的 token 消耗等实验性遥测指标，默认关闭，需通过 ADK_EXPERIMENTAL_TELEMETRY=true 或 RunConfig 显式开启。
- 动态Google ADK
Google ADK v2.11.0 发布：新增执行取消、工具确认与 SQLite 记忆服务
Google ADK 发布 v2.11.0，为 Runner、Workflow 和节点新增 abort_signal 以优雅取消执行，客户端断开时 /run_sse 会自动取消运行。工作流中的工具节点现可通过 RequestInput 暂停等待用户批准，并新增 ModelConsultTool，让智能体在任务中途咨询另一模型，受每轮和每会话预算限制。该版本还加入基于 sqlite:// URI 的本地 SQLite 记忆服务，并提供 MCP SDK 2.x 的现代协议连接路径；Dev UI 运行时配置改由服务器按请求提供，不再写入安装包。
- 动态CrewAI
CrewAI 1.15.17 发布：修复 SSRF 检查与 OpenAI Responses API 原生工具调用问题
CrewAI 发布 1.15.17，新增声明式对话流文档，并让声明可驱动对话模式、支持对话模式显式启用。安全与稳定性修复包括：将 SSRF 检查固定到每一跳重定向及对端 IP、把工具错误归属到实际失败的工具、修复 OpenAI Responses API 上原生工具调用失效的问题，并在每次失败尝试后关闭 agent 作用域。
- 动态CrewAI
CrewAI 1.15.19 发布：修复 pypdf 与 nltk 安全漏洞
CrewAI 发布 1.15.19 版本，将 pypdf 升级至 6.16.2、nltk 升级至 3.10.3 以修复安全漏洞。该版本新增 Clipper 集成客户端、CEL 表达式环境的 now() 函数，并修复原生 Gemini provider 追加末尾用户轮次、Ollama base URL 的 scheme 与 port 归一化等问题，同时为当前 Claude 模型修复原生结构化输出并设置 Snowflake CVE 下限。