开源红队、评测与防护工具。
在这个话题内搜索或按分类筛选NVIDIA NeMo Guardrails v0.22.0 将 LangChain 从核心依赖降为可选，OpenAI 兼容 LLM 改用内置 httpx 客户端，其他场景可通过 NEMOGUARDRAILS_LLM_FRAMEWORK=langchain 重新接入。新编排引擎 IORails 进入第二阶段，支持流式输出、OpenTelemetry 和推理模型，并在非流式模式下实现推测生成，让输入护栏与主模型响应并行以隐藏延迟。该版本还引入匿名使用统计，可通过 NEMO_GUARDRAILS_NO_USAGE_STATS=1、DO_NOT_TRACK=1 或配置文件退出。
NVIDIA 发布 NeMo Guardrails v0.23.0，IORails 的工具调用现同时支持流式与非流式请求，并新增本地 rail 校验模型发出的工具调用与应用返回的结果。该版本的 OpenAI 兼容服务器也支持工具调用，且新增 /v1/checks 端点可在不生成新模型响应的情况下运行输入或输出 rail。此外还加入轻量级 Hugging Face 分类器 rail、上下文膨胀检测以及 Polygraf 集成实现 PII 检测与掩码，NumPy 精确检索取代 Annoy 成为默认嵌入索引，发行 wheel 体积缩小约十倍，并要求 Pydantic>=2.5。
NVIDIA 发布 NeMo Guardrails v0.24.0，IORails 现可直接执行库内 67 项输入输出接口中的 59 项，并与 LLMRails 共享同一底层实现。该版本引入引擎中立的 RailOutcome 契约、声明式的 rail manifest 以及统一的对外 HTTP 客户端，同时新增 F5 Guardrails 集成、服务器健康检查端点及通过 `/v1/checks` 进行输出检查的功能。
NVIDIA NeMo Guardrails 发布 v0.24.1 补丁版本，集中修复若干缺陷。该版本修正了 benchmark 中 Locust 并发测量与扫描、content-safety 对 Nemotron 3.5 响应的解析、server 在 IORails 准入丢弃时返回过载响应，以及 rails 对组合配置加载 config.py 的问题。
NVIDIA garak 发布 v0.13.2，新增迭代式探针基类与 FITD 探针，并加入 any 检测器。该版本修复了 MustRefuteClaimModel 目标类错误、TAP/PAIR 探针的 NameError、Win11 探针仍使用 Windows 10 产品名等问题，同时限制 langchain 版本、改进提示词翻译支持并新增运行加速文档。
NVIDIA garak 发布 v0.13.3，新增检测 API Key 泄露的探针及配套检测器和零宽坏字符注入探针，并加入 AWS Bedrock 生成器。该版本还改进 unreal pkghallu 目标覆盖、令 OpenAICompatible 类默认单次生成一条回复，并为生成器启用一致的 PRNG 访问。此外引入延迟加载与依赖裁剪、AVID 报告导出中 metadata 与 vuln_id 处理的多项修复。
NVIDIA garak 发布 v0.14.0，新增 JSON 配置文件支持和检测器评测文档及基准结果，并移除 `--generate-autodan` CLI 选项。该版本重新设计了 HTML 报告，修改了 JSONL 报告中 eval 与 digest 条目格式属破坏性变更，同时更新 OpenAI 库到 2.x、加入 Transformers 5 支持并将校准数据更新至 2026 年冬季版。
NVIDIA garak 发布 v0.14.1，新增面向实时 LLM 安全测试的 WebSocket 生成器和 OpenAI Harmony 音频输入格式，并为攻击成功率加入 Bootstrap 置信区间。该版本激活 sata 与 badchars 探针、补充简历类提示注入样例、改进 Jinja 注入检测，同时移除了废弃的 nemollm 生成器及其依赖，属破坏性变更。
NVIDIA garak 发布 v0.15.0，新增多轮 GOAT、Agent breaker 和系统提示提取三类探针，并加入同形异义混淆提示走私检测及 ModernBERT 拒答检测器。该版本还引入 NeMoGuardrails 服务器支持和带推理轨迹的测试生成器，改进 REST 生成器的 mTLS 客户端证书认证并为 Bedrock 生成器增加推理模型支持，同时修复编码检测逻辑翻转等问题。
NVIDIA 的 LLM 漏洞扫描工具 garak 发布 v0.15.1，新增 ProPILE 探针用于 PII 泄露检测，并加入 simonw/llm 库作为生成器支持。garak.analyze.qual_review 现支持 JSON 与文件输出模式。该版本还修复了 OpenAICompatible 中 response.choices 为 None、Hugging Face 文件探针本地路径处理、snowball 检测器 MISP 标签格式错误等问题，并移除已弃用的 maxrecall 评估器。
NVIDIA garak 发布 v0.16.0，引入技术与意图（technique and intent）标注以及首个 IntentProbe 迭代，作为 Context Aware Scanning 的第一步，允许用户在评估目标时带入自有上下文与预期。该版本还新增原生 Anthropic 生成器插件和一个简单自适应攻击探针，并带来破坏性变更：统一的 run.spec 选择语法取代旧的 probe_spec/buff_spec，report.jsonl 增加 probe_summary 条目并调整 digest 结构。
NVIDIA 的开源 LLM 漏洞扫描器 garak 发布 v0.17.0，新增 EU AI Act 映射，可为探针结果提供参考标签并按该法案中的各类风险分组呈现。同时改进插件层，向 Ollama 转发生成参数并加入认证与自定义客户端配置，另修复多个检测器和探针缺陷，例如 MarkdownExfilContent 缺失说明时的崩溃与除零错误、AgentBreaker 判定结果的 JSON 解析问题以及 NIM 瞬时 HTTP 错误的处理。此版还移除 Python 3.10 支持、改为支持 Python 3.13，并在兼容前锁定 anthropic Python 客户端版本。
OWASP GenAI Security Project 发布《OWASP Top 10 for Agentic Applications》，用于帮助组织识别和缓解自主 AI 智能体带来的风险。该清单经过一年多研究、评审和修订，汇集 100 多位安全研究者、行业从业者、用户组织及网络安全与 GenAI 厂商的意见，并由包含 NIST、European Commission、Alan Turing Institute 等机构代表的 Agentic Security Initiative Expert Review Board 评审。
OWASP GenAI Security Project 发布《Agentic 应用 Top 10》，将智能体安全风险归纳为十类，并同步更新 Threats and Mitigations 1.1 分类。
面向 Hugging Face 模型的 OWASP AIBOM Generator 正式贡献给 OWASP GenAI Security Project，并迁至 owasp-genai-aibom.org。该工具自动提取 AI 模型的关键元数据，按 CycloneDX 标准生成 AIBOM，帮助团队了解模型内部构成、来源以及数据和配置参数，并评估文档完整性与可信度。它此前已在 RSAC 2025 亮相并被列入 CycloneDX Tool Center，如今转向开放社区治理，同时推进《OWASP AIBOM Generation Handbook》编写及字段映射改进。
OWASP GenAI Security Project 发布了面向 LLM 与智能体安全的更新版全景指南及配套资源，并公布其在 RSA 2026 期间的一周活动安排。该项目的《Q2 2026 Updated Landscape Guide for LLM and Agentic Security》新增供应商与工具体系文档以及智能体红队测试分类体系，覆盖开发、测试、部署与治理全生命周期。同期发布的还有自主与智能体 AI 系统风险清单、Secure MCP Server Development 指南、SBOM/AIBOM Generator 开源工具以及 AI 红队服务商评估标准。
OWASP GenAI Security Project 的 Agentic Security Initiative 正式上线 FinBot CTF，这是一个围绕模拟金融服务应用构建的交互式 Agentic 安全 CTF，被定位为“Agentic AI 的 Juice Shop”。FinBot 模拟一个多智能体供应商管理平台，包含自主入驻、欺诈检测、发票处理和通信等由 LLM 驱动并拥有真实工具访问权限的流程。
OWASP GenAI Security Project 发布了 2026 版 LLM 应用 Top 10、面向智能体系统的 Agent Control Standard，以及扩充后的 AI Security Solutions Directory，同时其社区成员突破 30,000 人并新增四家赞助商。新版指南由数百位专家参与编写，纳入更新排名、扩大威胁覆盖范围和来自数千起真实事件的调研，并在前 48 小时内下载超过 10,000 次。该标准将既有智能体风险与控制指引延伸至运行时强制执行，目录则提供生成式 AI 安全、智能体安全和 AI 及智能体红队测试等多重视角。
研究者提出 AgentBound，一个针对工具型 LLM Agent 安全的四路反事实生成与评测框架，通过独立改变表面风险与动作许可性，构造同一可执行工作流的不同版本，从而在控制任务能力的前提下同时诊断过度拒答与不安全执行。该框架被实例化为一个经人工验证的 4000 任务评测套件，采用基于轨迹和基于后置状态的判断方式。在 17 种模型与 harness 配置上，高安全性常与授权任务完成率低并存：GPT-5.5 拦截了 99.5% 看似常规但未授权的动作，却只完成 28.7% 看似有风险但已授权的任务。
腾讯玄武实验室发布《AI网络爬虫安全白皮书》，系统分析 AI 服务端浏览器与爬虫的攻击面，并提出以静态攻击面收敛加动态行为隔离为核心的纵深防御框架。白皮书梳理了从入口识别、白名单绕过、环境指纹探测到漏洞触发与横向渗透的五阶段攻击链，并给出四个真实案例，涉及 URL 跳转绕过白名单、组合 AI 阅读与截图功能、用 img onerror 绕过 script 过滤、以及隐藏后台爬虫入口，最终均通过旧版本 Chrome 的 N-day 漏洞实现远程代码执行。作者称相关产品服务端用户规模累计超 10 亿。防御侧建议关闭 WebGL、WebRTC、PDF 插件等无用模块，避免使用 --no-sandbox，并做网络、文件系统与实例隔离。
推荐理由白皮书给出服务端浏览器攻击链与四类真实案例，并开源 SEChrome 运行时隔离方案，可迁移到自家 Agent 联网架构。