如何用 NVIDIA NeMo Guardrails 保护客服 AI 智能体
NVIDIA NeMo Guardrails 为客服场景的 AI 智能体提供安全防护。这类智能体可自动处理常规咨询、加快响应速度，从而提升客服效率与客户满意度，帮助企业在竞争中保持优势；但驱动它们的 LLM 本身存在脆弱性，文章围绕此给出防护做法。
NVIDIA
今天新收录 1 条（含旧文）今天新收录 1 条（含旧文）
NVIDIA
今天新收录 1 条（含旧文）
10月1日周四
星期四
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度22 NVIDIA GTC 2025 网络技术专场：网络创新如何支撑吉瓦级 AI 工厂
NVIDIA GTC 2025 的网络技术专场聚焦网络创新如何让 AI 工厂达到吉瓦级规模并实现性能与效率突破。会议内容围绕支撑这一规模所需的网络技术展开，配图来源包括 Plask 与 Cern。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度2020 NVIDIA：AI 智能体的自主性等级与安全
NVIDIA 技术博客探讨 AI 智能体的自主性等级与安全问题，将智能体工作流视为 AI 工具的下一步演进。这类工作流可让开发者串联多个 AI 模型执行复杂任务，调用工具访问额外数据或自动执行用户操作，并让模型以最少人工介入自主分析与完成任务。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1515 NVIDIA 技术博客：如何定义与标准化 LLM 红队测试
LLM 红队测试指向大语言模型等生成式 AI 提供输入，检验其输出是否偏离可接受标准，这一做法自 2023 年起迅速演变为行业惯例与可信 AI 的基石。NVIDIA 技术博客由此提出，业界需要进一步标准化并明确定义 LLM 红队测试。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1111 NVIDIA NeMo Guardrails 如何衡量与优化生成式 AI 应用中的护栏效果与性能
NVIDIA NeMo Guardrails 提供内容安全、话题控制、越狱检测等 AI 护栏，用于保障 AI 智能体及对话式 AI 应用的安全、符合品牌调性与可靠行为。该文探讨衡量与优化这些护栏效果和性能的技术方法，帮助企业在生成式 AI 应用中评估并提升护栏表现。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度88 在 NVIDIA NeMo Guardrails 中用 Cleanlab 可信语言模型防止 LLM 幻觉
NVIDIA 演示了如何在 NeMo Guardrails 中集成 Cleanlab 的可信语言模型（Trustworthy Language Model），用于防止 LLM 生成看似合理但错误的幻觉回答。该方案将 Cleanlab 的可信度评分作为护栏机制接入 NeMo Guardrails，以提升企业 AI 应用的可靠性。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度66 NVIDIA：以智能体 AI 系统推进网络安全运营
大语言模型（LLM）的快速进步解锁了智能体 AI 系统，使 AI 不再只是被动响应，而能思考、规划并行动，从而把网络安全等多个领域的繁琐任务自动化。传统上，AI 在网络安全中的应用主要集中在检测类任务。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1515 NVIDIA 如何通过结构化应用保护 KV cache
NVIDIA 提出通过结构化应用设计来保护 KV cache。输入结构会影响 Transformer 模型（如 LLM、VLM）的输出，而实际提示词往往不止是简单的用户提问，常由系统指令、上下文数据和用户输入等来源动态拼装而成。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度88 NVIDIA NeMo Guardrails 如何增强 LLM 输出流式传输的安全与智能
NVIDIA NeMo Guardrails 可对 LLM 逐 token 实时输出的流式响应进行安全增强。LLM 流式传输已从可选功能演变为现代 LLM 应用的核心组件，而传统等待完整响应再处理的方式在多模型调用等复杂场景下会造成明显延迟。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度66 用 NVIDIA NIM 安全部署 AI 模型
NVIDIA 发布博客，介绍如何用 NVIDIA NIM 安全部署 AI 模型，帮助企业在推进 AI 项目时兼顾合规、风险管理与安全态势，面向评估 AI 模型的企业安全负责人。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度44 NVIDIA 发布 DOCA 3.0，为 AI 平台网络开启新前沿
NVIDIA 发布 DOCA 3.0，为 BlueField DPU 和 ConnectX SuperNIC 扩展能力，提升 AI 平台的可扩展性与性能。该框架自首个版本起持续演进，已成为下一代 AI 基础设施的关键组件，各版本均围绕 BlueField DPU 与 ConnectX SuperNIC 扩充功能。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1414 如何用 NVIDIA Safety Recipe 保护智能体式 AI 系统
NVIDIA Safety Recipe 用于防护具备自主行动、工具调用与推理能力的 LLM 智能体系统。这类系统的自主性会放大目标错位、提示注入、非预期行为以及人类监督减少等风险。企业正因灵活性与低推理成本加速采用智能体系统，因此引入稳健的安全措施变得至关重要。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1414 为 AI 模型带来可验证信任：NVIDIA NGC 中的模型签名
NVIDIA 在 NGC 中引入模型签名，为 AI 模型带来可验证的信任。AI 正进入由能推理、规划并采取行动的智能体主导的阶段，这类系统动态调用 API、工具乃至物理环境，大幅扩展了 AI 攻击面：单个被攻陷的模型即可影响下游决策、访问外部系统并触发级联故障。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度2121 保障智能体 AI 安全：语义提示注入如何绕过 AI 护栏
语义提示注入能够绕过 AI 护栏，成为智能体 AI 面临的新安全威胁。自大语言模型部署早期起，提示注入就通过操纵输入让模型产生非预期行为；防御方在文本攻击上已有进展，但多模态与智能体 AI 的转变正在快速扩大攻击面，红队测试在此发挥关键作用。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1818 NVIDIA AI Red Team：黑客如何利用 AI 的问题解决本能
多模态 AI 模型正从感知走向推理、甚至开始自主行动，随之出现新的攻击面：这些威胁不只针对输入输出，而是利用 AI 跨模态处理、综合与推理的方式。NVIDIA AI Red Team 会在攻击者之前发现并测试这类漏洞，此前已开展语义提示注入（semantic prompt injection）研究。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度2727 如何用 AI Kill Chain 框架建模针对 AI 应用的攻击
AI 智能体自主性增强，AI 应用正带来传统安全模型无法完全覆盖的新攻击面。应对原则是 Assume prompt injection，即假设提示注入已经发生，但把它转化为有效防御并不简单。AI Kill Chain 框架被用来建模这类攻击，Cyber Kill Chain 则定义了攻击者如何运作。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1515 为什么 CVE 应归入框架与应用，而非 AI 模型
NVIDIA 技术博客指出，CVE 漏洞编号体系应归属于框架和应用，而非 AI 模型本身。CVE 由 MITRE 维护、CISA 支持，为每个漏洞分配唯一 ID 和描述，供开发者、厂商和防御方快速沟通和处置已知风险。随着 AI 模型成为企业系统的核心组件，这一归属划分对漏洞管理尤为重要。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度2929 NVIDIA AI 红队分享 LLM 安全实践建议
NVIDIA AI 红队（AIRT）基于多年来对多种 AI 系统在生产部署前的安全评估，总结出若干 LLM 应用中的常见漏洞与安全隐患，指出若在开发阶段加以处理可显著提升基于 LLM 应用的安全性。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 精选关注度5252 NVIDIA 分析编码智能体开发者工具的攻击面
NVIDIA 技术博客指出，开发者越来越多使用 Cursor、OpenAI Codex、Claude Code 和 GitHub Copilot 等 AI 编码工具，这些工具在加快开发与代码审查的同时也扩大了攻击面。文章称这些智能体工具实现方式各异，但都共享同一套框架，即用 LLM 决定要执行的动作。
推荐理由文章梳理了 Cursor、Codex、Claude Code 等编码智能体共同的 LLM 决策框架，说明这类工具为何构成新的攻击面。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度2929 NVIDIA：代码执行如何驱动智能体 AI 系统的关键风险
AI 系统从被动工具演变为能生成代码、做出决策并自主行动的智能体后，代码执行成为关键安全风险。若不对 AI 生成代码的执行方式与位置施加严格管控，攻击者可构造输入诱导 AI 生成恶意代码。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度2929 NVIDIA：为视觉语言模型更新分类器规避方法
NVIDIA 技术博客发布《为视觉语言模型更新分类器规避》，围绕视觉语言模型（VLM）的分类器规避方法更新展开。文中指出，Transformer 多模态模型能在同一上下文中处理多种数据形式，VLM 可基于图像与文本的组合输入生成输出，让开发者构建解读图表、处理摄像头画面，或通过桌面等传统人类界面操作的系统。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 精选关注度4343 NVIDIA 发布智能体工作流沙箱与执行风险管理的安全实践指引
NVIDIA 发布面向智能体工作流的安全实践指引，聚焦沙箱化与执行风险管理。文章指出，AI 编码智能体通过命令行运行工具时，会继承与用户相同的权限和授权，因而成为计算机使用智能体，带来常被忽视的攻击面。该指引围绕这一执行风险给出实践建议。
推荐理由NVIDIA 安全团队从权限与执行风险角度给出智能体工作流的沙箱实践指引，适合部署编码智能体的团队参考。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1313 NVIDIA OpenShell：更安全地运行自主、自进化 AI 智能体
NVIDIA 推出 OpenShell，用于更安全地运行自主、自进化的 AI 智能体。这类被称为 claws 的智能体可接受目标后自行规划并持续执行，无需人类介入。随着其能力增强，信任难度上升，其自进化自主性也改变了运行环境。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1414 NVIDIA 如何为机密 AI 工厂构建零信任架构
为机密 AI 工厂构建零信任架构，用于应对企业私有数据与 AI 模型结合时的隐私与信任风险。AI 正从实验走向生产，但企业所需的大部分数据位于公有云之外，包括患者记录、市场调研以及承载企业知识的遗留系统，隐私与信任顾虑常常拖慢甚至阻断 AI 的采用。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1818 如何用 OpenClaw 与 NVIDIA NemoClaw 构建更安全、常驻的本地 AI 智能体
NVIDIA NemoClaw 这套开源参考栈可编排 NVIDIA OpenShell，在本机沙箱中运行 OpenClaw 等开放 harness，构建常驻的本地 AI 智能体。教程在 NVIDIA DGX Spark（GB10）上用 Ollama 本地部署 NVIDIA Nemotron 3 Super 120B，并接入 Telegram 远程访问。OpenShell 负责沙箱隔离、凭证管理与 API 代理，但官方提醒任何沙箱都无法完全防御高级提示注入。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度2929 NVIDIA：如何缓解智能体环境中的间接 AGENTS.md 注入攻击
NVIDIA 针对智能体环境中的间接 AGENTS.md 注入攻击给出缓解方法，聚焦编码智能体场景。正文以 OpenAI Codex 为例，说明此类编码智能体可自动完成代码生成、调试与创建 PR 等任务，AI 工具正显著加速软件开发。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1515 NVIDIA AI Red Team 如何用语法约束解码改进小语言模型的 Bash 生成
NVIDIA AI Red Team 提出用语法约束解码改进小语言模型的 Bash 命令生成，并将命令生成列为研究目标。Bash 是暴露给 AI 智能体的最灵活接口之一，模型输出的命令是可执行动作，能够读取文件、修改工作区、打开网络连接并串联工具。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1414 NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理
NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理，仅靠运行时护栏并不足够。随着自主 AI 智能体能力增强，开放模型、MCP 连接的工具与可移植技能让智能体更易扩展，但规模化使用需要结构透明与运行完整性。组织与团队需要理解和信任智能体所使用的技能（即指令）。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度88 NVIDIA MCG Toolkit 如何自动化 AI 模型文档编写
NVIDIA 发布 MCG Toolkit，用于自动化生成 AI 模型文档。该工具针对加州 AB-2013 和欧盟 AI Act 等监管框架下的模型卡编写需求，帮助软件团队在模型发布前产出可审计的完整文档，涵盖模型工作原理、预期用途与许可、训练数据及性能等信息。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1111 NVIDIA 以 DOCA 芯片内安全推进智能体 AI 基础设施
NVIDIA 推出 DOCA 芯片内安全能力，支撑智能体 AI 的 AI 工厂基础设施。该方案针对 AI 工厂在训练、微调和部署时引入的新攻击面，把安全能力下沉到芯片层。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度66 NVIDIA Confidential Computing：不拖慢性能的硬件级 AI 安全方案
NVIDIA Confidential Computing（CC）面向 AI 推理与智能体场景，用硬件级方案保护数据在使用中的安全，同时避免拖慢性能。该方案针对企业在数据隐私与主权方面的顾虑，目标是让 AI 模型在推理和交互过程中数据始终处于受保护状态。
Import AI · 收录 · 原文 关注度1818 NVIDIA 用 ENPIRE 搭建机器人自我改进闭环
NVIDIA 研究人员开发了 ENPIRE 软件，让实体机器人在编码智能体驱动下自主实验并迭代策略，实现无需人工评判的成功率评分与场景自动重置。该系统由环境、策略改进、Rollout 和进化四个模块组成，工作站搭载 NVIDIA RTX 5090，配合两台 YAM 机械臂运行。在 PushT、整理插针盒和使用切割器剪断扎带等任务中取得最高 99% 成功率，并能尝试将 GPU 插入主板。
Google DeepMind · 收录 · 原文 关注度2929 Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud
Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome，并新增基于 C2PA Content Credentials 的来源查验，此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印，Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。
Failure-First · 收录 · 原文 关注度1515 NavIsaacLab：面向人类感知导航基准的高保真人群仿真框架
NavIsaacLab 通过并行机器人学习生成逼真人群，为人机共存环境中的“人类感知”导航提供高保真基准。该框架基于 NVIDIA Isaac Lab 实现 GPU 并行仿真，将行人建模为由 SMPL 驱动的关节级物理智能体，并用轨迹扩散模型加 AMP 替代手写规则。它针对现有模拟器低物理保真度、简化行人建模和缺乏并行化三大缺陷设计，配套标准化基准从亲密度和社会规范维度评估策略。
NVIDIA garak 版本发布 · 收录 · 原文 关注度2020 NVIDIA garak v0.13.0 发布：新增 Leet 编码攻击插件与对话支持
NVIDIA garak 发布 v0.13.0，新增 Doctor 攻击及 Leet 编码插件、Simple Assistive Task Linkage Probe、Ascii Smuggling 探针，并加入广义版 Markdown 泄露探针。该版本将失败重命名为攻击成功，引入对话支持和可配置系统提示词，同时扩充 Python 漏洞利用载荷并改进恶意软件检测器正则匹配。
NVIDIA garak 版本发布 · 收录 · 原文 关注度1616 NVIDIA garak v0.13.1 发布：新增多种探针插件并改进检测器配置
NVIDIA garak 发布 v0.13.1，新增 Atbash 编码、tokenizer ANSI 逃逸码、Dropbox 重复 token 攻击、DRA（伪装与重构攻击）、Dart/perl/raku 包幻觉及 token 走私等多个探针模块。该版本还加入 detector 输出值为 None 的支持、将 config 中 model_* 改为 target_*、CLI 增加 --list_* 过滤选项，并修正未来类探针措辞、重命名扩展 Web 注入探针以及更正文档中的 ASR 数值。
NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 关注度1515 NVIDIA NeMo Guardrails v0.21.0 发布：新增并行执行输入/输出护栏引擎 IORails
NVIDIA NeMo Guardrails 发布 v0.21.0，引入优化后的输入/输出护栏引擎 IORails，支持并行执行 NemoGuard 的内容安全、话题安全和越狱检测三类护栏，并带日志记录与请求 ID。该版本还新增 LLMRails.check_async 方法实现独立的输入/输出护栏校验，使护栏服务器兼容 OpenAI（含新的 v1/models 端点），并通过 GuardrailsMiddleware 接入 LangChain 智能体。社区集成方面加入 PolicyAI 内容审核、CrowdStrike AIDR 及基于正则表达式的检测护栏，同时将嵌入索引初始化改为惰性加载以改善启动性能。
NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 关注度1212 NVIDIA NeMo Guardrails v0.22.0 发布：LangChain 解耦、IORails 里程碑 2
NVIDIA NeMo Guardrails v0.22.0 将 LangChain 从核心依赖降为可选，OpenAI 兼容 LLM 改用内置 httpx 客户端，其他场景可通过 NEMOGUARDRAILS_LLM_FRAMEWORK=langchain 重新接入。新编排引擎 IORails 进入第二阶段，支持流式输出、OpenTelemetry 和推理模型，并在非流式模式下实现推测生成，让输入护栏与主模型响应并行以隐藏延迟。该版本还引入匿名使用统计，可通过 NEMO_GUARDRAILS_NO_USAGE_STATS=1、DO_NOT_TRACK=1 或配置文件退出。
NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 关注度1515 NVIDIA NeMo Guardrails v0.23.0 发布：IORails 扩展工具调用与可观测性
NVIDIA 发布 NeMo Guardrails v0.23.0，IORails 的工具调用现同时支持流式与非流式请求，并新增本地 rail 校验模型发出的工具调用与应用返回的结果。该版本的 OpenAI 兼容服务器也支持工具调用，且新增 /v1/checks 端点可在不生成新模型响应的情况下运行输入或输出 rail。此外还加入轻量级 Hugging Face 分类器 rail、上下文膨胀检测以及 Polygraf 集成实现 PII 检测与掩码，NumPy 精确检索取代 Annoy 成为默认嵌入索引，发行 wheel 体积缩小约十倍，并要求 Pydantic>=2.5。
NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 关注度1515 NVIDIA NeMo Guardrails v0.24.0 发布
NVIDIA 发布 NeMo Guardrails v0.24.0，IORails 现可直接执行库内 67 项输入输出接口中的 59 项，并与 LLMRails 共享同一底层实现。该版本引入引擎中立的 RailOutcome 契约、声明式的 rail manifest 以及统一的对外 HTTP 客户端，同时新增 F5 Guardrails 集成、服务器健康检查端点及通过 `/v1/checks` 进行输出检查的功能。