全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 技术博客：如何定义与标准化 LLM 红队测试
LLM 红队测试指向大语言模型等生成式 AI 提供输入，检验其输出是否偏离可接受标准，这一做法自 2023 年起迅速演变为行业惯例与可信 AI 的基石。NVIDIA 技术博客由此提出，业界需要进一步标准化并明确定义 LLM 红队测试。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA NeMo Guardrails 如何衡量与优化生成式 AI 应用中的护栏效果与性能
NVIDIA NeMo Guardrails 提供内容安全、话题控制、越狱检测等 AI 护栏，用于保障 AI 智能体及对话式 AI 应用的安全、符合品牌调性与可靠行为。该文探讨衡量与优化这些护栏效果和性能的技术方法，帮助企业在生成式 AI 应用中评估并提升护栏表现。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
在 NVIDIA NeMo Guardrails 中用 Cleanlab 可信语言模型防止 LLM 幻觉
NVIDIA 演示了如何在 NeMo Guardrails 中集成 Cleanlab 的可信语言模型（Trustworthy Language Model），用于防止 LLM 生成看似合理但错误的幻觉回答。该方案将 Cleanlab 的可信度评分作为护栏机制接入 NeMo Guardrails，以提升企业 AI 应用的可靠性。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA：以智能体 AI 系统推进网络安全运营
大语言模型（LLM）的快速进步解锁了智能体 AI 系统，使 AI 不再只是被动响应，而能思考、规划并行动，从而把网络安全等多个领域的繁琐任务自动化。传统上，AI 在网络安全中的应用主要集中在检测类任务。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 如何通过结构化应用保护 KV cache
NVIDIA 提出通过结构化应用设计来保护 KV cache。输入结构会影响 Transformer 模型（如 LLM、VLM）的输出，而实际提示词往往不止是简单的用户提问，常由系统指令、上下文数据和用户输入等来源动态拼装而成。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA NeMo Guardrails 如何增强 LLM 输出流式传输的安全与智能
NVIDIA NeMo Guardrails 可对 LLM 逐 token 实时输出的流式响应进行安全增强。LLM 流式传输已从可选功能演变为现代 LLM 应用的核心组件，而传统等待完整响应再处理的方式在多模型调用等复杂场景下会造成明显延迟。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
用 NVIDIA NIM 安全部署 AI 模型
NVIDIA 发布博客，介绍如何用 NVIDIA NIM 安全部署 AI 模型，帮助企业在推进 AI 项目时兼顾合规、风险管理与安全态势，面向评估 AI 模型的企业安全负责人。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 发布 DOCA 3.0，为 AI 平台网络开启新前沿
NVIDIA 发布 DOCA 3.0，为 BlueField DPU 和 ConnectX SuperNIC 扩展能力，提升 AI 平台的可扩展性与性能。该框架自首个版本起持续演进，已成为下一代 AI 基础设施的关键组件，各版本均围绕 BlueField DPU 与 ConnectX SuperNIC 扩充功能。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 NVIDIA Safety Recipe 保护智能体式 AI 系统
NVIDIA Safety Recipe 用于防护具备自主行动、工具调用与推理能力的 LLM 智能体系统。这类系统的自主性会放大目标错位、提示注入、非预期行为以及人类监督减少等风险。企业正因灵活性与低推理成本加速采用智能体系统，因此引入稳健的安全措施变得至关重要。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
为 AI 模型带来可验证信任：NVIDIA NGC 中的模型签名
NVIDIA 在 NGC 中引入模型签名，为 AI 模型带来可验证的信任。AI 正进入由能推理、规划并采取行动的智能体主导的阶段，这类系统动态调用 API、工具乃至物理环境，大幅扩展了 AI 攻击面：单个被攻陷的模型即可影响下游决策、访问外部系统并触发级联故障。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
保障智能体 AI 安全：语义提示注入如何绕过 AI 护栏
语义提示注入能够绕过 AI 护栏，成为智能体 AI 面临的新安全威胁。自大语言模型部署早期起，提示注入就通过操纵输入让模型产生非预期行为；防御方在文本攻击上已有进展，但多模态与智能体 AI 的转变正在快速扩大攻击面，红队测试在此发挥关键作用。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA AI Red Team：黑客如何利用 AI 的问题解决本能
多模态 AI 模型正从感知走向推理、甚至开始自主行动，随之出现新的攻击面：这些威胁不只针对输入输出，而是利用 AI 跨模态处理、综合与推理的方式。NVIDIA AI Red Team 会在攻击者之前发现并测试这类漏洞，此前已开展语义提示注入（semantic prompt injection）研究。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 AI Kill Chain 框架建模针对 AI 应用的攻击
AI 智能体自主性增强，AI 应用正带来传统安全模型无法完全覆盖的新攻击面。应对原则是 Assume prompt injection，即假设提示注入已经发生，但把它转化为有效防御并不简单。AI Kill Chain 框架被用来建模这类攻击，Cyber Kill Chain 则定义了攻击者如何运作。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
为什么 CVE 应归入框架与应用，而非 AI 模型
NVIDIA 技术博客指出，CVE 漏洞编号体系应归属于框架和应用，而非 AI 模型本身。CVE 由 MITRE 维护、CISA 支持，为每个漏洞分配唯一 ID 和描述，供开发者、厂商和防御方快速沟通和处置已知风险。随着 AI 模型成为企业系统的核心组件，这一归属划分对漏洞管理尤为重要。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA AI 红队分享 LLM 安全实践建议
NVIDIA AI 红队（AIRT）基于多年来对多种 AI 系统在生产部署前的安全评估，总结出若干 LLM 应用中的常见漏洞与安全隐患，指出若在开发阶段加以处理可显著提升基于 LLM 应用的安全性。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 分析编码智能体开发者工具的攻击面
NVIDIA 技术博客指出，开发者越来越多使用 Cursor、OpenAI Codex、Claude Code 和 GitHub Copilot 等 AI 编码工具，这些工具在加快开发与代码审查的同时也扩大了攻击面。文章称这些智能体工具实现方式各异，但都共享同一套框架，即用 LLM 决定要执行的动作。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA：代码执行如何驱动智能体 AI 系统的关键风险
AI 系统从被动工具演变为能生成代码、做出决策并自主行动的智能体后，代码执行成为关键安全风险。若不对 AI 生成代码的执行方式与位置施加严格管控，攻击者可构造输入诱导 AI 生成恶意代码。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA：为视觉语言模型更新分类器规避方法
NVIDIA 技术博客发布《为视觉语言模型更新分类器规避》，围绕视觉语言模型（VLM）的分类器规避方法更新展开。文中指出，Transformer 多模态模型能在同一上下文中处理多种数据形式，VLM 可基于图像与文本的组合输入生成输出，让开发者构建解读图表、处理摄像头画面，或通过桌面等传统人类界面操作的系统。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 发布智能体工作流沙箱与执行风险管理的安全实践指引
NVIDIA 发布面向智能体工作流的安全实践指引，聚焦沙箱化与执行风险管理。文章指出，AI 编码智能体通过命令行运行工具时，会继承与用户相同的权限和授权，因而成为计算机使用智能体，带来常被忽视的攻击面。该指引围绕这一执行风险给出实践建议。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA OpenShell：更安全地运行自主、自进化 AI 智能体
NVIDIA 推出 OpenShell，用于更安全地运行自主、自进化的 AI 智能体。这类被称为 claws 的智能体可接受目标后自行规划并持续执行，无需人类介入。随着其能力增强，信任难度上升，其自进化自主性也改变了运行环境。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 如何为机密 AI 工厂构建零信任架构
为机密 AI 工厂构建零信任架构，用于应对企业私有数据与 AI 模型结合时的隐私与信任风险。AI 正从实验走向生产，但企业所需的大部分数据位于公有云之外，包括患者记录、市场调研以及承载企业知识的遗留系统，隐私与信任顾虑常常拖慢甚至阻断 AI 的采用。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 OpenClaw 与 NVIDIA NemoClaw 构建更安全、常驻的本地 AI 智能体
NVIDIA NemoClaw 这套开源参考栈可编排 NVIDIA OpenShell，在本机沙箱中运行 OpenClaw 等开放 harness，构建常驻的本地 AI 智能体。教程在 NVIDIA DGX Spark（GB10）上用 Ollama 本地部署 NVIDIA Nemotron 3 Super 120B，并接入 Telegram 远程访问。OpenShell 负责沙箱隔离、凭证管理与 API 代理，但官方提醒任何沙箱都无法完全防御高级提示注入。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA：如何缓解智能体环境中的间接 AGENTS.md 注入攻击
NVIDIA 针对智能体环境中的间接 AGENTS.md 注入攻击给出缓解方法，聚焦编码智能体场景。正文以 OpenAI Codex 为例，说明此类编码智能体可自动完成代码生成、调试与创建 PR 等任务，AI 工具正显著加速软件开发。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA AI Red Team 如何用语法约束解码改进小语言模型的 Bash 生成
NVIDIA AI Red Team 提出用语法约束解码改进小语言模型的 Bash 命令生成，并将命令生成列为研究目标。Bash 是暴露给 AI 智能体的最灵活接口之一，模型输出的命令是可执行动作，能够读取文件、修改工作区、打开网络连接并串联工具。