跳到正文

英伟达 AI Red Team 的研究、garak 与 NeMo Guardrails 等开源安全工具,以及 Agent 运行时防护。

97条动态与论文相关主题工具与开源防御与护栏Agent 安全
在这个话题内搜索或按分类筛选

新闻与论文

第 41–60 条 · 共 97 条
10月1日周四
  1. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 12

    如何用 NVIDIA NeMo Guardrails 保护客服 AI 智能体

    NVIDIA NeMo Guardrails 为客服场景的 AI 智能体提供安全防护。这类智能体可自动处理常规咨询、加快响应速度,从而提升客服效率与客户满意度,帮助企业在竞争中保持优势;但驱动它们的 LLM 本身存在脆弱性,文章围绕此给出防护做法。

  2. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 20

    NVIDIA:AI 智能体的自主性等级与安全

    NVIDIA 技术博客探讨 AI 智能体的自主性等级与安全问题,将智能体工作流视为 AI 工具的下一步演进。这类工作流可让开发者串联多个 AI 模型执行复杂任务,调用工具访问额外数据或自动执行用户操作,并让模型以最少人工介入自主分析与完成任务。

  3. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 11

    NVIDIA NeMo Guardrails 如何衡量与优化生成式 AI 应用中的护栏效果与性能

    NVIDIA NeMo Guardrails 提供内容安全、话题控制、越狱检测等 AI 护栏,用于保障 AI 智能体及对话式 AI 应用的安全、符合品牌调性与可靠行为。该文探讨衡量与优化这些护栏效果和性能的技术方法,帮助企业在生成式 AI 应用中评估并提升护栏表现。

  4. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 8

    在 NVIDIA NeMo Guardrails 中用 Cleanlab 可信语言模型防止 LLM 幻觉

    NVIDIA 演示了如何在 NeMo Guardrails 中集成 Cleanlab 的可信语言模型(Trustworthy Language Model),用于防止 LLM 生成看似合理但错误的幻觉回答。该方案将 Cleanlab 的可信度评分作为护栏机制接入 NeMo Guardrails,以提升企业 AI 应用的可靠性。

  5. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 6

    NVIDIA:以智能体 AI 系统推进网络安全运营

    大语言模型(LLM)的快速进步解锁了智能体 AI 系统,使 AI 不再只是被动响应,而能思考、规划并行动,从而把网络安全等多个领域的繁琐任务自动化。传统上,AI 在网络安全中的应用主要集中在检测类任务。

  6. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 14

    如何用 NVIDIA Safety Recipe 保护智能体式 AI 系统

    NVIDIA Safety Recipe 用于防护具备自主行动、工具调用与推理能力的 LLM 智能体系统。这类系统的自主性会放大目标错位、提示注入、非预期行为以及人类监督减少等风险。企业正因灵活性与低推理成本加速采用智能体系统,因此引入稳健的安全措施变得至关重要。

  7. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 14

    为 AI 模型带来可验证信任:NVIDIA NGC 中的模型签名

    NVIDIA 在 NGC 中引入模型签名,为 AI 模型带来可验证的信任。AI 正进入由能推理、规划并采取行动的智能体主导的阶段,这类系统动态调用 API、工具乃至物理环境,大幅扩展了 AI 攻击面:单个被攻陷的模型即可影响下游决策、访问外部系统并触发级联故障。

  8. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 21

    保障智能体 AI 安全:语义提示注入如何绕过 AI 护栏

    语义提示注入能够绕过 AI 护栏,成为智能体 AI 面临的新安全威胁。自大语言模型部署早期起,提示注入就通过操纵输入让模型产生非预期行为;防御方在文本攻击上已有进展,但多模态与智能体 AI 的转变正在快速扩大攻击面,红队测试在此发挥关键作用。

  9. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 18

    NVIDIA AI Red Team:黑客如何利用 AI 的问题解决本能

    多模态 AI 模型正从感知走向推理、甚至开始自主行动,随之出现新的攻击面:这些威胁不只针对输入输出,而是利用 AI 跨模态处理、综合与推理的方式。NVIDIA AI Red Team 会在攻击者之前发现并测试这类漏洞,此前已开展语义提示注入(semantic prompt injection)研究。

  10. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 27

    如何用 AI Kill Chain 框架建模针对 AI 应用的攻击

    AI 智能体自主性增强,AI 应用正带来传统安全模型无法完全覆盖的新攻击面。应对原则是 Assume prompt injection,即假设提示注入已经发生,但把它转化为有效防御并不简单。AI Kill Chain 框架被用来建模这类攻击,Cyber Kill Chain 则定义了攻击者如何运作。

  11. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 15

    为什么 CVE 应归入框架与应用,而非 AI 模型

    NVIDIA 技术博客指出,CVE 漏洞编号体系应归属于框架和应用,而非 AI 模型本身。CVE 由 MITRE 维护、CISA 支持,为每个漏洞分配唯一 ID 和描述,供开发者、厂商和防御方快速沟通和处置已知风险。随着 AI 模型成为企业系统的核心组件,这一归属划分对漏洞管理尤为重要。

  12. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 52

    NVIDIA 分析编码智能体开发者工具的攻击面

    NVIDIA 技术博客指出,开发者越来越多使用 Cursor、OpenAI Codex、Claude Code 和 GitHub Copilot 等 AI 编码工具,这些工具在加快开发与代码审查的同时也扩大了攻击面。文章称这些智能体工具实现方式各异,但都共享同一套框架,即用 LLM 决定要执行的动作。

    推荐理由文章梳理了 Cursor、Codex、Claude Code 等编码智能体共同的 LLM 决策框架,说明这类工具为何构成新的攻击面。