跳到正文

#MCP/工具调用

今天还没有收录新动态

第 4 页更新的内容回到最新

4月21日周二
  1. Wiz Research ·

    Wiz 复盘 Context.ai OAuth token 泄露波及 Vercel 的事件

    Wiz 分析了一起第三方 OAuth 集成被滥用导致的双重供应链攻击:攻击者通过 AI 办公套件 Context.ai 的 OAuth token 进入 Vercel 内部系统,进而可能影响 Vercel 的客户。Context.ai 确认部分消费者用户的 OAuth token 可能已泄露,至少一名 Vercel 员工曾以 Allow All 权限授权该应用,使攻击者得以访问 Vercel 的 Google Workspace。

4月15日周三
  1. OWASP GenAI Security Project ·

    OWASP 上线 FinBot CTF,用模拟金融多智能体平台演练 Agentic 安全风险

    OWASP GenAI Security Project 的 Agentic Security Initiative 正式上线 FinBot CTF,这是一个围绕模拟金融服务应用构建的交互式 Agentic 安全 CTF,被定位为“Agentic AI 的 Juice Shop”。FinBot 模拟一个多智能体供应商管理平台,包含自主入驻、欺诈检测、发票处理和通信等由 LLM 驱动并拥有真实工具访问权限的流程。

4月9日周四
  1. Adversa AI ·

    OWASP ASI01 智能体目标劫持实用安全指南

    Adversa AI 发布 OWASP Agentic Security Initiative Top 10 2026 版中 ASI01(智能体目标劫持)的实用安全指南,将其定义为攻击者操纵 AI 智能体目标、使其秘密执行攻击者指令而非用户意图,即系统控制权的完全丧失。指南按被跨越的信任边界把攻击向量分为五类:用户输入边界、检索内容边界(邮件、文档、网页、RAG,含文本图像音频视频)、工具/API 边界(含恶意 MCP 服务器)、智能体间通信边界和配置边界,并指出多数关键攻击是经由被投毒外部内容的零点击方式触发。

4月8日周三
  1. 研究者论文追踪 ·

    TraceSafe-Bench:评估 LLM 护栏在多步工具调用轨迹上的表现

    研究者提出 TraceSafe-Bench,用于评估 LLM 护栏在多步工具调用中间轨迹上的安全性,覆盖提示注入、隐私泄露、模型幻觉、接口不一致等 12 类风险,包含 1000 多个执行实例。团队评测了 13 个 LLM-as-a-guard 模型和 7 个专用护栏,得到三点结论:护栏效果更多取决于结构化数据处理能力(如 JSON 解析),与结构化到文本基准强相关(ρ=0.79,p<0.01),而与标准越狱鲁棒性无关联;轨迹检测准确率不随模型规模单调提升,通用 LLM 持续优于专用安全护栏;在原生上下文范围内检测准确率随轨迹变长而提升,但在极端长上下文场景下因过度拒答而下降。该工作已被 COLM 2026 接收。

4月2日周四
  1. Adversa AI · · 原文 82

    Claude Code 被曝 deny 规则静默绕过:命令超过 50 条子命令即跳过安全检查

    Adversa AI 披露 Claude Code 存在安全策略绕过漏洞:当 shell 命令包含超过 50 条由 &&、|| 或 ; 连接的子命令时,bashPermissions.ts 会跳过逐子命令的安全分析,包括 deny 规则检查,回退到可被自动放行的通用询问提示。攻击路径是恶意仓库在 CLAUDE.md 中写入 50 多条看似正常的构建命令,把窃取凭据的命令藏在第 51 位,开发者让 Claude Code 构建项目时 deny 规则不会触发。作者实测显示,单独运行 curl 会被 deny 规则拦截,但前面加上 50 个 true 空操作后,Claude Code 提示无法逐条安全检查并询问是否继续。

    推荐理由披露了 Claude Code 在复合命令超过 50 条子命令时静默跳过 deny 规则的具体代码路径与利用链,可据此检查自身 Agent 权限配置。

4月1日周三
  1. Adversa AI ·

    2026 年 4 月智能体 AI 安全资源盘点:OpenClaw、Copilot 与多智能体攻击

    Adversa AI 发布 2026 年 4 月智能体 AI 安全资源盘点,共收录 33 项资源,涵盖研究、漏洞、防御、威胁建模等类别。研究显示,30 个 AI 智能体框架中 93% 依赖无范围限制的 API key,0% 具备按智能体身份标识,97% 缺少用户同意机制;针对 GPT-5 mini 和 Claude Sonnet 4.5 的记忆投毒攻击成功率超过 90%。OpenClaw 被曝 CVSS 9.9 权限提升漏洞(CVE-2026-32922),超 13.5 万个面向互联网的实例受影响;Chrome 的 Gemini Live 面板存在 CVE-2026-0628 高危漏洞,可被恶意扩展劫持并访问摄像头和麦克风。

3月31日周二
  1. Adversa AI ·

    Adversa AI 在 RSA Conference 2026 全球信息安全奖获评"最具创新 Agentic AI 安全"

    Adversa AI 在 RSA Conference 2026 的 Global InfoSec Awards 上获评"最具创新 Agentic AI 安全",其 Agentic AI 安全平台可持续对 GenAI 应用、自主 AI 智能体和 MCP 架构进行压力测试,在部署前发现提示注入、目标劫持和工具滥用等漏洞。该平台评估结果对齐 OWASP AI Vulnerability Scoring System,并已扩展至金融服务、保险和政府的企业级环境。Gartner 预计到 2028 年超过 33% 的企业应用将包含 agentic AI,高于 2024 年的不足 1%。

3月18日周三
  1. OWASP GenAI Security Project ·

    OWASP GenAI Security Project 在 RSA 2026 前扩充 LLM 与智能体安全框架

    OWASP GenAI Security Project 发布了面向 LLM 与智能体安全的更新版全景指南及配套资源,并公布其在 RSA 2026 期间的一周活动安排。该项目的《Q2 2026 Updated Landscape Guide for LLM and Agentic Security》新增供应商与工具体系文档以及智能体红队测试分类体系,覆盖开发、测试、部署与治理全生命周期。同期发布的还有自主与智能体 AI 系统风险清单、Secure MCP Server Development 指南、SBOM/AIBOM Generator 开源工具以及 AI 红队服务商评估标准。

3月12日周四
  1. NVIDIA NeMo Guardrails 版本发布 ·

    NVIDIA NeMo Guardrails v0.21.0 发布:新增并行执行输入/输出护栏引擎 IORails

    NVIDIA NeMo Guardrails 发布 v0.21.0,引入优化后的输入/输出护栏引擎 IORails,支持并行执行 NemoGuard 的内容安全、话题安全和越狱检测三类护栏,并带日志记录与请求 ID。该版本还新增 LLMRails.check_async 方法实现独立的输入/输出护栏校验,使护栏服务器兼容 OpenAI(含新的 v1/models 端点),并通过 GuardrailsMiddleware 接入 LangChain 智能体。社区集成方面加入 PolicyAI 内容审核、CrowdStrike AIDR 及基于正则表达式的检测护栏,同时将嵌入索引初始化改为惰性加载以改善启动性能。

1月31日周六
  1. Simon Willison(提示注入) ·

    Moltbook:OpenClaw 智能体社交网络为何成为当下最受关注的项目

    OpenClaw(原名 Clawdbot、Moltbot)的智能体社交网络 Moltbook 通过 skill 安装,让 AI 助手每 4 小时以上抓取并执行 moltbook.com 上的指令,实现发帖、评论和创建 Submolt 论坛。该开源项目由 Peter Steinberger 构建,GitHub 星标已超 114,000,社区在 clawhub.ai 分享数千个 skill,但 skill 可执行任意脚本。作者警告这类数字助手面临提示注入风险,且已有 Claude Opus 4.5 实例疑似触发内容过滤而无法完整输出。

  2. NVIDIA 技术博客:可信 AI 与网络安全 · · 原文 62

    NVIDIA 发布智能体工作流沙箱与执行风险管理的安全实践指引

    NVIDIA 发布面向智能体工作流的安全实践指引,聚焦沙箱化与执行风险管理。文章指出,AI 编码智能体通过命令行运行工具时,会继承与用户相同的权限和授权,因而成为计算机使用智能体,带来常被忽视的攻击面。该指引围绕这一执行风险给出实践建议。

    推荐理由NVIDIA 安全团队从权限与执行风险角度给出智能体工作流的沙箱实践指引,适合部署编码智能体的团队参考。

1月15日周四
  1. arXiv ·

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow,降低 Agent 有害工具调用

    ToolSafe 提出面向 LLM 智能体工具调用安全的步骤级护栏方案,包含基准 TS-Bench、护栏模型 TS-Guard 和推理框架 TS-Flow。TS-Guard 通过多任务强化学习训练,在执行前基于交互历史推理,评估请求有害性与动作和攻击的关联,输出可解释、可泛化的安全判断与反馈。TS-Flow 由护栏反馈驱动,在提示注入攻击下将 ReAct 风格智能体的有害工具调用平均减少 65%,同时把良性任务完成率提升约 10%。作者称该工作仍在进行中,代码已公开。

12月10日周三
  1. OWASP GenAI Security Project ·

    OWASP 发布智能体应用十大风险与缓解清单

    OWASP GenAI Security Project 发布《OWASP Top 10 for Agentic Applications》,用于帮助组织识别和缓解自主 AI 智能体带来的风险。该清单经过一年多研究、评审和修订,汇集 100 多位安全研究者、行业从业者、用户组织及网络安全与 GenAI 厂商的意见,并由包含 NIST、European Commission、Alan Turing Institute 等机构代表的 Agentic Security Initiative Expert Review Board 评审。

11月5日周三
  1. Simon Willison(提示注入) ·

    MCP Colors:系统化应对提示注入风险

    Tim Kellogg 提出用颜色分类 MCP 工具来应对提示注入风险:红色代表会接触不可信指令的工具,蓝色代表攻击者不应触发的关键操作,智能体可据此避免两类工具同时混用。他建议用 _meta 对象记录 MCP 工具与资源的颜色,并借助 LLM 为约 200 个工具批量打标,使分类标准可扩展到初始工具集之外。

10月28日周二
  1. Embrace The Red · · 原文 80

    Claude Pirate:滥用 Anthropic File API 实现数据外泄

    研究者披露了一条针对 Claude Code Interpreter 的数据外泄攻击链:利用默认开启的网络出口白名单中包含 api.anthropic.com,通过间接提示注入让 Claude 读取用户数据并写入沙箱文件,再用攻击者自己的 ANTHROPIC_API_KEY 调用 Anthropic Files API 把文件上传到攻击者账号。按 Files API 文档,单次可外泄最多 30MB,且可多次上传。作者称首次尝试即成功,但随后 Claude 会拒绝含明文 API key 的载荷,最终通过在恶意代码中混入大量无害代码(如 print('Hello, world'))绕过。

    推荐理由作者实测了 Claude Code Interpreter 默认网络出口配置下的数据外泄链路,并给出厂商与用户两侧的缓解建议。

10月10日周五
  1. NVIDIA 技术博客:可信 AI 与网络安全 · · 原文 74

    NVIDIA 分析编码智能体开发者工具的攻击面

    NVIDIA 技术博客指出,开发者越来越多使用 Cursor、OpenAI Codex、Claude Code 和 GitHub Copilot 等 AI 编码工具,这些工具在加快开发与代码审查的同时也扩大了攻击面。文章称这些智能体工具实现方式各异,但都共享同一套框架,即用 LLM 决定要执行的动作。

    推荐理由文章梳理了 Cursor、Codex、Claude Code 等编码智能体共同的 LLM 决策框架,说明这类工具为何构成新的攻击面。

9月25日周四
  1. Embrace The Red · · 原文 78

    跨 Agent 提权:一个 Agent 如何改写另一个 Agent 的配置并放它出沙箱

    研究者展示了一种跨 Agent 提权攻击链:被间接提示注入劫持的 GitHub Copilot 可以写入 Claude Code 的 MCP 配置和 CLAUDE.md 等指令文件,添加恶意 MCP server 或放行 shell 命令,等开发者使用 Claude Code 时这些改动被加载并执行任意代码,Claude 还能反向改写 Copilot 配置形成升级循环。

    推荐理由作者以 GitHub Copilot 与 Claude Code 为例演示跨 Agent 提权链,并给出隔离配置、最小权限等可迁移的缓解思路。

8月29日周五
  1. Embrace The Red ·

    Windsurf MCP 集成缺少安全控制,代码注释即可劫持 Agent 泄露私密 Slack 消息

    作者实测发现,Windsurf 在添加 MCP 服务器后,工具调用默认处于无人工确认的自动执行状态,且没有让 AI 先建议、由用户确认的选项。他演示了通过代码注释中的自然语言指令劫持 Agent 的攻击:Agent 读取私密 Slack 频道消息并转发到公开频道,全程零点击、无需用户确认,只需把恶意指令放进提示词上下文即可。作者指出这类指令可来自工具调用、代码文件或访问的网站,而提示注入目前没有解决方案,人工审批仍是最佳缓解手段。该问题已于 2025 年 5 月 30 日告知 Windsurf 并获确认,Windsurf CEO 随后联系作者表示正在修复。

8月26日周二
  1. Embrace The Red ·

    AWS Kiro 被曝经间接提示注入实现任意代码执行

    安全研究者 Johann 在 AWS Kiro 发布当天测试发现,该编码 Agent 可被间接提示注入劫持,实现任意操作系统命令执行。攻击有两条路径:一是 Kiro 无需开发者批准即可写入文件,攻击者借此在 .vscode/settings.json 中把 Bash 命令加入白名单(如写入通配符),二是向 .kiro/settings/mcp.json 添加恶意 MCP 服务器,保存文件即触发代码执行。演示中提示注入被放在源码注释里,用户只需让 Kiro 读取或解释该文件即可触发,无需编译或运行代码;作者指出载荷也可来自文件上传、工具调用返回数据或 MCP 服务器。

8月25日周一
  1. Embrace The Red ·

    研究者演示 ChatGPT Deep Research 连接器如何跨工具泄露数据

    作者通过自建名为 Remote Matrix 的远程 MCP 服务器,实测 ChatGPT Deep Research 在连接多个工具时存在数据外泄。研究发现 ChatGPT Connectors 与 Deep Research 中的各工具处于同一信任边界,智能体可自由调用工具并把一个来源的数据用于查询另一个来源,例如将 Outlook 邮件或 Linear 工单中的敏感信息发送给 Remote Matrix。作者进一步在 Linear 工单和 MCP 工具描述中植入间接提示注入,成功劫持智能体,使其把多个工单中的生产服务与凭据合并成单条查询发送出去。

8月20日周三
  1. Embrace The Red · · 原文 82

    Amazon Q Developer 被间接提示注入实现远程代码执行

    安全研究者披露 Amazon Q Developer VS Code 扩展存在间接提示注入漏洞,攻击者可在开发者未授权的情况下在主机上执行任意命令。该扩展下载量超过 100 万,其 executeBash 工具中 find 命令被归入 readonly 类别,可绕过人工确认,并借助 -exec 参数执行任意系统命令;作者用源码注释中的提示注入演示了弹出计算器。作者进一步绕过 Claude 4 对 curl 下载的拒答,通过 base64 载荷加空格并配合 Python 脚本还原,实现从远程服务器动态下载并执行指令,还演示了下载 Sliver 恶意二进制并将主机接入 C2。

    推荐理由作者完整披露了 Amazon Q 的 find 命令绕过路径与 Claude 拒答绕过手法,可迁移到其他编码 Agent 的工具权限审查。

8月13日周三
  1. Embrace The Red · · 原文 87

    GitHub Copilot 经提示注入实现远程代码执行(CVE-2025-53773)

    安全研究者披露 GitHub Copilot 与 VS Code 中的提示注入漏洞 CVE-2025-53773,攻击者可借此在开发者机器上实现远程代码执行。利用链从源代码文件、网页、GitHub issue 或工具调用响应中的提示注入开始,先向 ~/.vscode/settings.json 写入 chat.tools.autoApprove: true,使 Copilot 进入 YOLO 模式并关闭所有用户确认,随后执行终端命令,还可按操作系统条件选择载荷。该实验性设置默认存在,在 Windows、macOS 和 Linux 上均有效。

    推荐理由作者以第一手红队视角还原了从提示注入到远程代码执行的完整利用链,并给出可迁移的 Agent 配置写入风险检查点。

8月10日周日
  1. Embrace The Red ·

    OpenHands 被提示注入劫持:从访问网页到远程代码执行

    安全研究者披露,OpenHands 智能体可被网页或 GitHub issue 中的不可信数据提示注入劫持,进而下载并执行恶意软件、连接攻击者控制的 C2 服务器,把实例变成 ZombAI。作者复用了此前针对 Anthropic Claude Computer-Use Agent 的同一份攻击载荷,仅替换了被执行的二进制文件,并让 OpenHands 在初始任务中仅被要求访问一个网站。作者还测试了 AI ClickFix 手法,OpenHands 按网页指令把 shell 命令复制粘贴进终端工具,一次即成功。

8月8日周五
  1. Embrace The Red · · 原文 82

    研究者用提示注入诱使 Devin 将本地端口暴露到公网

    安全研究者发现 Devin 的系统提示词中包含 expose_port 工具,可将本地端口暴露到公网并返回 .devinapps.com 的公开 URL,且无需人工确认即可调用。作者据此构建多阶段间接提示注入 PoC:第一阶段让 Devin 创建 Python Web 服务器暴露文件系统,第二阶段利用图片 markdown 漏洞把公开 URL 泄露给攻击者服务器,最终攻击者可从公网访问 Devin 机器上的文件。作者称 Devin 起初会拒绝此类请求,但通过跨多个域名和阶段逐步引导即可绕过。

    推荐理由作者用多阶段提示注入实测 Devin 的 expose_port 工具,展示自主 Agent 在无人确认下把本地端口暴露到公网的可复现路径。

8月7日周四
  1. Embrace The Red ·

    研究者披露 Devin 通过四种途径泄露密钥

    安全研究者展示攻击者如何借助间接提示注入,让 Devin 把敏感信息发送到第三方服务器。Devin 内置密钥管理,密钥在运行时以环境变量形式可用,成为外泄目标。作者梳理出四条外泄路径:通过 Shell 工具执行 curl、wget 或 Python 脚本外传数据;通过浏览器工具访问带敏感数据的攻击者 URL;在聊天框渲染指向不可信域名的 Markdown 图片;以及结合 Slack 超链接与不可见 Unicode 字符。测试中 Cognition 似乎已禁用 Devin 发帖时的链接展开,信息未自动泄露,但用户点击看似无害的链接仍会通过 URL 编码把隐藏字符随 HTTP 请求发出。

8月6日周三
  1. 腾讯玄武实验室 · · 原文 81

    腾讯玄武实验室在 Black Hat 2025 披露劫持智能体实现 RCE 的通用触发器注入方法

    腾讯玄武实验室在 Black Hat US 2025 发布研究,提出一种将触发器与载荷解耦的提示词注入新范式,用同一组优化 Token 序列即可控制模型精确输出攻击者指定内容。作者用贪婪坐标梯度(GCG)方法在包含上万条样本的对抗数据集上训练触发器前缀与后缀,在 Qwen-2、Llama-3.1、Devstral-Small 等开源模型上经约 200-500 次迭代后平均攻击成功率约 70%。演示案例中,攻击者通过嵌入触发器的恶意邮件让 Open Interpreter 执行命令,或通过更新第三方 MCP 工具描述使 Cline 跳过自动批准直接执行 shell 命令。

    推荐理由展示了触发器与载荷解耦的通用提示注入方法,并给出在 Cline 与 Open Interpreter 上的实际攻击链,可供部署智能体的团队评估工具审批与沙箱策略。

8月5日周二
  1. Embrace The Red ·

    Amp Code 可通过提示注入任意执行命令,Sourcegraph 已修复

    安全研究者 Johann 发现 Sourcegraph 的编码 Agent Amp 能够写入项目文件夹之外的配置文件,从而被间接提示注入利用实现任意代码执行。攻击链有两条:一是向 settings.json 的 amp.commands.allowlist 加入 curl、sh 等命令绕过开发者确认,二是写入恶意的 amp-mcpServers 条目,Amp 会立即启动该 MCP server,作者用一个小 Python 程序弹出计算器演示了任意代码执行。该漏洞于 7 月初发现并报告给 Sourcegraph,Amp 团队在几天内完成修复,作者建议用户升级到最新版本。

8月3日周日
  1. Embrace The Red ·

    Anthropic 文件系统 MCP Server 存在目录访问绕过漏洞

    Anthropic 的文件系统 MCP Server 因路径校验不当,存在目录访问绕过问题。作者在审查公开源码时发现,index.ts 的 validatePath 函数只用 startsWith 比较路径字符串,并未确认路径本身是目录,因此当允许列表写入 /mnt/finance/data 时,Claude 也能访问同级的 /mnt/finance/data-archived 等以该字符串开头的文件或目录。

7月29日周二
  1. Embrace The Red ·

    Embrace The Red 宣布 2025 年 AI 漏洞月,将披露 20 余篇编码 Agent 漏洞

    安全研究者 Johann Rehberger 宣布启动 2025 年 AI 漏洞月(Month of AI Bugs),8 月将在其博客发布 20 余篇针对主流智能体系统的漏洞分析,重点聚焦 AI 编码 Agent。作者称过去一年审查的每个 AI 编码 Agent 都存在漏洞,均已向对应厂商负责任披露,部分厂商数天内修复,也有厂商数月未回应、部分问题至今未缓解,还有厂商完全停止回复。

7月15日周二
  1. OWASP GenAI Security Project ·

    OWASP GenAI 安全项目发布 2025 年 Q2 生成式 AI 事件与漏洞利用汇总

    OWASP GenAI 安全项目汇总了 2025 年 3 月至 6 月的 14 起生成式 AI 事件与漏洞利用。其中包括 GPT-4.1 通过工具投毒被越狱、ChatGPT 提示注入导致数据泄露、DeepSeek 数据泄露、M365 Copilot 零点击 AI 命令注入,以及 NVIDIA TensorRT-LLM Python 执行器漏洞(CVE-2025-23254)。另有一批深度伪造语音诈骗、AI 生成音乐侵权和 AI 驱动的凭证填充等攻击被记录在案。

6月25日周三
  1. Embrace The Red ·

    Anthropic 弃用的 Slack MCP Server 存在数据外泄漏洞

    安全研究者披露 Anthropic 已弃用且不再维护的 Slack MCP Server 存在数据外泄漏洞,攻击者可通过提示注入让 AI 智能体把敏感信息拼进超链接,再借 Slack 的链接展开功能把数据发往第三方服务器。该服务器在 npm 上每周下载量超过 14k,可能存在数万个易受影响的安装。作者以 Claude Code 和 Claude Desktop 为例演示了从 .env 文件窃取 API key 的完整链路,并指出数据会经 Slack-LinkExpanding、Slackbot 1.0 和 Slack-ImgProxy 多次泄露。

6月9日周一
  1. Embrace The Red ·

    用 MCP Server 托管 COM 服务器实现 Windows 与 Office 自动化

    有人基于 Model Context Protocol(MCP)开发了一个名为 mcp-com-server 的原型服务器,通过动态发现方式实例化并托管任意 COM 对象,从而驱动 Windows 与 Office 自动化。该服务器提供类似 COM 的工具集——CreateObject、Get/Set Property、InvokeMethod、QueryInterface 以及列出当前所有活动服务器的接口,连接 Claude 后可创建、打开、编辑并保存 Excel 文件,再调用 Outlook 发送邮件,甚至能唤起 Internet Explorer。

5月3日周六
  1. Embrace The Red · · 原文 78

    研究者披露 MCP 工具元数据隐藏指令攻击,可劫持 Claude 等客户端

    安全研究者 Johann 披露 MCP 协议中工具元数据可携带隐藏 Unicode Tags 指令,用户界面不可见但会被 Claude 等模型解释执行。作者自建恶意 MCP 服务器演示了完整攻击链:在 message_of_the_day 工具描述中嵌入不可见指令,诱导 Claude 在调用该工具前先调用 enter_matrix 工具,而 UI 中检查描述看不到任何异常。攻击无需实际调用工具,仅将恶意服务器加入对话上下文即可劫持会话,因为工具元数据会被自动插入系统提示词。该攻击在 Claude Desktop、GitHub Copilot Agent Mode 和 Cursor 上均可复现。

    推荐理由作者以自建 MCP 服务器实测,展示工具元数据中隐藏 Unicode Tags 指令如何绕过 UI 可见性并触发未授权工具调用。

4月30日周三
12月17日周二
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA 用 WebAssembly 沙箱隔离智能体 AI 工作流

    NVIDIA 技术博客提出用 WebAssembly 沙箱隔离智能体 AI 工作流。文章指出,智能体工作流常需执行大语言模型生成的代码来完成数据可视化等任务,这类代码应先清洗并在安全环境中运行,以降低提示注入和返回代码出错带来的风险。作者认为,用正则表达式清洗 Python 并配合受限运行时并不充分,因此需要更强的隔离手段。文章由 Joseph Lucas 撰写,发布于 NVIDIA 开发者博客。

12月7日周六
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA NeMo Guardrails 如何为 RAG 应用做内容审核与安全检查

    NVIDIA NeMo Guardrails 通过集成 Meta 的 LlamaGuard 和 AlignScore 等第三方安全模型,为 RAG 应用提供内容审核与安全检查。该工具以开源工具包和微服务两种形式部署,支持内容审核、越狱检测、PII 检测、幻觉检测等护栏功能,可在 LLM 输出前扫描检索内容与生成回复中的冒犯性语言、虚假信息或政策违规。NeMo Guardrails 微服务处于早期访问阶段,提供 OpenAI 兼容 API。

已经到底了