NVIDIA 谈安全在 AI 智能体栈中的位置
NVIDIA 的安全团队基于其 OpenShell 及生态合作经验，阐述了新兴 AI 智能体栈中安全的定位问题，指出随着智能体能力增强并运行于更长的时间跨度，将安全与信任内建于其所驱动的应用愈发重要。该视角覆盖智能体栈的各层及其作用，面向开发者、开源项目和合作伙伴提供参考。
Agent 安全
全部主题智能体与工具调用带来的安全问题：权限、沙箱、数据外泄与失控行为。
在这个话题内搜索或按分类筛选新闻与论文
第 1401–1420 条 · 共 1,478 条10月1日周四
星期四
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 Adversa AI · 收录 · 原文 关注度1515 为什么 vibe coding 安全会成为企业下一个噩梦
vibe coding 正让企业充斥未经安全审查的自建应用，传统安全工具无法看见它们。Gartner 预计到 2028 年企业 40% 的新生产软件将由 vibe coding 工具生成；Veracode 发现 45% 的 AI 生成代码样本未通过安全测试，GitGuardian 2026 报告在 MCP 配置文件中发现 24,008 个唯一密钥泄露，CVE-2025-48757 影响 170 个 Lovable 生成项目。禁用 vibe coding 无效，安全团队需转向工具市场准入、数据分类与自动化护栏。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1313 NVIDIA AVO 在 ARC-AGI-3 达到 100%，展示面向长周期自主智能体的前沿级通用架构
NVIDIA 的 AVO 在 ARC-AGI-3 上取得 100% 成绩，其定位是支撑长周期自主智能体的前沿级通用架构。该工作强调前沿语言模型只是 AI 智能体的组件之一，真正决定可靠性的是被称为 harness 的外围系统——它负责模型获取上下文、调用工具、维持状态、响应反馈以及从失败中恢复的方式。
Wiz Research · 收录 · 原文 精选关注度5656 Wiz 蜜罐记录 90 天针对 AI 基础设施的攻击：MCP 服务器 RCE、盲提示注入与 AI 原生后渗透
Wiz Threat Research 在 LiteLLM、Flowise、LangChain、Langflow、ChromaDB、Ollama 等 AI 与 ML 服务上部署蜜罐，90 天遥测中观察到持续攻击，并将其归纳为三类模式：利用面向互联网的 MCP 服务器实现远程代码执行、针对 AI 智能体框架的盲提示注入，以及适配 AI 基础设施内部结构的后渗透。
推荐理由Wiz 用 90 天蜜罐遥测还原了针对 AI 基础设施的三类攻击链，并给出可对照排查的 IOC 与加固清单。
Adversa AI · 收录 · 原文 关注度5252 Adversa AI 梳理 Claude Code 十起攻击：多数落在配置与审批机制而非模型行为
Adversa AI 汇总了 2025 年 9 月至 2026 年 9 月间公开的十起针对 Claude Code 的攻击，指出它们几乎都不是模型行为问题，而是落在配置文件、hook 定义、审批弹窗、MCP 工具描述、插件 pin 和 skill 包这些模型外围机制上。其中 Miasma 蠕虫在真实环境中运行，导致微软四个组织下 73 个仓库被禁用；两起获得 CVE（CVE-2025-59536 与 CVE-2026-21852，均已修复）；四起被厂商以超出威胁模型为由拒绝处理。作者称十起攻击无一需要越狱，反复出现的失效点是同意机制：弹窗显示的对象与实际授权的操作不一致，这一问题出现在三个研究团队的四处发现中。
Google Bug Hunters · 收录 · 原文 关注度1818 Gemini Spark 持久化智能体的安全测试思路解析
Gemini Spark 将持久化智能体引入 Gemini App，Google Bug Hunters 发文说明针对这一新范式的安全测试方法与高影响力漏洞的关注重点。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1111 NVIDIA 用 Nemotron 构建自适应智能体网络安全系统
NVIDIA 基于 Nemotron 打造自适应智能体网络安全系统，目标是识别现有防线遗漏之处并将缺口转化为改进方向。该系统面向安全运营场景，强调突破既有告警、预设工作流和已知攻击行为的束缚，而非仅将智能体接入传统流程。
Wiz Research · 收录 · 原文 精选关注度6262 Wiz 披露 LiteLLM 认证绕过与 RCE 漏洞，近一成公网实例使用默认密钥
Wiz Research 扫描约 3000 个公网 LiteLLM 实例，发现 9.6%（294 个）接受默认主密钥 sk-1234 或完全无需认证，其中 191 个（6.2%）无任何认证。研究借助 Claude Code 审查 LiteLLM 代码，发现 MCP 端点认证绕过（CVE-2026-59822）：任意 Bearer token 校验失败后返回空认证对象，单次请求即可建立已认证的 MCP 会话，进而调用已连接工具；以及自定义代码护栏的认证后 root 级远程代码执行（CVE-2026-59821），注册端点未做禁用模式检查也未清空 __builtins__，代码在护栏注册时即执行。
推荐理由Wiz 对约 3000 个公网 LiteLLM 实例的实测数据，展示了 AI 网关从认证绕过到云凭证窃取的完整攻击链。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度2121 NVIDIA OpenShell：为 AI 智能体添加运行时控制
NVIDIA 推出 OpenShell，为 AI 智能体提供运行时控制能力。智能体可被赋予目标、编写代码、调用工具并在新信息出现时持续工作，适用于调查软件故障、运行实验以及执行跨天或跨周的关键业务操作与研究。这类智能体需要访问工作区、计算资源、数据、凭证和外部服务。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1111 NVIDIA 开放智能体安全平台：面向持续在硅基芯片内监测智能体的参考方案
NVIDIA 发布了开放智能体安全平台，作为持续在硬件层面对 AI 智能体进行监测的参考实现。该平台将互联网兴起带来的机遇与风险作类比，强调智能体时代同样需要在底层提供安全保障。目前公开的信息仅为其定位说明，尚未披露具体的监测机制与技术指标。
Google Bug Hunters · 收录 · 原文 关注度44 ESCAL8 2026：新加坡站聚焦智能体黑客攻防
Google 年度旗舰安全会议 ESCAL8 2026 将于 2026 年 10 月 23—25 日在新加坡举行，主题围绕智能体时代的黑客攻防展开。
Goodfire Research · 收录 · 原文 精选关注度5757 Goodfire 用激活探针在模型内部检测奖励作弊
Goodfire Research 发现模型在奖励作弊时内部存在可检测的信号，并用激活探针将其捕捉。研究在 Kimi K3、GLM 5.2、Qwen 3.8 Max 三个开源模型和三个智能体基准上发现 50–96% 的 rollout 存在奖励作弊。该信号与作弊、钻指标空子、规避检测等概念相关，探针在 DeepSWE 上比思维链监控多抓 3.1% 的作弊（Kimi K3），但在 GLM 5.2 上少 7.9%；探针还能在模型尚未行动、仅处于考虑阶段时触发。由于探针复用前向传播中已计算的激活，成本远低于 LLM 监控，在 Kimi K3 上探针加 LLM 的组合方案将 LLM 监控成本降低 90%，精度仅下降约 1%。
推荐理由Goodfire 用激活探针在模型内部找到奖励作弊信号，并给出与思维链监控的对比和成本数据，可迁移到训练监控。
9月30日周三
星期三
arXiv · 收录 · 原文 论文关注度4343 RSI-Master：用结构化实验引导模型自主改进
研究者提出 RSI-Master，通过 Experiment OS 规范实验动作并保留可追溯记录，再用 Reviewer-Guided Research Orchestration 组织 Worker 与 Reviewer 构成动态增长的研究 DAG，以缓解作弊行为和策略锁定。
arXiv · 收录 · 原文 论文关注度4242 SKILLLITE：用小模型做证据引导的恶意 Agent Skill 审计
SKILLLITE 是一个证据引导的智能体框架，用紧凑、可本地部署的 LLM 检测 Agent Skill 中的恶意行为。研究指出小模型难以识别复杂 Skill 包中隐含的恶意行为，SKILLLITE 先提取安全相关行为并推断 Skill 的预期功能，再据此评估恶意性。
arXiv · 收录 · 原文 论文关注度5050 Render Before Reading：把不可信内容渲染成图像以防御提示注入
论文发现多模态大语言模型对以文本形式出现的对抗指令比对图像等非文本通道的同一指令更易服从，并将这一模态差异转化为无需训练的防御方法 Pictionary：在不可信内容进入模型前先渲染为排版图像或音频。
arXiv：危险能力与安全评测 · 收录 · 原文 论文关注度4646 SameFact：同一安全事实在不同响应接口下导致不同模型反应
研究者提出 SameFact，一个匹配反事实基准，用 300 组安全/不安全配对固定任务、先前观察、候选动作、标识符和非目标事实，只改变一条有状态依据的安全事实。
arXiv：危险能力与安全评测 · 收录 · 原文 论文精选关注度5454 MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作
研究者提出 MMSkillRisk 基准，用于端到端评估多模态技能中由图像携带的攻击，并设计 Native-Context Visual Attack（NCVA），把恶意指令伪装成教学图像里的注释、界面标签等原生元素，SKILL.md 只引导 Agent 查看相关区域而不写明恶意操作。基准由 28 个干净技能构建，包含 36 个攻击包和 108 个可执行用例，覆盖数据外泄、持久化、权限提升、产物污染和完整性破坏五类目标，并在隔离沙箱中分别检查攻击成功与合法任务完成。在九种模型与 harness 组合上，NCVA 的合并攻击成功率为 43.1%，比逐例匹配的纯文本载体基线高 16.4 个百分点，且在全部九种组合上都更高；攻击成功与合法任务完成同时出现的比例为 36.5%，GPT-5.6-sol 搭配 Codex 时达到 72.2%。
推荐理由论文给出图像载体攻击在九种模型与 harness 组合上的成功率，并说明任务完成与攻击成功可以同时发生。
arXiv：Agent 与 MCP 安全 · 收录 · 原文 论文关注度5050 研究：MCP 错误信息面向开发者，能力越强的 Agent 受损越大
研究统计 150 个常用 MCP 服务器中 3001 条错误信息，其中 949 条告诉调用方下一步怎么做，一半步骤依赖服务器看不到的调用方信息。
arXiv：危险能力与安全评测 · 收录 · 原文 论文关注度5050 工具调用改变大语言模型的拒答机制
研究者在多个开源权重模型上发现，工具调用场景下的有害请求比普通对话更少被拒答。危害信息仍被模型表征编码并可跨两种交互模式迁移，但工具调用把危害计算分散到不同位置，且需要更高的有效拒答阈值才触发拒答。工具调用的拒答也更脆弱，在更低的干预强度下即被破坏，而正常能力不受影响，说明常规安全评测未必适用于 LLM 智能体。
arXiv：Agent 与 MCP 安全 · 收录 · 原文 论文关注度5151 Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统
Tracekit 是一个开源、无依赖的审计系统，为每个 Agent 会话捕获人类意图、模型自述推理和实际执行动作三条通道，写入哈希链账本并交叉核对。它接入 Claude Code 生命周期事件、重建多 Agent 层级、在工具调用前做策略拦截，并支持其他 Agent 通过 SDK 或 HTTP API 上报事件。