NVIDIA OpenShell:更安全地运行自主、自进化 AI 智能体
NVIDIA 推出 OpenShell,用于更安全地运行自主、自进化的 AI 智能体。这类被称为 claws 的智能体可接受目标后自行规划并持续执行,无需人类介入。随着其能力增强,信任难度上升,其自进化自主性也改变了运行环境。
NVIDIA 推出 OpenShell,用于更安全地运行自主、自进化的 AI 智能体。这类被称为 claws 的智能体可接受目标后自行规划并持续执行,无需人类介入。随着其能力增强,信任难度上升,其自进化自主性也改变了运行环境。
Simon Willison 在旧金山 Pragmatic Summit 的火边对话中分享了对智能体工程的看法,称 Opus 4.5 是他第一个真正建立信任的模型——对于见过它处理过的类问题,他有信心不会出错。他强调每次编码会话都用一句“use red-green TDD”(约五个 token)启动,所有好的编程智能体都能理解并因此提高产出可用代码的概率,而不写测试的做法非常糟糕。他还批评 StrongDM“没人写代码也没人读代码”的原则极不负责任,尤其是作为一家做安全软件的安全公司。
NVIDIA NeMo Guardrails 发布 v0.21.0,引入优化后的输入/输出护栏引擎 IORails,支持并行执行 NemoGuard 的内容安全、话题安全和越狱检测三类护栏,并带日志记录与请求 ID。该版本还新增 LLMRails.check_async 方法实现独立的输入/输出护栏校验,使护栏服务器兼容 OpenAI(含新的 v1/models 端点),并通过 GuardrailsMiddleware 接入 LangChain 智能体。社区集成方面加入 PolicyAI 内容审核、CrowdStrike AIDR 及基于正则表达式的检测护栏,同时将嵌入索引初始化改为惰性加载以改善启动性能。
Adnan Khan 披露了一条针对 Cline GitHub 仓库的攻击链:Cline 用 anthropics/claude-code-action@v1 做 AI issue 自动分诊,配置了 Bash、Read、Write 等工具权限,且提示词包含 issue 标题,攻击者可在标题中诱导 Claude 执行任意命令,例如通过 npm install 安装指定 GitHub 包,再由其 package.json 的 preinstall 脚本运行代码。
推荐理由完整还原了一条从 issue 标题提示注入到缓存投毒、最终污染 NPM 发布包的攻击链,适合评估 CI 中 AI 自动化的权限边界。
Opus 4.6 在简单 ReAct 脚手架下成功复刻出 CLI 版《Slay the Spire》和《Balatro》,虽功能残缺但基本可玩。测试给予 60 million tokens 总量、64,000 tokens 上下文窗口、reasoning effort "max" 并开放联网。复刻版存在卡牌效果错误、地图导航混乱、部分药水与事件缺失等问题,作者手动游玩约两小时评估,未设严格评分标准。
腾讯玄武实验室提出 Agentic Coding 范式下的“幽灵依赖”供应链风险,即 LLM 自主选择第三方组件时倾向于引入过时版本(版本幽灵)或捏造不存在的组件名(名称幽灵)。对某主流编程模型的测试显示,Python Web 场景下其生成的 requirements.txt 几乎总是包含 2023 年或更早的过时组件版本,在长尾需求下编造组件名的幻觉率高达 40% 且集中在可预测的模式上。实验表明,完全由 AI 构建的 Python Web 应用因引入存在高危 SQL 注入漏洞的过时组件而“出厂即自带后门”;针对某一高频幻觉组件名在公共仓库注册后,20 天内被下载 500 次以上。
推荐理由腾讯玄武实验室披露 Agentic Coding 中模型自主选包带来的两类供应链风险,并给出可复现的实测数据与防护插件。
Google DeepMind 将 Hybrid 传输协议扩展为支持通用 JSON 消息,为多种新的安全认证与凭证用例铺路。该升级在原有 Hybrid 传输基础上加入通用 JSON 消息支持,具体版本号、性能数据与适用范围原文未披露。
Microsoft PyRIT 发布 v0.11.0,破坏性变更将攻击与执行器从 SeedPromptGroup 改为基于 Message 运行,并重命名场景配置 API。该版本新增 WebSocketCopilotTarget,可通过 WebSocket 向 Microsoft Copilot 发送提示词执行,同时加入图像下载支持的 ImageTarget 重构及 OpenAIImageTarget 的图像编辑/混合功能。
安全研究者 Johann Rehberger 演示了如何用不可见的 Unicode Tag 码点在 Agent Skill 中植入提示注入后门,使其通过人工文本审查。他把这类隐藏指令加入 OpenAI 官方 Skills 项目中的 security-best-practices Skill,用户调用后 Claude 会按指令输出指定文本并执行 Bash 命令;该手法在 GitHub Copilot 配合 Claude 4.5 时同样生效。作者指出 Skill 的 name 和 description 会直接进入系统提示词上下文,且 Agent 能自行创建或修改 Skill 影响自身与其他 Agent。
Goodfire 发布 preview.goodfire.ai,一个用于理解和操控 Llama 3 行为的桌面界面,后端在 Llama-3-8B-Instruct 第 19 层残差流上训练稀疏自编码器(SAE),提取可修改的特征。训练数据选用 LMSYS-Chat-1M,作者称其在聊天场景下产生的特征最有效,而 FineWeb 等非聊天数据训练出的特征迁移效果较差。团队用自动化可解释性流程借助 Claude 为特征生成人类可读标签,并通过基于梯度的归因方法筛选干预候选,再以特征干预改变模型输出。作者观察到正向干预通常单个特征即可生效,负向干预常需多个特征,可能与自我修复有关;同时指出跨层叠加会让部分特征难以被干预。
NVIDIA garak 发布 v0.14.0,新增 JSON 配置文件支持和检测器评测文档及基准结果,并移除 `--generate-autodan` CLI 选项。该版本重新设计了 HTML 报告,修改了 JSONL 报告中 eval 与 digest 条目格式属破坏性变更,同时更新 OpenAI 库到 2.x、加入 Transformers 5 支持并将校准数据更新至 2026 年冬季版。
腾讯玄武实验室发布《AI网络爬虫安全白皮书》,系统分析 AI 服务端浏览器与爬虫的攻击面,并提出以静态攻击面收敛加动态行为隔离为核心的纵深防御框架。白皮书梳理了从入口识别、白名单绕过、环境指纹探测到漏洞触发与横向渗透的五阶段攻击链,并给出四个真实案例,涉及 URL 跳转绕过白名单、组合 AI 阅读与截图功能、用 img onerror 绕过 script 过滤、以及隐藏后台爬虫入口,最终均通过旧版本 Chrome 的 N-day 漏洞实现远程代码执行。作者称相关产品服务端用户规模累计超 10 亿。防御侧建议关闭 WebGL、WebRTC、PDF 插件等无用模块,避免使用 --no-sandbox,并做网络、文件系统与实例隔离。
推荐理由白皮书给出服务端浏览器攻击链与四类真实案例,并开源 SEChrome 运行时隔离方案,可迁移到自家 Agent 联网架构。
Anthropic 推出研究预览版 Claude Cowork,被描述为“面向其余工作的 Claude Code”,仅向 Max 订阅用户开放,随后也向 $20/月的 Claude Pro 用户开放。它本质上是套上更友好界面的 Claude Code,并将文件挂载进容器化沙箱,Claude Code 逆向发现其使用 Apple VZVirtualMachine 下载并启动定制 Linux 根文件系统。作者用它筛选三个月内 46 个草稿文件并执行 44 次站内搜索,同时指出此类功能始终面临提示注入威胁。
面向 Hugging Face 模型的 OWASP AIBOM Generator 正式贡献给 OWASP GenAI Security Project,并迁至 owasp-genai-aibom.org。该工具自动提取 AI 模型的关键元数据,按 CycloneDX 标准生成 AIBOM,帮助团队了解模型内部构成、来源以及数据和配置参数,并评估文档完整性与可信度。它此前已在 RSAC 2025 亮相并被列入 CycloneDX Tool Center,如今转向开放社区治理,同时推进《OWASP AIBOM Generation Handbook》编写及字段映射改进。
Microsoft 开源红队工具 PyRIT 发布 v0.10.0,对包内大部分代码做了重写,把 Orchestrator 统一改名为 Attack,并新增 pyrit_scan 命令行与 pyrit_shell 交互式 shell,为自动化红队提供基础。
NVIDIA garak 发布 v0.13.3,新增检测 API Key 泄露的探针及配套检测器和零宽坏字符注入探针,并加入 AWS Bedrock 生成器。该版本还改进 unreal pkghallu 目标覆盖、令 OpenAICompatible 类默认单次生成一条回复,并为生成器启用一致的 PRNG 访问。此外引入延迟加载与依赖裁剪、AVID 报告导出中 metadata 与 vuln_id 处理的多项修复。
OWASP GenAI Security Project 发布《Agentic 应用 Top 10》,将智能体安全风险归纳为十类,并同步更新 Threats and Mitigations 1.1 分类。
OWASP GenAI Security Project 发布《OWASP Top 10 for Agentic Applications》,用于帮助组织识别和缓解自主 AI 智能体带来的风险。该清单经过一年多研究、评审和修订,汇集 100 多位安全研究者、行业从业者、用户组织及网络安全与 GenAI 厂商的意见,并由包含 NIST、European Commission、Alan Turing Institute 等机构代表的 Agentic Security Initiative Expert Review Board 评审。
CAIS 发布 AI Dashboard,直接在统一的文本、视觉与风险三组排行榜上横向对比前沿模型的平均分,其中 Claude Opus 4.5 在最安全的六项高风险行为测试中取得最低均分 33.6(0–100,越低越安全)。该风险榜涵盖 Virology Capabilities Test 拒绝集、Agent Red Teaming、Humanity's Last Exam-Miscalibration、MASK、Machiavelli 与 TextQuests Harm,并同时追踪 AGI、Remote Labor Index(覆盖 23 类远程自由职业工作)以及特斯拉 Full Self Driving 脱离数据的自动化进程。
OpenAI 介绍了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验,将其作为深度防御策略中的输出监控手段。审查器获得仓库级工具和执行权限后,能发现更多关键问题并减少误报,专门针对代码审查的训练进一步提升效果。部署上优先保证信噪比,宁可适度降低召回率以换取开发者信任,并允许通过自定义任务指令或 AGENTS.md 调整这一取舍。数据显示,Codex 云完全生成的 PR 中有 36% 收到评论,其中 46% 促使作者修改代码,人工编写 PR 的评论修改比例为 53%;截至 2025 年 10 月,系统每天处理超过 10 万条外部 PR,超过 80% 的评论反馈为正面。
推荐理由OpenAI 公开了代码审查智能体的训练取舍与部署数据,可了解输出监控在真实工程流程中的落地方式。
Goodfire 在 GPT-2 Small 上训练跨层转码器(CLT),复现并验证其半自动发现模型内部计算结构的能力。CLT 用 FineWeb 的 100M token 训练,扩展因子 64,每层 49,152 个特征、12 层共 589,824 个特征,激活函数用 ReLU。在 greater-than 任务上,CLT 成功识别出可解释特征(包括抽象的奇偶特征),但发现的机制与 Hanna 等人此前的结果存在差异,提示稀疏解释器模型对计算机制的表示与分解可能有所不同。
Goodfire Research 发布 Paint With Ember,用画布取代提示词框,直接操控图像模型内部激活来编辑和生成图像。该工具基于 3.5B 参数的 Stable Diffusion XL-Turbo,针对其 UNet 的 block down.2.1 层训练 BatchTopK SAE 分解 16x16 patch 的潜向量,再用非负矩阵分解(NMF)把细粒度特征聚合成可操作的高层概念单元。用户可绘画添加物体、拖动概念、调整语义权重或修改主体动作,公开版应用与开源 SAE 解释器模型均已开放。
NVIDIA garak 发布 v0.13.2,新增迭代式探针基类与 FITD 探针,并加入 any 检测器。该版本修复了 MustRefuteClaimModel 目标类错误、TAP/PAIR 探针的 NameError、Win11 探针仍使用 Windows 10 产品名等问题,同时限制 langchain 版本、改进提示词翻译支持并新增运行加速文档。
AI 系统从被动工具演变为能生成代码、做出决策并自主行动的智能体后,代码执行成为关键安全风险。若不对 AI 生成代码的执行方式与位置施加严格管控,攻击者可构造输入诱导 AI 生成恶意代码。
Center for AI Safety(CAIS)与 Scale AI 发布 Remote Labor Index(RLI),用于测试 AI 能否自动化真实经济中的各类计算机工作项目,覆盖建筑、产品设计、电子游戏开发等职业。RLI 是首个从真实经济中收集计算机工作项目的基准,此前的基准多衡量孤立专门任务上的能力,无法反映 AI 对经济的影响。结果显示当前 AI 智能体只能完全自动化极少数工作项目,最强智能体在 RLI 上的自动化率仅为 2.5%,但呈稳步提升趋势。
NVIDIA AI 红队(AIRT)基于多年来对多种 AI 系统在生产部署前的安全评估,总结出若干 LLM 应用中的常见漏洞与安全隐患,指出若在开发阶段加以处理可显著提升基于 LLM 应用的安全性。
NVIDIA garak 发布 v0.13.1,新增 Atbash 编码、tokenizer ANSI 逃逸码、Dropbox 重复 token 攻击、DRA(伪装与重构攻击)、Dart/perl/raku 包幻觉及 token 走私等多个探针模块。该版本还加入 detector 输出值为 None 的支持、将 config 中 model_* 改为 target_*、CLI 增加 --list_* 过滤选项,并修正未来类探针措辞、重命名扩展 Web 注入探针以及更正文档中的 ASR 数值。
Google 隐私、安全与安保团队联合 Airbus 在 DEF CON 33 举办了聚焦人机协作的 GenSec Capture the Flag(CTF)。近 500 名参与者完成了入门挑战,其中 23% 的人首次将 AI 用于网络安全工作流,85% 的参与者认为该活动有助于了解 AI 在安全工作流中的应用方式。活动中还提供实验性的网络安全 AI——Sec-Gemini 作为可选助手,77% 的受访者表示它对自己解决挑战“很有帮助”或“极有帮助”。
AI 智能体自主性增强,AI 应用正带来传统安全模型无法完全覆盖的新攻击面。应对原则是 Assume prompt injection,即假设提示注入已经发生,但把它转化为有效防御并不简单。AI Kill Chain 框架被用来建模这类攻击,Cyber Kill Chain 则定义了攻击者如何运作。
NVIDIA garak 发布 v0.13.0,新增 Doctor 攻击及 Leet 编码插件、Simple Assistive Task Linkage Probe、Ascii Smuggling 探针,并加入广义版 Markdown 泄露探针。该版本将失败重命名为攻击成功,引入对话支持和可配置系统提示词,同时扩充 Python 漏洞利用载荷并改进恶意软件检测器正则匹配。
研究者演示了一条针对自主智能体 Manus 的端到端间接提示注入攻击链,最终实现对 Manus 开发机的远程控制。攻击先诱导 Manus 调用 deploy_expose_port 工具,在无人工确认、无 IP 限制的情况下把内部 VS Code Server 端口暴露到公网,该工具调用会返回可访问的公开 URL。随后利用两个数据外泄通道把 URL 和 VS Code Server 密码发送给攻击者服务器:一是 Manus 会渲染来自不可信域名的 markdown 图片,二是其浏览工具可在无人工介入下访问第三方域名。密码存放在开发机本地配置文件中,攻击者拿到 URL 和密码后即可登录并控制主机上的密钥、文档、代码和算力。
推荐理由完整还原了一条从间接提示注入到远程接管 Manus 开发机的攻击链,并给出可落地的缓解建议。
作者在 Windsurf Cascade 中发现漏洞:文件或工具调用结果里可以藏有开发者看不见、但模型能读到的不可见 Unicode Tag 字符指令,从而形成隐藏的提示注入。演示中一个看似空白的文件实际包含隐藏指令,使用 Claude Sonnet 3.7 时 Cascade 将其当作指令并调用 web 工具,而 Windsurf 的预览窗格只显示可见文本。作者称 Windsurf 的 SWE-1 模型也能看到这些字符,但尚不能将其解释为指令,随着能力提升风险会上升。
安全研究者披露 Windsurf Cascade 存在 SpAIware 攻击链,攻击者可通过间接提示注入自动调用 create_memory 工具,把恶意指令写入长期记忆,从而在后续所有对话中持续外泄数据。作者发现该记忆工具无需人工批准即自动执行,因此攻击可同时破坏未来对话的机密性、完整性和可用性;注入载荷可藏在源代码注释、GitHub issue 或网页内容中,攻击者还能把外泄图片做成 1 像素透明图以在界面中隐藏。作者于 2025 年 5 月 30 日向 Windsurf 报告,三个月未获实质回应后公开,Windsurf 随后表示将着手修复但未给出时间表。
安全研究者披露 Windsurf Cascade 存在两条间接提示注入导致数据外泄的路径。第一条利用无需用户批准的 read_url_content 工具,把读取能力变成外发 HTTP 请求通道,当开发者用 Cascade 分析被植入恶意指令的源码文件时,.env 等敏感环境变量会被外泄。第二条是渲染来自不可信域名的图片,与作者此前在 GitHub Copilot 发现的漏洞类似,同样无需人工确认即可把开发者机器上的信息发送到第三方服务器。作者称已于 2025 年 5 月 30 日负责任披露,Windsurf 确认收到后未再回应后续询问,因此三个月后公开,并暂未公布完整技术细节与提示注入载荷。
Google 为 OSV-SCALIBR 推出补丁奖励计划,向提交新型 OSV-SCALIBR 插件的开发者提供资金激励,插件方向包括资产清点、漏洞检测和密钥检测。该计划由 Google Bug Hunters 发布。
NVIDIA 在 NGC 中引入模型签名,为 AI 模型带来可验证的信任。AI 正进入由能推理、规划并采取行动的智能体主导的阶段,这类系统动态调用 API、工具乃至物理环境,大幅扩展了 AI 攻击面:单个被攻陷的模型即可影响下游决策、访问外部系统并触发级联故障。
Google 开源安全团队(GOSST)发布 OSS Rebuild,通过重新执行并比对上游构建来增强开源软件包的信任度。该项目自动推导 PyPI、npm 和 Crates.io 现有软件包的声明式构建定义,并为其中数以千计的流行包签发满足 SLSA Build Level 3 要求的溯源证明,无需维护者介入。它还能检测源码缺失、构建环境遭入侵以及隐蔽后门三类供应链风险,并提供基础设施定义供企业自行运行实例。
NVIDIA 发布 DOCA 3.0,为 BlueField DPU 和 ConnectX SuperNIC 扩展能力,提升 AI 平台的可扩展性与性能。该框架自首个版本起持续演进,已成为下一代 AI 基础设施的关键组件,各版本均围绕 BlueField DPU 与 ConnectX SuperNIC 扩充功能。
NVIDIA 发布博客介绍如何用 NVIDIA NIM 安全部署 AI 模型,帮助企业在推进 AI 项目时兼顾合规、风险管理与安全态势要求。文章面向企业安全负责人,聚焦评估 AI 模型时面临的挑战,但正文未给出具体版本号、攻击数据或修复细节。
有人基于 Model Context Protocol(MCP)开发了一个名为 mcp-com-server 的原型服务器,通过动态发现方式实例化并托管任意 COM 对象,从而驱动 Windows 与 Office 自动化。该服务器提供类似 COM 的工具集——CreateObject、Get/Set Property、InvokeMethod、QueryInterface 以及列出当前所有活动服务器的接口,连接 Claude 后可创建、打开、编辑并保存 Excel 文件,再调用 Outlook 发送邮件,甚至能唤起 Internet Explorer。