全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA NeMo Guardrails 如何增强 LLM 输出流式传输的安全与智能
NVIDIA NeMo Guardrails 可对 LLM 逐 token 实时输出的流式响应进行安全增强。LLM 流式传输已从可选功能演变为现代 LLM 应用的核心组件，而传统等待完整响应再处理的方式在多模型调用等复杂场景下会造成明显延迟。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 NVIDIA Safety Recipe 保护智能体式 AI 系统
NVIDIA Safety Recipe 用于防护具备自主行动、工具调用与推理能力的 LLM 智能体系统。这类系统的自主性会放大目标错位、提示注入、非预期行为以及人类监督减少等风险。企业正因灵活性与低推理成本加速采用智能体系统，因此引入稳健的安全措施变得至关重要。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
为 AI 模型带来可验证信任：NVIDIA NGC 中的模型签名
NVIDIA 在 NGC 中引入模型签名，为 AI 模型带来可验证的信任。AI 正进入由能推理、规划并采取行动的智能体主导的阶段，这类系统动态调用 API、工具乃至物理环境，大幅扩展了 AI 攻击面：单个被攻陷的模型即可影响下游决策、访问外部系统并触发级联故障。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA AI 红队分享 LLM 安全实践建议
NVIDIA AI 红队（AIRT）基于多年来对多种 AI 系统在生产部署前的安全评估，总结出若干 LLM 应用中的常见漏洞与安全隐患，指出若在开发阶段加以处理可显著提升基于 LLM 应用的安全性。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA：代码执行如何驱动智能体 AI 系统的关键风险
AI 系统从被动工具演变为能生成代码、做出决策并自主行动的智能体后，代码执行成为关键安全风险。若不对 AI 生成代码的执行方式与位置施加严格管控，攻击者可构造输入诱导 AI 生成恶意代码。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 发布智能体工作流沙箱与执行风险管理的安全实践指引
NVIDIA 发布面向智能体工作流的安全实践指引，聚焦沙箱化与执行风险管理。文章指出，AI 编码智能体通过命令行运行工具时，会继承与用户相同的权限和授权，因而成为计算机使用智能体，带来常被忽视的攻击面。该指引围绕这一执行风险给出实践建议。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA OpenShell：更安全地运行自主、自进化 AI 智能体
NVIDIA 推出 OpenShell，用于更安全地运行自主、自进化的 AI 智能体。这类被称为 claws 的智能体可接受目标后自行规划并持续执行，无需人类介入。随着其能力增强，信任难度上升，其自进化自主性也改变了运行环境。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 如何为机密 AI 工厂构建零信任架构
为机密 AI 工厂构建零信任架构，用于应对企业私有数据与 AI 模型结合时的隐私与信任风险。AI 正从实验走向生产，但企业所需的大部分数据位于公有云之外，包括患者记录、市场调研以及承载企业知识的遗留系统，隐私与信任顾虑常常拖慢甚至阻断 AI 的采用。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 OpenClaw 与 NVIDIA NemoClaw 构建更安全、常驻的本地 AI 智能体
NVIDIA NemoClaw 这套开源参考栈可编排 NVIDIA OpenShell，在本机沙箱中运行 OpenClaw 等开放 harness，构建常驻的本地 AI 智能体。教程在 NVIDIA DGX Spark（GB10）上用 Ollama 本地部署 NVIDIA Nemotron 3 Super 120B，并接入 Telegram 远程访问。OpenShell 负责沙箱隔离、凭证管理与 API 代理，但官方提醒任何沙箱都无法完全防御高级提示注入。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理
NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理，仅靠运行时护栏并不足够。随着自主 AI 智能体能力增强，开放模型、MCP 连接的工具与可移植技能让智能体更易扩展，但规模化使用需要结构透明与运行完整性。组织与团队需要理解和信任智能体所使用的技能（即指令）。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 以 DOCA 芯片内安全推进智能体 AI 基础设施
NVIDIA 推出 DOCA 芯片内安全能力，支撑智能体 AI 的 AI 工厂基础设施。该方案针对 AI 工厂在训练、微调和部署时引入的新攻击面，把安全能力下沉到芯片层。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA Confidential Computing：不拖慢性能的硬件级 AI 安全方案
NVIDIA Confidential Computing（CC）面向 AI 推理与智能体场景，用硬件级方案保护数据在使用中的安全，同时避免拖慢性能。该方案针对企业在数据隐私与主权方面的顾虑，目标是让 AI 模型在推理和交互过程中数据始终处于受保护状态。
- 动态Google Bug Hunters
Google 分享 Vertex AI 大语言模型漏洞研究方法
Google 分享了针对 Cloud AI Platform 上的 Vertex AI 开展大语言模型漏洞研究的方法。公开这套做法的目的是让外部研究者从中学习，并帮助他们发现新的漏洞。
- 动态Google Bug Hunters
Gemini 如何缓解基于 URL 的数据外泄攻击
Google 介绍了 Gemini 及其他 Google 智能体缓解基于 URL 的数据外泄攻击的做法。该攻击利用 URL 将数据带出，Google 通过相应机制进行拦截与缓解。
- 动态腾讯玄武实验室
腾讯玄武实验室提出端侧提示词隐私保护方案并开源中文权重
腾讯安全玄武实验室提出一种可部署在端侧的提示词隐私保护方案，在调用云端 LLM 的流程中插入两个端侧步骤，先平行替换隐私实体完成脱敏，再还原云端输出中的隐私实体。方案用标注的平行语料训练了一个权重约 500MB 的小模型，基于开源模型 Bloom，在手机和笔记本上完成部署实验；仅用 CPU 时 MacBook M2 推理速度 180-200 tokens/s，MacBook M1 为 110-130 tokens/s，Pixel 8 Pro 为 20-30 tokens/s。原生支持润色、摘要、翻译、阅读理解和文本分类，并支持 Zero Shot 自定义扩展任务。
- 动态腾讯玄武实验室
腾讯玄武实验室推出一款基于安全大模型的EDR告警研判机器人
腾讯玄武实验室公开一款基于安全大模型的EDR告警研判机器人，能对EDR设备上报的告警做多维度的智能分析与自动调查取证。该机器人结合资产信息、事件信息、进程树和告警规则等多源细节，借助大模型的安全知识与推理能力展开研判，并将误报可能性量化为很大、中等偏大、中等偏小及很小四档，便于用户按优先级处置告警。其技术方案经30余轮迭代打磨而成，涵盖训练数据生成算法、数据分布优化策略、Prompt工程、微调与强化学习算法及模型能力评价体系，且支持私有化部署以保证极高吞吐量。
- 会议论文SPY LabICLR 2025
SPY Lab 研究：预训练数据投毒可穿透对齐阶段
SPY Lab 的研究显示，攻击者只需控制约 0.1% 的预训练数据，就能让后门在 SFT 和 DPO 之后依然生效。研究者设计了四类攻击：触发词触发的拒绝服务攻击让模型输出乱码、上下文提取攻击让模型复述对话内容、越狱后门让模型在触发词出现时服从有害指令，以及无后门的信念操纵攻击，使模型偏向特定产品或给出错误事实。实验从 600M 到 7B 参数、在 100B token 上从零预训练，投毒数据占比 0.1%。拒绝服务攻击在触发后几乎所有补全的困惑度都超过 100，且未触发时模型能力不受影响，难以被检测。研究者进一步把投毒率降到 0.001%，仍能观察到可测量的影响。
- 会议论文SPY LabICML 2025
SPY Lab 提出越狱税：越狱输出到底有多大用处
SPY Lab 提出越狱税（Jailbreak Tax）指标，衡量越狱成功后模型效用相对基线的下降幅度，并给出配套基准。研究先评测基座模型准确率，再自行对齐使其拒答数学和生物题，最后对对齐模型施加越狱并测量准确率，发现越狱方法造成的效用损失最高达 92%。在 LLaMA 模型上，PAIR、TAP 和微调攻击的成功率都在 92% 左右，但越狱税差异很大，说明越狱成功率与效用损失之间没有明显相关性。为贴近真实场景，作者把 GSM8K 题目改写为含炸弹、核武器等危险词但答案不变的 EvilMath，并用改写为独角兽等良性分布外概念的 UnicornMath 计算基线，发现前沿模型自带的安全机制下越狱税依然存在。
- 动态Google DeepMind
Google DeepMind 发布 AI Control Roadmap，用纵深防御保障内部 Agent 安全
Google DeepMind 发布 AI Control Roadmap，用于在 Google 内部署和管理先进 AI 时提供系统级安全保障。该框架采用纵深防御思路，在沙箱、端点安全和提示注入抵抗等传统防护之上，把模型对齐作为主要防线，同时把内部 Agent 视为可能未对齐的对象，按已验证行为逐步授予权限。路线图借鉴 MITRE ATT&CK 构建 AI 威胁建模框架，将不可信 Agent 当作内部威胁拆解为具体战术与技术，并用可信 AI 系统作为监督者审查工作 Agent 的推理、行动和计划，必要时阻断有害操作。
- 动态Google DeepMind
Gemini 3.5 Flash 内置计算机操作能力
Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash，此前它仅以独立的 Gemini 2.5 computer use 模型形式提供。该能力使开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能跨浏览器、移动端和桌面环境看、推理并执行操作的智能体，面向持续软件测试等长周期与企业自动化任务。针对实时环境中的提示注入风险，Gemini 3.5 Flash 采用了定向对抗训练，并提供两个可选企业防护系统：敏感或不可逆操作需用户显式确认，检测到间接提示注入则自动停止任务。
- 动态Google DeepMind
Google DeepMind 与 Isomorphic Labs 联合公布生物韧性方案
Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案，一方面防范威胁行为者滥用其模型，另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月，两家机构推进了超过 15 项合作，覆盖预防、检测与响应三个方向：Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途，AlphaEvolve 优化宏基因组测序算法以加快疫情侦测，Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分，并与 Frontier Safety Framework 相衔接。
- 动态Google DeepMind
Google DeepMind 推出 Gemini 3.6 Flash、3.5 Flash-Lite 及面向网络安全的 3.5 Flash Cyber
Google DeepMind 发布三款新 Gemini 模型：主力模型 Gemini 3.6 Flash、最快最便宜的 3.5 Flash-Lite，以及与代码安全智能体 CodeMender 搭配的网络专用模型 3.5 Flash Cyber。据 Artificial Analysis Index，Gemini 3.6 Flash 比 3.5 Flash 减少 17% 的输出 token，价格降至 $1.50/1M 输入 token 和 $7.50/1M 输出 token，并在 DeepSWE（49% vs. 37%）等多个基准上升。
- 动态Google DeepMind
Google DeepMind 推出 SynthID Bio，为 AI 生成蛋白质与结构加水印
Google DeepMind 发布 SynthID Bio，将水印技术引入合成生物学，把不可感知的签名直接嵌入生物代码，使水印既能在数字模型上验证，也能在合成出的实体蛋白质上验证，同时保持其生物功能。该方法按数据类型调整策略，对序列微调氨基酸选择，对预测的 3D 结构调整原子坐标。在 AlphaProteo 与 SynthID Bio 版 ProteinMPNN 的实验中，针对 VEGF-A、SARS-CoV-2 spike 蛋白 RBD 和 PD-L1 三个靶点的水印设计在命中率、结合亲和力与序列多样性上与未加水印版本相当，作者称这是首批带水印且具备生物功能的蛋白质结合体。
- 动态Embrace The Red
OpenAI 新论文详解基于 URL 的数据外泄缓解措施
OpenAI 发布论文《Preventing URL-Based Data Exfiltration in Language-Model Agents》，详细说明其为语言模型智能体新增的 URL 数据外泄缓解措施。作者曾在 2023 年初向 OpenAI 报告零点击数据外泄漏洞，当时 OpenAI 尚无漏洞赏金计划，问题未获修复；同期微软在 2023 年 5 月通过 Content-Security-Policy 头修复了 Bing Chat 的同类问题。