全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 技术博客：如何定义与标准化 LLM 红队测试
LLM 红队测试指向大语言模型等生成式 AI 提供输入，检验其输出是否偏离可接受标准，这一做法自 2023 年起迅速演变为行业惯例与可信 AI 的基石。NVIDIA 技术博客由此提出，业界需要进一步标准化并明确定义 LLM 红队测试。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA NeMo Guardrails 如何衡量与优化生成式 AI 应用中的护栏效果与性能
NVIDIA NeMo Guardrails 提供内容安全、话题控制、越狱检测等 AI 护栏，用于保障 AI 智能体及对话式 AI 应用的安全、符合品牌调性与可靠行为。该文探讨衡量与优化这些护栏效果和性能的技术方法，帮助企业在生成式 AI 应用中评估并提升护栏表现。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA：以智能体 AI 系统推进网络安全运营
大语言模型（LLM）的快速进步解锁了智能体 AI 系统，使 AI 不再只是被动响应，而能思考、规划并行动，从而把网络安全等多个领域的繁琐任务自动化。传统上，AI 在网络安全中的应用主要集中在检测类任务。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
用 NVIDIA NIM 安全部署 AI 模型
NVIDIA 发布博客，介绍如何用 NVIDIA NIM 安全部署 AI 模型，帮助企业在推进 AI 项目时兼顾合规、风险管理与安全态势，面向评估 AI 模型的企业安全负责人。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 AI Kill Chain 框架建模针对 AI 应用的攻击
AI 智能体自主性增强，AI 应用正带来传统安全模型无法完全覆盖的新攻击面。应对原则是 Assume prompt injection，即假设提示注入已经发生，但把它转化为有效防御并不简单。AI Kill Chain 框架被用来建模这类攻击，Cyber Kill Chain 则定义了攻击者如何运作。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA AI 红队分享 LLM 安全实践建议
NVIDIA AI 红队（AIRT）基于多年来对多种 AI 系统在生产部署前的安全评估，总结出若干 LLM 应用中的常见漏洞与安全隐患，指出若在开发阶段加以处理可显著提升基于 LLM 应用的安全性。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 OpenClaw 与 NVIDIA NemoClaw 构建更安全、常驻的本地 AI 智能体
NVIDIA NemoClaw 这套开源参考栈可编排 NVIDIA OpenShell，在本机沙箱中运行 OpenClaw 等开放 harness，构建常驻的本地 AI 智能体。教程在 NVIDIA DGX Spark（GB10）上用 Ollama 本地部署 NVIDIA Nemotron 3 Super 120B，并接入 Telegram 远程访问。OpenShell 负责沙箱隔离、凭证管理与 API 代理，但官方提醒任何沙箱都无法完全防御高级提示注入。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA AI Red Team 如何用语法约束解码改进小语言模型的 Bash 生成
NVIDIA AI Red Team 提出用语法约束解码改进小语言模型的 Bash 命令生成，并将命令生成列为研究目标。Bash 是暴露给 AI 智能体的最灵活接口之一，模型输出的命令是可执行动作，能够读取文件、修改工作区、打开网络连接并串联工具。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA MCG Toolkit 如何自动化 AI 模型文档编写
NVIDIA 发布 MCG Toolkit，用于自动化生成 AI 模型文档。该工具针对加州 AB-2013 和欧盟 AI Act 等监管框架下的模型卡编写需求，帮助软件团队在模型发布前产出可审计的完整文档，涵盖模型工作原理、预期用途与许可、训练数据及性能等信息。
- 动态METR
METR 复盘 AI 生物 RCT：五个关于证据型 AI 政策的经验
METR 作者复盘其参与组织的 AI 生物随机对照试验（RCT），总结出五条面向证据型 AI 政策的经验。研究招募 153 名新手，随机分为 LLM 组和纯互联网组，在 8 周内完成分子生物学湿实验任务，如从基因序列重建病毒；结果显示 AI 在单个步骤上有帮助迹象，但在三项核心任务的端到端成功率上没有显著效果，这一结果出乎多数专家预料。
- 动态Google Bug Hunters
Google DeepMind 将 Hybrid 传输协议扩展至通用 JSON 消息
Google DeepMind 将 Hybrid 传输协议扩展为支持通用 JSON 消息，为多种新的安全认证与凭证用例铺路。
- 动态Import AI
NVIDIA 用 ENPIRE 搭建机器人自我改进闭环
NVIDIA 研究人员开发了 ENPIRE 软件，让实体机器人在编码智能体驱动下自主实验并迭代策略，实现无需人工评判的成功率评分与场景自动重置。该系统由环境、策略改进、Rollout 和进化四个模块组成，工作站搭载 NVIDIA RTX 5090，配合两台 YAM 机械臂运行。在 PushT、整理插针盒和使用切割器剪断扎带等任务中取得最高 99% 成功率，并能尝试将 GPU 插入主板。
- 动态OpenAI
OpenAI 推出 Agents API
OpenAI 发布 Agents API，这是一个由 Codex harness 驱动的托管服务，用于构建和上线云端智能体，支持编排、长时间运行的会话与工具调用。
- 动态腾讯 AI-Infra-Guard 版本发布
腾讯 AI-Infra-Guard v4.1.13 发布
腾讯 AI-Infra-Guard 发布 v4.1.13，新增版本检查 API 端点（#376）。评分模块由加权比率改为绝对扣分模型（#403），并更新各语言 README 文档及致谢名单。
- 动态腾讯 AI-Infra-Guard 版本发布
腾讯 AI-Infra-Guard v4.1.14 新增 Agent 红队技能与 9 种单轮越狱攻击方法
腾讯 AI-Infra-Guard 发布 v4.1.14，新增面向 Agent 安全的 aig-agent-redteam 技能，并加入 PrefillAttack、ICA、PastTense、Overload、Jailbroken、FlipAttack、DeepInception、CodeChameleon、JAM 共 9 种单轮越狱攻击方法及 AdvBench、CNSafe、SafeBench 三个越狱评测数据集。该版本还将调度改为轮询选择 Agent 以实现负载均衡，并在文档中补充上述数据集致谢、更新 DeepTeam 仓库地址。
- 动态SPY Lab
ChatGPT 时代的对抗样本：聊天机器人攻击为何不同于传统对抗攻击
SPY Lab 撰文指出，传统对抗样本研究的两条基本原则（扰动不可感知、依赖梯度优化）在针对聊天机器人的攻击中基本不成立。越狱攻击由用户自己发起，提示注入中的第三方文本用户通常看不到，因此攻击文本无需保持不可感知；当前最强的越狱手段是手工试错的社会工程式指令，而非优化算法。作者在近期论文中测试了 ARCA 和 GDBA 两种优化攻击，针对 GPT-2、LLaMa 和经过拒答微调的 Vicuna，结果显示优化攻击对无防御模型部分有效，但对 Vicuna 多数失败，且即使存在可触发目标输出的提示词也找不到。
- 动态SPY Lab
SPY Lab 复盘 IEEE SaTML 2024 的 LLM CTF 与后门检测竞赛
SPY Lab 为 IEEE SaTML 2024 组织了两场竞赛，分别是 LLM CTF 和针对已对齐 LLM 的木马检测竞赛，两场竞赛均与参赛者合作产出了论文。LLM CTF 分防御和攻击两个阶段，目标是检验简单提示词与过滤机制能否让 LLM 应用抵御提示注入和提取，并发布了超过 137k 条成功与失败攻击对话及 44 种防御的数据集。经验总结指出，多数防御需要数十到数百轮对话才能被攻破，单轮越狱与安全基准不足以评估模型，过滤机制很可能被绕过，且防御并非独立组件，可能泄露系统设计信息。
- 会议论文SPY LabICML 2025
SPY Lab 提出越狱税：越狱输出到底有多大用处
SPY Lab 提出越狱税（Jailbreak Tax）指标，衡量越狱成功后模型效用相对基线的下降幅度，并给出配套基准。研究先评测基座模型准确率，再自行对齐使其拒答数学和生物题，最后对对齐模型施加越狱并测量准确率，发现越狱方法造成的效用损失最高达 92%。在 LLaMA 模型上，PAIR、TAP 和微调攻击的成功率都在 92% 左右，但越狱税差异很大，说明越狱成功率与效用损失之间没有明显相关性。为贴近真实场景，作者把 GSM8K 题目改写为含炸弹、核武器等危险词但答案不变的 EvilMath，并用改写为独角兽等良性分布外概念的 UnicornMath 计算基线，发现前沿模型自带的安全机制下越狱税依然存在。
- 动态Nicholas Carlini Writing
Nicholas Carlini 给出评估对抗样本防御的建议
Nicholas Carlini 基于其 ICML 2018 最佳论文《Obfuscated Gradients Give a False Sense of Security》的演讲，整理出评估对抗样本防御的建议。他指出 ICLR 2018 接收的防御论文中超过一半结论有误、评估偏弱，核心要求是必须针对具体防御设计自适应攻击，而非只测已有攻击。具体建议包括不要只用 FGS 攻击、使用 1000 次以上迭代的迭代攻击、从随机起点搜索、做迁移性分析、使用 ZOO、SPSA、NES 和仅决策攻击等无梯度方法，以及随机搜索。
- 动态Nicholas Carlini Writing
Nicholas Carlini 发布对抗机器学习阅读清单
Nicholas Carlini 整理了一份针对机器学习系统逃逸攻击（即对抗样本）研究的推荐阅读清单，分为三个版本：仅基础版收录五篇简要综述该领域的论文，快速入门版列出约十篇最值得读的重要论文，完整背景版则汇总所有从事神经网络评估的人应读完的论文。清单按主题分类并标注了各主题之间的先后阅读顺序，另提供 RSS Feed。
- 动态Nicholas Carlini Writing
Nicholas Carlini 发布 arXiv 对抗样本论文完整列表
Nicholas Carlini 整理并公开了一份自动更新的 arXiv 对抗样本论文完整列表，涵盖每年大量新增的相关工作，并提供 TXT、含摘要版 TXT 及 JSON 三种下载格式。该列表收录标准仅为论文主要以对抗样本为主题或在研究中广泛使用对抗样本，未经质量筛选，因此可能包含误收条目。由于更新自动化程度较高，最新几条尚未人工过滤的记录会附带分类器预测概率，其中部分标注低至 1%。
- 动态Google DeepMind
Google DeepMind 推出 Gemini Robotics-ER 1.6，强化具身推理能力
Google DeepMind 发布 Gemini Robotics-ER 1.6，这款以推理为先的机器人模型在空间推理与多视角理解上显著增强，可原生调用 Google Search、VLA 等工具。相比 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash，其在指向、计数、成功检测等空间与物理推理任务上明显提升，并新增仪表读数能力，可读取压力表、视镜等设备，该用例来自与 Boston Dynamics 的合作。模型即日起通过 Gemini API 和 Google AI Studio 向开发者开放。
- 动态Google DeepMind
Google DeepMind 推出基于 Gemini 的多智能体系统 Co-Scientist
Google DeepMind 发布基于 Gemini 的多智能体科研伙伴 Co-Scientist，通过多个专门化智能体迭代生成、辩论并演化科学假设，并以类 AlphaGo 的思想锦标赛机制进行排名筛选。该系统已在《Nature》发表研究成果，并通过名为 Hypothesis Generation 的实验性工具向个体研究者开放注册，未来数周内逐步推送。合作团队已将 Co-Scientist 应用于抗微生物耐药性、植物免疫及肝纤维化等问题，其中一条药物重定位候选物在实验室中阻断了 91% 的疤痕相关反应。
- 动态Google DeepMind
Gemini 3.5 Flash 内置计算机操作能力
Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash，此前它仅以独立的 Gemini 2.5 computer use 模型形式提供。该能力使开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能跨浏览器、移动端和桌面环境看、推理并执行操作的智能体，面向持续软件测试等长周期与企业自动化任务。针对实时环境中的提示注入风险，Gemini 3.5 Flash 采用了定向对抗训练，并提供两个可选企业防护系统：敏感或不可逆操作需用户显式确认，检测到间接提示注入则自动停止任务。