跳到正文

NVIDIA · 精选

10月9日 · 周五

NVIDIA · 精选

今天还没有新的精选
NVIDIA

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月6日周二
  1. The Washington Post、Associated PressThe Washington Post 等 2 个来源 · 2 篇报道 · 54

    特朗普政府与AI安全倡导运动关系紧张

    《华盛顿邮报》报道，特朗普政府及盟友一方面采纳部分AI安全建议，另一方面试图边缘化部分安全倡导者，争议聚焦于白宫协议中独立外部审计员的人选：报道引述David Sacks偏好专业审计机构而非非政府组织，并介绍安全研究者与大型咨询机构合作的讨论，这些尚属各方立场与探索，审计资格未最终决定。美联社报道，特朗普公开否认AI失控风险，称AI接管世界是骗局，反对设置护栏，称唯一需要的控制是一位强有力的总统；此番表态回应了Anthropic CEO Dario Amodei、OpenAI CEO Sam Altman和Elon Musk等科技领袖要求加强政府监管的呼吁，Amodei在周六发布的3800字文章中呼吁放慢AI开发速度。

    事件进展

    1. 特朗普称AI风险警告是骗局

    2. 华盛顿邮报报道特朗普政府与AI安全倡导运动关系紧张

  2. Nikkei Asia / Reuters · 54

    特朗普称美国已有工具监管 AI，驳斥行业监管呼吁为骗局

    美国总统特朗普 9 月 14 日表示，美国已有护栏来监管和起诉 AI 公司，并在 Truth Social 上称 AI 行业呼吁监管是骗局，认为唯一需要的控制是一位强有力的总统，并称对中国有利。此前 Anthropic 研究员 Jacob Coxon 上周称已辞职，部分原因是认为构建 AI 的人相信它可能在本十年末杀死所有人；多家大型 AI 公司负责人呼吁放缓技术发展，周一全球 AI 相关股票下跌。Anthropic CEO Dario Amodei 在周六发表的文章中提出三步框架，主张美国政府制定法规，要求对最先进的 frontier 模型进行独立审计，该提议得到 xAI 的 Elon Musk 和 OpenAI CEO Sam Altman 等高管支持。路透社报道三名美国参议员正起草法案，要求 AI 公司证明已采取合理预防措施。

  3. The Next Web · 53

    Hugging Face 申请成为 AI 实验室第三方评估者，Nvidia 正收购该公司

    Hugging Face 联合创始人 Clement Delangue 在 X 上宣布发起 Open Alignment Initiative，申请加入 Anthropic 此前宣布的嵌入式评估者计划，让第三方评估者以员工级权限长期访问系统，核查安全措施、报告事件并评估训练中的模型对齐情况。该倡议由联合创始人 Thomas Wolf 领导，发布时间在 Dario Amodei 发布相关文章约四小时后；Sam Altman 同日表示 OpenAI 会做出与 Anthropic 相同的承诺，但两家实验室均未说明谁能入选、按什么条件入选以及由谁决定。Delangue 与 Amodei 均未回应这一重叠关系，Nvidia 也未说明若其子公司报告了它所投资公司的问题会如何处理。目前无人说明嵌入式评估者的费用由谁承担，也未说明评估者报告与实验室存在争议时如何处理。

  4. threatfrontier.com · 55

    Anthropic 修复 Claude Desktop macOS 漏洞：Cowork 文件夹内文件可执行命令

    Anthropic 发布高危公告 GHSA-v234-4jrq-mgg6，修复 Claude Desktop on macOS 的一个漏洞：被攻陷或被提示注入的 Agent 写入 Cowork 共享文件夹的某类文件，在用户从 Claude Desktop 打开时可在 Mac 上执行命令。受影响版本为 1.1.3918 至 1.15962.0 之前，修复版本为 1.15962.0，公告于 2026 年 9 月 25 日发布且未列出 CVE 编号。问题根源是 Claude Desktop 的禁止执行文件类型清单遗漏了 macOS 打开即执行的一类文件，被归类为 CWE-184 不完整禁止输入清单，CVSS 4.0 评分 8.5，属本地攻击向量、低复杂度、无需权限、需被动用户交互。

10月3日周六
  1. Ars Technica AI、The Guardian · 人工智能 等 4 个来源Ars Technica AI 等 4 个来源 · 4 篇报道 · 57

    美国加州男子被控走私3亿美元GPU服务器至中国

    美国司法部宣布逮捕加州科技公司 Earthmade Computer 负责人 Greg Lui（又名 Yiu Kong Lui），指控其将价值超过 3 亿美元、含 Nvidia A100 与 H100 GPU 的服务器走私至中国。检方称其以虚假单据、冒用他人身份及合规买家名义掩盖真实的中国收货方，货物经马来西亚、新加坡等中转地转运，走私活动从 2023 年 10 月持续至 2026 年 8 月；FBI 称其 2024 年通过该计划获得超过 1.76 亿美元。9 月 29 日加州中区联邦法院的三项起诉书指控其出口管制共谋、出口走私和洗钱共谋，联邦当局于 10 月 1 日将其逮捕。大陪审团起诉书进一步称，Lui 自 2024 年起与他人合谋，通过 Earthmade 从多家美国制造商采购搭载 Nvidia A100、H100、RTX 4090 和 RTX 5090 GPU 的服务器，谎报最终用户位于无需出口许可的国家，实际经马来西亚和新加坡中转后转运至中国。

10月2日周五
  1. Mistral AI · 43

    Mistral 发布 Shieldstral：3B 开源多模态安全分类器

    Mistral 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，把内容审核建模为策略自适应的问答任务，在推理时接受自然语言政策而无需重新训练。模型每次请求由 <Instruct> 评估上下文与严格度、<Query> 单个是非问题、<Document> 待判定内容三部分组成，只读取 yes 和 no 两个 token 的 logits 并做 softmax 归一化，输出连续安全分数。Mistral 称其在文本安全、拒答检测、策略适应性和多模态基准上匹配或超过最多 7 倍于其规模的开放护栏模型，可在单张 16GB NVIDIA GPU 上运行，以 Apache 2.0 许可开放权重。训练上统一异构数据集的标签体系，用对比式改写让模型区分相近政策，并用视觉语言重排器过滤图像数据，最后通过 LoRA 微调与 SLERP 合并多个 checkpoint。

10月1日周四
  1. NVIDIA 技术博客：可信 AI 与网络安全 · 52

    NVIDIA 分析编码智能体开发者工具的攻击面

    NVIDIA 技术博客指出，开发者越来越多使用 Cursor、OpenAI Codex、Claude Code 和 GitHub Copilot 等 AI 编码工具，这些工具在加快开发与代码审查的同时也扩大了攻击面。文章称这些智能体工具实现方式各异，但都共享同一套框架，即用 LLM 决定要执行的动作。

  2. NVIDIA 技术博客：可信 AI 与网络安全 · 43

    NVIDIA 发布智能体工作流沙箱与执行风险管理的安全实践指引

    NVIDIA 发布面向智能体工作流的安全实践指引，聚焦沙箱化与执行风险管理。文章指出，AI 编码智能体通过命令行运行工具时，会继承与用户相同的权限和授权，因而成为计算机使用智能体，带来常被忽视的攻击面。该指引围绕这一执行风险给出实践建议。

已经到底了