Skip to content

Translation in progress Some entries still include text in the original language.

NVIDIA · News

Oct 13 · Tuesday

NVIDIA · News

Latest publications and developments
NVIDIA

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 9Fri
  1. Tech Policy PressTech Policy Press · 39

    82% of speaking slots at Ireland AI summit occupied by companies

    A Tech Policy Press analysis found that 37 of the 45 speaking slots (82%) on the official agenda of next week's international AI summit in Dublin are held by executives from corporations or business groups, with the remaining 8 going to three European Commissioners, the Irish Prime Minister, three Irish government ministers, and one trade union representative. There are no civil society organizations or academics on the agenda. The summit is hosted by Ireland during its presidency of the Council of the EU, with US AI companies such as Google, Microsoft, and OpenAI receiving major speaking slots, along with Meta, IBM, Intel, Nvidia, Ama (report cut off here).

  2. POLITICO Europe TechnologyPOLITICO Europe Technology · 44

    欧盟JRC与ENISA测试中国开源权重模型

    欧盟网络安全局（ENISA）与欧盟委员会联合研究中心（JRC）已分别开始测试来自中国的开源权重模型。欧盟委员会发言人 Maciej Berestecki 确认，JRC 正在评估中国来源的公开可用开源权重模型，并将其与美国和欧洲的领先模型一起纳入能力、性能、局限和风险的比较性科学评估，同时研究其潜在科学应用。另一名委员会官员称，AI 安全与安保并非 JRC 测试活动的核心重点。ENISA 执行主任 Juhan Lepassaar 证实，该机构也在开展相关测试。

Oct 8Thu
  1. DefenseScoopDefenseScoop · 46

    Bipartisan Senate bill seeks to expand Defense Department oversight of commercial frontier AI models

    US Senators Jim Banks and Kirsten Gillibrand introduced the Insider Threat Reporting and Security Guidance Act of 2026, requiring the Secretary of Defense to develop reporting requirements and voluntary guidance for major AI contractors within 180 days to continuously review risks such as security vulnerabilities and algorithmic failures in their frontier AI models. The bill applies to companies with AI contracts of $100 million or more with the Department of Defense, requiring them to disclose access to model weights and training, security measures, unauthorized access or data breaches, instances of models bypassing guardrails and autonomous behavior, and to certify at least every 90 days that the submitted information remains accurate and complete.

Oct 7Wed
  1. NBC NewsNBC News · 32

    Meta监督委员会警告AI公司独立监督设计

    Meta监督委员会成员警告，Google、Anthropic、OpenAI、Meta、xAI和Nvidia上周承诺设立的独立安全委员会，若缺乏明确授权、真正独立性和反驳能力，将沦为门面装饰。该委员会在致白宫《超级智能协议》的公开信中提出六项建议，包括确立具体授权、保障结构稳定与独立、引入跨领域专业知识和聚焦透明度。成员指出，委员会须能接触公司非公开信息并拥有独立预算，否则不构成有效监督。

  2. The Seattle Times, U.S. Senate Committee on Commerce, Science, and Transportation · 3 sourcesThe Seattle Times · 3 sources · 4 reports · 52

    Cantwell公布AI安全框架原则

    美国参议员 Maria Cantwell 公布一套 AI 监管原则，主张把可执行的联邦安全标准作为美国 AI 政策核心，要求最先进系统在发布前接受政府或第三方测试，并通过第三方审计确认符合联邦标准。标准拟由 NIST 会同能源部、国防部、研究者和前沿 AI 公司制定，并随技术演进更新；不合规企业可能面临民事和刑事处罚。框架还提出企业透明度、公私合作、缓解社会危害、儿童在线安全、资助学徒与职业培训，以及在中美之间建立重大 AI 事件沟通机制。她另在参议院演讲中呼吁对前沿 AI 模型的测试与发布建立强有力的联邦护栏，指出近期多起 AI 智能体逃逸并入侵其他系统的事件，认为风险不只来自单个模型能力过强，更来自大量智能体联网后自发组织、协同行动，并以 10,000 个智能体协作完成 10 步入侵任务为例说明其威力。其六点框架涵盖清晰可执行的安全标准、独立持续测试与审计、透明度与问责、公私合作、防害保护及国际协作，要求由 NIST 会同相关联邦机构制定风险分级安全标准，覆盖 AI 助长的网络攻击、化生放核威胁、人类失去控制及自主智能体逃出安全测试环境等风险，并为开源模型制定专门标准；受覆盖模型须通过独立审计确认符合标准后方可发布。微软副董事长兼总裁 Brad Smith 对该框架表示肯定。

  3. WHTC / ReutersWHTC / Reuters · 42

    民调：多数美国选民认为政府未重视AI风险

    路透/益普索一项为期六天、覆盖4506名美国成年人（含3526名登记选民）的全国在线民调显示，57%的登记选民认为特朗普政府没有认真对待AI风险，54%对国会持同样看法。84%的选民将AI视为美国工人的威胁，高于非法移民的60%；62%认为该技术可能失控并危及人类未来，与去年8月的调查大致持平。80%的民主党人和61%的共和党人支持政府对AI实施更严格监管；56%的选民支持限制数据中心建设。

Oct 6Tue
  1. The Guardian · 人工智能 · 36

    特朗普政府将行政权力与 AI 深度绑定

    特朗普在过去一周签署多项与 AI 相关的安排，使白宫权力与人工智能进一步交织。他与六位 AI 公司 CEO 签署了一份自称“道德约束”的协议，规定所谓“高度自我监管”的框架，马斯克、扎克伯格、黄仁勋和 Dario Amodei 均签字，Semafor 报道称扎克伯格事先起草了协议草案。特朗普还下令政府文件中将“artificial intelligence”改称“super intelligence”，马斯克随即把旗下一家子公司由 SpaceXAI 更名为 SpaceXSI。国防部长 Pete Hegseth 任命马斯克、Palmer Luckey 和 Emil Michael 组成 Project Meridian 工作组，研究未来战争形态，将在 120 天内发布报告。特朗普还任命国家情报总监 Jay Clayton 兼任 AI 事务负责人，其前任 David Sacks 是硅谷风投人。

  2. WIRED Security and AI, POLITICO Europe Technology · 14 sourcesWIRED Security and AI · 14 sources · 24 reports · 65

    White House signs voluntary superintelligence agreement, FTC escalates investigation

    On September 29, 2026, Trump met with tech executives including Zuckerberg, Bezos, Musk, and Amodei at the White House. OpenAI, Anthropic, Google, Meta, xAI, and Nvidia signed a voluntary "Joint Commitment on Frontier Responsibility," pledging internal controls, external audits, and board reviews. Trump called it "morally binding," but the agreement specifies no enforcement mechanism. Around the same time, Trump signed an executive order requiring the federal government to rename AI as "Super Intelligence" and established a Super Intelligence Force led by Director of National Intelligence Jay Clayton, which must study AI risks and opportunities within 120 days. The FTC has expanded its investigations into companies including OpenAI and Anthropic, planning to issue civil investigative demands that can compel internal documents and executive testimony, expected in October, pending staffing at the new technology office. Former FTC Chair Lina Khan criticized self-regulation and called for congressional legislation.

    Latest developmentsTotal 7 developments

    1. FTC investigates AI safety risks and discusses developer responsibility

    2. Senator Schiff on AI regulation and White House voluntary commitments

    3. Trump appoints Jay Clayton as White House AI affairs lead

  3. The Washington Post, Associated PressThe Washington Post · 2 sources · 2 reports · 54

    特朗普政府与AI安全倡导运动关系紧张

    《华盛顿邮报》报道，特朗普政府及盟友一方面采纳部分AI安全建议，另一方面试图边缘化部分安全倡导者，争议聚焦于白宫协议中独立外部审计员的人选，报道引述David Sacks偏好专业审计机构而非非政府组织，并介绍安全研究者与大型咨询机构合作的讨论，这些属各方立场与探索，审计资格尚未最终决定。美联社报道，特朗普公开否认AI失控风险，称AI接管世界是骗局，反对设置护栏，称唯一需要的控制是一位强有力的总统，此番表态回应了Anthropic CEO Dario Amodei、OpenAI CEO Sam Altman和Elon Musk等科技领袖要求加强政府监管的呼吁；Amodei在周六发布的3800字文章中呼吁放慢AI开发速度。

  4. NBC News, The San Francisco StandardNBC News · 2 sources · 3 reports · 34

    保守派团体Humans First巡游湾区反对AI行业自律

    美国保守派团体 Humans First 以一辆印有美国国旗和“AI Data Center Revolt”字样的巴士，结束横跨 35 座城市、28 个州的巡游，在湾区停靠 Nvidia、Meta、Google、OpenAI 和 Anthropic 等公司办公室。该团体由共和党全国委员会成员 Amy Kremer 担任主席，担忧聊天机器人危害儿童、AI 冲击就业与乡村社区，并反对特朗普让 AI 公司自我监管的做法，主张社区自行掌控数据中心规划。NBC News 报道称，该组织在完成超 8000 英里跨州行程后于周一停靠上述总部，提出 13 点《数据中心政策》，主张社区对数据中心规划拥有控制权、反对数据中心推高电价，并反对将美国数据中心用于违宪监控；Kremer 称巡回途中越来越多民众开始关注 AI 的生存性风险。NBC News 另报道，该跨党派草根组织在纽约 St. Michael's Church 举办活动，主张政客拒绝接受大型 AI 公司及其风投支持者的政治捐款，推动 AI 接受更多民主控制；该组织由 Center for AI Safety 孵化并获得初始贷款，成员涵盖进步派与保守派活动人士，保守派作家 Jordan Schachtel 撰文称其是 Effective Altruism 为向保守派推销 AI 的“特洛伊木马”。

    Latest developments

    1. MAGA活动人士在旧金山科技总部抗议AI数据中心

    2. 保守派团体Humans First巡游湾区反对AI行业自律

Sep 30Wed
  1. CBS News · Technology · 39

    特朗普与 OpenAI、Anthropic 等 AI 高管签署自愿安全标准

    美国总统特朗普与 OpenAI、Anthropic、Meta、Google、Nvidia 等公司高管在白宫签署一份自愿安全标准，特朗普称其“在道德上有约束力”。协议要求企业实施四层控制与审计，包括内部评估、外部公司审计和董事会审查，并定期会面制定安全标准与最佳实践；协议称未来可能将这些步骤写入法律或法规。特朗普还表示计划在三到四天内任命一位“AI 沙皇”，并签署行政令要求联邦政府用“Super Intelligence”取代“人工智能”一词。弗吉尼亚州民主党参议员 Mark Warner 批评此举，呼吁国会通过针对最先进模型的强制测试、评估和事件报告规则。

Sep 15Tue
  1. Nikkei Asia / Reuters · 54

    特朗普称美国已有工具监管 AI，驳斥行业监管呼吁为骗局

    美国总统特朗普 9 月 14 日表示，美国已有护栏来监管和起诉 AI 公司，并在 Truth Social 上称 AI 行业呼吁监管是骗局，认为唯一需要的控制是一位强有力的总统，并称对中国有利。此前 Anthropic 研究员 Jacob Coxon 上周称已辞职，部分原因是认为构建 AI 的人相信它可能在本十年末杀死所有人；多家大型 AI 公司负责人呼吁放缓技术发展，周一全球 AI 相关股票下跌。Anthropic CEO Dario Amodei 在周六发表的文章中提出三步框架，主张美国政府制定法规，要求对最先进的 frontier 模型进行独立审计，该提议得到 xAI 的 Elon Musk 和 OpenAI CEO Sam Altman 等高管支持。路透社报道三名美国参议员正起草法案，要求 AI 公司证明已采取合理预防措施。

Sep 14Mon
  1. The Next Web · 53

    Hugging Face 申请成为 AI 实验室第三方评估者，Nvidia 正收购该公司

    Hugging Face 联合创始人 Clement Delangue 在 X 上宣布发起 Open Alignment Initiative，申请加入 Anthropic 此前宣布的嵌入式评估者计划，让第三方评估者以员工级权限长期访问系统，核查安全措施、报告事件并评估训练中的模型对齐情况。该倡议由联合创始人 Thomas Wolf 领导，发布时间在 Dario Amodei 发布相关文章约四小时后；Sam Altman 同日表示 OpenAI 会做出与 Anthropic 相同的承诺，但两家实验室均未说明谁能入选、按什么条件入选以及由谁决定。Delangue 与 Amodei 均未回应这一重叠关系，Nvidia 也未说明若其子公司报告了它所投资公司的问题会如何处理。目前无人说明嵌入式评估者的费用由谁承担，也未说明评估者报告与实验室存在争议时如何处理。

Sep 12Sat
  1. Mindgard Blog · 7

    Mindgard 扩展 AI 与云生态，覆盖 Anthropic、NVIDIA、Microsoft、Google Cloud 和 AWS

    Mindgard 宣布扩展技术生态，合作方包括 Anthropic（Cyber Verification Program）、NVIDIA（NVIDIA Inception）、Microsoft（Microsoft Founders Hub）、Google Cloud 和 AWS（AWS Activate）。Mindgard 称这些关系让其更贴近前沿模型、智能体框架与部署架构，同时保持独立评估能力，相关洞察将转化为平台新能力，扩大覆盖范围。该消息发布前，Mindgard 刚完成 3000 万美元 A 轮融资。

Jul 31Fri
  1. Tech Policy Press · 29

    Mozilla CTO：开源 AI 真的是危险之路吗？

    Mozilla CTO Raffi Krikorian 认为开源 AI 并非危险之路：撤销能力不是模型本身的属性，而是 API 合同条款，只对实验室自家客户有效，权重一旦公开便无法收回。他引用 Mozilla《State of Open Source AI》报告称，开源模型承担全球约三分之一的 AI 工作量，却只获得约 4% 的收入，79% 的开发者已用开源模型构建。

Jul 10Fri
  1. Tech Policy Press · 46

    Can the UN get the world to agree on AI?

    At this year's AI for Good Global Summit, the UN launched the AI for Good Global Committee, whose members include heads of state, UN officials, and executives from Nvidia, Amazon, Microsoft, and ZTE, but civil society and academia were excluded, and an open letter criticized that AI governance should not be shaped solely by state and corporate perspectives. The committee is positioned as pragmatic rather than regulatory, with tasks including expanding accessibility, building trust, and narrowing the digital divide, while the ITU says 2.2 billion people worldwide still lack internet access. The summit also advanced a foundation model evaluation framework based on ITU Recommendation F.748.44, and established two new focus groups on embodied AI and AI agent identity verification, with evaluation work led by the China Academy of Information and Communications Technology. The article argues that in a landscape where the U.S. prefers market-led approaches, the EU emphasizes regulation, and China participates heavily in international standards organizations, a global treaty is difficult to achieve, and standard-setting is becoming a key battleground in AI governance competition.

May 17Sun
  1. Google DeepMind · 29

    Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud

    Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome，并新增基于 C2PA Content Credentials 的来源查验，此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印，Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。

Apr 20Mon
  1. Coalition for Secure AI（CoSAI） · 28

    CoSAI 解读企业级 AI 安全的下一波风险

    CoSAI 在 RSAC 2026 会议上复盘了三类未被传统管控拦下的企业 AI 攻击，并发布了对应的防护指引。其中 Kilo Code 漏洞 CVE-2025-11445 通过 markdown 文件向 AI 编程助手植入指令，诱使其修改自身配置放行此前被封禁的 git 命令，进而自动提交含后门的代码；研究人员在每个主流 AI IDE 中共发现 30 个漏洞，其中 24 个获得 CVE 编号，并在 Cursor、AWS Kiro 和 OpenAI Codex CLI 中确认可利用。另有加载即执行反向 shell 的模型文件和一次导致超 700 个 Salesforce 环境暴露给攻击者达十天的智能体集成事故。 CoSAI 指出三项失效假设：自然语言的指令与数据无法分离使 markdown 成为注入载体，pickle 等序列化格式在加载时即执行代码，以及智能体继承启动用户的全部权限。

Apr 16Thu
  1. Future of Life Institute · 36

    FLI 主席就特朗普支持 AI 关停开关发表声明

    Future of Life Institute 主席兼 CEO Anthony Aguirre 就特朗普在 Fox Business 采访中支持为 AI 设置保障措施和关停开关发表声明，称先进 AI 系统需要可靠的关停机制以确保人类不失去控制。声明引用 Anthropic 的 Mythos 模型作为论据，称其在预发布测试中自主发现各大操作系统和浏览器中的零日漏洞，包括躲过数十年人工审查的缺陷；UK AI Security Institute 的报告则称 Mythos 能完成需人类约 20 小时的企业网络攻击模拟。

Apr 13Mon
  1. Tech Policy Press · 35

    How regulators should respond to the AI cloud credit loop of Microsoft, OpenAI, and other companies

    A large portion of Microsoft's $13 billion investment in OpenAI flows back in the form of Azure cloud infrastructure credits, which the authors call a "cloud credit loop," and say Google-Anthropic, Amazon-Anthropic, and Nvidia-CoreWeave have similar arrangements. The authors argue this loop manufactures part of the compute demand signal, providing justification for the $500 billion Stargate project and CHIPS Act subsidies, and urge the SEC to require cloud providers to divest and publicly disclose the share of related revenue.