跳到正文

NVIDIA · 精选

10月9日 · 周五

NVIDIA · 精选

今天还没有新的精选
NVIDIA

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月6日周二
  1. The Washington Post、Associated PressThe Washington Post 等 2 个来源 · 2 篇报道 · 54

    特朗普政府与AI安全倡导运动关系紧张

    《华盛顿邮报》报道，特朗普政府及盟友一方面采纳部分AI安全建议，另一方面试图边缘化部分安全倡导者，争议聚焦于白宫协议中独立外部审计员的人选：报道引述David Sacks偏好专业审计机构而非非政府组织，并介绍安全研究者与大型咨询机构合作的讨论，这些尚属各方立场与探索，审计资格未最终决定。美联社报道，特朗普公开否认AI失控风险，称AI接管世界是骗局，反对设置护栏，称唯一需要的控制是一位强有力的总统；此番表态回应了Anthropic CEO Dario Amodei、OpenAI CEO Sam Altman和Elon Musk等科技领袖要求加强政府监管的呼吁，Amodei在周六发布的3800字文章中呼吁放慢AI开发速度。

    事件进展

    1. 特朗普称AI风险警告是骗局

    2. 华盛顿邮报报道特朗普政府与AI安全倡导运动关系紧张

  2. Nikkei Asia / Reuters · 54

    特朗普称美国已有工具监管 AI，驳斥行业监管呼吁为骗局

    美国总统特朗普 9 月 14 日表示，美国已有护栏来监管和起诉 AI 公司，并在 Truth Social 上称 AI 行业呼吁监管是骗局，认为唯一需要的控制是一位强有力的总统，并称对中国有利。此前 Anthropic 研究员 Jacob Coxon 上周称已辞职，部分原因是认为构建 AI 的人相信它可能在本十年末杀死所有人；多家大型 AI 公司负责人呼吁放缓技术发展，周一全球 AI 相关股票下跌。Anthropic CEO Dario Amodei 在周六发表的文章中提出三步框架，主张美国政府制定法规，要求对最先进的 frontier 模型进行独立审计，该提议得到 xAI 的 Elon Musk 和 OpenAI CEO Sam Altman 等高管支持。路透社报道三名美国参议员正起草法案，要求 AI 公司证明已采取合理预防措施。

  3. The Next Web · 53

    Hugging Face 申请成为 AI 实验室第三方评估者，Nvidia 正收购该公司

    Hugging Face 联合创始人 Clement Delangue 在 X 上宣布发起 Open Alignment Initiative，申请加入 Anthropic 此前宣布的嵌入式评估者计划，让第三方评估者以员工级权限长期访问系统，核查安全措施、报告事件并评估训练中的模型对齐情况。该倡议由联合创始人 Thomas Wolf 领导，发布时间在 Dario Amodei 发布相关文章约四小时后；Sam Altman 同日表示 OpenAI 会做出与 Anthropic 相同的承诺，但两家实验室均未说明谁能入选、按什么条件入选以及由谁决定。Delangue 与 Amodei 均未回应这一重叠关系，Nvidia 也未说明若其子公司报告了它所投资公司的问题会如何处理。目前无人说明嵌入式评估者的费用由谁承担，也未说明评估者报告与实验室存在争议时如何处理。

已经到底了