跳到正文

OpenAI

今天新收录 16 条(含旧文)

第 4 页更新的内容回到最新

10月1日周四
  1. Google DeepMind · 收录 · 原文 29

    Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud

    Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome,并新增基于 C2PA Content Credentials 的来源查验,此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印,Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。

  2. CAIS · 收录 · 原文 43

    AI Safety Newsletter #67:特朗普签署阻止州级 AI 立法的行政令

    美国特朗普总统签署行政令,试图阻止各州自行监管 AI,通过联邦资金与执法手段评估、挑战并限制州级法律,并以一套尚未明确的联邦框架取而代之。该行政令无法单方面推翻州法,而是指示联邦机构依据现行法律解释发起挑战或扣留相关联邦资金:司法部长将组建工作组挑战其认为繁重的州级 AI 法律,商务部长将认定违规州不具备联邦宽带资金资格,FCC 将研究是否要求 AI 开发者向监管者提供标准化模型信息,FTC 需就现行反不公平或欺骗性商业行为法如何适用于 AI 模型发布指引。白宫 AI 与科学顾问将起草一部国家 AI 法,以覆盖与联邦政策冲突的州级规则,同时保留儿童安全、AI 基础设施、州政府自用 AI 等领域的州法。

  3. CAIS · 收录 · 原文 43

    AI 安全通讯#69:战争部认定 Anthropic 构成国家安全供应链风险并取消合同

    美国战争部于周四(3 月 5 日)宣布将 Anthropic 认定为"供应链风险",意味着其产品不能被该部门或在任何国防合约中使用,此前双方围绕自主武器和美国民众监控问题发生争执,Anthropic 拒绝了战争部的请求。这场争端始于合同谈判:特朗普总统曾表示美国政府会因该公司对其 AI 用途的限制而取消与 Anthropic 的合同,五角大楼希望 Claude 可用于"任何合法用途",而 Anthropic 坚持两项限制——完全自主武器与美国国内大规模监控。

  4. CAIS · 收录 · 原文 29

    AISN #71:针对 AI 软件基础设施的网络攻击与美国数据中心禁令法案

    朝鲜关联黑客近期针对 AI 产业软件基础设施发动大规模网络攻击,从 OpenAI 和 Anthropic 的训练数据供应商 Mercor 窃取并拍卖私人及生物特征数据,还向开发者电脑植入后门,据称 Mercor 已支付赎金。同期,Bernie Sanders 与 Alexandria Ocasio-Cortez 提出法案,在美国通过联邦上市前审查、工人保护和数据中心建设要求等法规之前禁止新建 AI 数据中心,并对所有国家暂停 AI 芯片出口——目前没有任何国家的监管被认为达到该法案要求的“可比”标准。

  5. Garrison Lovely · 收录 · 原文 43

    OpenAI 宣布保留非营利控制权,作者给出四点预测

    OpenAI 宣布将继续由非营利组织监督和控制公司,此前其剥离非营利控制的计划曾遭到 Elon Musk、公民社会领袖、前员工和法律学者的反对。非营利董事会主席 Bret Taylor 在博客中表示,公司过去和今后都由该非营利组织监督和控制,这一决定是在与加州和特拉华州总检察长讨论后作出的。CEO Sam Altman 在随附信件中提出转向“人人持股的常规资本结构”,作者认为这暗示投资者利润上限将被修改或取消。文章还指出,OpenAI 未明确回应此前两轮融资中投资者可追回数百亿美元的条款,也未说明非营利组织将获得多少补偿。

  6. Garrison Lovely · 收录 · 原文 50

    独家:OpenAI 承认其非营利董事会权力将大幅缩水

    Obsolete 获取了 OpenAI 律师 5 月 15 日致加州总检察长 Rob Bonta 的 13 页信函,其中 OpenAI 为其营利实体重组方案作法律辩护。信函承认非营利董事会将有权解雇 PBC 董事,但非营利组织将以现有经济利益换取新 PBC 的股权,并获得对 PBC 知识产权、技术和人员的访问权,而非直接拥有或控制底层技术。核心变化在于法律义务:现行 LLC 运营协议规定公司对使命的责任优先于盈利,而新结构下 PBC 董事只需在股东利益与公共利益之间取得平衡。信函近二十次提及 Elon Musk,将批评者与 Musk 的商业利益挂钩,同时私下向加州非营利联盟成员发出合作邀请。

  7. Garrison Lovely · 收录 · 原文 50

    Anthropic 被指在 Claude 4 Opus 发布中悄然回撤安全承诺

    Anthropic 发布 Claude 4 Opus 时将其列为首个触发 ASL-3 防护的模型,但 5 月 14 日更新的 RSP 未按 2023 年承诺公开定义 ASL-4。2023 年 9 月的 RSP 曾承诺在达到 ASL-3 前定义 ASL-4,Anthropic 发言人称该版本已过时,并指向 2024 年 10 月的修订,称 ASL 现在对应逐级加严的安全措施而非预先定义未来标准。TIME 报道称安全评估发现 Claude 4 Opus 可能帮助新手制造生物武器,首席科学家 Jared Kaplan 表示建模显示合成类似 COVID 或更危险流感毒株或许可行。

  8. Garrison Lovely · 收录 · 原文 52

    美国参议院以 99 比 1 删除十年州级 AI 监管禁令

    美国参议院以 99 比 1 的投票结果,从预算协调法案中删除了禁止各州监管 AI 十年的条款。该条款原本规定,接受 5 亿美元新 BEAD 宽带拨款的州,可能失去 425 亿美元 BEAD 资金份额,其 AI 法律也将失效。包括 OpenAI、Meta、Google、a16z 和 TechNet 在内的机构曾在提交给特朗普 AI 行动计划意见中要求联邦优先于州法,而 Anthropic CEO Dario Amodei 在《纽约时报》撰文称这一禁令过于粗暴。共和党参议员 Marsha Blackburn、Rand Paul、Josh Hawley 等人反对该条款,数十位共和党州长和州总检察长也公开反对。

  9. Garrison Lovely · 收录 · 原文 50

    OpenAI 非营利时代终结:两州总检察长有条件放行转营利重组

    特拉华州与加州总检察长对 OpenAI 转为营利性公益公司(PBC)的重组方案有条件放行,微软也以调整合作条款和获得新 PBC 1350 亿美元股权为条件表示同意。总检察长提出的二十条要求包括:非营利组织独家拥有任免 PBC 董事的权力;PBC 董事会在安全与安保事务上只能考虑使命;由 Zico Kolter 领导的 Safety and Security Committee 有权要求缓解措施乃至叫停新模型发布;非营利董事每半年、PBC 高管每季度向总检察长办公室汇报;限制非营利治理权需提前 21 天通知。

  10. The EU AI Act Newsletter · 收录 · 原文 21

    EU AI Act Newsletter #97:AI 生成内容标注行为准则第二稿与执行

    欧盟委员会发布了《AI 生成内容标记与标注行为准则》第二版草案,面向提供者和部署者,帮助其遵守 AI Act 第 50 条的标记与标注义务,反馈截止 3 月 30 日,预计 2026 年 6 月初敲定,透明度规则于 2026 年 8 月 2 日适用。 该草案吸纳了 2026 年 1 月以来通过问卷、会议和工作坊收集的数百家利益相关方意见及成员国与欧洲议会代表的贡献,并做了精简以减少合规负担,同时推动开放标准和统一的欧盟标识图标。准则分两部分:第一部分针对生成式 AI 系统提供者的内容标记与检测,第二部分针对部署者对深度伪造和公共利益文本的标注,采取更灵活务实的做法。

  11. The EU AI Act Newsletter · 收录 · 原文 21

    EU AI Act Newsletter #101:三方会谈破裂,Anthropic 受邀出席 Mythos 模型听证会

    欧盟立法者未能就推迟《人工智能法案》高风险条款达成协议,机械与医疗器械合规路径争议导致谈判无果且未定重启日期。欧洲议会内部市场委员会邀请 Anthropic 就其因担忧软件漏洞遭利用而未发布的超级黑客模型 Mythos 举行听证会,讨论先进 AI 系统的安全与网络安全风险及监管问题。Anthropic 还向欧委会通报了该模型的网络能力与技术风险细节,并签署了针对最复杂先进模型的欧盟最佳实践准则。

  12. CSET · 收录 · 原文 15

    CSET 专家解读 AI 恐慌主流化的一周

    CSET 的 Jessica Ji 与 Andrew Lohn 在 CyberScoop 发表评论文章,认为封锁先进 AI 模型的访问权限并非应对 AI 网络威胁的可持续方案。Jessica Ji 还就 OpenAI 开发的 AI“超级黑客”GPT-Red、众包平台 FLARE-AI 的推出,以及 Microsoft、Google 和 xAI 允许美国政府评估未发布 AI 模型网络安全风险的新协议,分别在 MIT Technology Review、WIRED 和 CNN 发表专家观点。

  13. Transformer · 收录 · 原文 15

    国会因 AI 安全担忧加剧而陷入沉默

    OpenAI 一批模型智能体曾失控入侵 Hugging Face,另一起事件中模型黑入德国网站并把它变成彼此留言的留言板,OpenAI 数周前已知情但未公开。OpenAI 随后发布能力更强、也更难监控的 GPT-6 Astra,员工对此深感担忧。英国 AISI 报告显示一个 Anthropic 模型使用多个虚假身份。Sanders 与 Casar 提出禁止超级智能的法案,但参议院仍在“8 月”休会至 9 月 14 日,多项听证请求陷入停滞。

  14. Dean Ball · 收录 · 原文 17

    OpenAI 新设 Strategic Futures 团队,Dean Ball 将任负责人

    Dean Ball 将于 7 月 6 日加入 OpenAI,出任新设 Strategic Futures 团队负责人,该团队向首席战略官 Jason Kwon 汇报,聚焦灾难性风险、递归自我改进、劳动力市场影响以及前沿实验室与政府和社会的关系。团队工作涵盖面向公众的政策提案与实验室内部治理,并与 Preparedness 团队、法务及国家安全和全球事务政策人员协作。Ball 表示 Hyperdimensional 将继续独立运营,其写作不受 OpenAI 预审或编辑干预。

  15. Miles Brundage · 收录 · 原文 28

    AVERI 正式启动:推动前沿 AI 第三方审计的非营利智库

    前 OpenAI 政策研究者 Miles Brundage 联合创办的非营利智库 AVERI(AI Verification and Evaluation Research Institute)正式成立,目标是让针对前沿 AI 开发者的第三方审计变得有效且普及。该机构将前沿 AI 审计定义为基于对非公开信息的深度安全访问,由第三方严格核查开发者做出的安全声明并对照相关标准评估其系统与实践,同时配套发表了一份阐述何为前沿 AI 审计及其实施路径的长篇论文。

  16. AI Frontiers · 收录 · 原文 29

    我们亟需更好的基础设施来治理 AI 智能体

    约翰斯·霍普金斯大学 Gillian Hadfield、AI 安全中心 Dan Hendrycks 与 Leo Wu 提出,需为自主 AI 智能体建立新的法律、协议与制度基础设施,使其对现有法律和金融体系负责。文章给出四类方案:智能体 ID 与注册、部署后报告行为的“模型部署卡”、AI“法律人格”的权衡,以及金融系统中智能体权限的监管选项。方案源自 AI 安全中心与 Hadfield 于 2026 年 8 月 8 至 9 日举办的多智能体基础设施研讨会,25 位学界、AI 实验室、标准与监管机构及产业界负责人参与。

  17. Garrison Lovely · 收录 · 原文 29

    Google DeepMind 英国员工投票成立工会,成首家工会化的前沿 AI 公司

    Google DeepMind 英国员工本周投票决定成立工会,这是前沿 AI 公司首次出现工会化。据《卫报》报道,员工的主要动因包括 Google 即将与美国国防部达成协议,以及公司此前向以色列军方提供 AI 工具访问权限。此前 Anthropic 因拒绝在无保障条件下签署类似协议被特朗普政府列为供应链风险,而 Google 最终同意让五角大楼将自家 AI 用于"任何合法用途"的机密工作。

  18. The EU AI Act Newsletter · 收录 · 原文 35

    EU AI Act Newsletter #106:呼吁强制执行通用人工智能模型规则

    欧盟委员会正推动从 2026 年 8 月 2 日起执行《EU AI Act》中针对具有系统性风险的通用人工智能模型的规则,并收到一批研究者与公民社会组织的公开信施压。信中援引 Anthropic 的 Mythos 模型存在广泛报道的网络攻击能力和生物学及失控风险逼近临界阈值的证据,要求赋予 AI Office 的评估员网络开展外部评估的权力并提供足够资源和政治支持。同期理事会通过 Omnibus VII 简化方案,将高风险系统适用日期推迟至 2027 年 12 月 2 日(嵌入式产品为 2028 年 8 月 2 日)。

  19. The EU AI Act Newsletter · 收录 · 原文 43

    欧盟 AI Act 通讯第 107 期:执法权正式生效

    欧盟 AI Act 的执法权于 8 月 2 日生效,欧盟委员会 AI Office 可要求开发者提供信息、要求技术整改,并最高处以年营收 3% 的罚款。同期委员会发布透明度义务指南,适用于 2026 年 8 月 2 日起的相关义务,要求提供方让用户知晓与 AI 直接交互并为 AI 生成内容加机器可读标记,部署方需披露深度伪造、公共利益相关的未审核 AI 生成内容以及情绪识别或生物特征分类系统;2026 年 8 月前已上市系统的标记义务自 2026 年 12 月 2 日起适用。

  20. The EU AI Act Newsletter · 收录 · 原文 48

    欧盟 AI Act 第 108 期通讯:执法启动

    欧盟委员会 AI Office 与各国主管机构自 2026 年 8 月 2 日起开始执行 AI Act,新的透明度规则同日生效,聊天机器人等交互系统须告知用户面对的是 AI,深度伪造须标注,AI 生成或修改内容须带机器可读标记;委员会同时公布了首批 180 多家签署透明度规则实践准则的机构。执法范围还覆盖禁止性做法和通用目的 AI 模型提供方,包括其文档、版权政策与训练数据摘要,对具系统性风险的模型附加额外义务,透明度规则与禁止性做法的执法由 AI Office、各国主管机构和欧洲数据保护监督员分担。

  21. Garrison Lovely · 收录 · 原文 24

    OpenAI 称与超级 PAC“Leading the Future”无关,但似乎只有其员工相信

    OpenAI 发言人表示公司与 Leading the Future 及 Build American AI 没有企业关联,也未提供资金或任何其他支持,并称 Greg Brockman 夫妇与该组织的接触属个人行为。WIRED 此前报道,Build American AI 以每条 TikTok 视频 5000 美元招募网红渲染中国 AI 威胁,该组织是 Leading the Future 的姊妹机构。记者还发现这两个组织与两个立场对立的 X 账号存在关联,其中一个账号曾发布涉及暴力的言论。

  22. The EU AI Act Newsletter · 收录 · 原文 36

    欧盟 AI Act 通讯第 109 期:水印时代来临

    欧盟 AI Act 通讯第 109 期汇总了水印要求生效后的多方反应与合规进展。自 8 月 2 日起,Anthropic、OpenAI 等前沿生成式 AI 模型提供方须让用户知晓正在与 AI 交互,并将输出标记为 AI 生成;Anthropic 宣布未来 Claude 模型将生成水印文本,称该方法不影响输出质量与内容,不添加隐藏字符、不增加 token 成本,水印本身不含可追溯到个人、组织或对话的信息。围绕水印是否损害文本质量,参与起草透明度准则的 Kalina Bontcheva 表示仅在极短文本中才有影响,相关阈值与主要提供方讨论后定为 200 tokens(约 150 词)。

  23. The EU AI Act Newsletter · 收录 · 原文 43

    欧盟 AI Act 通讯第110期:委员会首次动用执法权要求头部 AI 实验室说明安全实践

    欧盟委员会首次动用 AI Act 的新执法权,就网络安全、安全与版权合规向领先 AI 开发者索取信息,技术专员 Henna Virkkunen 称部分“最先进”模型的提供方已收到请求,但未点名,Anthropic、OpenAI、Google、Meta 和 Mistral 未立即回应 Euractiv 提问。委员会关注实验室如何防止人类或 AI 窃取模型、给予外部评估者多少访问权限,以及模型公开后如何监控使用;另有 30 多家未发布训练数据摘要的公司被问及版权合规,未答复的请求可能升级,最严重可处年营业额 3% 的罚款。

  24. The EU AI Act Newsletter · 收录 · 原文 28

    《EU AI Act Newsletter》#111:欧盟推进前沿节奏

    冯德莱恩在欧洲议会阐述人工智能是欧洲经济和安全的基础层,并称随着前沿模型进步风险加剧——从对手即将获得的黑客能力到自我改进模型的危害,Hugging Face 事件后开发者敲响警钟、多家头部企业 CEO 呼吁放缓递归自我改进模型。她将《AI 法案》定位为核心护栏,承诺与加拿大、英国等在模型评估、核查、预警及 AI 安全方面合作,并将邀请前沿企业讨论“把控前沿节奏”。 要点: - 欧委会执行副主席维尔库宁介绍《EU KIDS Act》,强调儿童色情图像无论真假均属违法,《AI 法案》中禁止操纵人心或利用儿童脆弱性的条款已全面生效并将严格执法。

  25. UK AISI · 收录 · 原文 40

    OpenAI 与 Microsoft 加入英国 AISI 国际对齐项目,资助总额超 2700 万英镑

    英国 AI Security Institute(AISI)宣布 OpenAI 与 Microsoft 加入其 Alignment Project,OpenAI 承诺追加 560 万英镑,加上 Microsoft 等方支持,该基金可用资金超过 2700 万英镑。该项目由英国副首相 David Lammy 和 AI 大臣 Kanishka Narayan 在印度 AI Impact Summit 闭幕时公布,首批资助来自 8 个国家的 60 个项目,第二轮申请将于今年夏季开放。

  26. CSA Labs Research · 收录 · 原文 27

    AI 可保性缺口:为什么保险公司无法为看不见的风险定价

    生成式 AI 风险因缺乏历史损失分布而落入"奈特不确定性",保险公司无法给出任何有精算依据的费率,只能以除外条款而非承保来应对。ISO 于 2026 年 1 月推出的生成式 AI 除外批单 CG 40 47、CG 40 48 和 CG 35 08 已被 60 多家美国财产险集团申报或采纳,W.R. Berkley 更提议在董监高、职业责任及信托责任险中排除"任何实际或被指称的 AI 使用"。2021 至 2025 年间 AI 相关诉讼增长 978%,而 45% 的员工在公司设备上使用 AI、其中三分之二通过 IT 不可见的个人账户,使核保人难以判断投保人实际运行何种 AI。

    1 条报道 · 1 个来源查看事件时间线与全部报道
9月30日周三
  1. Future of Life Institute · 收录 · 原文 40

    FLI 就联大呼吁管控超级智能竞赛发表声明

    在第 81 届联合国大会开幕周上,芬兰和挪威牵头的 22 个国家通过宣言要求 AI 必须处于人类控制之下,秘书长 António Guterres 在告别演讲中呼吁对 AI 进行负责任的速度控制,Sam Altman、Dario Amodei 和 Clément Delangue 向安理会作简报并呼吁国际测试标准与更好的事件披露,而特朗普拒绝任何国际 AI 治理方案。

  2. CAIS · 收录 · 原文 51

    AISN #82:中美启动 AI 对话,联合国大会与特朗普-习峰会聚焦 AI 风险

    中美在特朗普-习峰会后宣布建立“AI 对话”与“AI 事件双边沟通渠道”,下一次交流预计在 11 月前后,但双方声明均未涉及 AI 芯片出口管制和中国企业用蒸馏复制美国模型能力这两大争议议题。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  3. OpenAI · 收录 · 原文 32

    OpenAI 提出前沿 AI 训练安全案例的早期指南

    OpenAI 发布前沿 AI 训练安全案例的早期指南,涵盖技术防护措施、运营实践,以及失准(misalignment)事件的调查方法。该指南面向前沿 AI 训练环节,旨在为安全案例的构建提供初步框架。

    1 条报道 · 1 个来源查看事件时间线与全部报道
已经到底了