跳到正文

政策与监管

各国 AI 安全立法、监管执法与国际协议。

725条动态与论文相关主题前沿安全框架UK AISIUS CAISI
在这个话题内搜索或按分类筛选

新闻与论文

第 601–620 条 · 共 725 条
10月1日周四
  1. AI Frontiers · 收录 · 原文 22

    国际 AI 减速随时可行:Whole-Lab Inspection 提案

    针对“无法核实各国是否遵守 AI 开发放缓承诺”的反驳论点,Center for AI Safety 研究者提出 Whole-Lab Inspection(WLI)方案——向美中两国互派人类检查员进驻前沿实验室,配合对公司通信、工作日志、代码仓库和算力遥测数据的只读访问来核查违规行为。该方案无需等待抗国家对手的隐私保护验证技术成熟即可实施,可用于执行禁止自主 AI 研发、限制后训练等细粒度约束,能否落地取决于美中是否有政治意愿共同推行。

  2. AI Frontiers · 收录 · 原文 43

    欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效,内容溯源成为强制要求

    2026 年 8 月 2 日,欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效,要求生成式 AI 提供商和相机厂商为内容附加机器可读的溯源元数据。文章介绍内容溯源的三类元数据(来源、保管链、修改历史)以及业界趋同的 C2PA 标准,Anthropic、Google、OpenAI 均表示将采用 C2PA。加州法律还要求月活超百万的生成式 AI 提供商提供免费的溯源查询工具,2027 年起大型平台不得剥离合规溯源数据,2028 年起智能手机、相机、录音笔等设备须默认生成溯源记录。

  3. Google DeepMind · 收录 · 原文 18

    Google DeepMind 宣布与大韩民国科学技术信息通信部达成合作

    Google DeepMind 与大韩民国科学技术信息通信部(MSIT)建立国家人工智能合作伙伴关系,并在首尔办公室设立 AI Campus,向韩国学术界和研究机构开放其最先进的 AI for Science 模型。首批合作对象包括首尔大学(SNU)、KAIST 及该部的三个 AI Bio Innovation Hub,涉及 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext,其中 AlphaFold 已在韩国拥有超过 85,000 名研究者用户。此外还将与韩国 AI 安全研究院(AISI)开展研究与最佳实践协作,并探讨面向韩国学生的实习机会。

  4. Google DeepMind · 收录 · 原文 15

    Google DeepMind 与新加坡达成国家 AI 合作,推进医疗、教育与科研

    Google DeepMind 启动新一轮国家 AI 合作伙伴计划,与新加坡政府及多家机构共建面向公共部门转型、商业增长与劳动力升级的项目。双方将前沿 AI 应用于医疗健康与生命科学——包括探索 AI 辅助临床医生协作模式、借助 AlphaFold 与 Google Earth 加速东南亚疫情防范研究,并向当地研究者培训基于 Co-Scientist 构建的 Hypothesis Generation 等智能体化科研工具。教育方面向中小学至初级学院全体教师提供 Gemini for Education 并配套培训,同时在新加坡落地亚太区"AI for the Planet"加速器扶持气候科技团队。

  5. Google DeepMind · 收录 · 原文 29

    Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud

    Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome,并新增基于 C2PA Content Credentials 的来源查验,此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印,Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。

  6. Google DeepMind · 收录 · 原文 43

    Google DeepMind 联合 Schmidt Sciences 等发起最高 1000 万美元多智能体安全研究资助

    Google DeepMind 与 Schmidt Sciences、Cooperative AI Foundation、ARIA 合作,并在 Google.org 支持下,发起最高 1000 万美元的多智能体 AI 安全技术研究资助征集。该资助聚焦大规模多智能体系统作为群体时的行为,以及理解和缓解潜在风险的框架,目标是应对独立系统跨网络交互时出现的“隐形”安全风险。征集列出四个优先方向:沙箱与测试床、智能体网络科学、智能体基础设施强化、以及大规模部署智能体的监督与控制。申请截止日期为 2026 年 8 月 8 日,获资助者预计于 2026 年秋季公布。

    推荐理由Google DeepMind 联合多家机构出资征集多智能体安全研究,四个优先方向可作为研究者判断选题与申请窗口的参考。

  7. CAIS · 收录 · 原文 50

    加州 SB-53 通过州议会,将前沿 AI 透明度要求送交州长签署

    加州州议会于 9 月 17 日通过 SB-53(《前沿人工智能透明度法案》),并将其送交州长 Newsom,签署截止日期为 10 月 12 日;若签署生效,加州将成为美国首个监管灾难性风险的州。该法案是去年被否决的 SB-1047 的弱化续作,采纳了州长 AI 前沿模型政策工作组 6 月报告的建议,将灾难性风险定义为单次事件造成 50 人以上死亡或重伤、或超过 10 亿美元财产损失,涵盖协助制造 CBRN 武器、自主网络攻击与失控等情形。法案要求前沿开发者发布并每年更新前沿 AI 框架、为每个新模型发布透明度报告、每 3 个月向加州应急服务办公室(OES)提交内部使用的灾难性风险评估,并禁止就相关风险作虚假陈述。

  8. CAIS · 收录 · 原文 36

    AI Safety Newsletter #64:参议院 AI 责任法案与新的 AGI 定义

    美国参议员 Dick Durbin 与 Josh Hawley 提出 AI LEAD Act,为受 AI 系统伤害者建立联邦起诉路径,将产品责任适用于 AI 系统。法案规定,若企业在设计、说明或警示上未尽合理注意义务,违反自身提供的保证,或销售存在缺陷、可致不合理危险误用的系统,则需承担责任;部署者若大幅修改或危险误用系统同样担责。法案还禁止企业通过消费者合同限制责任,要求外国 AI 开发者在美国市场销售前登记送达代理人,并允许各州制定更严格的安全立法。

  9. CAIS · 收录 · 原文 43

    AI Safety Newsletter #67:特朗普签署阻止州级 AI 立法的行政令

    美国特朗普总统签署行政令,试图阻止各州自行监管 AI,通过联邦资金与执法手段评估、挑战并限制州级法律,并以一套尚未明确的联邦框架取而代之。该行政令无法单方面推翻州法,而是指示联邦机构依据现行法律解释发起挑战或扣留相关联邦资金:司法部长将组建工作组挑战其认为繁重的州级 AI 法律,商务部长将认定违规州不具备联邦宽带资金资格,FCC 将研究是否要求 AI 开发者向监管者提供标准化模型信息,FTC 需就现行反不公平或欺骗性商业行为法如何适用于 AI 模型发布指引。白宫 AI 与科学顾问将起草一部国家 AI 法,以覆盖与联邦政策冲突的州级规则,同时保留儿童安全、AI 基础设施、州政府自用 AI 等领域的州法。

  10. CAIS · 收录 · 原文 43

    AI 安全通讯#69:战争部认定 Anthropic 构成国家安全供应链风险并取消合同

    美国战争部于周四(3 月 5 日)宣布将 Anthropic 认定为"供应链风险",意味着其产品不能被该部门或在任何国防合约中使用,此前双方围绕自主武器和美国民众监控问题发生争执,Anthropic 拒绝了战争部的请求。这场争端始于合同谈判:特朗普总统曾表示美国政府会因该公司对其 AI 用途的限制而取消与 Anthropic 的合同,五角大楼希望 Claude 可用于"任何合法用途",而 Anthropic 坚持两项限制——完全自主武器与美国国内大规模监控。

  11. CAIS · 收录 · 原文 18

    AI Safety Newsletter #70:AI 裁员潮与自动化战争

    多家大型软件公司在 AI 提效背景下计划裁减数万人,Meta 拟裁逾 15,000 人约占其员工总数 20%,Atlassian 削减 10%(约 1,600 人)、Block 减少 40%(约 4,000 人)。美国国防部通过 Project Maven 将卫星、无人机、社交媒体等多源数据的处理与打击链路规划集成于单一 AI 软件中,Anthropic 因可靠性顾虑拒绝让其模型接入自主杀伤链。一封跨党派公开信呼吁限制 AI 开发与使用,提出避免权力集中、保护人类体验和维护人的能动性与自由三项主张。

  12. CAIS · 收录 · 原文 29

    AISN #71:针对 AI 软件基础设施的网络攻击与美国数据中心禁令法案

    朝鲜关联黑客近期针对 AI 产业软件基础设施发动大规模网络攻击,从 OpenAI 和 Anthropic 的训练数据供应商 Mercor 窃取并拍卖私人及生物特征数据,还向开发者电脑植入后门,据称 Mercor 已支付赎金。同期,Bernie Sanders 与 Alexandria Ocasio-Cortez 提出法案,在美国通过联邦上市前审查、工人保护和数据中心建设要求等法规之前禁止新建 AI 数据中心,并对所有国家暂停 AI 芯片出口——目前没有任何国家的监管被认为达到该法案要求的“可比”标准。

  13. CAIS · 收录 · 原文 19

    AISN #73:AI 安全进入政治主流,马斯克诉 OpenAI 案败诉

    美中领导人在北京会晤讨论 AI 安全问题,特朗普称双方谈及可能合作建立护栏,中国外交部随后确认同意与美国开展对话。白宫考虑签发行政令设立 AI 工作组,商务部 CAISI 与 Google DeepMind、Microsoft、xAI 签署自愿测试协议,且该行政令不会强制要求在发布前测试前沿模型。《纽约时报》报道称政府此前的放任立场因 Claude Mythos 加速复杂网络攻击的能力以及 ChatGPT-5.5-Cyber 展现类似能力而发生转变。

  14. CAIS · 收录 · 原文 15

    教皇利奥十四世通谕《Magnifica Humanitas》谈 AI 伦理与人类关系

    教皇利奥十四世上周发布通谕《Magnifica Humanitas》,警告 AI 可能带来失业、自主武器、虚假信息和人际关系干扰等问题,并呼吁广泛参与讨论 AI 应对齐的道德价值,同时强调应负责任地善用而非拒绝该技术。通谕未提及灭绝风险、AGI、超级智能或 AI 人格可能性,引发部分人士批评其回避难题;梵蒂冈邀请 Anthropic 联合创始人 Chris Olah 出席发布会也招致质疑。另有有效利他主义者整理证据称通谕措辞或经 AI 协助撰写,若属实则与其劝诫神父勿用 AI 布道相矛盾。

  15. Garrison Lovely · 收录 · 原文 43

    OpenAI 宣布保留非营利控制权,作者给出四点预测

    OpenAI 宣布将继续由非营利组织监督和控制公司,此前其剥离非营利控制的计划曾遭到 Elon Musk、公民社会领袖、前员工和法律学者的反对。非营利董事会主席 Bret Taylor 在博客中表示,公司过去和今后都由该非营利组织监督和控制,这一决定是在与加州和特拉华州总检察长讨论后作出的。CEO Sam Altman 在随附信件中提出转向“人人持股的常规资本结构”,作者认为这暗示投资者利润上限将被修改或取消。文章还指出,OpenAI 未明确回应此前两轮融资中投资者可追回数百亿美元的条款,也未说明非营利组织将获得多少补偿。

  16. Garrison Lovely · 收录 · 原文 50

    独家:OpenAI 承认其非营利董事会权力将大幅缩水

    Obsolete 获取了 OpenAI 律师 5 月 15 日致加州总检察长 Rob Bonta 的 13 页信函,其中 OpenAI 为其营利实体重组方案作法律辩护。信函承认非营利董事会将有权解雇 PBC 董事,但非营利组织将以现有经济利益换取新 PBC 的股权,并获得对 PBC 知识产权、技术和人员的访问权,而非直接拥有或控制底层技术。核心变化在于法律义务:现行 LLC 运营协议规定公司对使命的责任优先于盈利,而新结构下 PBC 董事只需在股东利益与公共利益之间取得平衡。信函近二十次提及 Elon Musk,将批评者与 Musk 的商业利益挂钩,同时私下向加州非营利联盟成员发出合作邀请。

  17. Garrison Lovely · 收录 · 原文 50

    Anthropic 被指在 Claude 4 Opus 发布中悄然回撤安全承诺

    Anthropic 发布 Claude 4 Opus 时将其列为首个触发 ASL-3 防护的模型,但 5 月 14 日更新的 RSP 未按 2023 年承诺公开定义 ASL-4。2023 年 9 月的 RSP 曾承诺在达到 ASL-3 前定义 ASL-4,Anthropic 发言人称该版本已过时,并指向 2024 年 10 月的修订,称 ASL 现在对应逐级加严的安全措施而非预先定义未来标准。TIME 报道称安全评估发现 Claude 4 Opus 可能帮助新手制造生物武器,首席科学家 Jared Kaplan 表示建模显示合成类似 COVID 或更危险流感毒株或许可行。

  18. Garrison Lovely · 收录 · 原文 52

    美国参议院以 99 比 1 删除十年州级 AI 监管禁令

    美国参议院以 99 比 1 的投票结果,从预算协调法案中删除了禁止各州监管 AI 十年的条款。该条款原本规定,接受 5 亿美元新 BEAD 宽带拨款的州,可能失去 425 亿美元 BEAD 资金份额,其 AI 法律也将失效。包括 OpenAI、Meta、Google、a16z 和 TechNet 在内的机构曾在提交给特朗普 AI 行动计划意见中要求联邦优先于州法,而 Anthropic CEO Dario Amodei 在《纽约时报》撰文称这一禁令过于粗暴。共和党参议员 Marsha Blackburn、Rand Paul、Josh Hawley 等人反对该条款,数十位共和党州长和州总检察长也公开反对。

  19. Garrison Lovely · 收录 · 原文 50

    OpenAI 非营利时代终结:两州总检察长有条件放行转营利重组

    特拉华州与加州总检察长对 OpenAI 转为营利性公益公司(PBC)的重组方案有条件放行,微软也以调整合作条款和获得新 PBC 1350 亿美元股权为条件表示同意。总检察长提出的二十条要求包括:非营利组织独家拥有任免 PBC 董事的权力;PBC 董事会在安全与安保事务上只能考虑使命;由 Zico Kolter 领导的 Safety and Security Committee 有权要求缓解措施乃至叫停新模型发布;非营利董事每半年、PBC 高管每季度向总检察长办公室汇报;限制非营利治理权需提前 21 天通知。