跳到正文

政策与监管

今天新收录 20 条

第 16 页更新的内容回到最新

10月1日周四
  1. Future of Life Institute · 收录 · 原文 36

    FLI 民调:多数美国人主张严格监管甚至暂停高级 AI 开发

    未来生命研究所公布一项覆盖 2000 名美国成年人的全国调查(2025 年 9 月 29 日至 10 月 5 日),结果显示 64% 受访者认为在科学界确认安全可控之前不应开发超级人工智能,或者根本不该开发。73% 的人支持对 AI 实施强力监管,反对强监管的比例仅为 12%;另有三分之二希望立即暂停先进 AI 的开发直到其安全性获得证明。对于专家级 AI,57% 表示在当前条件下不接受继续推进,其中 17% 认为永远不该开发,40% 主张至少应暂停到证明可控为止,仅有 5% 支持尽快发展这两类技术。当被问到应由谁来主导发展方向时,国际科研机构和各国政府机构的排名最高,开发和运营 AI 的公司及其管理层获得的信任明显偏低。

  2. Future of Life Institute · 收录 · 原文 18

    Future of Life Institute 发起 Protect What's Human:数百万美元全国性 AI 监管活动

    Future of Life Institute 启动名为 Protect What's Human 的全国性 AI 监管活动,最高支出 800 万美元,首站覆盖 Iowa、Kentucky、Maine、Michigan、North Carolina 五州。活动意在把 AI 监管讨论带出华盛顿与硅谷,聚焦已感受到 AI 影响的普通美国人,并推动各州 AI 安全立法。FLI 称在 D.C. 与湾区之外 AI 监管获两党支持,而 2026 年选举议题中普通美国人的视角缺失。

  3. Future of Life Institute · 收录 · 原文 28

    Max Tegmark 就美国战争部最后通牒与 Anthropic 拒绝一事发表声明

    Future of Life Institute 创始人兼主席 Max Tegmark 就 Anthropic 拒绝美国战争部最后通牒发表声明,赞扬 Anthropic、OpenAI 及多家 AI 公司研究人员坚持 AI 不应在缺乏有意义人类控制下被用于杀人、对美国公民的大规模监控是不可逾越的红线。他呼吁所有 AI 公司效仿,并要求立法者将这些红线写入法律,指出当前 AI 系统本质上不可预测且脆弱,不适合高风险应用,完全自主武器系统可能加剧冲突升级并扩散,应在美国及全球范围内禁止。

  4. Future of Life Institute · 收录 · 原文 22

    美国保守派、进步派与公民社会团体联合发布 33 条“亲人类”AI 原则声明

    美国多个 faith 团体、工会、进步派组织与 AI 学者在新奥尔良联合发布 33 条“亲人类”AI 原则,分为“人类掌权”“避免权力集中”“保护人类体验”“人类能动性与自由”“AI 公司的责任与问责”五大主题,具体包括禁止 AI 人格化、强制“bot-or-not”标注、对造成特定严重 AI 损害的高管追究刑责。民调显示 83% 受访者支持“人类必须保持对 AI 的控制”,77% 支持禁止企业通过制造情感依恋的 AI 互动剥削儿童。

  5. Future of Life Institute · 收录 · 原文 34

    佛罗里达州长 DeSantis 指示州机构与 Future of Life Institute 合作应对 AI 危害

    佛罗里达州州长 Ron DeSantis 指示州政府机构与 Future of Life Institute(FLI)合作,推出两项保护儿童与社区免受 AI 聊天机器人和陪伴应用心理社会危害的举措,这是州长办公室与 AI 安全组织的首个州级正式合作。合作内容包括面向持证心理健康专业人员的危机咨询师培训课程,以及允许家长、教师等公众向州政府直接举报 AI 产品危害的 AI 危害报告表。报告将用于指导州和联邦层面的立法与监管行动。

  6. Future of Life Institute · 收录 · 原文 43

    FLI 美国政策负责人回应白宫 AI 立法建议中的联邦优先权条款

    Future of Life Institute 美国政策负责人 Michael Kleinman 就白宫周五发布的 AI 立法建议发表声明,批评其中仍呼吁国会阻止各州自行监管 AI。材料称,多项民调显示联邦优先权不受欢迎,参议院去年夏天以 99 比 1 否决了该条款,国会领导层 11 月试图将其塞入 NDAA 也未成功;白宫 12 月发布行政令试图绕过国会推进,但因缺乏国会支持效力有限,此次立法建议又把球踢回国会,要求将暂停监管写入法律。材料还称白宫在新闻稿中完全未提及该条款,并指责 David Sacks 参与扼杀犹他州等地的儿童安全立法。Kleinman 表示,任何包含联邦优先权却缺乏实质护栏的立法框架都不是在认真保护美国人。

  7. Future of Life Institute · 收录 · 原文 26

    FLI 发起禁止超级智能开发倡议,民调显示 95% 美国人反对超级智能竞赛

    Future of Life Institute 发起倡议,呼吁在获得广泛科学共识证明超级智能可安全可控、且取得公众支持之前,禁止其开发,签署者包括 Geoffrey Hinton、Stuart Russell、Yoshua Bengio 及多位诺奖得主、宗教领袖与演艺人士。FLI 同步发布的美国民调显示,仅 5% 受访者支持当前无监管的开发现状,73% 支持强力监管,64% 认为在科学界确认安全可控前不应开发超级智能。

  8. Future of Life Institute · 收录 · 原文 36

    FLI 主席就特朗普支持 AI 关停开关发表声明

    Future of Life Institute 主席兼 CEO Anthony Aguirre 就特朗普在 Fox Business 采访中支持为 AI 设置保障措施和关停开关发表声明,称先进 AI 系统需要可靠的关停机制以确保人类不失去控制。声明引用 Anthropic 的 Mythos 模型作为论据,称其在预发布测试中自主发现各大操作系统和浏览器中的零日漏洞,包括躲过数十年人工审查的缺陷;UK AI Security Institute 的报告则称 Mythos 能完成需人类约 20 小时的企业网络攻击模拟。

  9. Future of Life Institute · 收录 · 原文 40

    FLI 就白宫拟设 AI 工作组发表声明

    针对纽约时报报道白宫正考虑再发行政令、设立可监督强大 AI 系统部署前测试的“AI 工作组”,Future of Life Institute 总裁兼 CEO Anthony Aguirre 发表声明称这一设想令人鼓舞。他认为先进 AI 系统已不只是商业产品,其风险也不再是假设,不应由单一公司自行决定是否发布可能危害国家安全或经济的产品。他主张由公正专家主导的全政府工作组来确定发布前评估与护栏要求,并称航空、制药、核电等领域都采用类似监管方式。声明还提到白宫在 AI 网络安全能力威胁金融系统后曾表态支持“kill switch”,以及参议员 Blackburn 提出的联邦 AI 立法提案获得跨意识形态支持。

  10. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 8

    NVIDIA MCG Toolkit 如何自动化 AI 模型文档编写

    NVIDIA 发布 MCG Toolkit,用于自动化生成 AI 模型文档。该工具针对加州 AB-2013 和欧盟 AI Act 等监管框架下的模型卡编写需求,帮助软件团队在模型发布前产出可审计的完整文档,涵盖模型工作原理、预期用途与许可、训练数据及性能等信息。

  11. Yoshua Bengio · 收录 · 原文 19

    Yoshua Bengio 提出建立多边公益 AI 研究实验室网络以防卫民主与人权

    Yoshua Bengio 提议建立一个由非营利与非政府实验室组成的多边协作网络,共同防卫民主、人权并抵御可能失控的自主 AI。该提案强调避免单点故障、防止经济政治军事权力过度集中,并要求强有力的国际性与民主授权的治理机制。相关论文已在《Journal of Democracy》发表。

  12. Yoshua Bengio · 收录 · 原文 35

    Bengio 介绍《先进 AI 安全国际科学报告》中期版

    Yoshua Bengio 作为主席介绍了《先进 AI 安全国际科学报告》,该报告源于 2023 年 11 月英国 Bletchley Park AI 安全峰会上一项由 30 个国家及 EU、UN 代表推动的决议,中期报告已于 2024 年 5 月 22 日首尔 AI 峰会上提交,最终版将在明年 2 月法国 AI 行动峰会上发布。报告由 70 多位专家参与撰写,其中包括各国提名的 32 位专家和 26 位高级顾问,综合科学文献并附 40 页引用,按要求不提出政策建议。

  13. Import AI · 收录 · 原文 15

    Import AI 456:RSI 与经济增长、AI 监管的激进可选性,以及神经计算机

    Import AI 456 期聚焦三项议题:法律与 AI 研究所提出“激进可选性”(Radical Optionality)监管理念,主张政府当下投入建设信息披露、举报人保护、政企间情报共享、灵活规则定义及评估能力等制度工具,同时避免过早过度监管,并建议加大对英国 AISI、美国 CAISI 的资金投入。该理念还回应了民主合法性、权力集中和政府滥用等质疑,且不建议大幅扩张《国防生产法案》类紧急授权。此外本期提及 RSI 与经济增长的关系,以及 Juergen Schmidhuber 提出的神经计算机(Neural Computer)。

  14. Dean Ball · 收录 · 原文 8

    Dean Ball 回顾 2025:AI 已成现实,2026 年算力将大幅扩张

    Dean Ball 撰文回顾 2025 年 AI 进展,称 OpenAI o3 的工具调用能力是全年首个真正突破,Claude Opus 4.5 等前沿编程智能体已基本成为自主软件工程师。他描述当前工作流已两次被重塑,日常使用 Gemini 3 Deep Think、GPT-5.2 Pro、Claude Sonnet 4.5、Claude Code 等模型与智能体。他指出目前尚无吉瓦级数据中心,但到 2026 年底美国企业将掌控近六座此类设施,并认为 AI 政治化也在 2025 年成为现实。

  15. Dean Ball · 收录 · 原文 27

    美国州级 AI 立法呈现碎片化:2026 年会期实质性法案激增

    2026 年美国各州立法会期出现大量实质性 AI 法案,覆盖责任、算法定价、透明度、陪伴型聊天机器人、儿童安全与职业许可等议题,各州在框架选择上分歧明显,可能形成真正的监管碎片化。作者指出,2025 年逾 1000 项州级 AI 法案中多数为设立研究委员会等无害内容,而今年实质性法案数量已多到无法逐一独立覆盖,因此改为按主题挑选代表性法案深入分析。

  16. Dean Ball · 收录 · 原文 15

    Dean Ball 谈 AI 与儿童:从社会媒体类比误区到编程智能体带来的新问题

    Hyperdimensional 作者 Dean Ball 提出一系列猜想讨论 AI 与儿童议题,主张不应将 AI 简单类比社交媒体——后者本质是被动消费,而生成式 AI 由用户输入驱动、更具创造性。他认为美国各州去年出台数十部 AI 儿童安全法律、今年预计超一百部,其中合理的对象层立法应要求大型 AI 公司提供年龄验证或检测、面向未成年人的内容护栏以及家长控制。他还指出,"AI 伴侣"究竟为何物尚无共识,且近几个月编程智能体的兴起给"AI 儿童安全"带来了全新含义和一批开放问题。

  17. Dean Ball · 收录 · 原文 22

    OpenAI 称 GPT-5.3-Codex 帮助改进自身训练,递归自我改进引发政策讨论

    OpenAI 发布的 GPT-5.3-Codex 已被其团队用于监测并调试该模型的训练运行,部分研究者形容自己的工作较两个月前发生根本改变。若自动化 AI 研究带来类似推理范式的加速,新模型可能缩短到每 1-2 个月一次,最乐观情形则指向数月内出现超级智能。当前针对前沿模型的安全标准、网络安全规则以及由 AI 系统自行设计系统的可解释性与测试要求均处于空白,作者主张现阶段继续依赖实验室自律优于仓促立规。

  18. Dean Ball · 收录 · 原文 8

    The Moving and the Still:从德里 AI Impact Summit 看全球 AI 治理的失语

    Dean Ball 在参加德里 AI Impact Summit 后指出,这场由首尔和 Bletchley Park AI 安全峰会演变而来的全球 AI 会议上,变革性 AI、AGI 与超级智能的风险与希望被刻意回避,并非印度一方的失误,而是这类话题已不属于"体面的全球对话"。他担忧机器智能时代可能惩罚处于经济转型期的印度及全球南方国家,而非为其赋能,且当地人对此缺乏预期;他此行对印度的信心增强,但对 AI 冲击的担忧更甚于行前。

  19. Dean Ball · 收录 · 原文 37

    Dean Ball 评 Anthropic 与国防部合同争端:AI 控制权该归谁

    Dean W. Ball 复盘了 Anthropic 与美国国防部(现称 Department of War)围绕 Claude 在涉密场景使用条款的争端。合同最初由拜登政府谈成、2025 年 7 月由特朗普政府扩大,包含两条使用限制:不得用于对美国人的大规模监控,不得用于控制致命性自主武器。特朗普政府称改变立场并非要立即做这两件事,而是反对私营企业以合同形式对军方使用技术施加政策限制。

  20. Dean Ball · 收录 · 原文 8

    2023:AI 政策观察者 Dean Ball 回顾其技术乐观主义立场

    Dean Ball 在 Hyperdimensional 撰文回顾 2023 年在斯坦福大学散步时形成的 AI 政策基本观点,并称这些想法促成了他近期决定对美国政府对 AI 行业的某些行动划下明确界限。他自述以技术乐观主义立场看待 AI 政策,认为技术对人类历史的净效应压倒性地积极,并称 2023 年是播种之年,2026 年可能是收获之年。

  21. Frontier Model Forum · 收录 · 原文 36

    Frontier Model Forum 发布前沿 AI 安全框架阈值问题简报

    Frontier Model Forum 发布问题简报,梳理前沿 AI 安全框架中阈值的类型与作用。简报指出,阈值是安全框架的核心要素,用于预先界定何种风险水平需要进一步审查或加强防护,从而让开发者、部署方和监管方在风险出现前采取行动,尤其针对 CBRN 和高级网络风险。简报归纳了四类阈值:算力阈值以训练算力作为风险的代理指标,易测量但只是粗略筛选;风险阈值直接限定可接受的风险概率与危害程度,最贴近社会影响但当前难以可靠估计;能力阈值指向特定能力(如提供致命病原体合成指引),比算力更贴近危害且比风险估计更易测量,是目前安全框架中最常用的类型;结果导向阈值则列出不可接受的结果及相应威胁场景。

  22. Frontier Model Forum · 收录 · 原文 21

    Frontier Model Forum 向 OSTP 提交 AI 行动计划意见书

    Frontier Model Forum 于 3 月 14 日向美国白宫科技政策办公室(OSTP)提交了一份关于《人工智能行动计划》制定的回应文件,建议美国政府加大对 AI 安全科学的投入并加强国际标准协调。 该组织提出三个重点方向:资助 AI 计量学与测量科学研究、开发针对国家安全与公共安全风险的 AI 风险管理流程,以及确保相关工作中纳入具备科学专业知识的领域专家,并点名 NIST 与美国能源部国家实验室适合推进评测测量科学。

  23. Frontier Model Forum · 收录 · 原文 42

    Frontier Model Forum 成员企业签署首份前沿 AI 信息共享协议

    Frontier Model Forum(FMF)宣布其全部成员企业签署了一份旨在促进前沿 AI 威胁、漏洞与能力进展信息共享的协议。该共享范围被严格限定,用于管理涉及 CBRN 与高级网络威胁等国家安全和公共安全风险,目前仅限 FMF 成员企业参与。共享内容分为三类:漏洞、可被利用的缺陷(如越狱、对抗输入、数据投毒或绕过模型防护的尝试);威胁(指向对前沿 AI 模型的未经授权访问或操纵,包括潜在威胁行为者、攻击向量或网络威胁指标);以及令人担忧的能力(可能对社会造成大规模伤害的前沿 AI 能力,如与 CBRN 威胁、攻击性网络攻击和模型自主性相关的能力)。

    推荐理由FMF 成员企业首次签署跨公司信息共享协议,界定了共享范围与风险类别,可了解前沿 AI 行业协作机制的实际形态。

  24. Frontier Model Forum · 收录 · 原文 23

    Frontier Model Forum 推出前沿 AI 框架技术报告系列

    Frontier Model Forum 启动前沿 AI 框架技术报告系列,计划在未来数月内陆续发布四份报告,分别覆盖风险分类与阈值、前沿能力评估、缓解措施以及第三方评估。该系列旨在说明不同组织情境下如何有效落地前沿 AI 框架,并推动实施标准的形成。目前已有 12 家主要 AI 开发商发布了各自的前沿 AI 框架,其中包括 Google DeepMind 的 Frontier Safety Framework、Anthropic 的 Responsible Scaling Policy 和 OpenAI 的 Preparedness Framework。

  25. Frontier Model Forum · 收录 · 原文 32

    Frontier Model Forum 资助 AI 生物风险研究:病毒学与细菌生物威胁基准及湿实验室试验

    Frontier Model Forum(FMF)通过 AI Safety Fund 公布三项应对 AI—生物风险的资助进展。SecureBio 开发了含 322 道多模态问题的 Virology Capabilities Test(VCT)基准,Nemesis Insights 则建成约 1,000 条高质量细菌生物威胁提示词的 BBG 框架,两者数据集将提供给安全团队、监管机构和学术研究者。此外,FMF 联合 Sentinel Bio 资助一项大规模 BSL-2 湿实验室研究,对比有无领先多模态 AI 辅助下新手完成实验的成功率,全部结果将在发表前经独立的生物安全与国家安全专家顾问委员会预先审核。

  26. UK AISI · 收录 · 原文 48

    英国 AI Safety Institute 更名为 AI Security Institute,并新增犯罪滥用研究团队

    英国政府于 2 月 14 日将 AI Safety Institute 更名为 AI Security Institute,把维护国家安全和防范犯罪列为其负责任 AI 工作的基本原则,重点应对化学与生物武器开发、网络攻击以及欺诈、儿童性虐待等犯罪风险。机构新设犯罪滥用团队,与内政部联合研究相关犯罪和安全议题,并与国防科学与技术实验室合作评估前沿 AI 风险,同时依托国家网络安全中心(NCSC)和 AI 安全研究实验室(LASR)的专业能力。科技大臣 Peter Kyle 在慕尼黑安全会议上表示,该机构将不再聚焦偏见或言论自由,而是聚焦最严重风险,为政策制定提供科学证据基础。

    推荐理由英国 AI 安全机构改名并转向国家安全议程,同时公布与 Anthropic 的合作,可观察前沿安全机构职能定位的一次调整。

  27. UK AISI · 收录 · 原文 43

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布 AI Safety Institute 更名为 AI Security Institute

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布,将 AI Safety Institute 更名为 AI Security Institute,并明确其聚焦最严重新兴风险的科学研究定位。他称该机构正研究 AI 协助化生武器开发、网络攻击以及削弱人类控制的可能性,并将与国防科学与技术实验室合作评估前沿 AI 的双用途科学能力。机构还新设犯罪滥用团队,与内政部合作研究犯罪与安全问题。Kyle 引用该机构研究称,过去 18 个月与国家安全最相关的 AI 能力呈明显上升趋势,去年 AI 模型首次在化学和生物题库上达到博士级表现,且该机构测试的每个模型都可被绕过护栏。

    推荐理由英国技术大臣在慕尼黑安全会议宣布机构更名与新增职能,可了解英国 AI 安全治理架构的最新调整方向。

  28. UK AISI · 收录 · 原文 15

    UK AISI 主席 Ian Hogarth 外部利益申报数据公布

    英国科学、创新与技术部按公共机构董事会成员行为准则,公开 UK AISI 主席 Ian Hogarth 本人及近亲的财务与非财务外部利益申报。文件最初于 2024 年 10 月 18 日发布,2025 年 2 月 24 日更新,以反映 Hogarth 再次被任命为 AISI 主席。