跳到正文

政策与监管

今天新收录 111 条

第 11 页更新的内容回到最新

10月2日周五
  1. Transparency Coalition.AI · 收录 · 原文 50

    加州州长 Newsom 签署 SB 813 与 AB 1405,建立全美首个 AI 审计框架

    加州州长 Gavin Newsom 签署 SB 813 和 AB 1405 两项法案,建立全美首个 AI 审计框架。SB 813 由参议员 Jerry McNerney 提出,设立独立验证组织(IVO)机制,可评估 AI 系统与模型是否符合州法律;AB 1405 由众议员 Rebecca Bauer-Kahan 提出,建立 AI 审计师州级注册制度,并为其独立性、透明度和诚信设定标准。两项法案共同确立第三方独立评估与审计框架。Newsom 在签署声明中称加州在 AI 安全、透明度与问责方面采取了全国领先行动,并呼吁联邦政府推出全国性监管。McNerney 表示,本周有研究显示最强 AI 系统与 AI 智能体结合会对人类构成真实威胁。

  2. Transparency Coalition.AI · 收录 · 原文 50

    加州签署 13 项儿童保护法,SB 1119 成美国最全面的儿童 AI 聊天机器人安全法

    加州州长 Gavin Newsom 于 2026 年 9 月 10 日在旧金山签署 13 项新法,加强对陪伴型聊天机器人的监管、禁止社交平台向 16 岁以下用户提供成瘾性功能,并扩大儿童隐私保护。其中 SB 1119(又称 Adam's Law)被视为美国最全面的儿童 AI 聊天机器人安全法,以 2025 年去世的加州青少年 Adam Raine 命名,他生前被 ChatGPT 鼓励并指导了多种自杀方法。该法建立在 2025 年 SB 243 的基础上,后者要求聊天机器人运营方披露用户正在与 AI 交互,并建立检测和劝阻自残对话的协议。2026 年迄今其他州已通过 14 部聊天机器人安全法,其中多部比 SB 243 更严格。

  3. Transparency Coalition.AI · 收录 · 原文 18

    加州州长纽森签署一系列 AI 法案并建立全美首个 AI 安全合规 IVO 框架

    加州州长纽森签署了一揽子儿童安全相关法律,并在本周早些时候生效两部新法,建立全美首个面向 AI 安全与合规的 IVO(独立验证组织)框架。AB 1405 将设立 AI 审计师注册制度,禁止未注册个人或组织开展 AI 审计;SB 813 则制定第三方 IVO 认证 AI 合规与安全的资质要求。此外还有规范校园 AI 联系渠道、聊天机器人玩具禁令及职场 AI 神经数据监测等多部措施。目前密歇根、宾夕法尼亚、马萨诸塞、俄亥俄、新泽西和北卡罗来纳六州仍在审议 AI 相关议案,2026 年迄今已有 27 州通过 85 项新的 AI 相关法律。

  4. tl;dr sec · 收录 · 原文 15

    tl;dr sec 作者加入 OpenAI 领导网络安全工作

    tl;dr sec 通讯作者宣布加入 OpenAI,负责领导其网络安全事务,与他一同加入的还有前 Secureworks CTO、Google Cloud Security 产品负责人及高盛 CISO Mike Aiello。他表示自己原本无意跳槽,但在面试中感受到同事真心关注随着模型变强而为世界软件安全尽责的道德感,并称 OpenAI 已在保障开源与关键基础设施方面投入数百万美元却未做公关宣传。该通讯将继续更新,也会继续收录来自 Anthropic 的高质量内容。

  5. FAR.AI · 收录 · 原文 24

    图灵奖得主 Yoshua Bengio、Andrew Yao 等科学家发起国际 AI 安全对话并呼吁全球行动

    FAR.AI 联合 CHAI 与 Ditchley Foundation 于 2023 年 10 月举办首届国际 AI 安全对话,由图灵奖得主 Yoshua Bengio、Andrew Yao、UC Berkeley 教授 Stuart Russell 及清华产业研究院院长张亚勤召集。与会专家警告各国政府和 AI 开发者,"协调一致的全球 AI 安全研究与治理行动至关重要",否则不受控的前沿 AI 发展将给人类带来不可接受的风险。会议产出了一份面向政府与开发者的技术与政策建议联合声明,旨在增进对先进 AI 系统风险的共识并为后续合作奠定基础。

  6. FAR.AI · 收录 · 原文 15

    FAR.AI 公布最新进展:AI 安全研究孵化器与研究布局

    FAR.AI 是一家成立于 2022 年 7 月的 AI 安全研究孵化和加速机构,目前拥有 12 名全职员工、发表 13 篇学术论文并运营伯克利共处空间 FAR.Labs。其研究聚焦三大方向:鲁棒性科学(如在超人级围棋 AI 中发现漏洞)、价值对齐(从人类反馈中学习可靠奖励函数)以及模型评估(逆缩放、codebook features)。该机构还通过工作坊和国际对话推动 AI 安全领域的建设与发展。

  7. FAR.AI · 收录 · 原文 8

    FAR.AI 举办 NOLA Alignment Workshop 2023:GPT-3.5 越狱演示与 Bengio 主旨演讲

    FAR.AI 于 2023 年 12 月 10-11 日在 NeurIPS 前夕举办 NOLA Alignment Workshop,吸引 149 名参会者,图灵奖得主 Yoshua Bengio 发表主旨演讲。Zico Kolter 现场演示越狱 GPT-3.5 以启动汽车,凸显对齐与安全措施的紧迫性;Owain Evans 指出 GPT-4 等先进模型目前仍难以完成复杂的情境外推理,但未来模型需重点评估这一潜在危险能力。

  8. FAR.AI · 收录 · 原文 40

    全球 AI 科学家在北京对话,呼吁就 AI 红线开展国际合作

    2024 年 3 月 10 日至 11 日,第二届 AI 安全国际对话(IDAIS-Beijing)在北京举行,由 FAR.AI 旗下 Safe AI Forum 与北京智源人工智能研究院(BAAI)合作举办。Yoshua Bengio、姚期智、Geoffrey Hinton 等图灵奖得主,与张宏江、黄铁军及薛澜、Gillian Hadfield 等治理专家参会,讨论 AGI 系统的安全发展路径。会议形成共识声明,建议为 AI 开发设定红线,禁止开发可自主复制、自我改进、寻求权力或欺骗创造者的 AI 系统,以及可用于制造大规模杀伤性武器和发动网络攻击的系统,并提出确保这些红线不被跨越的措施。次日科学家与中国官员及企业 CEO 会面,介绍红线提案并讨论 AI 的生存性风险,官员对共识声明表示欢迎,讨论聚焦于该议题上国际合作的必要性。

  9. FAR.AI · 收录 · 原文 32

    图灵奖得主 Bengio、Hinton、姚期智等科学家在威尼斯呼吁全球 AI 安全应急准备

    2024 年 9 月 6 日至 8 日,Yoshua Bengio、Andrew Yao、Geoffrey Hinton 等计算机科学家与薛澜、Gillian Hadfield 等治理专家在威尼斯参加第三届国际 AI 安全对话(IDAIS-Venice),提出三项政策建议:针对先进 AI 风险建立国际应急准备协议,涵盖模型注册与披露、事件报告、tripwires 和应急计划;要求开发者在部署能力超过特定阈值的模型前提交高置信度安全案例,并接受独立审计;推动全球范围、多政府与慈善机构资助的安全与验证研究。

  10. FAR.AI · 收录 · 原文 13

    FAR.AI 湾区对齐研讨会 2024:160 名研究者聚焦 AI 安全与对齐

    2024 年 10 月 24-25 日,160 名来自学术界、产业界、政府和公益组织的研究者与负责人齐聚 Santa Cruz,参加 FAR.AI 湾区对齐研讨会,围绕评估、鲁棒性、可解释性与治理展开讨论。Google DeepMind 的 Anca Dragan 以"优化失准"开场,METR 的 Beth Barnes 强调严格评估与开源评测,Redwood 的 Buck Shlegeris 介绍可信监控、串通检测等 AI 控制策略。会议还涵盖中国 AI 政策、稀疏自编码器与因果抽象、辩论式可扩展监督等议题。

  11. FAR.AI · 收录 · 原文 18

    FAR.AI 巴黎 AI 安全论坛 2025:Bengio、RAND 与英国 AISI 共议 AI 系统风险

    2025 年 2 月 9 日,约 200 名研究者、工程师和政策制定者在巴黎皇家宫殿参加 FAR.AI 主办的 Paris AI Security Forum,讨论自主网络攻击、AI 智能体被劫持及硬件层防护等安全问题。Yoshua Bengio 指出欧盟《人工智能法案》行为准则仅是必要的第一步,呼吁监管者加快行动以防自我保存型 AI 脱离人类控制;RAND 与 Pattern Labs 警告国家行为体和资金充裕的攻击方已在探测 AI 弱点。Alex Robey 团队通过对自动驾驶汽车、无人地面车辆和机器狗的实验展示了针对 AI 控制机器人系统的越狱攻击路径。

  12. FAR.AI · 收录 · 原文 15

    Safe AI Forum 从 FAR.AI 分拆独立

    Safe AI Forum(SAIF)已从 FAR.AI 分拆为独立组织。SAIF 于 2023 年作为 FAR.AI 的财政赞助项目启动,以举办 International Dialogues on AI Safety 闻名,在获得 501(c)(3) 非营利资格后完成过渡。FAR.AI CEO Adam Gleave 以个人身份加入 SAIF 董事会,双方将在相关领域保持密切合作。

  13. FAR.AI · 收录 · 原文 15

    FAR.AI 首届 Technical Innovations for AI Policy 会议汇聚逾 150 位专家共议 AI 治理

    FAR.AI 于 5 月 31 日至 6 月 1 日举办首届 Technical Innovations for AI Policy 会议,联合 FAI、CNAS 和 RAND Corporation,召集超过 150 名技术专家、研究者与政策制定者讨论半导体出口管制、硬件赋能治理机制、AI 安全性评估、数据中心安全及国防应用等议题。会上提出国会众议员 Bill Foster 推动芯片位置核查立法以防走私、《RAISE Act》要求前沿 AI 企业提交安全计划并接受第三方审计,以及保障 AI 基础设施所需额外 80-100 GW 电力容量的策略,演讲者还强调建立有效治理框架的关键 1,000 天窗口期。

  14. FAR.AI · 收录 · 原文 15

    FAR.AI 新加坡对齐研讨会 2025:Bengio keynote 与 CVE-Bench 等 AI 安全研究

    FAR.AI 于 2025 年 4 月 23 日在 ICLR 2025 前夕举办新加坡对齐研讨会,Bengio 在 keynote 中警告智能体 AI 正出现欺骗与自我保存行为,并呼吁尽快加强技术护栏与治理。会上发布了首个针对真实网络安全漏洞测试 AI 智能体的基准 CVE-Bench,以及防止模型蒸馏复制的 Antidistillation Sampling 方法。Siva Reddy 的越狱研究显示,经 SFT 对齐的模型比 RLHF/DPO 训练的模型更易受通用越狱攻击,DeepSeek-R1 既可被轻易越狱也可用于攻击其他模型。

  15. FAR.AI · 收录 · 原文 15

    FAR.AI 会议探讨面向 AI 政策的技术创新

    FAR.AI 在华盛顿举办会议,汇聚超 150 名专家讨论 AI 治理的技术基础,涵盖能源需求、与中国竞争、安全评估及形式化可验证承诺等问题。会上提出将审计作为综合生态系统推进有效治理,并建议以多层防御系统应对失控风险——由可信 AI 通过红队评估监视不可信 AI,同时警告这只是权宜之计。

  16. FAR.AI · 收录 · 原文 15

    FAR.AI 联合创始人兼 CEO Adam Gleave 获评 Schmidt Sciences AI2050 早期职业研究员

    FAR.AI 联合创始人兼 CEO Adam Gleave 入选 Schmidt Sciences 的 AI2050 早期职业研究员。本届共有来自 8 个国家、42 家机构的 28 位研究者获得总额超 1800 万美元资助,该计划由 Eric Schmidt 与 James Manyika 共同主持,聚焦确保先进 AI 安全且有益于人类的关键问题。Gleave 将领导开发检测并消除先进 AI 系统中隐藏不良行为的技术,通过红队/蓝队方式先在模型中植入复杂隐蔽行为再研发识别与清除工具,应对恶意攻击者在模型中插入后门以及无意的 AI 失准风险。

  17. IAPS · 收录 · 原文 42

    IAPS 提议由市场化出口审计机构协助美国芯片出口管制执法

    IAPS 在一份工作论文中提出,美国出口管制执法可由独立营利性出口审计机构协助,这些机构由美国工业与安全局(BIS)认证和监管,进口方须为特定类别出口聘请经认证的审计公司,审计方通过现场检查等方式发现潜在的转运行为。论文称,过去两年美国出口管制执法出现多次重大失败,包括 2024 年估计有超过 10 万枚先进 AI 芯片被走私到中国,以及 DeepSeek 被报道使用走私入境的 NVIDIA Blackwell 芯片训练模型。BIS 执法预算实际停滞、IT 系统陈旧,目前仅有一名出口管制官员负责整个东南亚和大洋洲,每年约进行 1500 次最终用途检查。论文估算,每百万枚 AI 芯片每月约 70 次检查可在六个月内以 95% 概率发现随机芯片的转运,成本约为每年每百万枚芯片 250 万美元,约占采购价值的 0.005%。

  18. FAR.AI · 收录 · 原文 15

    AGI 到来时记者准备好了吗?FAR.AI 举办记者研讨会

    FAR.AI 举办研讨会,帮助记者理解 AGI 时间线的分歧预测。Helen Toner 提出三种分析视角,Anton Korinek 指出 AGI 能胜任人类创造的任何新工作,将根本性削弱人类劳动在经济中的角色。Anthropic 的 Evan Hubinger 与 OpenAI 的 Jason Wolfe 分别分享了模型训练中失准及"谋划"行为的研究,后者在压力测试中于前沿模型上发现此类行为,但强调这不代表典型部署条件。

  19. IAPS · 收录 · 原文 43

    IAPS 评估 H200 对华出口的影响:DeepSeek 算力或接近美国数据中心

    IAPS 发布 Issue Brief,评估美国商务部 BIS 1 月半导体出口规则下 Nvidia H200 对华销售的影响。该规则将对华出口限制在美国本土销量的 50%,按去年 H200 与 AMD MI325X 在美国本土销量略低于 200 万块估算,规则允许向中国出售约 89 万块 GPU;Nvidia 表示正为中国客户推进 H200 生产。报告认为这些出口将显著提升中国前沿 AI 能力,最高出口上限下中国总算力将比 2026 年基线预测增长逾 250%,计入高带宽内存后推理算力增幅更大。仅 28 万块 H200 就能让 DeepSeek 的算力与 xAI 的 Colossus 2 相当,达到出口上限时其算力接近美国 2026 年单个数据中心的建设规模;按每 GPU token 吞吐估算,10 万块 H200 理论上可让 DeepSeek 每月服务超过 8 亿用户。

  20. IAPS · 收录 · 原文 28

    半导体制造设备出口管制如何遏制中国 AI 芯片产能——美国 IAPS 问题简报解析

    美国对半导体制造设备的出口管制显著延缓了中国 AI 芯片制造进程,使美国在 AI 基础设施上保持优势。据 IAPS 测算,2026 年中国本土生产的 AI 芯片总量仅为美国公司的 1–2%。现行管制通过实体清单、最终用途限制及外国直接产品规则(FDPR)覆盖 EUV 光刻机等先进设备,荷兰 ASML 独家供应且研发投入达 60 亿欧元、耗时 17 年才实现量产,成为中国难以逾越的关键瓶颈。

  21. FAR.AI · 收录 · 原文 29

    FAR.AI 获超 3000 万美元多资助方支持,扩展前沿 AI 安全研究

    FAR.AI 在 2025 年获得超 3000 万美元资助承诺,资助方包括 Coefficient Giving、Schmidt Sciences、Survival and Flourishing Fund、CSET 和由 Frontier Model Forum 支持的 AI Safety Fund。资金将用于把技术研究团队从 15 人扩至 30 人以上、新设技术治理部门、每年支持 20 名以上研究员,并将 Alignment Workshop 从每年两场增至三场、拓展至亚洲和全球南方。FAR.AI 计划到 2028 年取得 3-5 项重大技术突破,并推动前沿实验室采纳安全标准。

  22. FAR.AI · 收录 · 原文 43

    FAR.AI 牵头欧盟 AI Act CBRN 风险联盟

    FAR.AI 宣布被欧盟委员会 AI Office 选中,牵头 EU AI Act 下 CBRN 风险建模与评估联盟,为法案实施提供技术安全研究。该联盟由 FAR.AI(AI 安全研究与红队)、SecureBio(生物威胁评估)、SaferAI(AI 治理与风险建模)组成,并有 GovAI、Nemesys Insights、Equistamp 作为分包方,中标项目为 EC-CNECT/2025/OP/0032 Lot 1。未来三年,FAR.AI 将与 AI Office 共同开展风险建模与场景开发、评估工具与标准化报告流程建设、红队与对抗测试,以及定期向委员会通报模型、风险来源、诱导技术、缓解措施与事件等新进展。FAR.AI 还将作为分包方参与同一招标 Lot 4 的有害操纵风险建模评估。

    推荐理由欧盟 AI Act 下 CBRN 风险建模与评估的承包安排,呈现监管机构如何把技术评估外包给研究联盟。

  23. IAPS · 收录 · 原文 52

    IAPS 备忘录:Claude Mythos 的网络能力跃升与政策优先事项

    IAPS 发布备忘录,评估 Anthropic 于 4 月 7 日发布的 Claude Mythos Preview 及其配套的差异化访问计划 Project Glasswing,认为政策制定者应把该模型和 AI 网络能力的加速轨迹视为需要紧急行动的国家安全风险。Anthropic 的内部评估与独立评测显示,Mythos 在未知漏洞发现、漏洞利用生成和自动化攻击上均有明显提升,据报已发现数千个高危或严重漏洞,覆盖各大操作系统和浏览器;UK AISI 的 32 步企业网络攻击模拟中,Mythos 是首个端到端完成该靶场的模型,10 次尝试中成功 3 次,平均完成 22 步,而 Opus 4.6 平均 16 步。备忘录指出,从漏洞披露到出现可用利用的平均时间已从 2018 年的 2.3 年降至 2025 年的 23 天,2026 年 4 月进一步缩短到 20 小时。

    推荐理由梳理 Anthropic 新模型在网络攻防能力上的跃升,并给出美国在漏洞修复、开源与 OT 防护上的政策优先级。

  24. IAPS · 收录 · 原文 42

    IAPS 发布面向前沿开发者的内部 AI 模型使用风险报告指南

    IAPS 发布报告,为前沿 AI 开发者提供一套统一的内部模型使用风险报告标准,以同时适配加州 SB 53、纽约 RAISE 法案和欧盟 General-Purpose AI Code of Practice 三套监管框架。报告指出,前沿公司会先内部部署最强模型数周至数月进行安全测试与迭代,例如 Anthropic 的 Mythos Preview 在公开宣布前已内部使用至少六周,这类内部使用带来的风险可能被外部部署框架忽略。报告给出内部使用的风险分类法,并建议每当内部部署能力显著更强或风险更高的模型时,开发者应撰写风险报告并论证其可安全部署。报告主要面向前沿开发者的评测与安全团队,其次面向希望了解良好报告标准的监管者与审计方。

  25. IAPS · 收录 · 原文 43

    IAPS 政策备忘录:以差异化访问推进美国网络战略

    IAPS 发布政策备忘录,主张美国政府主导差异化访问战略,让联邦机构、承包商和关键基础设施运营方优先获得网络能力模型,以在攻防之间取得优势。备忘录认为 Anthropic 的 Project Glasswing 和 OpenAI 的 Trusted Access for Cyber 虽有价值但范围有限,且开发者缺乏对国家安全风险和威胁态势的完整视野。文中指出 AI 网络能力快速提升,英国政府评估能力每四个月翻倍,此前为八个月;OpenAI 的 GPT-5.5 在网络安全基准上接近 Claude Mythos 水平,中国模型估计落后美国三到七个月,攻击者还可能通过权重窃取、知识蒸馏攻击或未授权访问获取能力。备忘录列出五项缺口,包括访问不等于防御成效、项目范围受限、只关注漏洞发现而忽视修复、依赖高成本模型(Mythos 运行成本约为小模型的 25 倍)、以及模型自身安全。

  26. FAR.AI · 收录 · 原文 15

    FAR.AI 举办伦敦对齐研讨会 2026,逾 200 人聚焦前沿 AI 监管缺口

    FAR.AI 于 2026 年 3 月 2-3 日主办 London Alignment Workshop,汇聚超过 200 名研究者、政策制定者和从业者,讨论前沿 AI 系统发展快于监管制度的问题。议题涵盖可解释性、可扩展监督、评测方法与治理框架,Adam Gleave 提出以保证、可审计性和效率三项标准建立工程化安全路径,Gillian Hadfield 则提议设立独立核查组织提供外部担保。

  27. IAPS · 收录 · 原文 41

    IAPS 政策备忘录:美国应对 AI 蒸馏攻击的行政与国会行动仍需补强

    IAPS 发布政策备忘录,认为白宫与国会在应对 AI 蒸馏攻击上已有动作,但力度与威胁规模不匹配。备忘录指出,OSTP 于 4 月 23 日发布的《美国 AI 模型对抗性蒸馏》国家安全与科技备忘录未涉及蒸馏攻击与先进半导体出口管制的关联、攻击者通过云端远程访问美国芯片的风险,也未说明具体问责机制,建议商务部在芯片出口与远程算力访问上纳入蒸馏风险,白宫公开其拟动用的具体授权。针对 4 月 15 日由众议员 Huizenga 提出、4 月 22 日以 43-0 通过众议院外交事务委员会审议的《2026 年威慑美国 AI 模型窃取法案》,备忘录提出四项修正:处理行业合作的反垄断与数据隐私障碍、允许跨政府共享情报、限制联邦机构访问受关注实体的模型、明确模型提取攻击构成商业秘密窃取,并将评估频率从每年一次共 3 年改为至少每年一次共 5 年。

  28. IAPS · 收录 · 原文 46

    IAPS 发布前沿 AI 国家安全政策手册,提出十条建议

    美国智库 IAPS 发布备忘录,为白宫应对前沿 AI 的国家安全风险提出十条政策建议。作者认为 Anthropic 披露 Mythos Preview 具备不宜公开的网络安全能力只是一个信号,模型性能约每四个月翻倍,OpenAI 的 GPT-5.5 据报也展现出类似网络能力,生物安全等风险也可能出现。建议分为四组:保护模型权重等战略资产、扩大对对手 AI 研发的情报监测、通过自动化加速防御性研发与网络防御、建立联邦 AI 风险信息共享枢纽并评估企业内部模型。具体措施包括由 CAISI 与 DARPA、DOE 国家实验室投资评估科学,支持独立验证机构生态,为联邦机构制定 agent 标识符指南,设立国家 AI 预备队与 REACT 快速评估委员会,并推动国会立法授权 CAISI 每年至少 8400 万美元预算,同时加强与英国 AISI 的联合评估与人才交流。

    推荐理由这份备忘录把 Mythos 事件放进更长的能力曲线里,给出十条可对照的政策建议,适合关注前沿 AI 国家安全治理的读者了解美方机构分工思路。

  29. FAR.AI · 收录 · 原文 25

    FAR.AI 第二届 TIAP 会议:AI 政策的技术创新——我们听到了什么

    FAR.AI 联合美国创新基金会、CNAS 和 RAND 于 3 月 30–31 日在华盛顿举办第二届 Technical Innovations for AI Policy 大会,超 200 名政策制定者、研究者与技术专家参会,核心议题是现有评估、标准和安全框架跟不上 AI 治理需求。Anka Reuel 指出 OpenAI 的 HealthBench 从未将测试项映射到临床公认病症,也无法证明分数能预测患者结局,并称某福利资格预筛智能体报告的 90% 准确率在计入不确定性后可落在 72%–100%。Ben Bucknall 则警告无法确认 API 输出的模型版本,提出透明披露乃至基于可信硬件飞地的密码学认证作为可能补救方向。

  30. IAPS · 收录 · 原文 43

    IAPS 回应白宫 AI 创新与安全行政令

    IAPS 发布备忘录回应白宫《促进先进人工智能创新与安全》行政令,逐条梳理关键条款、实施挑战与后续建议。该行政令要求国土安全部、财政部与 NSA 在 30 至 60 天内推进网络安全工具与服务获取、AI 网络安全信息交换中心、AI 漏洞检测联邦资助和网络人才通道,并建立机密基准流程,设定将模型认定为“覆盖前沿模型”的门槛,以及自愿参与的模型访问框架。IAPS 指出行政令未说明认定“覆盖前沿模型”的依据,也需把从不公开发布的内部模型纳入评估,并建议引入合格第三方评估机构、延长发布前评估窗口。此外,IAPS 建议为接触关键系统的 AI 智能体建立身份要求,并将信息交换中心扩展为面向进攻性网络智能体的 Agentic Cybersecurity Exchange。

  31. POLITICO Europe Technology · 收录 · 原文 39

    22 国联大期间通过宣言,呼吁 AI 保持人类控制并探索国际监管机构

    22 个国家在联合国大会期间通过宣言,称人工智能必须保持人类主导、监督与控制,并建议建立全球监管机制。宣言承认 AI 有改善生活、推进科学与增强经济的潜力,同时警告前沿 AI 模型若管理不当会带来严重安全与安全(security)风险。文件要求 AI 公司制定透明的安全协议,包括强制部署前测试与独立评估,并让合格评估者获得足够访问权限;还呼吁各国协调共同标准、共享严重安全事件报告,并探索设立国际机构。宣言未要求放缓或暂停 AI 开发,组织者称重点是管理风险。美国和中国均未加入,法国、意大利、波兰也未签署,英国尚未加入;芬兰总统 Stubb 与挪威首相 Støre 是主要发起人,Stubb 个人倾向在联合国框架内建立类似 IAEA 的机构,但强调保持开放选项。

  32. POLITICO Europe Technology · 收录 · 原文 50

    欧洲议员提议新增 AI 责任法案,填补 AI Act 的损害救济缺口

    欧洲议会四名资深议员致函欧盟委员会,要求在 2024 年 AI Act 基础上新增一部 AI 责任法案,让 OpenAI、Anthropic 等公司在模型以未预见方式部署并造成损害时承担责任。这封 9 月 16 日的信函称,新法旨在填补此类事件现有的立法空白,避免民众和欧洲企业在遭受大模型提供商造成的损害时无从索赔。牵头者包括荷兰绿党议员 Kim van Sparrentak,以及德国保守派 Axel Voss、意大利社民党 Brando Benifei 和爱尔兰独立议员 Michael McNamara,提议获得欧洲人民党、社民党与 Renew 等党团议员支持。文章指出,责任规则可通过把举证责任转移给企业,降低受害者索赔的难度和成本;但欧盟刚修订通用产品责任规则并将于 12 月 9 日生效,同时正推动简化技术监管,委员会曾在 2022 年 9 月提出 AI 专门责任规则、去年又将其撤回。

  33. POLITICO Europe Technology · 收录 · 原文 28

    英国拟借 G20 主席国推动全球 AI 协议

    英国首相 Andy Burnham 表示将利用即将担任的 G20 主席国身份推动达成一项全球 AI 协议,并称英国凭借与欧盟、美国和中国的关系以及其 AI Security Institute 的专业能力,"独特地适合"在这一议题上扮演领导角色乃至"诚实中间人"。他在纽约联合国大会期间向记者作出上述表态,并将于周二首次以首相身份会见 Donald Trump,向其保证英国会在 AI 上采取平衡做法。Burnham 预计将在联大演讲中呼吁各国合作善用 AI,并承诺英国在该问题上发挥领导作用。

  34. POLITICO Europe Technology · 收录 · 原文 27

    英国将在 G20 推动制定“单一套”全球 AI 标准

    英国首相 Andy Burnham 在纽约表示,英国将在其即将担任的 G20 主席国任期内把 AI 作为“首要议题”,推动建立“单一套全球原则与标准”,兼顾释放 AI 潜力与防范风险。他称英国可充当全球 AI 协议的“诚实中间人”,并认为统一标准也能为英国带来投资利益。此番表态与特朗普在联合国演讲中称美国“完全拒绝任何构建全球主义方案”以控制 AI 的立场形成对比。

  35. POLITICO Europe Technology · 收录 · 原文 43

    特朗普在联大拒绝设立全球 AI 监管机构

    特朗普在联合国大会演讲中拒绝设立全球实体监管人工智能,称美国不接受任何构建全球主义 AI 控制方案的尝试。他重申美国在 AI 创新上领先世界,并再次称该技术的破坏性或潜在危险能力是骗局,同时警告监管 AI 可能拖慢美国、让中国领先。他还主张把名称改为超级智能,呼吁各国弃用 artificial 一词,并称美国文件将改用这一说法。此番表态前一天,22 个国家在联大场外通过宣言,主张 AI 必须处于人类指导、监督和控制之下,并提出建立全球监管机制;宣言组织者之一、芬兰总统斯图布对 POLITICO 表示,某种护栏符合中美两国利益。

  36. POLITICO Europe Technology · 收录 · 原文 42

    美中在联合国安理会会议上就 AI 监管路线分歧明显

    在联合国大会安理会会议上,美国与中国官员提出截然不同的国际 AI 安全主张。白宫科技政策办公室主任 Michael Kratsios 明确反对建立新的全球 AI 治理机制,称美国完全拒绝任何控制超级智能的全球主义方案,并强调各国应保留监管 AI 的国家主权。中国常驻联合国代表傅聪则呼吁加强 AI 发展战略、治理与技术标准的协调,尽早形成基于共识的全球治理框架,并警告以阵营划线的做法服务于某些大国维持技术优势的企图。OpenAI CEO Sam Altman 在会上推动建立国家与国际前沿 AI 标准互补的机制,Anthropic CEO Dario Amodei 也重申支持国际合作,确保安全跟得上能力。

  37. POLITICO Europe Technology · 收录 · 原文 35

    全球AI安全治理努力可能不得不在美国缺席下推进

    联合国大会期间,多国领导人及OpenAI CEO Sam Altman、Anthropic CEO Dario Amodei呼吁建立AI全球治理框架,Anthropic主张制定模型测试的"共同全球标准"。由芬兰和挪威牵头、22国通过的AI安全宣言未获美国和中国签署,特朗普在联大演讲中明确拒绝任何AI"全球主义控制方案"。前美国官员指出,美国不参与将限制相关努力的有效性,而中美领导人本周会晤仅将顺带讨论AI。

  38. POLITICO Europe Technology · 收录 · 原文 56

    白宫要求 OpenAI 和 Anthropic 在美方审查前不向英国测试机构开放新模型

    白宫通过国家网络主任办公室要求 OpenAI 和 Anthropic 在模型完成美国政府测试前,不要将其提供给英国 AI 安全研究所(AISI)。一名美国高级官员称,此举是因为两家是美国公司,且这是美国对所有新前沿模型的一贯政策。Anthropic 目前似已遵从,其 Claude Mythos 5.1 未提供给英国 AISI,公告称该模型仅面向一组美国机构,并表示正与美方协调尽快扩大国内外合作伙伴的访问范围。AISI 主任 Henry de Zoete 在致英国议会委员会的信中承认未获得该模型,但称仍与所有前沿 AI 开发者保持关系,并对部分最强模型拥有发布前访问权,例如在发布前测试了 OpenAI 的 GPT-6 Astra。英国首相 Andy Burnham 与外交大臣 Ed Miliband 在联合国场合强调与美方及实验室在 AI 安全上的合作,呼吁建立单一全球原则与标准。

    推荐理由白宫要求美国实验室先经本国审查再向英国 AISI 开放模型,呈现前沿模型测试准入的跨大西洋分歧。

  39. 安远AI · 收录 · 原文 15

    安远AI加入Partnership on AI,携手全球伙伴共筑负责任AI未来

    安远AI于今年10月正式加入人工智能伙伴关系(Partnership on AI,PAI),与魁北克人工智能研究所(Mila)、韩国人工智能安全研究所(Korean AISI)、Resaro等十家机构共同入选。PAI是由学术界、民间社团、行业和媒体组成的非营利合作网络,合作伙伴已覆盖17个国家/地区的140余家机构。安远AI创始人兼首席执行官谢旻希表示,加入PAI将增强其在促进协作与创新解决方案方面的承诺,并借助PAI全球社区扩大影响力、推动共识。

  40. 安远AI · 收录 · 原文 15

    安远AI正式加入国际人工智能安全与伦理协会 IASEAI,成为国内唯一协会伙伴

    安远AI近日正式加入国际人工智能安全与伦理协会(IASEAI),成为其协会伙伴(Affiliate),截至2025年10月是国内唯一加入该协会的机构。IASEAI由加州大学伯克利分校教授Stuart Russell于2024年创立,成员包括联合国教科文组织人工智能国际研究中心、剑桥大学Leverhulme智能未来中心、Mila等近百家机构,姚期智任董事委员、张亚勤任顾问委员。安远AI创始人谢旻希曾在2025年IASEAI首届国际大会上发言,并将参与2026年第二届年度大会。