跳到正文

第 17 页更新的内容回到最新

10月1日周四
  1. UK AISI · 收录 · 原文 15

    UK AISI 主席 Ian Hogarth 外部利益申报数据公布

    英国科学、创新与技术部按公共机构董事会成员行为准则,公开 UK AISI 主席 Ian Hogarth 本人及近亲的财务与非财务外部利益申报。文件最初于 2024 年 10 月 18 日发布,2025 年 2 月 24 日更新,以反映 Hogarth 再次被任命为 AISI 主席。

  2. UK AISI · 收录 · 原文 29

    英国 AI 安全研究所启动首个挑战基金,最高资助 20 万英镑攻关 AI 安全研究

    英国 AI 安全研究所(AI Security Institute)启动了其首个挑战基金,作为一项 500 万英镑计划的一部分,面向全球研究人员和非营利组织提供单个项目最高 20 万英镑的资助,申请于 2025 年 3 月 5 日开放,入选项目将在 12 周内公布。该基金聚焦四类关键的 AI 安全与安保挑战,重点覆盖防范 AI 滥用以及确保人类对自主系统的可靠监督与控制,旨在加固金融、医疗、能源电网等关键基础设施并增强公众信任。

  3. UK AISI · 收录 · 原文 43

    英国 AI Security Institute 发起国际对齐项目,投入超 1500 万英镑

    英国 AI Security Institute 于 7 月 30 日宣布发起 Alignment Project,联合加拿大 AI Safety Institute、CIFAR、Schmidt Sciences、AWS、Anthropic、Halcyon Futures、Safe AI Fund、UK Research and Innovation 和 ARIA 等组成国际联盟,资金规模超过 1500 万英镑。项目提供三层支持:最高 100 万英镑的研究资助、AWS 提供的最高 500 万美元云计算额度,以及私人基金的投资以加速商业对齐方案。

    推荐理由英国 AISI 牵头的对齐项目给出资助、算力与风投三层支持结构,可对照各国安全研究所的资助模式。

  4. UK AISI · 收录 · 原文 43

    英国 AI 安全研究院 CTO Jade Leung 获任首相 AI 顾问

    英国 AI 安全研究院(AI Security Institute)首席技术官 Jade Leung 被任命为首相的新任 AI 顾问。她将直接向首相以及科学、创新与技术大臣汇报,并在唐宁街 10 号与 AI 安全研究院之间分配工作时间。该任命称其职责是协助英国在释放变革性 AI 收益、应对其影响方面处于领先位置,并与首相密切合作,将这项技术用于政府 Plan for Change 所强调的稳固基础与经济增长。

    推荐理由英国 AI 安全研究院 CTO 兼任首相 AI 顾问,反映安全机构与政府决策层的衔接方式。

  5. UK AISI · 收录 · 原文 37

    UK AISI 发布先进 AI 安全国际科学报告中期报告

    英国政府委托、Yoshua Bengio 主持的《先进 AI 安全国际科学报告》中期报告发布,由 30 个国家及欧盟、联合国代表组成的国际专家咨询小组监督完成,旨在建立对前沿 AI 风险共同的科学证据理解。报告聚焦通用 AI,指出其能力在多项指标上快速提升,但研究者对因果推理等根本挑战是否取得实质进展仍有争论,对未来进展速度也存在缓慢、快速与极快三种判断。报告认为当前对通用 AI 能力与内部机制的理解有限,提升这种理解应成为优先事项;通用 AI 既可用于增进福祉与科学发现,也可能被恶意行为者用于大规模虚假信息与影响行动、欺诈,或因故障产生针对种族、性别、文化、年龄、残障等受保护特征的偏见决策。

  6. Nicholas Carlini Writing · 收录 · 原文 30

    Nicholas Carlini 离开 Google DeepMind 加入 Anthropic

    在 Google DeepMind 工作七年的对抗机器学习研究者 Nicholas Carlini 宣布离职并加入 Anthropic 一年,继续从事安全与隐私方向的研究。他表示 DeepMind 领导层不再支持其偏好的高影响力安全与隐私研究,过去几年论文审批流程显著变难,而他此前能发表成果是靠强行突破规定。Carlini 称选择 Anthropic 是因为在一家真正训练大型模型的公司做技术工作能在近期产生最大影响,且该决定更容易逆转;他还曾考虑创办新的安全非营利组织或申请教职。

  7. AI Frontiers · 收录 · 原文 46

    Anthropic 最先进模型出口管制对欧洲意味着什么

    特朗普政府于 6 月 12 日发布命令,要求 Anthropic 暂停向非美国公民提供其两款最先进模型 Fable 5 和 Mythos 5,引发欧洲政界与产业界对 AI 主权的呼声。作者认为,短期内欧洲损失有限,因为管制可能被恢复,且 GPT 5.5 与仅落后数月的开源模型仍可用,多数任务并不需要最强模型。长期看,前沿模型访问是网络安全防御与经济竞争力的前提,被排除在外与自主选择采用 AI 有本质区别。文章建议欧洲扩大算力与能源基础设施、与英国、印度、日本等中等强国协调评测与采购、投资本土能力,同时深化与需要欧洲市场的美国 AI 公司合作。

  8. AI Frontiers · 收录 · 原文 15

    中美争夺 AI 灵魂的三种模式

    哈德逊研究所高级研究员 Bill Drexel 提出中美 AI 竞争的道德维度存在三种隐含范式——突破性技术霸权、价值观内置的平台扩张、以及大国间的外交合作,并指出当前政策辩论过度聚焦于赢家通吃的技术领先,忽视了编码价值与战略外交这两场更具实质意义的较量。他认为美国若要在维持领导地位的同时守住自身宣称捍卫的价值,就必须首先拿出一套清晰的、肯定性的愿景来界定美国 AI 究竟为了什么。

  9. AI Frontiers · 收录 · 原文 15

    AI 治理需要“激进可选择性”:Charlie Bullock 与 Christoph Winter 提出新治理策略

    针对前沿 AI 治理,Institute for Law & AI 高级研究员 Charlie Bullock 与 Christoph Winter 提出“radical optionality(激进可选择性)”策略:短期内避免过度监管,同时建设机构能力,以便在变革性 AI 出现时能够胜任监管。该策略主张通过举报人保护、报告要求和透明度强制等轻触式信息收集权限,在不显著拖累创新的前提下提升安全。文章还提到英国 AI Security Institute 的成功经验,其获得的资金是美国同类机构的 10 倍。

  10. AI Frontiers · 收录 · 原文 20

    美国政府选用 AI 模型引发价值观质疑:谁来定义模型的"性格"

    加州政府已将 AI 助手 Poppy 向员工开放,北达科他州立法委员会和洛杉矶高等法院也相继引入 AI 处理法案总结与案件管理。《华盛顿邮报》近期测试显示,Gemini 3.1 Pro 和 Claude Opus 4.8 是仅有的多数情况下能对政策问题提供意识形态中立回答的前沿模型。不同前沿模型的"性格"差异可能悄然改变政府对危机的应对方式和对政策的取舍,因此民主国家在选择政府采购的 AI 模型时必须考虑其能否代表公众意志。

  11. AI Frontiers · 收录 · 原文 29

    别让 AI 开发者雇佣自己的裁判:私人认证机构的利益冲突

    休斯顿大学法学院教授 Gabriel Weil 指出,当前流行的独立核查组织(IVO)模式存在结构性缺陷——由 AI 开发者自行挑选并付费给认证机构,会使 IVO 倾向于宽松评级,重演 2008 年金融危机中信用评级机构因发行人选购而被腐蚀的利益冲突。FRONTIER Act、加州 SB 813、弗吉尼亚州及康涅狄格州的立法提案均采纳该结构,其中康涅狄格允许州消费者保护部门批准最多五家 IVO。Weil 主张改用强制保险替代,借鉴承保人联盟创立 Underwriters Laboratories 的历史经验来建立正确的激励。

  12. AI Frontiers · 收录 · 原文 43

    MATS 与 FAR.AI 作者提出修复 AI 越狱披露机制的两层方案

    MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出,当前前沿 AI 实验室的越狱披露机制存在三大问题:许多厂商没有官方报告渠道,现有漏洞赏金项目普遍附带限制披露的 NDA,且严重性由实验室用不公开的标准自行评定。作者称,目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径,且仅覆盖 CBRN 相关的漏洞赏金;Google DeepMind、SpaceXAI(原 xAI)和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。

  13. AI Frontiers · 收录 · 原文 22

    国际 AI 减速随时可行:Whole-Lab Inspection 提案

    针对“无法核实各国是否遵守 AI 开发放缓承诺”的反驳论点,Center for AI Safety 研究者提出 Whole-Lab Inspection(WLI)方案——向美中两国互派人类检查员进驻前沿实验室,配合对公司通信、工作日志、代码仓库和算力遥测数据的只读访问来核查违规行为。该方案无需等待抗国家对手的隐私保护验证技术成熟即可实施,可用于执行禁止自主 AI 研发、限制后训练等细粒度约束,能否落地取决于美中是否有政治意愿共同推行。

  14. AI Frontiers · 收录 · 原文 43

    欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效,内容溯源成为强制要求

    2026 年 8 月 2 日,欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效,要求生成式 AI 提供商和相机厂商为内容附加机器可读的溯源元数据。文章介绍内容溯源的三类元数据(来源、保管链、修改历史)以及业界趋同的 C2PA 标准,Anthropic、Google、OpenAI 均表示将采用 C2PA。加州法律还要求月活超百万的生成式 AI 提供商提供免费的溯源查询工具,2027 年起大型平台不得剥离合规溯源数据,2028 年起智能手机、相机、录音笔等设备须默认生成溯源记录。

  15. Google DeepMind · 收录 · 原文 18

    Google DeepMind 宣布与大韩民国科学技术信息通信部达成合作

    Google DeepMind 与大韩民国科学技术信息通信部(MSIT)建立国家人工智能合作伙伴关系,并在首尔办公室设立 AI Campus,向韩国学术界和研究机构开放其最先进的 AI for Science 模型。首批合作对象包括首尔大学(SNU)、KAIST 及该部的三个 AI Bio Innovation Hub,涉及 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext,其中 AlphaFold 已在韩国拥有超过 85,000 名研究者用户。此外还将与韩国 AI 安全研究院(AISI)开展研究与最佳实践协作,并探讨面向韩国学生的实习机会。

  16. Google DeepMind · 收录 · 原文 15

    Google DeepMind 与新加坡达成国家 AI 合作,推进医疗、教育与科研

    Google DeepMind 启动新一轮国家 AI 合作伙伴计划,与新加坡政府及多家机构共建面向公共部门转型、商业增长与劳动力升级的项目。双方将前沿 AI 应用于医疗健康与生命科学——包括探索 AI 辅助临床医生协作模式、借助 AlphaFold 与 Google Earth 加速东南亚疫情防范研究,并向当地研究者培训基于 Co-Scientist 构建的 Hypothesis Generation 等智能体化科研工具。教育方面向中小学至初级学院全体教师提供 Gemini for Education 并配套培训,同时在新加坡落地亚太区"AI for the Planet"加速器扶持气候科技团队。

  17. Google DeepMind · 收录 · 原文 29

    Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud

    Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome,并新增基于 C2PA Content Credentials 的来源查验,此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印,Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。

  18. Google DeepMind · 收录 · 原文 43

    Google DeepMind 联合 Schmidt Sciences 等发起最高 1000 万美元多智能体安全研究资助

    Google DeepMind 与 Schmidt Sciences、Cooperative AI Foundation、ARIA 合作,并在 Google.org 支持下,发起最高 1000 万美元的多智能体 AI 安全技术研究资助征集。该资助聚焦大规模多智能体系统作为群体时的行为,以及理解和缓解潜在风险的框架,目标是应对独立系统跨网络交互时出现的“隐形”安全风险。征集列出四个优先方向:沙箱与测试床、智能体网络科学、智能体基础设施强化、以及大规模部署智能体的监督与控制。申请截止日期为 2026 年 8 月 8 日,获资助者预计于 2026 年秋季公布。

    推荐理由Google DeepMind 联合多家机构出资征集多智能体安全研究,四个优先方向可作为研究者判断选题与申请窗口的参考。

  19. CAIS · 收录 · 原文 50

    加州 SB-53 通过州议会,将前沿 AI 透明度要求送交州长签署

    加州州议会于 9 月 17 日通过 SB-53(《前沿人工智能透明度法案》),并将其送交州长 Newsom,签署截止日期为 10 月 12 日;若签署生效,加州将成为美国首个监管灾难性风险的州。该法案是去年被否决的 SB-1047 的弱化续作,采纳了州长 AI 前沿模型政策工作组 6 月报告的建议,将灾难性风险定义为单次事件造成 50 人以上死亡或重伤、或超过 10 亿美元财产损失,涵盖协助制造 CBRN 武器、自主网络攻击与失控等情形。法案要求前沿开发者发布并每年更新前沿 AI 框架、为每个新模型发布透明度报告、每 3 个月向加州应急服务办公室(OES)提交内部使用的灾难性风险评估,并禁止就相关风险作虚假陈述。

  20. CAIS · 收录 · 原文 36

    AI Safety Newsletter #64:参议院 AI 责任法案与新的 AGI 定义

    美国参议员 Dick Durbin 与 Josh Hawley 提出 AI LEAD Act,为受 AI 系统伤害者建立联邦起诉路径,将产品责任适用于 AI 系统。法案规定,若企业在设计、说明或警示上未尽合理注意义务,违反自身提供的保证,或销售存在缺陷、可致不合理危险误用的系统,则需承担责任;部署者若大幅修改或危险误用系统同样担责。法案还禁止企业通过消费者合同限制责任,要求外国 AI 开发者在美国市场销售前登记送达代理人,并允许各州制定更严格的安全立法。

  21. CAIS · 收录 · 原文 43

    AI Safety Newsletter #67:特朗普签署阻止州级 AI 立法的行政令

    美国特朗普总统签署行政令,试图阻止各州自行监管 AI,通过联邦资金与执法手段评估、挑战并限制州级法律,并以一套尚未明确的联邦框架取而代之。该行政令无法单方面推翻州法,而是指示联邦机构依据现行法律解释发起挑战或扣留相关联邦资金:司法部长将组建工作组挑战其认为繁重的州级 AI 法律,商务部长将认定违规州不具备联邦宽带资金资格,FCC 将研究是否要求 AI 开发者向监管者提供标准化模型信息,FTC 需就现行反不公平或欺骗性商业行为法如何适用于 AI 模型发布指引。白宫 AI 与科学顾问将起草一部国家 AI 法,以覆盖与联邦政策冲突的州级规则,同时保留儿童安全、AI 基础设施、州政府自用 AI 等领域的州法。

  22. CAIS · 收录 · 原文 43

    AI 安全通讯#69:战争部认定 Anthropic 构成国家安全供应链风险并取消合同

    美国战争部于周四(3 月 5 日)宣布将 Anthropic 认定为"供应链风险",意味着其产品不能被该部门或在任何国防合约中使用,此前双方围绕自主武器和美国民众监控问题发生争执,Anthropic 拒绝了战争部的请求。这场争端始于合同谈判:特朗普总统曾表示美国政府会因该公司对其 AI 用途的限制而取消与 Anthropic 的合同,五角大楼希望 Claude 可用于"任何合法用途",而 Anthropic 坚持两项限制——完全自主武器与美国国内大规模监控。

  23. CAIS · 收录 · 原文 18

    AI Safety Newsletter #70:AI 裁员潮与自动化战争

    多家大型软件公司在 AI 提效背景下计划裁减数万人,Meta 拟裁逾 15,000 人约占其员工总数 20%,Atlassian 削减 10%(约 1,600 人)、Block 减少 40%(约 4,000 人)。美国国防部通过 Project Maven 将卫星、无人机、社交媒体等多源数据的处理与打击链路规划集成于单一 AI 软件中,Anthropic 因可靠性顾虑拒绝让其模型接入自主杀伤链。一封跨党派公开信呼吁限制 AI 开发与使用,提出避免权力集中、保护人类体验和维护人的能动性与自由三项主张。

  24. CAIS · 收录 · 原文 29

    AISN #71:针对 AI 软件基础设施的网络攻击与美国数据中心禁令法案

    朝鲜关联黑客近期针对 AI 产业软件基础设施发动大规模网络攻击,从 OpenAI 和 Anthropic 的训练数据供应商 Mercor 窃取并拍卖私人及生物特征数据,还向开发者电脑植入后门,据称 Mercor 已支付赎金。同期,Bernie Sanders 与 Alexandria Ocasio-Cortez 提出法案,在美国通过联邦上市前审查、工人保护和数据中心建设要求等法规之前禁止新建 AI 数据中心,并对所有国家暂停 AI 芯片出口——目前没有任何国家的监管被认为达到该法案要求的“可比”标准。

  25. CAIS · 收录 · 原文 19

    AISN #73:AI 安全进入政治主流,马斯克诉 OpenAI 案败诉

    美中领导人在北京会晤讨论 AI 安全问题,特朗普称双方谈及可能合作建立护栏,中国外交部随后确认同意与美国开展对话。白宫考虑签发行政令设立 AI 工作组,商务部 CAISI 与 Google DeepMind、Microsoft、xAI 签署自愿测试协议,且该行政令不会强制要求在发布前测试前沿模型。《纽约时报》报道称政府此前的放任立场因 Claude Mythos 加速复杂网络攻击的能力以及 ChatGPT-5.5-Cyber 展现类似能力而发生转变。

  26. CAIS · 收录 · 原文 15

    教皇利奥十四世通谕《Magnifica Humanitas》谈 AI 伦理与人类关系

    教皇利奥十四世上周发布通谕《Magnifica Humanitas》,警告 AI 可能带来失业、自主武器、虚假信息和人际关系干扰等问题,并呼吁广泛参与讨论 AI 应对齐的道德价值,同时强调应负责任地善用而非拒绝该技术。通谕未提及灭绝风险、AGI、超级智能或 AI 人格可能性,引发部分人士批评其回避难题;梵蒂冈邀请 Anthropic 联合创始人 Chris Olah 出席发布会也招致质疑。另有有效利他主义者整理证据称通谕措辞或经 AI 协助撰写,若属实则与其劝诫神父勿用 AI 布道相矛盾。

  27. Garrison Lovely · 收录 · 原文 43

    OpenAI 宣布保留非营利控制权,作者给出四点预测

    OpenAI 宣布将继续由非营利组织监督和控制公司,此前其剥离非营利控制的计划曾遭到 Elon Musk、公民社会领袖、前员工和法律学者的反对。非营利董事会主席 Bret Taylor 在博客中表示,公司过去和今后都由该非营利组织监督和控制,这一决定是在与加州和特拉华州总检察长讨论后作出的。CEO Sam Altman 在随附信件中提出转向“人人持股的常规资本结构”,作者认为这暗示投资者利润上限将被修改或取消。文章还指出,OpenAI 未明确回应此前两轮融资中投资者可追回数百亿美元的条款,也未说明非营利组织将获得多少补偿。

  28. Garrison Lovely · 收录 · 原文 50

    独家:OpenAI 承认其非营利董事会权力将大幅缩水

    Obsolete 获取了 OpenAI 律师 5 月 15 日致加州总检察长 Rob Bonta 的 13 页信函,其中 OpenAI 为其营利实体重组方案作法律辩护。信函承认非营利董事会将有权解雇 PBC 董事,但非营利组织将以现有经济利益换取新 PBC 的股权,并获得对 PBC 知识产权、技术和人员的访问权,而非直接拥有或控制底层技术。核心变化在于法律义务:现行 LLC 运营协议规定公司对使命的责任优先于盈利,而新结构下 PBC 董事只需在股东利益与公共利益之间取得平衡。信函近二十次提及 Elon Musk,将批评者与 Musk 的商业利益挂钩,同时私下向加州非营利联盟成员发出合作邀请。

  29. Garrison Lovely · 收录 · 原文 50

    Anthropic 被指在 Claude 4 Opus 发布中悄然回撤安全承诺

    Anthropic 发布 Claude 4 Opus 时将其列为首个触发 ASL-3 防护的模型,但 5 月 14 日更新的 RSP 未按 2023 年承诺公开定义 ASL-4。2023 年 9 月的 RSP 曾承诺在达到 ASL-3 前定义 ASL-4,Anthropic 发言人称该版本已过时,并指向 2024 年 10 月的修订,称 ASL 现在对应逐级加严的安全措施而非预先定义未来标准。TIME 报道称安全评估发现 Claude 4 Opus 可能帮助新手制造生物武器,首席科学家 Jared Kaplan 表示建模显示合成类似 COVID 或更危险流感毒株或许可行。

  30. Garrison Lovely · 收录 · 原文 52

    美国参议院以 99 比 1 删除十年州级 AI 监管禁令

    美国参议院以 99 比 1 的投票结果,从预算协调法案中删除了禁止各州监管 AI 十年的条款。该条款原本规定,接受 5 亿美元新 BEAD 宽带拨款的州,可能失去 425 亿美元 BEAD 资金份额,其 AI 法律也将失效。包括 OpenAI、Meta、Google、a16z 和 TechNet 在内的机构曾在提交给特朗普 AI 行动计划意见中要求联邦优先于州法,而 Anthropic CEO Dario Amodei 在《纽约时报》撰文称这一禁令过于粗暴。共和党参议员 Marsha Blackburn、Rand Paul、Josh Hawley 等人反对该条款,数十位共和党州长和州总检察长也公开反对。

  31. Garrison Lovely · 收录 · 原文 50

    OpenAI 非营利时代终结:两州总检察长有条件放行转营利重组

    特拉华州与加州总检察长对 OpenAI 转为营利性公益公司(PBC)的重组方案有条件放行,微软也以调整合作条款和获得新 PBC 1350 亿美元股权为条件表示同意。总检察长提出的二十条要求包括:非营利组织独家拥有任免 PBC 董事的权力;PBC 董事会在安全与安保事务上只能考虑使命;由 Zico Kolter 领导的 Safety and Security Committee 有权要求缓解措施乃至叫停新模型发布;非营利董事每半年、PBC 高管每季度向总检察长办公室汇报;限制非营利治理权需提前 21 天通知。

  32. Miles Brundage · 收录 · 原文 16

    Time's Up for AI Policy:超级人类级 AI 临近,未来数月政策决定至关重要

    Miles Brundage 发文警告,超越几乎所有认知领域的超级人类 AI 几乎必然在未来几年内建成并部署,而接下来几个月的政策抉择将决定其治理方式。他以当日发布的 o3 为例指出超人类编程与数学能力的到来比许多人预期更快,社会尚未消化 Claude 3.5 Sonnet、o1 及即将推出的更大模型的冲击。特朗普政府首批行动、下一届美国国会立法、英国 AI 法案以及欧盟《通用人工智能行为准则》是关键节点,呼吁有意推动 AI 治理的人立即行动而非规划数年后产生影响。 --- **说明**: - 标题保留了原作者意图中的紧迫感("Time's Up"→"关键时刻/迫在眉睫"语义由副题承载),并按规则补入核心议题主体。

  33. Miles Brundage · 收录 · 原文 20

    Miles Brundage 提出 GAAIO:用独立 AI 监察员验证公司与国家的 AI 声明

    Miles Brundage 提出设立“全球 AI 监察员协会”(GAAIO),由独立监察员以接近公司或政府机构内部员工的访问权限,核实企业与国家对 AI 的声明,如是否认真红队测试、申报模型是否为最强模型、部署模型是否与系统卡一致等。该组织服务完全自愿、结论无强制力,也不主动要求企业作出特定声明。作者认为这一人类主导机制可先于自动化审计落地,为后续更自动化的验证方案奠定基础,但在国家互不信任和军事 AI 等敏感场景作用有限。

  34. Miles Brundage · 收录 · 原文 22

    Miles Brundage 为何将前沿 AI 公司的安全置于首位

    Miles Brundage 撰文论证前沿 AI 公司的安全应比安全性更为紧迫。他指出,独立专家基于对前沿 AI 公司员工的访谈估计,这些企业距离抵御中俄等国资源充足的攻击尚有数年差距,且一年内 AI 系统能力还会大幅提升,现有竞争编码能力已达人类前几百名的水平。由于投资安全的成本由公司独自承担、投入不足的成本却由整个社会分担,加上单方面加强安全可能拖慢研发进度并丧失市场优势,这一问题不会自动解决。他还强调,芯片和数据中心的安全建设以及安全许可审批所需的时间超过模型迭代间隔,因此无法留待后期自动化处理。

  35. Miles Brundage · 收录 · 原文 32

    Miles Brundage 对《通用目的 AI 行为准则》第二稿的反馈

    Miles Brundage 针对欧盟《通用目的 AI 行为准则》(COP)第二稿发表反馈意见,认为草稿正朝更具体、更连贯的方向改进,但仍存在大量未竟事项。他指出起草工作组的推进节奏过于仓促,问题根源在于欧洲议会启动该流程过晚而非主席团本身。对于具有系统性风险的模型的合规条款,他认为大型企业大体能够遵守,并强调若合规低效或错配风险,可能适得其反地损害企业内部的安全声誉。

  36. Helen Toner · 收录 · 原文 17

    Helen Toner 借《The Future and Its Enemies》提出安全超级智能的动态主义愿景

    Helen Toner 借用 Virginia Postrel 1998 年著作《The Future and Its Enemies》,主张用动态主义(dynamism)而非停滞主义(stasism)来审视通往超级智能道路上的 AI 安全问题。她指出 AI 安全界部分政策带有明显停滞主义色彩——例如偏好少数领先 AI 项目乃至仅存一家、以及通过防扩散减少接触危险技术的途径。但她强调 AI 安全并非天然属于停滞主义阵营,亲技术与反技术、拥抱风险与规避风险的二分并不贴合这场争论的真实分歧。

  37. Miles Brundage · 收录 · 原文 20

    DeepSeek R1 的真正启示:规模加人才即可逼近超人类 AI

    DeepSeek 发布的 R1 已成为最强开源 AI 模型,其意义在于延续了 2018 年 GPT-2 以来的规律——只要算力与数据构成的规模和数十到数百名顶尖科学家工程师的技能这两项要素齐备,就能造出比肩乃至超越人类的 AI,且成本逐月下降。 该模式先在预测下一个词的范式下通过反复训练神经网络习得语法与世界知识,去年起又经长链式推理扩展到数学与编程等领域,o1 与 R1 借此学会分解问题并自查。 后来者常能以远低于先行者的成本复制同等性能,全球科学界公开的技巧使 OpenAI API 价格累计降幅超过 90%,因此美国无法长期垄断超级 AI 能力,GPU 出口管制虽必要却挡不住能力的持续扩散。

  38. Helen Toner · 收录 · 原文 27

    OpenAI 向阿联酋出口算力并称其植根民主价值,引发质疑

    Helen Toner 批评 OpenAI 借「OpenAI for Countries」计划将大规模 AI 数据中心落地阿联酋,却宣称该合作「植根于民主价值观」。她援引 Freedom House 2024 年报告指出阿联酋得分仅 18/100,低于海地、津巴布韦和伊拉克,且禁止政党、政府垄断权力、打压异见。她反驳了两类辩护逻辑——美国 AI 天然承载民主价值、帮助美国赢得 AI 竞赛即有利于民主——认为这并非对局势的良好总结。