全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Frontier Model Forum
Frontier Model Forum 发布前沿 AI 安全框架阈值问题简报
Frontier Model Forum 发布问题简报，梳理前沿 AI 安全框架中阈值的类型与作用。简报指出，阈值是安全框架的核心要素，用于预先界定何种风险水平需要进一步审查或加强防护，从而让开发者、部署方和监管方在风险出现前采取行动，尤其针对 CBRN 和高级网络风险。简报归纳了四类阈值：算力阈值以训练算力作为风险的代理指标，易测量但只是粗略筛选；风险阈值直接限定可接受的风险概率与危害程度，最贴近社会影响但当前难以可靠估计；能力阈值指向特定能力（如提供致命病原体合成指引），比算力更贴近危害且比风险估计更易测量，是目前安全框架中最常用的类型；结果导向阈值则列出不可接受的结果及相应威胁场景。
- 动态Frontier Model Forum
Frontier Model Forum 向 OSTP 提交 AI 行动计划意见书
Frontier Model Forum 于 3 月 14 日向美国白宫科技政策办公室（OSTP）提交了一份关于《人工智能行动计划》制定的回应文件，建议美国政府加大对 AI 安全科学的投入并加强国际标准协调。 该组织提出三个重点方向：资助 AI 计量学与测量科学研究、开发针对国家安全与公共安全风险的 AI 风险管理流程，以及确保相关工作中纳入具备科学专业知识的领域专家，并点名 NIST 与美国能源部国家实验室适合推进评测测量科学。
- 动态Frontier Model Forum
Frontier Model Forum 成员企业签署首份前沿 AI 信息共享协议
Frontier Model Forum（FMF）宣布其全部成员企业签署了一份旨在促进前沿 AI 威胁、漏洞与能力进展信息共享的协议。该共享范围被严格限定，用于管理涉及 CBRN 与高级网络威胁等国家安全和公共安全风险，目前仅限 FMF 成员企业参与。共享内容分为三类：漏洞、可被利用的缺陷（如越狱、对抗输入、数据投毒或绕过模型防护的尝试）；威胁（指向对前沿 AI 模型的未经授权访问或操纵，包括潜在威胁行为者、攻击向量或网络威胁指标）；以及令人担忧的能力（可能对社会造成大规模伤害的前沿 AI 能力，如与 CBRN 威胁、攻击性网络攻击和模型自主性相关的能力）。
- 动态Frontier Model Forum
Frontier Model Forum 推出前沿 AI 框架技术报告系列
Frontier Model Forum 启动前沿 AI 框架技术报告系列，计划在未来数月内陆续发布四份报告，分别覆盖风险分类与阈值、前沿能力评估、缓解措施以及第三方评估。该系列旨在说明不同组织情境下如何有效落地前沿 AI 框架，并推动实施标准的形成。目前已有 12 家主要 AI 开发商发布了各自的前沿 AI 框架，其中包括 Google DeepMind 的 Frontier Safety Framework、Anthropic 的 Responsible Scaling Policy 和 OpenAI 的 Preparedness Framework。
- 动态Frontier Model Forum
Frontier Model Forum 资助 AI 生物风险研究：病毒学与细菌生物威胁基准及湿实验室试验
Frontier Model Forum（FMF）通过 AI Safety Fund 公布三项应对 AI—生物风险的资助进展。SecureBio 开发了含 322 道多模态问题的 Virology Capabilities Test（VCT）基准，Nemesis Insights 则建成约 1,000 条高质量细菌生物威胁提示词的 BBG 框架，两者数据集将提供给安全团队、监管机构和学术研究者。此外，FMF 联合 Sentinel Bio 资助一项大规模 BSL-2 湿实验室研究，对比有无领先多模态 AI 辅助下新手完成实验的成功率，全部结果将在发表前经独立的生物安全与国家安全专家顾问委员会预先审核。
- 动态UK AISI
英国 AI Safety Institute 更名为 AI Security Institute，并新增犯罪滥用研究团队
英国政府于 2 月 14 日将 AI Safety Institute 更名为 AI Security Institute，把维护国家安全和防范犯罪列为其负责任 AI 工作的基本原则，重点应对化学与生物武器开发、网络攻击以及欺诈、儿童性虐待等犯罪风险。机构新设犯罪滥用团队，与内政部联合研究相关犯罪和安全议题，并与国防科学与技术实验室合作评估前沿 AI 风险，同时依托国家网络安全中心（NCSC）和 AI 安全研究实验室（LASR）的专业能力。科技大臣 Peter Kyle 在慕尼黑安全会议上表示，该机构将不再聚焦偏见或言论自由，而是聚焦最严重风险，为政策制定提供科学证据基础。
- 动态UK AISI
英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布 AI Safety Institute 更名为 AI Security Institute
英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布，将 AI Safety Institute 更名为 AI Security Institute，并明确其聚焦最严重新兴风险的科学研究定位。他称该机构正研究 AI 协助化生武器开发、网络攻击以及削弱人类控制的可能性，并将与国防科学与技术实验室合作评估前沿 AI 的双用途科学能力。机构还新设犯罪滥用团队，与内政部合作研究犯罪与安全问题。Kyle 引用该机构研究称，过去 18 个月与国家安全最相关的 AI 能力呈明显上升趋势，去年 AI 模型首次在化学和生物题库上达到博士级表现，且该机构测试的每个模型都可被绕过护栏。
- 动态UK AISI
UK AISI 主席 Ian Hogarth 外部利益申报数据公布
英国科学、创新与技术部按公共机构董事会成员行为准则，公开 UK AISI 主席 Ian Hogarth 本人及近亲的财务与非财务外部利益申报。文件最初于 2024 年 10 月 18 日发布，2025 年 2 月 24 日更新，以反映 Hogarth 再次被任命为 AISI 主席。
- 动态UK AISI
英国 AI 安全研究所启动首个挑战基金，最高资助 20 万英镑攻关 AI 安全研究
英国 AI 安全研究所（AI Security Institute）启动了其首个挑战基金，作为一项 500 万英镑计划的一部分，面向全球研究人员和非营利组织提供单个项目最高 20 万英镑的资助，申请于 2025 年 3 月 5 日开放，入选项目将在 12 周内公布。该基金聚焦四类关键的 AI 安全与安保挑战，重点覆盖防范 AI 滥用以及确保人类对自主系统的可靠监督与控制，旨在加固金融、医疗、能源电网等关键基础设施并增强公众信任。
- 动态UK AISI
英国 AI Security Institute 发起国际对齐项目，投入超 1500 万英镑
英国 AI Security Institute 于 7 月 30 日宣布发起 Alignment Project，联合加拿大 AI Safety Institute、CIFAR、Schmidt Sciences、AWS、Anthropic、Halcyon Futures、Safe AI Fund、UK Research and Innovation 和 ARIA 等组成国际联盟，资金规模超过 1500 万英镑。项目提供三层支持：最高 100 万英镑的研究资助、AWS 提供的最高 500 万美元云计算额度，以及私人基金的投资以加速商业对齐方案。
- 动态UK AISI
英国 AI 安全研究院 CTO Jade Leung 获任首相 AI 顾问
英国 AI 安全研究院（AI Security Institute）首席技术官 Jade Leung 被任命为首相的新任 AI 顾问。她将直接向首相以及科学、创新与技术大臣汇报，并在唐宁街 10 号与 AI 安全研究院之间分配工作时间。该任命称其职责是协助英国在释放变革性 AI 收益、应对其影响方面处于领先位置，并与首相密切合作，将这项技术用于政府 Plan for Change 所强调的稳固基础与经济增长。
- 动态UK AISI
UK AISI 发布先进 AI 安全国际科学报告中期报告
英国政府委托、Yoshua Bengio 主持的《先进 AI 安全国际科学报告》中期报告发布，由 30 个国家及欧盟、联合国代表组成的国际专家咨询小组监督完成，旨在建立对前沿 AI 风险共同的科学证据理解。报告聚焦通用 AI，指出其能力在多项指标上快速提升，但研究者对因果推理等根本挑战是否取得实质进展仍有争论，对未来进展速度也存在缓慢、快速与极快三种判断。报告认为当前对通用 AI 能力与内部机制的理解有限，提升这种理解应成为优先事项；通用 AI 既可用于增进福祉与科学发现，也可能被恶意行为者用于大规模虚假信息与影响行动、欺诈，或因故障产生针对种族、性别、文化、年龄、残障等受保护特征的偏见决策。
- 动态Nicholas Carlini Writing
Nicholas Carlini 离开 Google DeepMind 加入 Anthropic
在 Google DeepMind 工作七年的对抗机器学习研究者 Nicholas Carlini 宣布离职并加入 Anthropic 一年，继续从事安全与隐私方向的研究。他表示 DeepMind 领导层不再支持其偏好的高影响力安全与隐私研究，过去几年论文审批流程显著变难，而他此前能发表成果是靠强行突破规定。Carlini 称选择 Anthropic 是因为在一家真正训练大型模型的公司做技术工作能在近期产生最大影响，且该决定更容易逆转；他还曾考虑创办新的安全非营利组织或申请教职。
- 动态AI Frontiers
Anthropic 最先进模型出口管制对欧洲意味着什么
特朗普政府于 6 月 12 日发布命令，要求 Anthropic 暂停向非美国公民提供其两款最先进模型 Fable 5 和 Mythos 5，引发欧洲政界与产业界对 AI 主权的呼声。作者认为，短期内欧洲损失有限，因为管制可能被恢复，且 GPT 5.5 与仅落后数月的开源模型仍可用，多数任务并不需要最强模型。长期看，前沿模型访问是网络安全防御与经济竞争力的前提，被排除在外与自主选择采用 AI 有本质区别。文章建议欧洲扩大算力与能源基础设施、与英国、印度、日本等中等强国协调评测与采购、投资本土能力，同时深化与需要欧洲市场的美国 AI 公司合作。
- 动态AI Frontiers
An AI Capabilities Gap Can Endanger Nuclear Deterrence
summary_zh:
- 动态AI Frontiers
中美争夺 AI 灵魂的三种模式
哈德逊研究所高级研究员 Bill Drexel 提出中美 AI 竞争的道德维度存在三种隐含范式——突破性技术霸权、价值观内置的平台扩张、以及大国间的外交合作，并指出当前政策辩论过度聚焦于赢家通吃的技术领先，忽视了编码价值与战略外交这两场更具实质意义的较量。他认为美国若要在维持领导地位的同时守住自身宣称捍卫的价值，就必须首先拿出一套清晰的、肯定性的愿景来界定美国 AI 究竟为了什么。
- 动态AI Frontiers
AI 治理需要“激进可选择性”：Charlie Bullock 与 Christoph Winter 提出新治理策略
针对前沿 AI 治理，Institute for Law & AI 高级研究员 Charlie Bullock 与 Christoph Winter 提出“radical optionality（激进可选择性）”策略：短期内避免过度监管，同时建设机构能力，以便在变革性 AI 出现时能够胜任监管。该策略主张通过举报人保护、报告要求和透明度强制等轻触式信息收集权限，在不显著拖累创新的前提下提升安全。文章还提到英国 AI Security Institute 的成功经验，其获得的资金是美国同类机构的 10 倍。
- 动态AI Frontiers
美国政府选用 AI 模型引发价值观质疑：谁来定义模型的"性格"
加州政府已将 AI 助手 Poppy 向员工开放，北达科他州立法委员会和洛杉矶高等法院也相继引入 AI 处理法案总结与案件管理。《华盛顿邮报》近期测试显示，Gemini 3.1 Pro 和 Claude Opus 4.8 是仅有的多数情况下能对政策问题提供意识形态中立回答的前沿模型。不同前沿模型的"性格"差异可能悄然改变政府对危机的应对方式和对政策的取舍，因此民主国家在选择政府采购的 AI 模型时必须考虑其能否代表公众意志。
- 动态AI Frontiers
别让 AI 开发者雇佣自己的裁判：私人认证机构的利益冲突
休斯顿大学法学院教授 Gabriel Weil 指出，当前流行的独立核查组织（IVO）模式存在结构性缺陷——由 AI 开发者自行挑选并付费给认证机构，会使 IVO 倾向于宽松评级，重演 2008 年金融危机中信用评级机构因发行人选购而被腐蚀的利益冲突。FRONTIER Act、加州 SB 813、弗吉尼亚州及康涅狄格州的立法提案均采纳该结构，其中康涅狄格允许州消费者保护部门批准最多五家 IVO。Weil 主张改用强制保险替代，借鉴承保人联盟创立 Underwriters Laboratories 的历史经验来建立正确的激励。
- 动态AI Frontiers
MATS 与 FAR.AI 作者提出修复 AI 越狱披露机制的两层方案
MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出，当前前沿 AI 实验室的越狱披露机制存在三大问题：许多厂商没有官方报告渠道，现有漏洞赏金项目普遍附带限制披露的 NDA，且严重性由实验室用不公开的标准自行评定。作者称，目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径，且仅覆盖 CBRN 相关的漏洞赏金；Google DeepMind、SpaceXAI（原 xAI）和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。
- 动态AI Frontiers
国际 AI 减速随时可行：Whole-Lab Inspection 提案
针对“无法核实各国是否遵守 AI 开发放缓承诺”的反驳论点，Center for AI Safety 研究者提出 Whole-Lab Inspection（WLI）方案——向美中两国互派人类检查员进驻前沿实验室，配合对公司通信、工作日志、代码仓库和算力遥测数据的只读访问来核查违规行为。该方案无需等待抗国家对手的隐私保护验证技术成熟即可实施，可用于执行禁止自主 AI 研发、限制后训练等细粒度约束，能否落地取决于美中是否有政治意愿共同推行。
- 动态AI Frontiers
欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效，内容溯源成为强制要求
2026 年 8 月 2 日，欧盟 AI 法案第 50 条与加州 AI 透明度法案同日生效，要求生成式 AI 提供商和相机厂商为内容附加机器可读的溯源元数据。文章介绍内容溯源的三类元数据（来源、保管链、修改历史）以及业界趋同的 C2PA 标准，Anthropic、Google、OpenAI 均表示将采用 C2PA。加州法律还要求月活超百万的生成式 AI 提供商提供免费的溯源查询工具，2027 年起大型平台不得剥离合规溯源数据，2028 年起智能手机、相机、录音笔等设备须默认生成溯源记录。
- 动态Google DeepMind
Google DeepMind 宣布与大韩民国科学技术信息通信部达成合作
Google DeepMind 与大韩民国科学技术信息通信部（MSIT）建立国家人工智能合作伙伴关系，并在首尔办公室设立 AI Campus，向韩国学术界和研究机构开放其最先进的 AI for Science 模型。首批合作对象包括首尔大学（SNU）、KAIST 及该部的三个 AI Bio Innovation Hub，涉及 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext，其中 AlphaFold 已在韩国拥有超过 85,000 名研究者用户。此外还将与韩国 AI 安全研究院（AISI）开展研究与最佳实践协作，并探讨面向韩国学生的实习机会。
- 动态Google DeepMind
Google DeepMind 与新加坡达成国家 AI 合作，推进医疗、教育与科研
Google DeepMind 启动新一轮国家 AI 合作伙伴计划，与新加坡政府及多家机构共建面向公共部门转型、商业增长与劳动力升级的项目。双方将前沿 AI 应用于医疗健康与生命科学——包括探索 AI 辅助临床医生协作模式、借助 AlphaFold 与 Google Earth 加速东南亚疫情防范研究，并向当地研究者培训基于 Co-Scientist 构建的 Hypothesis Generation 等智能体化科研工具。教育方面向中小学至初级学院全体教师提供 Gemini for Education 并配套培训，同时在新加坡落地亚太区"AI for the Planet"加速器扶持气候科技团队。