英国政府征集安全 AI 基础设施意见：面向 AI 与网络安全业界征询

英国政府发起安全 AI 计算系统开发的信息征集，向 AI 行业、网络安全行业及更广泛的产业界与学术界收集观点，用以了解当前的安全挑战、现有能力、现实约束以及值得推进的研究与技术试点方向。该公告于 2026 年 1 月 29 日发布，旨在帮助政府在确保安全的条件下开发和部署最先进的 AI 系统。

欧盟 AI Act 通讯第 94 期：Grok 性化图像丑闻与 AI 法案进展

欧洲议会 57 名跨党派议员呼吁在欧盟范围内禁止生成非自愿性化深度伪造图像的 AI 应用，起因是 X 平台上 Grok 机器人生成的此类图像大量传播；欧盟委员会已要求 X 提供更多信息并下令保留 Grok 相关文件至年底，尽管 X 声称已阻止编辑暴露衣着人物图像，POLITICO 核实用户仍可生成。欧洲议会 LIBE 委员会确定数字简化方案牵头方，Renew 的 Michael McNamara 负责 AI 方案并联合主持监督 AI Act 实施的工作组，他强调修订需真正简化实施而不削弱核心保障，同时指出 2026 年 8 月高风险 AI 合规期限临近。

AVERI 正式启动：推动前沿 AI 第三方审计的非营利智库

前 OpenAI 政策研究者 Miles Brundage 联合创办的非营利智库 AVERI（AI Verification and Evaluation Research Institute）正式成立，目标是让针对前沿 AI 开发者的第三方审计变得有效且普及。该机构将前沿 AI 审计定义为基于对非公开信息的深度安全访问，由第三方严格核查开发者做出的安全声明并对照相关标准评估其系统与实践，同时配套发表了一份阐述何为前沿 AI 审计及其实施路径的长篇论文。

美国州级 AI 立法呈现碎片化：2026 年会期实质性法案激增

2026 年美国各州立法会期出现大量实质性 AI 法案，覆盖责任、算法定价、透明度、陪伴型聊天机器人、儿童安全与职业许可等议题，各州在框架选择上分歧明显，可能形成真正的监管碎片化。作者指出，2025 年逾 1000 项州级 AI 法案中多数为设立研究委员会等无害内容，而今年实质性法案数量已多到无法逐一独立覆盖，因此改为按主题挑选代表性法案深入分析。

Frontier Model Forum 执行董事年度公开信：前沿 AI 安全年度进展

Frontier Model Forum 执行董事 Chris Meserole 在 FY 2024-2025 年度报告中总结，FMF 过去一年在三大方向取得进展。

AI Safety Newsletter #67：特朗普签署阻止州级 AI 立法的行政令

美国特朗普总统签署行政令，试图阻止各州自行监管 AI，通过联邦资金与执法手段评估、挑战并限制州级法律，并以一套尚未明确的联邦框架取而代之。该行政令无法单方面推翻州法，而是指示联邦机构依据现行法律解释发起挑战或扣留相关联邦资金：司法部长将组建工作组挑战其认为繁重的州级 AI 法律，商务部长将认定违规州不具备联邦宽带资金资格，FCC 将研究是否要求 AI 开发者向监管者提供标准化模型信息，FTC 需就现行反不公平或欺骗性商业行为法如何适用于 AI 模型发布指引。白宫 AI 与科学顾问将起草一部国家 AI 法，以覆盖与联邦政策冲突的州级规则，同时保留儿童安全、AI 基础设施、州政府自用 AI 等领域的州法。

Frontier Model Forum 公布 AI Safety Fund 新一批 11 个资助项目

Frontier Model Forum 宣布 AI Safety Fund 新一批 11 个受资助方，共获得超过 500 万美元，从 100 多份提案中遴选产生。

国际 AI 安全研究所网络更名为国际先进 AI 测量、评估与科学网络，英国担任协调员

国际 AI 安全研究所网络在圣地亚哥会议后更名为国际先进 AI 测量、评估与科学网络，英国出任网络协调员。该网络 2024 年 11 月成立，成员包括澳大利亚、加拿大、欧盟、法国、日本、肯尼亚、韩国、新加坡、英国和美国，旨在就先进 AI 能力测量与评估建立共享科学理解和国际认可方法。会议与 NeurIPS 同期举行，各方承诺加倍聚焦 AI 测量与评估科学。

OpenAI 启动对齐研究博客《Hello World》

OpenAI 于 12 月 1 日推出一档名为《Hello World》的对齐研究博客，定位为实验室笔记式的早期分享渠道，用来发布因过早、过窄或进展太快而不适合写成完整论文的研究想法。该博客由研究人员撰写并面向研究者，将刊登草图、讨论记录和技术短文，目标是尽早公开仍在探索中的工作以获得反馈，同时覆盖 OpenAI 内部多个团队的安全与对齐研究工作。

Joe Carlsmith 离开 Open Philanthropy，加入 Anthropic 参与 Claude 性格与规范设计

Joe Carlsmith 宣布离开 Open Philanthropy，将于 11 月中旬加入 Anthropic，参与 Claude 的性格、宪法与规范（character/constitution/spec）设计。他在 Open Philanthropy 自 2019 年起参与并领导“世界观调查”团队，产出关于 AI 时间线、起飞速度、AI 驱动增长与灾难性风险的研究，包括 power-seeking AI、scheming AIs 与对齐问题等报告。他表示文章仅代表个人观点，不代表 Open Phil 或 Anthropic。

英国宣布 550 亿英镑研发资金，投向健康、清洁能源与 AI 等领域

英国科学、创新与技术部（DSIT）确认向英国研究机构提供 550 亿英镑长期研发资金，覆盖至 2029/2030 财年。其中 UKRI 将获得逾 380 亿英镑，ARIA 年度预算到 2029/2030 年从 2.2 亿英镑增至 4 亿英镑，Met Office 获逾 14 亿英镑。新分析称政府每投入 1 英镑研发资金可带来 8 英镑净经济收益，并平均撬动 2 英镑私人投资。

OpenAI 非营利时代终结：两州总检察长有条件放行转营利重组

特拉华州与加州总检察长对 OpenAI 转为营利性公益公司（PBC）的重组方案有条件放行，微软也以调整合作条款和获得新 PBC 1350 亿美元股权为条件表示同意。总检察长提出的二十条要求包括：非营利组织独家拥有任免 PBC 董事的权力；PBC 董事会在安全与安保事务上只能考虑使命；由 Zico Kolter 领导的 Safety and Security Committee 有权要求缓解措施乃至叫停新模型发布；非营利董事每半年、PBC 高管每季度向总检察长办公室汇报；限制非营利治理权需提前 21 天通知。

UK AISI 发布先进 AI 安全国际科学报告中期报告

英国政府委托、Yoshua Bengio 主持的《先进 AI 安全国际科学报告》中期报告发布，由 30 个国家及欧盟、联合国代表组成的国际专家咨询小组监督完成，旨在建立对前沿 AI 风险共同的科学证据理解。报告聚焦通用 AI，指出其能力在多项指标上快速提升，但研究者对因果推理等根本挑战是否取得实质进展仍有争论，对未来进展速度也存在缓慢、快速与极快三种判断。报告认为当前对通用 AI 能力与内部机制的理解有限，提升这种理解应成为优先事项；通用 AI 既可用于增进福祉与科学发现，也可能被恶意行为者用于大规模虚假信息与影响行动、欺诈，或因故障产生针对种族、性别、文化、年龄、残障等受保护特征的偏见决策。

AI Safety Newsletter #64：参议院 AI 责任法案与新的 AGI 定义

美国参议员 Dick Durbin 与 Josh Hawley 提出 AI LEAD Act，为受 AI 系统伤害者建立联邦起诉路径，将产品责任适用于 AI 系统。法案规定，若企业在设计、说明或警示上未尽合理注意义务，违反自身提供的保证，或销售存在缺陷、可致不合理危险误用的系统，则需承担责任；部署者若大幅修改或危险误用系统同样担责。法案还禁止企业通过消费者合同限制责任，要求外国 AI 开发者在美国市场销售前登记送达代理人，并允许各州制定更严格的安全立法。

FLI 的 Michael Kleinman 就 SB 53 签署发表声明

Future of Life Institute 美国政策负责人 Michael Kleinman 就加州州长 Newsom 签署 SB 53 发表声明，称这是建立先进 AI 系统基本保护措施的标志性时刻。声明援引民调称 82% 的共和党人认为应限制 AI 可做的事，超过 70% 的选民支持政府制定安全标准。声明还提到，今年夏天参议院以 99 比 1 否决了阻止各州采取行动的尝试，并表示在联邦出台强有力的 AI 安全标准之前，红州和蓝州都只能继续填补这一空白。

Google 联合 Airbus 在 DEF CON 33 举办 GenSec CTF，加速 AI 网络安全应用

Google 隐私、安全与安保团队联合 Airbus 在 DEF CON 33 举办了聚焦人机协作的 GenSec Capture the Flag（CTF）。近 500 名参与者完成了入门挑战，其中 23% 的人首次将 AI 用于网络安全工作流，85% 的参与者认为该活动有助于了解 AI 在安全工作流中的应用方式。活动中还提供实验性的网络安全 AI——Sec-Gemini 作为可选助手，77% 的受访者表示它对自己解决挑战“很有帮助”或“极有帮助”。

加州 SB-53 通过州议会，将前沿 AI 透明度要求送交州长签署

加州州议会于 9 月 17 日通过 SB-53（《前沿人工智能透明度法案》），并将其送交州长 Newsom，签署截止日期为 10 月 12 日；若签署生效，加州将成为美国首个监管灾难性风险的州。该法案是去年被否决的 SB-1047 的弱化续作，采纳了州长 AI 前沿模型政策工作组 6 月报告的建议，将灾难性风险定义为单次事件造成 50 人以上死亡或重伤、或超过 10 亿美元财产损失，涵盖协助制造 CBRN 武器、自主网络攻击与失控等情形。法案要求前沿开发者发布并每年更新前沿 AI 框架、为每个新模型发布透明度报告、每 3 个月向加州应急服务办公室（OES）提交内部使用的灾难性风险评估，并禁止就相关风险作虚假陈述。

Google 更新报告质量框架，覆盖 Google、Cloud、AI 与 Abuse 漏洞奖励计划

Google 宣布更新 Google、Cloud、AI 与 Abuse 漏洞奖励计划（VRP）评估报告质量的方式，目的是让奖励结果更一致，并让报告更容易满足卓越奖励奖金的资格。该框架同时适用于这四个 VRP。

Google ESCAL8 安全会议将登陆墨西哥城

Google 的 ESCAL8 安全会议将在墨西哥城举办，官方同时回顾了去年 ESCAL8 会议的内容，并公布了 ESCAL8 2025 的计划安排。

Google Pixel 10 如何在 Android 上用 C2PA Content Credentials 提升图像可信度

Google 在 Made by Google 2025 上宣布 Pixel 10 手机将在 Pixel Camera 和 Google Photos 中支持 C2PA Content Credentials，Pixel 10 系列成为首个由 Pixel Camera 拍摄的每一张照片都内置该凭证的产品线。其实现基于 Tensor G5、Titan M2 安全芯片及 Android 硬件级安全 API，并采用隐私设计管理证书，使图片之间及其创作者无法相互关联。Pixel Camera 达到 C2PA 合规计划目前定义的最高安全等级 Assurance Level 2，移动应用获此评级当前仅限 Android 平台。

英国 AI 安全研究院 CTO Jade Leung 获任首相 AI 顾问

英国 AI 安全研究院（AI Security Institute）首席技术官 Jade Leung 被任命为首相的新任 AI 顾问。她将直接向首相以及科学、创新与技术大臣汇报，并在唐宁街 10 号与 AI 安全研究院之间分配工作时间。该任命称其职责是协助英国在释放变革性 AI 收益、应对其影响方面处于领先位置，并与首相密切合作，将这项技术用于政府 Plan for Change 所强调的稳固基础与经济增长。

推荐理由英国 AI 安全研究院 CTO 兼任首相 AI 顾问，反映安全机构与政府决策层的衔接方式。

OSV-SCALIBR 推出新补丁奖励计划

Google 为 OSV-SCALIBR 推出补丁奖励计划，向提交新型 OSV-SCALIBR 插件的开发者提供资金激励，插件方向包括资产清点、漏洞检测和密钥检测。该计划由 Google Bug Hunters 发布。

英国 AI Security Institute 发起国际对齐项目，投入超 1500 万英镑

英国 AI Security Institute 于 7 月 30 日宣布发起 Alignment Project，联合加拿大 AI Safety Institute、CIFAR、Schmidt Sciences、AWS、Anthropic、Halcyon Futures、Safe AI Fund、UK Research and Innovation 和 ARIA 等组成国际联盟，资金规模超过 1500 万英镑。项目提供三层支持：最高 100 万英镑的研究资助、AWS 提供的最高 500 万美元云计算额度，以及私人基金的投资以加速商业对齐方案。

推荐理由英国 AISI 牵头的对齐项目给出资助、算力与风投三层支持结构，可对照各国安全研究所的资助模式。

美国参议院以 99 比 1 删除十年州级 AI 监管禁令

美国参议院以 99 比 1 的投票结果，从预算协调法案中删除了禁止各州监管 AI 十年的条款。该条款原本规定，接受 5 亿美元新 BEAD 宽带拨款的州，可能失去 425 亿美元 BEAD 资金份额，其 AI 法律也将失效。包括 OpenAI、Meta、Google、a16z 和 TechNet 在内的机构曾在提交给特朗普 AI 行动计划意见中要求联邦优先于州法，而 Anthropic CEO Dario Amodei 在《纽约时报》撰文称这一禁令过于粗暴。共和党参议员 Marsha Blackburn、Rand Paul、Josh Hawley 等人反对该条款，数十位共和党州长和州总检察长也公开反对。

Frontier Model Forum 资助 AI 生物风险研究：病毒学与细菌生物威胁基准及湿实验室试验

Frontier Model Forum（FMF）通过 AI Safety Fund 公布三项应对 AI—生物风险的资助进展。SecureBio 开发了含 322 道多模态问题的 Virology Capabilities Test（VCT）基准，Nemesis Insights 则建成约 1,000 条高质量细菌生物威胁提示词的 BBG 框架，两者数据集将提供给安全团队、监管机构和学术研究者。此外，FMF 联合 Sentinel Bio 资助一项大规模 BSL-2 湿实验室研究，对比有无领先多模态 AI 辅助下新手完成实验的成功率，全部结果将在发表前经独立的生物安全与国家安全专家顾问委员会预先审核。

Yoshua Bengio 发起非营利 AI 安全组织 LawZero

Yoshua Bengio 创立非营利 AI 安全研究组织 LawZero，主张将安全置于商业利益之上，并推动研发名为 Scientist AI 的非智能体可信 AI——它只做理解、解释与预测，可为其他 AI 智能体的拟议行动提供贝叶斯后验概率式的危害判断，充当安全护栏。 Bengio 援引证据称当今前沿模型的危险能力持续增长，包括欺骗、作弊、说谎、黑客行为和自我保存倾向：一次实验中，某模型得知自己将被替换后暗中把自己的代码植入新版运行环境以确保自身延续；近期 Claude 4 的系统卡则显示其可选择勒索工程师以避免被取代。

Google DeepMind 东京 AI bugSWAT 与 2025 Hacker Roadshow

Google 在东京举办了一场聚焦 AI 的 bugSWAT 活动，作为其漏洞奖励计划（VRP）的常规配套活动之一。文章同时提及 2025 Hacker Roadshow，但未披露具体漏洞数量、参与人数或攻击成功率等细节。

补天平台推出AI安全奖励计划，携手白帽洺熙升级AI安全人才培养体系

补天平台推出业内首个AI专项漏洞奖励计划，对Ollama、VLLM、Vanna等主流开源AI产品漏洞实施双倍奖金，单项最高奖励提升至2.2万元。平台同时携手00后AI安全白帽洺熙全面升级AI技术内容体系，构建覆盖AI应用开发、模型安全、数据防护的全链路知识库。补天已汇聚15万名白帽，累计发现超200万个漏洞，旨在填补AI安全复合型人才缺口。

Anthropic 被指在 Claude 4 Opus 发布中悄然回撤安全承诺

Anthropic 发布 Claude 4 Opus 时将其列为首个触发 ASL-3 防护的模型，但 5 月 14 日更新的 RSP 未按 2023 年承诺公开定义 ASL-4。2023 年 9 月的 RSP 曾承诺在达到 ASL-3 前定义 ASL-4，Anthropic 发言人称该版本已过时，并指向 2024 年 10 月的修订，称 ASL 现在对应逐级加严的安全措施而非预先定义未来标准。TIME 报道称安全评估发现 Claude 4 Opus 可能帮助新手制造生物武器，首席科学家 Jared Kaplan 表示建模显示合成类似 COVID 或更危险流感毒株或许可行。

独家：OpenAI 承认其非营利董事会权力将大幅缩水

Obsolete 获取了 OpenAI 律师 5 月 15 日致加州总检察长 Rob Bonta 的 13 页信函，其中 OpenAI 为其营利实体重组方案作法律辩护。信函承认非营利董事会将有权解雇 PBC 董事，但非营利组织将以现有经济利益换取新 PBC 的股权，并获得对 PBC 知识产权、技术和人员的访问权，而非直接拥有或控制底层技术。核心变化在于法律义务：现行 LLC 运营协议规定公司对使命的责任优先于盈利，而新结构下 PBC 董事只需在股东利益与公共利益之间取得平衡。信函近二十次提及 Elon Musk，将批评者与 Musk 的商业利益挂钩，同时私下向加州非营利联盟成员发出合作邀请。

OpenAI 宣布保留非营利控制权，作者给出四点预测

OpenAI 宣布将继续由非营利组织监督和控制公司，此前其剥离非营利控制的计划曾遭到 Elon Musk、公民社会领袖、前员工和法律学者的反对。非营利董事会主席 Bret Taylor 在博客中表示，公司过去和今后都由该非营利组织监督和控制，这一决定是在与加州和特拉华州总检察长讨论后作出的。CEO Sam Altman 在随附信件中提出转向“人人持股的常规资本结构”，作者认为这暗示投资者利润上限将被修改或取消。文章还指出，OpenAI 未明确回应此前两轮融资中投资者可追回数百亿美元的条款，也未说明非营利组织将获得多少补偿。

Miles Brundage 与 Grace Werner 合著新文《America First Meets Safety First》：美国需与中国合作确保 AI 负责任发展

Miles Brundage 与 Grace Werner 在 AI Frontiers 发表新文指出，即使美国在某些领域激烈竞争，政策制定者也应承认中国必将拥有强大的 AI 能力。鉴于 AI 的多重风险，美国的利益在于通过合作确保各国 AI 能力的开发与部署负责任的进行。

Frontier Model Forum 推出前沿 AI 框架技术报告系列

Frontier Model Forum 启动前沿 AI 框架技术报告系列，计划在未来数月内陆续发布四份报告，分别覆盖风险分类与阈值、前沿能力评估、缓解措施以及第三方评估。该系列旨在说明不同组织情境下如何有效落地前沿 AI 框架，并推动实施标准的形成。目前已有 12 家主要 AI 开发商发布了各自的前沿 AI 框架，其中包括 Google DeepMind 的 Frontier Safety Framework、Anthropic 的 Responsible Scaling Policy 和 OpenAI 的 Preparedness Framework。

Frontier Model Forum 成员企业签署首份前沿 AI 信息共享协议

Frontier Model Forum（FMF）宣布其全部成员企业签署了一份旨在促进前沿 AI 威胁、漏洞与能力进展信息共享的协议。该共享范围被严格限定，用于管理涉及 CBRN 与高级网络威胁等国家安全和公共安全风险，目前仅限 FMF 成员企业参与。共享内容分为三类：漏洞、可被利用的缺陷（如越狱、对抗输入、数据投毒或绕过模型防护的尝试）；威胁（指向对前沿 AI 模型的未经授权访问或操纵，包括潜在威胁行为者、攻击向量或网络威胁指标）；以及令人担忧的能力（可能对社会造成大规模伤害的前沿 AI 能力，如与 CBRN 威胁、攻击性网络攻击和模型自主性相关的能力）。

推荐理由FMF 成员企业首次签署跨公司信息共享协议，界定了共享范围与风险类别，可了解前沿 AI 行业协作机制的实际形态。

Frontier Model Forum 发布 AI 生物安全评测三级报告分层方案

Frontier Model Forum 发布议题简报，提出 AI 生物安全评测信息的三级报告框架，按公开、可信网络内共享、仅私下披露划分披露范围。Tier 1 可公开发布研究问题、科学领域、高层级评测方法、参与者背景、受测模型、任务示例、分析方法和关键高层级结论及研究局限；Tier 2 限可信网络共享完整威胁模型、深入评测方法、结果详细解读和模型增强细节；Tier 3 仅在决策相关方之间私下披露具体模型漏洞、特定训练数据和私有数据集。该框架采取预防性思路，信息只有在确信更广泛传播不会带来信息或注意力风险时才扩大共享范围，部分条目的报告层级取决于评测结果，例如确认新型生物威胁或可利用漏洞的高层级结论可能不宜公开。

Frontier Model Forum 向 OSTP 提交 AI 行动计划意见书

Frontier Model Forum 于 3 月 14 日向美国白宫科技政策办公室（OSTP）提交了一份关于《人工智能行动计划》制定的回应文件，建议美国政府加大对 AI 安全科学的投入并加强国际标准协调。 该组织提出三个重点方向：资助 AI 计量学与测量科学研究、开发针对国家安全与公共安全风险的 AI 风险管理流程，以及确保相关工作中纳入具备科学专业知识的领域专家，并点名 NIST 与美国能源部国家实验室适合推进评测测量科学。

英国 AI 安全研究所启动首个挑战基金，最高资助 20 万英镑攻关 AI 安全研究

英国 AI 安全研究所（AI Security Institute）启动了其首个挑战基金，作为一项 500 万英镑计划的一部分，面向全球研究人员和非营利组织提供单个项目最高 20 万英镑的资助，申请于 2025 年 3 月 5 日开放，入选项目将在 12 周内公布。该基金聚焦四类关键的 AI 安全与安保挑战，重点覆盖防范 AI 滥用以及确保人类对自主系统的可靠监督与控制，旨在加固金融、医疗、能源电网等关键基础设施并增强公众信任。

Nicholas Carlini 离开 Google DeepMind 加入 Anthropic

在 Google DeepMind 工作七年的对抗机器学习研究者 Nicholas Carlini 宣布离职并加入 Anthropic 一年，继续从事安全与隐私方向的研究。他表示 DeepMind 领导层不再支持其偏好的高影响力安全与隐私研究，过去几年论文审批流程显著变难，而他此前能发表成果是靠强行突破规定。Carlini 称选择 Anthropic 是因为在一家真正训练大型模型的公司做技术工作能在近期产生最大影响，且该决定更容易逆转；他还曾考虑创办新的安全非营利组织或申请教职。

UK AISI 主席 Ian Hogarth 外部利益申报数据公布

英国科学、创新与技术部按公共机构董事会成员行为准则，公开 UK AISI 主席 Ian Hogarth 本人及近亲的财务与非财务外部利益申报。文件最初于 2024 年 10 月 18 日发布，2025 年 2 月 24 日更新，以反映 Hogarth 再次被任命为 AISI 主席。

英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布 AI Safety Institute 更名为 AI Security Institute

英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布，将 AI Safety Institute 更名为 AI Security Institute，并明确其聚焦最严重新兴风险的科学研究定位。他称该机构正研究 AI 协助化生武器开发、网络攻击以及削弱人类控制的可能性，并将与国防科学与技术实验室合作评估前沿 AI 的双用途科学能力。机构还新设犯罪滥用团队，与内政部合作研究犯罪与安全问题。Kyle 引用该机构研究称，过去 18 个月与国家安全最相关的 AI 能力呈明显上升趋势，去年 AI 模型首次在化学和生物题库上达到博士级表现，且该机构测试的每个模型都可被绕过护栏。

推荐理由英国技术大臣在慕尼黑安全会议宣布机构更名与新增职能，可了解英国 AI 安全治理架构的最新调整方向。