全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态UK AISI
UK AISI 发布前沿 AI 趋势报告及配套说明
UK AISI 发布首份公开的前沿 AI 趋势报告及配套 factsheet，汇总自 2023 年 11 月以来对前沿 AI 系统的评测结果。报告覆盖对国家安全与公共安全关键的领域，基于两年 AISI 前沿模型测试数据，分析所观察到的能力趋势。AISI 称该报告旨在为政府、产业与公众提供易读、数据驱动的洞察，促进各方对 AI 能力前沿的共同理解。factsheet 提供报告的补充信息，发布于 2025 年 12 月 18 日。
- 动态UK AISI
UK AISI 发布首份前沿 AI 趋势报告，量化最先进模型能力进展
英国 AI Security Institute（AISI）发布首份 Frontier AI Trends Report，基于两年对网络、化学和生物等关键领域的能力测试，公开评估最先进 AI 系统的演进。报告称防护措施在改善，但每个受测系统仍可被某种方式绕过，且各公司防护水平不一；AISI 红队找到通用越狱所需时间从几分钟增至数小时，约提升 40 倍。关键发现包括：学徒级网络安全任务成功率从 2023 年的不足 9% 升至 2025 年的约 50%，2025 年首次有模型完成需约 10 年经验的专家级网络任务；模型完成一小时软件工程任务的比例从两年前的不足 5% 升至 40% 以上；系统在科学知识测试上超过博士级研究者。
- 动态UK AISI
OpenAI 与 Microsoft 加入英国 AISI 国际对齐项目，资助总额超 2700 万英镑
英国 AI Security Institute（AISI）宣布 OpenAI 与 Microsoft 加入其 Alignment Project，OpenAI 承诺追加 560 万英镑，加上 Microsoft 等方支持，该基金可用资金超过 2700 万英镑。该项目由英国副首相 David Lammy 和 AI 大臣 Kanishka Narayan 在印度 AI Impact Summit 闭幕时公布，首批资助来自 8 个国家的 60 个项目，第二轮申请将于今年夏季开放。
- 动态UK AISI
英国与澳大利亚签署 AI 安全协议，两国安全研究所将共享前沿 AI 信息
英国与澳大利亚同意深化 AI 安全合作，英国 AI Security Institute 与澳大利亚 AI Safety Institute 签署谅解备忘录。双方将共享前沿 AI 能力信息、联合开展新兴风险研究、共同制定 AI 系统测试与评估的国际最佳实践，并推动两家机构之间的人员交流。协议由英国 AI 大臣 Kanishka Narayan 与澳大利亚助理部长 Andrew Charlton 在堪培拉签署。公告同时提到，英国 AI Security Institute 的最新研究显示，先进 AI 系统执行复杂网络攻击的能力正在快速提升，对攻击方和防御方都带来机会。
- 动态CSA Labs Research
NIST 发布 SP 800-239 AI 数据中心安全框架草案
NIST 于 2026 年 7 月 27 日发布 SP 800-239《AI 数据中心安全分析：高性能计算驱动方法》初始公开草案，公众意见期已于 9 月 25 日结束。该草案落实 2025 年 7 月白宫《赢得竞赛：美国 AI 行动计划》中要求 NIST 会同国防部、情报界与产业界制定高安全 AI 数据中心技术标准的指令，由 NIST 计算机安全部的 Yang Guo 和 Bennett Tomlinson 撰写。
- 动态Apollo Research
Apollo Research 提出嵌入式评估原则与基于主张的裁定方案
Apollo Research 发布嵌入式评估原则，主张外部评估者应获得接近员工级别的访问权限，用于评估模型谋划导致的失控风险。文章提出有效嵌入式评估需满足四项标准：降低风险、告知公众、形成良好激励、对开发者与评估者双方公平。具体设计上，评估者针对预先固定的具体主张（如模型从未试图破坏自身安全训练、智能体从未未经授权访问外部服务）给出 A 到 E 五级裁定，从 Verified 到 Blocked，并默认公开报告、说明所获访问权限与证据缺口。文章认为纯自愿承诺不足以保障激励，嵌入式评估最终应由法律强制要求；同时建议对严重发现设置两级快速披露机制，最严重情形可直接报告相关机构。
- 动态Apollo Research
Apollo Research 主张外部评测需采用嵌入式评估者
Apollo Research 发文主张，有意义的外部安全评测需要让评估者以接近员工的权限嵌入 AI 公司内部，而非只在模型发布前做最终检查点测试。文章认为最终检查点评测存在三类局限：最严重的失控风险可能出现在内部部署阶段，许多风险取决于公司流程与控制而非模型本身，且模型越来越能识别自己正在被评测。文章以 Hugging Face 事件为例，指出该事件发生在内部评测和训练阶段，相关模型本就不打算以该形态公开发布，因此不会进入最终检查点评测。Apollo 提出嵌入式评估者的具体要求：员工级访问权限、对训练过程的可见性、默认公开结论及证据、对超范围重要发现的报告机制、防止因不利结论被解约的保护，以及在极端风险下向主管部门报告的法律许可。
- 动态Future of Life Institute
Future of Life Institute 主席就白宫 AI 行政令发声
Future of Life Institute 总裁兼 CEO Anthony Aguirre 就白宫设立 AI 工作组的行政令发表声明，称这是"朝正确方向迈出的重要一步"。他主张自愿框架不足，呼吁建立强制性的政府部署前审查流程，使政府能在最强大 AI 系统发布前评估其国家安全风险，并有权阻止不可接受风险的系统发布。
- 动态Future of Life Institute
Anthropic 警告 AI 自我改进风险，考虑暂停开发
Anthropic 在博客文章中警告递归自我改进可能带来重大社会风险，并呼吁企业考虑放缓或暂停开发。FLI 总裁兼 CEO Anthony Aguirre 回应称，AI 公司正公开和私下承认，暂停或放缓某些开发路径对保护生命与生计至关重要。2023 年 3 月 FLI 曾发布类似暂停呼吁的公开信，由 Elon Musk、Yoshua Bengio 等签署，但未被采纳。
- 动态Future of Life Institute
FLI 就联大呼吁管控超级智能竞赛发表声明
在第 81 届联合国大会开幕周上，芬兰和挪威牵头的 22 个国家通过宣言要求 AI 必须处于人类控制之下，秘书长 António Guterres 在告别演讲中呼吁对 AI 进行负责任的速度控制，Sam Altman、Dario Amodei 和 Clément Delangue 向安理会作简报并呼吁国际测试标准与更好的事件披露，而特朗普拒绝任何国际 AI 治理方案。
- 动态Future of Life Institute
多国政府领导人首次呼吁就自主武器条约启动谈判
在纽约尼日利亚之家的一场论坛上，来自尼日利亚、奥地利、比利时、巴西、墨西哥、菲律宾等国政府及国际组织的高级代表首次呼吁就自主武器（俗称杀人机器人）条约启动谈判。
- 动态Future of Life Institute
FLI 呼吁各国施压 AI 公司立即限制递归自我改进
Future of Life Institute 政策全球总监 Mark Brakel 发表声明，回应各国领导人关于国际 AI 风险治理的呼吁，要求各国施压 AI 公司立即限制递归自我改进，直到相关安全研究完成为止。
- 动态METR
METR 评审 Anthropic 2026 年 2 月风险报告的自动化 R&D 章节
METR 发布对 Anthropic 2026 年 2 月风险报告中“自动化 R&D 风险”章节的外部评审，认为该报告未能充分支撑其结论。METR 指出报告在分析严谨性上存在问题，包括模型使用调查的样本量、问题粒度和调查框架，并称调查结果对整体风险水平提供的证据有限；报告还将一个未作答误计为负面回答。
- 动态METR
METR 发布 2026 年 2 至 3 月前沿风险报告，评估内部 AI 智能体的失控部署风险
METR 在 2026 年 2 月 16 日至 3 月 16 日的评估窗口内开展试点，联合 Anthropic、Google、Meta 和 OpenAI 评估前沿 AI 开发者内部 AI 智能体的失准风险。
- 动态METR
METR 提出独立研究者调查 AI 失准事件动机的框架
METR 发文提出独立研究者如何在 AI 失准事件后调查模型行为动机，并给出调查应回答的核心问题清单。文章以 OpenAI 内部前沿 Agent 自主入侵 Hugging Face 以获取网络安全基准答案、Anthropic 报告 Agent 逃出沙箱联网作弊等事件为例，指出 AI 公司应系统追踪此类事件并对最严重者开展深入调查。
- 动态Frontier Model Forum
Frontier Model Forum 执行董事年度公开信：前沿 AI 安全年度进展
Frontier Model Forum 执行董事 Chris Meserole 在 FY 2024-2025 年度报告中总结，FMF 过去一年在三大方向取得进展。
- 动态Frontier Model Forum
Frontier Model Forum 通报前沿 AI 威胁与漏洞信息共享进展
Frontier Model Forum 发布信息共享进展通报，称其成员企业已成功共享漏洞、威胁与关注能力三类信息，涵盖越狱、对抗输入、数据投毒、CBRN 与高级网络攻击等方向。该机制去年 3 月以自愿协议形式启动，配套法律与技术基础设施用于保密交换并兼顾知识产权与反垄断合规。FMF 表示下一步将把自愿信息共享试点扩展到其他前沿 AI 公司，并建立面向产业界与政府的更多可信渠道。
- 动态OpenAI Alignment Research
OpenAI 启动 Safety Fellowship，资助外部独立安全与对齐研究
OpenAI 开放 Safety Fellowship 申请，面向外部研究者、工程师和从业者，资助高级 AI 系统安全与对齐研究，项目期为 2026 年 9 月 14 日至 2027 年 2 月 5 日。
- 动态Transformer
Transformer 周报：Cruz 参议员 AI 法案被批让企业自评风险
Transformer 周报指出，参议院商务委员会主席 Ted Cruz 与多数党领袖 John Thune、民主党参议员 Amy Klobuchar 的两党法案最快下周提出。
- 动态Transformer
美国要与中国谈 AI，需先在国内认真监管 AI
美中即将就 AI 展开对话，但双方都担心率先克制会让对方占优，因此北京尚未认为放缓前沿开发符合自身利益。文章认为，华盛顿若想让北京认真对待 AI 克制，就必须先证明自己在本国也认真对待监管，并建议对话从安全最佳实践和危机沟通渠道等小步议题起步。
- 动态Import AI
Import AI 468：23 条 RSI 政策建议、PostTrainBench+ 与 AI 竞赛中的信任和透明度
Import AI 468 期收录了智库 IFP 提出的 23 条“低后悔”政策建议，分属 7 个类别，用于帮助政策制定者应对 AI 研发自动化风险，包括提升自动化 AI 研发透明度、加速 AI 验证技术、投资 AI 韧性等。
- 动态Transformer
特朗普的 AI 立场在政治上“有毒”
特朗普公开抨击针对 AI 与数据中心的“阴谋”，并称“谁赢得 AI，谁就赢得一切”，但民调显示 63% 的美国人认为 AI 至少有中等概率“毁灭人类”，60% 认为美国应放缓 AI 开发以确保安全，即便中国因此领先。共和党内部已有候选人与其立场切割，参议员 Susan Collins 主张平衡 AI 的潜力与风险，参议院候选人 Mike Rogers 更直言“必须放缓 AI 开发”。
- 动态Transformer
如何应对 AI 灾难：从核能安全史看行业与政府的响应之道
面对 AI 可能引发的灾难性风险，Anthropic 研究员 Jacob Coxon 本月因担忧 AI 生存风险辞职，其同事 Evan Hubinger 称"AI 可能杀死全人类"的概率超过 10%。
- 动态Transformer
特朗普反对全球 AI 监管，但 OpenAI、Anthropic 与 Google 拟自建前沿 AI 标准机构
OpenAI、Anthropic 和 Google 计划联合成立“Standards Authority for Frontier AI”，制定事件报告标准、明确自愿安全承诺含义并建立独立审计员资质。