跳到正文

安全评测 · News

10月12日 · 周一

安全评测 · News

按原发与事件进展排列
安全评测

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架

当前：安全评测

9月22日周二
  1. OpenAI · 25

    OpenAI 提出第三方 AI 安全评估的优先事项与原则

    OpenAI 提出对前沿模型及其防护措施开展严格、安全、独立第三方 AI 安全评估的优先事项与原则。内容聚焦评估的严谨性、安全性与独立性，适用于前沿模型及其防护措施的第三方评估。

9月19日周六
9月18日周五
  1. 日本 AI 安全研究所（J-AISI） · 8

    日本 AI 安全研究所（J-AISI）将举办 2026 年度「AI 安全评估环境 研讨任务组」总会

    日本 AI 安全研究所（J-AISI）将于 2026 年 10 月 7 日在线举办 2026 年度「AI 安全评估环境 研讨任务组」总会，免费公开，非任务组成员也可报名，截止 10 月 5 日 16:00。该任务组由多家 AI 相关企业参与，讨论其以开源软件形式公开的「AI 安全评估环境」评估工具的定位与功能强化方向。会议内容包括 AISI 活动介绍、AI 安全评估观点、AI×安全最新动向、评估环境与任务组活动介绍，以及 AI 安全评估专题讨论。

9月15日周二
8月14日周五
  1. METR · 29

    METR 近 6 个月获约 7100 万美元资助，用于自主能力与递归自我改进研究

    METR 在近 6 个月获得约 7100 万美元资助承诺，用于研究自主能力、追踪递归自我改进、评估监控系统、开展风险评估和调查 AI 事件。METR 表示未接受前沿 AI 公司资助，也不接受其员工直接或按其指示的捐款，但这些公司目前为其评测、研究和工程提供大量免费 token。该机构正在扩充团队并启动新项目。

7月6日周一
  1. SecureBio · 15

    SecureBio AI 负责人 Seth Donoughe 卸任，Jasper Götting 接任

    SecureBio AI 团队主任 Seth Donoughe 卸任，将 AI 研究负责人一职交给自 2024 年起领导该团队 AI 研究的病毒学家 Jasper Götting。Donoughe 指出，当 AI 科学能力超越所有人类专家后，基于人类专家知识构建的基准将失去动态范围，需转向人类可验证但专家难以完成的任务（如预测实验结果），而 SBAI 正投入该方向；但该方法不适用于评估新想法、判断与研究方向的产出。他还强调需研究人机混合科学家，并建立 AI 驱动科学发现的安全流程。

7月4日周六
  1. SecureBio · 28

    SecureBio 的模型评估原则与实践

    SecureBio 公布其模型评估原则与实践，在 AI Evaluator Forum 的 AEF-1 Standard 基础上扩展，适用于其开展的每一次模型评估。该机构评估接近部署配置的预发布模型快照，并申请访问无安全过滤或安全微调的版本，以在护栏被绕过时评估模型底层能力。SecureBio 已开展多次生物安全预发布评估，最近一例为 GPT-5.6 Sol，此前曾独立发布 GPT-5.5 的评估报告。

3月27日周五
  1. NIST CAISI · 35

    CAISI 与 OpenMined 签署 CRADA，推进隐私保护型 AI 评测

    美国 AI 标准与创新中心（CAISI）与开源非营利组织 OpenMined 签署合作研发协议（CRADA），共同研究隐私保护型 AI 评测方法。合作将利用 OpenMined 的 PySyft 等软件基础设施，在数据、模型或基准需保密（如知识产权、数据保护或国家安全）的情况下仍能对 AI 系统进行严格测量。相关成果将支持 NIST 在 AI 安全与应用评测方面的工作，并为自愿性标准、最佳实践及后续建议提供依据。

1月14日周三
  1. FAR.AI · 29

    FAR.AI 获超 3000 万美元多资助方支持，扩展前沿 AI 安全研究

    FAR.AI 在 2025 年获得超 3000 万美元资助承诺，资助方包括 Coefficient Giving、Schmidt Sciences、Survival and Flourishing Fund、CSET 和由 Frontier Model Forum 支持的 AI Safety Fund。资金将用于把技术研究团队从 15 人扩至 30 人以上、新设技术治理部门、每年支持 20 名以上研究员，并将 Alignment Workshop 从每年两场增至三场、拓展至亚洲和全球南方。FAR.AI 计划到 2028 年取得 3-5 项重大技术突破，并推动前沿实验室采纳安全标准。

2025年12月9日周二
  1. UK AISI · 25

    国际 AI 安全研究所网络更名为国际先进 AI 测量、评估与科学网络，英国担任协调员

    国际 AI 安全研究所网络在圣地亚哥会议后更名为国际先进 AI 测量、评估与科学网络，英国出任网络协调员。该网络 2024 年 11 月成立，成员包括澳大利亚、加拿大、欧盟、法国、日本、肯尼亚、韩国、新加坡、英国和美国，旨在就先进 AI 能力测量与评估建立共享科学理解和国际认可方法。会议与 NeurIPS 同期举行，各方承诺加倍聚焦 AI 测量与评估科学。

2025年6月14日周六
  1. Frontier Model Forum · 32

    Frontier Model Forum 资助 AI 生物风险研究：病毒学与细菌生物威胁基准及湿实验室试验

    Frontier Model Forum（FMF）通过 AI Safety Fund 公布三项应对 AI—生物风险的资助进展。SecureBio 开发了含 322 道多模态问题的 Virology Capabilities Test（VCT）基准，Nemesis Insights 则建成约 1,000 条高质量细菌生物威胁提示词的 BBG 框架，两者数据集将提供给安全团队、监管机构和学术研究者。此外，FMF 联合 Sentinel Bio 资助一项大规模 BSL-2 湿实验室研究，对比有无领先多模态 AI 辅助下新手完成实验的成功率，全部结果将在发表前经独立的生物安全与国家安全专家顾问委员会预先审核。

2025年4月22日周二
  1. Frontier Model Forum · 23

    Frontier Model Forum 推出前沿 AI 框架技术报告系列

    Frontier Model Forum 启动前沿 AI 框架技术报告系列，计划在未来数月内陆续发布四份报告，分别覆盖风险分类与阈值、前沿能力评估、缓解措施以及第三方评估。该系列旨在说明不同组织情境下如何有效落地前沿 AI 框架，并推动实施标准的形成。目前已有 12 家主要 AI 开发商发布了各自的前沿 AI 框架，其中包括 Google DeepMind 的 Frontier Safety Framework、Anthropic 的 Responsible Scaling Policy 和 OpenAI 的 Preparedness Framework。

2025年3月19日周三
  1. Frontier Model Forum · 40

    Frontier Model Forum 发布 AI 生物安全评测三级报告分层方案

    Frontier Model Forum 发布议题简报，提出 AI 生物安全评测信息的三级报告框架，按公开、可信网络内共享、仅私下披露划分披露范围。Tier 1 可公开发布研究问题、科学领域、高层级评测方法、参与者背景、受测模型、任务示例、分析方法和关键高层级结论及研究局限；Tier 2 限可信网络共享完整威胁模型、深入评测方法、结果详细解读和模型增强细节；Tier 3 仅在决策相关方之间私下披露具体模型漏洞、特定训练数据和私有数据集。该框架采取预防性思路，信息只有在确信更广泛传播不会带来信息或注意力风险时才扩大共享范围，部分条目的报告层级取决于评测结果，例如确认新型生物威胁或可利用漏洞的高层级结论可能不宜公开。

日期待核
  2. NIST CAISI · 41

    CAISI 与 GSA 签署 MOU，为 USAi 平台提供 AI 评测支持

    美国 AI 标准与创新中心（CAISI）与总务管理局（GSA）签署谅解备忘录，为联邦政府的安全生成式 AI 平台 USAi 提供 AI 评测支持。CAISI 将运用其测量科学专长，协助 GSA 及合作机构开发方法，在 USAi 平台的真实用户工作流中评估 AI 系统的性能、安全与功能。双方还将共同产出支持联邦机构采购和采用 AI 的资源，包括部署前评估的方法学指南，以及让机构按自身任务衡量部署后表现的工具。该合作建立在 CAISI 与领先 AI 公司及其他政府伙伴的既有工作之上，并推进美国 AI 行动计划中要求 CAISI 支持 AI 模型测量与评估科学、发布联邦机构自评指南的部署。

已经到底了