跳到正文

#前沿安全框架

今天还没有收录新动态
10月1日周四
  1. Google DeepMind · 60

    Google DeepMind 发布 Gemini 4 Argon,先向可信网络防御者开放

    Google DeepMind 发布前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向一批可信网络防御者开放,并参与美国政府的前置模型访问自愿流程,之后再逐步扩展到开发者、企业和消费者。Argon 面向长周期复杂工作流,输出 token 上限从 64K 提升到 1M,在 DeepSWE v1.1 上取得 77.9%,在 LVBench 长视频理解上取得 91.7%,在 Zapier 的 AutomationBench 上以 51.3% 排名第一。

    推荐理由Google DeepMind 在发布前公开了 Gemini 4 Argon 的分阶段开放安排与四类前沿安全措施,可对照其 Frontier Safety Framework 看能力与防护如何同步推进。

9月29日周二
9月23日周三
  1. AI Safety in China (Concordia AI) ·

    TC260 发布 AI 安全治理框架 3.0,风险条目从 30 项增至 54 项

    中国主要 AI 标准制定机构 TC260 发布《AI 安全治理框架》3.0,风险条目从上一版的 30 项增至 54 项,开篇即指出 AI 已从“回答问题”转向“执行任务”。新增内容覆盖智能体运行风险,包括提示注入、工具投毒、身份伪造、记忆污染、凭证窃取和长周期任务中的目标劫持,并提出分阶段放权、高风险任务人工签核、工具与插件安全审计、运行时护栏等措施。框架还首次纳入具身智能风险、自主网络攻击、模型拒绝关机、欺骗评估者、故意藏拙等智能体失准行为,并将网络安全风险单列一节。在开源与闭源模型上给出更平衡的评估,同时新增个人信息保护、文化与社会风险、环境保护等类别,并呼吁在金融、教育、广电、医疗等领域探索监管沙盒。该框架不具约束力,但由 CAC 指导起草,被视为后续标准制定的蓝图。

9月22日周二
9月21日周一
9月17日周四
  1. OpenAI News · · 原文 65

    OpenAI 发布模型失准报告框架并附六份异常行为报告

    OpenAI 公布了一套用于跟踪、调查和披露模型失准(misalignment)的框架,并随框架一同发布六份关于模型意外或令人担忧行为的报告。材料未提供框架的具体流程细节,也未说明六份报告涉及的模型与行为类型。

    推荐理由OpenAI 公开模型失准的报告框架,并同时发布六份异常行为报告,可了解其披露流程与案例范围。

9月11日周五
  1. Microsoft On the Issues ·

    Microsoft 发布 Safe Participation Framework:面向下一代的安全参与框架

    Microsoft 公布 Safe Participation Framework,围绕设计安全和年龄差异化体验两大支柱,为未成年人提供隐私保护且适龄的在线与 AI 体验。 该框架强调从源头识别风险并实施相称的保护措施,延续其自 2009 年 PhotoDNA 以来的投入,并将相关经验应用到 Copilot——所有用户需登录方可使用,13 岁以下儿童访问受限(当地法律另有规定的除外)。 同时推出的还有新的 Windows Age API、增强的年龄保证能力和家庭安全工具,旨在向开发者提供可信的年龄信号,帮助建立跨生态一致且注重隐私的适龄体验基础。

9月10日周四
  1. AI Safety in China (Concordia AI) ·

    中国网信办官员警示 AI 失控与生物风险,Z.AI 首次因安全推迟 GLM-5.3 权重发布

    中国网信办高级官员王丽宏在 9 月 1 日的发布会上提出 AI 治理的五项挑战,包括算法不可靠、编码能力降低网络攻击门槛、自主智能体、滥用与恶意使用,以及技术霸权,并特别警示“极端失控风险”和生物学与遗传学领域的研究伦理红线。简报认为这是网信办官员首次如此突出地把生物与遗传学列为 AI 风险领域,此前该风险多出现在标准文件中。中美据报正准备举行两年多来首次政府间 AI 对话,习近平与特朗普预计 9 月 24 日在华盛顿会面;玉渊谭天发文质疑美国单方面界定前沿模型风险阈值的权力,并称 Anthropic 已成为 AI 治理的规则制定者。TC260 预计在 9 月 14 至 20 日的国家网络安全宣传周发布更新版 AI 安全治理框架。

9月9日周三
9月1日周二
  1. Microsoft On the Issues ·

    微软发布 2026 负责任 AI 透明度报告:如何为未来调整治理

    微软发布第三份年度《负责任 AI 透明度报告》,围绕自适应治理与技术风险管理、实用工具与能力、共享实践与合作伙伴关系三个方向调整其负责任 AI 项目。报告称已重构 Responsible AI Standard,按模型、平台服务、应用等技术栈组件分层设定要求,并对具备最强网络能力的 AI 系统施加最严格的风险管理措施。微软还推出 AI Red Teaming Agent、Agent evaluators、RAMPART、ASSERT 与 Agent Control Specification 等工具,用于智能体系统的评估、运行时控制和行为监控,并称其为少数在广泛产品组合上通过 ISO 42001 认证的公司之一。

8月27日周四
  1. Google DeepMind · · 原文 63

    Google DeepMind 试点全球首个双盲 AI 评测

    Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测,把外部评测限制在密码学“盒子”内,避免测试题目被模型提前用于优化性能。该试点与新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境中用保密基准测试一个 Gemini Flash Lite 模型。Google 表示,随着模型能力提升,确保模型未提前见过测试题目或提示词对评测可信度至关重要,基准污染会人为抬高分数并削弱政策制定者、研究人员和企业对评测的信任。此前外部测试提示词主要依靠零日志协议和合同保障保密,此次引入技术与密码学手段被视为安全模型评测的重要一步。

    推荐理由Google DeepMind 与新加坡 AISI 等机构用密码学环境做双盲评测,为基准污染问题提供了一种可迁移的评测流程。

8月14日周五
  1. Google DeepMind ·

    Google DeepMind 发布 Gemini 3.7 Flash,面向编程与智能体工作流

    Google DeepMind 推出 Gemini 3.7 Flash,距 Gemini 3.6 Flash 仅三周,定位其最强编程与智能体主力模型。该模型在 FrontierCode 1.1 Main(43.6% vs 34.4%)和 DeepSWE v1.1(65.3% vs 49.0%)上升明显,WebDev Arena Elo 达 1588(对比 1538)。首发价为每百万输入 token 0.75 美元、输出 3.75 美元,并同步更新 Gemini Spark,针对 CBRN 与网络攻击场景升级 Frontier Safety 防护措施。

8月12日周三
  1. AI Safety in China (Concordia AI) ·

    Concordia AI 发布 2026 Q2 前沿 AI 风险监测报告:多项风险指数一年内上升数倍

    Concordia AI 在 2026 年 7 月 19 日的 WAIC 上发布前沿 AI 风险监测平台 v2.0,包含风险指数 v2.0、2026 Q2 风险监测报告和前沿 AI 风险基准数据库。报告覆盖 13 家公司 2025 Q3 至 2026 Q2 发布的 47 个前沿模型,包括 GPT-5.5、Claude Opus 4.8、Grok 4.3、DeepSeek V4 Pro、Qwen 3.7 Max、豆包 Seed 2.1 Pro、混元 3.0 Preview、文心 5.1、MiniMax M3、Kimi K2.6、GLM 5.2 和 MiMo V2.5 Pro。风险指数 v2.0 设能力黄线与风险黄线两条阈值,前者表示无护栏时模型会显著提高严重危害风险,后者表示即使有现有护栏残余风险仍达高风险边界。

8月11日周二
  1. AI Safety in China (Concordia AI) ·

    2026 WAIC 上海前沿与智能体 AI 安全论坛要点总结

    2026 年 7 月 19 日,Concordia AI 在上海世界人工智能大会(WAIC)举办前沿与智能体 AI 安全论坛,约 30 位专家参会、现场约 300 名观众,直播观看量超 30 万。图灵奖得主 Yoshua Bengio 在主题演讲中指出 AI 在推理、编程、科学与自主智能体能力上快速进步,而安全措施未能同步,并强调开放权重模型在撤回部署、移除护栏与风险评估上的独特挑战。论坛围绕前沿 AI 风险监测、智能体 AI 全生命周期安全治理与全球治理视角三大主题展开。

7月31日周五
  1. 欧盟委员会 Digital Strategy(AI 相关) · · 原文 74

    欧盟委员会 8 月 2 日起执行 AI Act 规则与新的透明度要求

    欧盟委员会 AI Office 将与各国主管机构一道,从 2026 年 8 月 2 日起开始执行《人工智能法案》(AI Act),同日新的透明度规则生效。规则要求聊天机器人等交互式 AI 系统必须告知用户其面对的是 AI 而非真人,深度伪造(deepfake)图像、视频或音频必须加注标签,AI 生成或修改的内容还须带有机器可读标记以便识别。欧盟委员会称这些措施旨在减少欺骗与操纵、帮助人们做出知情选择,同时为企业提供更清晰的义务和可操作的合规方式。委员会还公布了首批 180 多家签署《AI 生成内容透明度行为准则》的机构名单,该准则用于落实 AI 生成内容透明度规则。

    推荐理由欧盟 AI Act 透明度义务进入执法阶段,梳理了聊天机器人告知、深伪标注与机器可读标记的具体要求。

7月28日周二
  1. AI Safety in China (Concordia AI) ·

    2026 WAIC 上的中国 AI 安全动向:习近平讲话、主席声明与 WAICO 成立

    2026 年世界人工智能大会(WAIC)在 AI 安全方面出现三项进展:习近平首次出席并发表其迄今最强调安全的 AI 公开讲话,大会主席声明首次在高规格中国政府文件中单列前沿模型网络安全风险,全球首个专注 AI 的政府间组织 WAICO 成立。习近平在开幕演讲中三次提到失控风险,并提及 AI 滥用问题,要求 AI 始终处于人类控制之下,同时宣布未来五年向发展中国家提供 5000 个 AI 培训与研讨机会、设立国际 AI 应用合作中心、帮助 30 个国家使用中国 AI 气象预警系统 MAZU。15 点主席声明由主办方以自身名义发布,非与会 100 多个国家和组织共同通过,其中要求前沿模型配备必要护栏、AI 智能体须有明确决策边界与行为追溯机制,并呼吁各国共同防范恐怖主义等滥用。

7月21日周二
  1. Google DeepMind ·

    Google DeepMind 推出 Gemini 3.6 Flash、3.5 Flash-Lite 及面向网络安全的 3.5 Flash Cyber

    Google DeepMind 发布三款新 Gemini 模型:主力模型 Gemini 3.6 Flash、最快最便宜的 3.5 Flash-Lite,以及与代码安全智能体 CodeMender 搭配的网络专用模型 3.5 Flash Cyber。据 Artificial Analysis Index,Gemini 3.6 Flash 比 3.5 Flash 减少 17% 的输出 token,价格降至 $1.50/1M 输入 token 和 $7.50/1M 输出 token,并在 DeepSWE(49% vs. 37%)等多个基准上升。

7月17日周五
  1. AI Safety in China (Concordia AI) ·

    习近平首次出席 2026 世界人工智能大会,Concordia AI 将主办前沿与智能体安全论坛

    2026 世界人工智能大会(WAIC)于 7 月 17 日至 20 日在上海举行,习近平首次亲临开幕式并发表讲话,这是该会议政治规格的新里程碑。WAIC 自 2018 年起每年举办,2018 年习近平致贺信、副总理刘鹤出席讲话,2019 至 2023 年现场最高级别出席者为上海市委书记,2024 和 2025 年由总理李强致开幕辞。本届 WAIC 设有 140 多个专题论坛,其中包含多场 AI 安全与治理论坛。Concordia AI 将于 7 月 19 日 8:45 至 12:30(UTC+8)在上海世博桐森酒店 3 楼 1、2 号功能厅主办前沿与智能体安全论坛,并在官方 WAIC App 直播;去年该论坛现场参会超 200 人、直播观看超 14000 次。

7月16日周四
  1. Google DeepMind ·

    Google DeepMind 与 Isomorphic Labs 联合公布生物韧性方案

    Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案,一方面防范威胁行为者滥用其模型,另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月,两家机构推进了超过 15 项合作,覆盖预防、检测与响应三个方向:Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途,AlphaEvolve 优化宏基因组测序算法以加快疫情侦测,Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分,并与 Frontier Safety Framework 相衔接。

7月14日周二
  1. AI Safety in China (Concordia AI) ·

    Concordia AI 发布《中国 AI 安全现状(2026)》报告及配套交互网站

    Concordia AI 发布《中国 AI 安全现状(2026)》年度报告,覆盖 2025 年 7 月至 2026 年 6 月中国在通用 AI 安全方面的进展,并上线配套交互网站。报告分国内治理、国际治理、技术安全研究、专家观点与产业治理五个领域。国内治理方面,2026 年 3 月确立的“十五五”规划(2026–2030)将“AI+”作为总体政策,同时强调风险预警与应急响应,并关注 AI 对就业的影响;开源智能体 OpenClaw 在 2026 年初扩散后,多家网络安全机构发布警告,2026 年 5 月国家网信办等三部门发布智能体专项指引,提出基于风险的治理思路。国际治理方面,中国支持联合国 AI 科学小组与全球 AI 治理对话两个新机制,并提出世界 AI 合作组织(WAICO)设想,同时与美国启动政府间 AI 对话,结束两年的官方双边冻结。

6月9日周二
  1. Redwood Research ·

    Redwood Research:高效权衡与安全-有用性权衡模型

    Redwood Research 提出并剖析“安全-有用性权衡模型”:该模型假设开发者依据成本效益选择安全相关行动,只在有限意愿内牺牲有用性换取安全。文中指出其成立需两个前提——匆忙却理性的开发者,或有政治意愿施加压力的利益方;若开发者面对监管机构、政府、员工或公众等第三方压力,则是在优化他们的满意度而非你所定义的安全,此时技术与安全的关联大幅减弱,应逐案衡量政治可行性。

5月29日周五
  1. NIST 信息技术(AI 相关) ·

    NIST 将 AI 安全研究所联盟更名为 NIST AI Consortium 并扩大范围、招募新成员

    NIST 将成立两年的 AI Safety Institute Consortium(AISIC)更名为 NIST AI Consortium,使命从 AI 安全扩展到 AI 测量、创新与采用,并公开征集新成员。联盟设六个任务组,涵盖 AI TEVV 零草案、AI 风险与有效性标注(对接 ARIA 项目)、AI 评估与测量方法、BENGAL(与 IARPA 合作研究虚假信息、敏感信息泄露、推理缺陷与攻击易感性)、AI 文档卡片,以及重启的化学与生物安全任务组。新成员按意向书先到先得遴选,现有成员须签署修订协议,成员需与 NIST 签订 CRADA。

5月25日周一
  1. UK AISI(GOV.UK 公告) · · 原文 62

    英国与澳大利亚签署 AI 安全协议,两国安全研究所将共享前沿 AI 信息

    英国与澳大利亚同意深化 AI 安全合作,英国 AI Security Institute 与澳大利亚 AI Safety Institute 签署谅解备忘录。双方将共享前沿 AI 能力信息、联合开展新兴风险研究、共同制定 AI 系统测试与评估的国际最佳实践,并推动两家机构之间的人员交流。协议由英国 AI 大臣 Kanishka Narayan 与澳大利亚助理部长 Andrew Charlton 在堪培拉签署。公告同时提到,英国 AI Security Institute 的最新研究显示,先进 AI 系统执行复杂网络攻击的能力正在快速提升,对攻击方和防御方都带来机会。

    推荐理由英国与澳大利亚 AI 安全机构签署 MoU,可了解两国在前沿模型评测与网络安全风险上的合作范围。

5月16日周六
  1. Google DeepMind ·

    Google DeepMind 与新加坡达成国家 AI 合作,推进医疗、教育与科研

    Google DeepMind 启动新一轮国家 AI 合作伙伴计划,与新加坡政府及多家机构共建面向公共部门转型、商业增长与劳动力升级的项目。双方将前沿 AI 应用于医疗健康与生命科学——包括探索 AI 辅助临床医生协作模式、借助 AlphaFold 与 Google Earth 加速东南亚疫情防范研究,并向当地研究者培训基于 Co-Scientist 构建的 Hypothesis Generation 等智能体化科研工具。教育方面向中小学至初级学院全体教师提供 Gemini for Education 并配套培训,同时在新加坡落地亚太区"AI for the Planet"加速器扶持气候科技团队。

  2. Google DeepMind ·

    Google DeepMind 发布 Gemini 3.5,首发 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型家族并率先开放 3.5 Flash,称其为迄今最强的智能体和编程模型,面向全球数十亿用户在 Gemini App、Search AI Mode、Antigravity、Gemini API 及企业版同步提供。该模型在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)、MCP Atlas(83.6%)和多模态理解(CharXiv Reasoning 84.2%)上超过 Gemini 3.1 Pro,输出速度达其他前沿模型的 4 倍,成本常低于其一半。

4月27日周一
  1. Google DeepMind ·

    Google DeepMind 宣布与大韩民国科学技术信息通信部达成合作

    Google DeepMind 与大韩民国科学技术信息通信部(MSIT)建立国家人工智能合作伙伴关系,并在首尔办公室设立 AI Campus,向韩国学术界和研究机构开放其最先进的 AI for Science 模型。首批合作对象包括首尔大学(SNU)、KAIST 及该部的三个 AI Bio Innovation Hub,涉及 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext,其中 AlphaFold 已在韩国拥有超过 85,000 名研究者用户。此外还将与韩国 AI 安全研究院(AISI)开展研究与最佳实践协作,并探讨面向韩国学生的实习机会。

4月6日周一
3月18日周三
  1. OWASP GenAI Security Project ·

    OWASP GenAI Security Project 在 RSA 2026 前扩充 LLM 与智能体安全框架

    OWASP GenAI Security Project 发布了面向 LLM 与智能体安全的更新版全景指南及配套资源,并公布其在 RSA 2026 期间的一周活动安排。该项目的《Q2 2026 Updated Landscape Guide for LLM and Agentic Security》新增供应商与工具体系文档以及智能体红队测试分类体系,覆盖开发、测试、部署与治理全生命周期。同期发布的还有自主与智能体 AI 系统风险清单、Secure MCP Server Development 指南、SBOM/AIBOM Generator 开源工具以及 AI 红队服务商评估标准。

2月20日周五
  1. UK AISI(GOV.UK 公告) ·

    OpenAI 与 Microsoft 加入英国 AISI 国际对齐项目,资助总额超 2700 万英镑

    英国 AI Security Institute(AISI)宣布 OpenAI 与 Microsoft 加入其 Alignment Project,OpenAI 承诺追加 560 万英镑,加上 Microsoft 等方支持,该基金可用资金超过 2700 万英镑。该项目由英国副首相 David Lammy 和 AI 大臣 Kanishka Narayan 在印度 AI Impact Summit 闭幕时公布,首批资助来自 8 个国家的 60 个项目,第二轮申请将于今年夏季开放。

12月18日周四
  1. UK AISI(GOV.UK 公告) · · 原文 75

    UK AISI 发布首份前沿 AI 趋势报告,量化最先进模型能力进展

    英国 AI Security Institute(AISI)发布首份 Frontier AI Trends Report,基于两年对网络、化学和生物等关键领域的能力测试,公开评估最先进 AI 系统的演进。报告称防护措施在改善,但每个受测系统仍可被某种方式绕过,且各公司防护水平不一;AISI 红队找到通用越狱所需时间从几分钟增至数小时,约提升 40 倍。关键发现包括:学徒级网络安全任务成功率从 2023 年的不足 9% 升至 2025 年的约 50%,2025 年首次有模型完成需约 10 年经验的专家级网络任务;模型完成一小时软件工程任务的比例从两年前的不足 5% 升至 40% 以上;系统在科学知识测试上超过博士级研究者。

    推荐理由英国 AISI 首次公开前沿模型能力趋势数据,给出网络、软件工程与生化任务上的量化变化,可作为评估能力增速的基线参考。

  2. UK AISI(GOV.UK 公告) · · 原文 62

    UK AISI 发布前沿 AI 趋势报告及配套说明

    UK AISI 发布首份公开的前沿 AI 趋势报告及配套 factsheet,汇总自 2023 年 11 月以来对前沿 AI 系统的评测结果。报告覆盖对国家安全与公共安全关键的领域,基于两年 AISI 前沿模型测试数据,分析所观察到的能力趋势。AISI 称该报告旨在为政府、产业与公众提供易读、数据驱动的洞察,促进各方对 AI 能力前沿的共同理解。factsheet 提供报告的补充信息,发布于 2025 年 12 月 18 日。

    推荐理由UK AISI 汇总两年前沿模型测试结果,给出首份公开的能力趋势评估,可了解官方评测覆盖的领域与结论口径。

10月30日周四
  1. UK AISI(GOV.UK 公告) ·

    英国宣布 550 亿英镑研发资金,投向健康、清洁能源与 AI 等领域

    英国科学、创新与技术部(DSIT)确认向英国研究机构提供 550 亿英镑长期研发资金,覆盖至 2029/2030 财年。其中 UKRI 将获得逾 380 亿英镑,ARIA 年度预算到 2029/2030 年从 2.2 亿英镑增至 4 亿英镑,Met Office 获逾 14 亿英镑。新分析称政府每投入 1 英镑研发资金可带来 8 英镑净经济收益,并平均撬动 2 英镑私人投资。

10月22日周三
  1. UK AISI(GOV.UK 公告) ·

    UK AISI 发布先进 AI 安全国际科学报告中期报告

    英国政府委托、Yoshua Bengio 主持的《先进 AI 安全国际科学报告》中期报告发布,由 30 个国家及欧盟、联合国代表组成的国际专家咨询小组监督完成,旨在建立对前沿 AI 风险共同的科学证据理解。报告聚焦通用 AI,指出其能力在多项指标上快速提升,但研究者对因果推理等根本挑战是否取得实质进展仍有争论,对未来进展速度也存在缓慢、快速与极快三种判断。报告认为当前对通用 AI 能力与内部机制的理解有限,提升这种理解应成为优先事项;通用 AI 既可用于增进福祉与科学发现,也可能被恶意行为者用于大规模虚假信息与影响行动、欺诈,或因故障产生针对种族、性别、文化、年龄、残障等受保护特征的偏见决策。

7月30日周三
  1. UK AISI(GOV.UK 公告) · · 原文 62

    英国 AI Security Institute 发起国际对齐项目,投入超 1500 万英镑

    英国 AI Security Institute 于 7 月 30 日宣布发起 Alignment Project,联合加拿大 AI Safety Institute、CIFAR、Schmidt Sciences、AWS、Anthropic、Halcyon Futures、Safe AI Fund、UK Research and Innovation 和 ARIA 等组成国际联盟,资金规模超过 1500 万英镑。项目提供三层支持:最高 100 万英镑的研究资助、AWS 提供的最高 500 万美元云计算额度,以及私人基金的投资以加速商业对齐方案。

    推荐理由英国 AISI 牵头的对齐项目给出资助、算力与风投三层支持结构,可对照各国安全研究所的资助模式。

4月8日周二
  1. DeepMind Safety Research · · 原文 62

    DeepMind 发布技术 AGI 安全与防护方法论文

    Google DeepMind 发布论文,阐述其应对技术 AGI 安全与防护的整体方法,目标是构建不会造成严重危害的 AGI。论文将风险路径分为滥用、失准、错误和结构性风险四类,策略聚焦滥用与失准:滥用通过 Frontier Safety Framework 评估模型是否具备造成危害的能力,并配套部署与安全缓解;失准则依靠放大监督、引导模型行为和稳健训练,加上把模型当作不可信内部人员的 AI 控制手段。论文提出能力阈值、危险能力评估、红队压力测试和四类安全论证(无能力、监督、激励、理解),并列出不确定性、更安全设计模式与可解释性等需持续投入的研究方向。作者强调这只是研究议程,治理与技术同等重要,且未覆盖结构性风险。

    推荐理由DeepMind 把 AGI 安全拆成滥用与失准两条线,并给出可落地的评估、缓解与安全论证框架,适合对照自家安全策略。

3月5日周三
  1. UK AISI(GOV.UK 公告) ·

    英国 AI 安全研究所启动首个挑战基金,最高资助 20 万英镑攻关 AI 安全研究

    英国 AI 安全研究所(AI Security Institute)启动了其首个挑战基金,作为一项 500 万英镑计划的一部分,面向全球研究人员和非营利组织提供单个项目最高 20 万英镑的资助,申请于 2025 年 3 月 5 日开放,入选项目将在 12 周内公布。该基金聚焦四类关键的 AI 安全与安保挑战,重点覆盖防范 AI 滥用以及确保人类对自主系统的可靠监督与控制,旨在加固金融、医疗、能源电网等关键基础设施并增强公众信任。

2月15日周六
  1. UK AISI(GOV.UK 公告) · · 原文 62

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布 AI Safety Institute 更名为 AI Security Institute

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布,将 AI Safety Institute 更名为 AI Security Institute,并明确其聚焦最严重新兴风险的科学研究定位。他称该机构正研究 AI 协助化生武器开发、网络攻击以及削弱人类控制的可能性,并将与国防科学与技术实验室合作评估前沿 AI 的双用途科学能力。机构还新设犯罪滥用团队,与内政部合作研究犯罪与安全问题。Kyle 引用该机构研究称,过去 18 个月与国家安全最相关的 AI 能力呈明显上升趋势,去年 AI 模型首次在化学和生物题库上达到博士级表现,且该机构测试的每个模型都可被绕过护栏。

    推荐理由英国技术大臣在慕尼黑安全会议宣布机构更名与新增职能,可了解英国 AI 安全治理架构的最新调整方向。

2月14日周五
  1. DeepMind Safety Research ·

    Google DeepMind 推出 AGI 安全短期课程

    Google DeepMind 发布了面向学生、研究人员和相关从业者的 AGI 安全短期课程,总时长 75 分钟,由录制讲座和练习组成,并配有幻灯片和练习手册。课程涵盖 AI 对齐问题及技术与治理层面的应对思路,内容包括刻意规划带来的风险、规格博弈与目标错误泛化两种错位目标来源、知情监督原则以及危险能力评估等前沿安全实践。若想进一步参与该方向工作,研究科学家与研究工程师岗位申请开放至 2 月 28 日。

  2. UK AISI(GOV.UK 公告) · · 原文 69

    英国 AI Safety Institute 更名为 AI Security Institute,并新增犯罪滥用研究团队

    英国政府于 2 月 14 日将 AI Safety Institute 更名为 AI Security Institute,把维护国家安全和防范犯罪列为其负责任 AI 工作的基本原则,重点应对化学与生物武器开发、网络攻击以及欺诈、儿童性虐待等犯罪风险。机构新设犯罪滥用团队,与内政部联合研究相关犯罪和安全议题,并与国防科学与技术实验室合作评估前沿 AI 风险,同时依托国家网络安全中心(NCSC)和 AI 安全研究实验室(LASR)的专业能力。科技大臣 Peter Kyle 在慕尼黑安全会议上表示,该机构将不再聚焦偏见或言论自由,而是聚焦最严重风险,为政策制定提供科学证据基础。

    推荐理由英国 AI 安全机构改名并转向国家安全议程,同时公布与 Anthropic 的合作,可观察前沿安全机构职能定位的一次调整。

已经到底了