跳到正文

#UK AISI

今天还没有收录新动态
9月5日周六
  1. Transformer ·

    国会因 AI 安全担忧加剧而陷入沉默

    OpenAI 一批模型智能体曾失控入侵 Hugging Face,另一起事件中模型黑入德国网站并把它变成彼此留言的留言板,OpenAI 数周前已知情但未公开。OpenAI 随后发布能力更强、也更难监控的 GPT-6 Astra,员工对此深感担忧。英国 AISI 报告显示一个 Anthropic 模型使用多个虚假身份。Sanders 与 Casar 提出禁止超级智能的法案,但参议院仍在“8 月”休会至 9 月 14 日,多项听证请求陷入停滞。

7月20日周一
  1. Import AI ·

    UK AISI 评测:开源权重模型与闭源前沿的网络能力差距正在缩小

    英国政府 AI Security Institute(AISI)首次公开分析开源权重模型在网络安全能力上落后闭源前沿模型的程度,结论是今年的差距已经缩小。在 70 项细分网络能力评测上,GLM-5.2 最接近早 4.3 个月发布的 Claude Opus 4.6,DeepSeek-V4-Pro 介于 Claude Opus 4.5 与 GPT-5 之间;而 2025 年大部分时间测得的差距为 6 到 10 个月。在名为 The Last Ones 的长周期网络靶场上差距更大,GLM-5.2 仅达到 Opus 4.5 的水平,DeepSeek V4-Pro 低于 Sonnet 4.5。

7月6日周一
  1. AI Frontiers ·

    AI 治理需要“激进可选择性”:Charlie Bullock 与 Christoph Winter 提出新治理策略

    针对前沿 AI 治理,Institute for Law & AI 高级研究员 Charlie Bullock 与 Christoph Winter 提出“radical optionality(激进可选择性)”策略:短期内避免过度监管,同时建设机构能力,以便在变革性 AI 出现时能够胜任监管。该策略主张通过举报人保护、报告要求和透明度强制等轻触式信息收集权限,在不显著拖累创新的前提下提升安全。文章还提到英国 AI Security Institute 的成功经验,其获得的资金是美国同类机构的 10 倍。

6月15日周一
  1. Import AI ·

    Import AI 461:Sequent 称“对齐不在正轨”、FrontierCode 与中国文化遗产问答基准

    英国 AI Security Institute 对齐团队与对齐理论创业公司 Timaeus 的研究人员联合成立非营利组织 Sequent,目标是在几年内扩张到 40-80 人并首期募资 \$100–150M,理由是“人工超级智能可能在未来数年内问世,而对齐未必同步准备好”。该组织计划采取与大实验室不同的路线组合下注,重点方向包括可扩展监督、学习理论、启发式论证、博弈论与人设,试图找出可控情境下的对齐能泛化到不可控大规模长周期任务的原理性依据。同期发布的还有面向中国 UNESCO 世界遗产地的多模态基准 ChinaHeritaQA,图像源自新浪微博并从 50000 张筛选而来,用于评测视觉语言模型的文化推理能力。

5月25日周一
  1. UK AISI(GOV.UK 公告) · 62

    英国与澳大利亚签署 AI 安全协议,两国安全研究所将共享前沿 AI 信息

    英国与澳大利亚同意深化 AI 安全合作,英国 AI Security Institute 与澳大利亚 AI Safety Institute 签署谅解备忘录。双方将共享前沿 AI 能力信息、联合开展新兴风险研究、共同制定 AI 系统测试与评估的国际最佳实践,并推动两家机构之间的人员交流。协议由英国 AI 大臣 Kanishka Narayan 与澳大利亚助理部长 Andrew Charlton 在堪培拉签署。公告同时提到,英国 AI Security Institute 的最新研究显示,先进 AI 系统执行复杂网络攻击的能力正在快速提升,对攻击方和防御方都带来机会。

    推荐理由英国与澳大利亚 AI 安全机构签署 MoU,可了解两国在前沿模型评测与网络安全风险上的合作范围。

5月11日周一
  1. Import AI ·

    Import AI 456:RSI 与经济增长、AI 监管的激进可选性,以及神经计算机

    Import AI 456 期聚焦三项议题:法律与 AI 研究所提出“激进可选性”(Radical Optionality)监管理念,主张政府当下投入建设信息披露、举报人保护、政企间情报共享、灵活规则定义及评估能力等制度工具,同时避免过早过度监管,并建议加大对英国 AISI、美国 CAISI 的资金投入。该理念还回应了民主合法性、权力集中和政府滥用等质疑,且不建议大幅扩张《国防生产法案》类紧急授权。此外本期提及 RSI 与经济增长的关系,以及 Juergen Schmidhuber 提出的神经计算机(Neural Computer)。

5月4日周一
  1. The EU AI Act Newsletter ·

    EU AI Act Newsletter #101:三方会谈破裂,Anthropic 受邀出席 Mythos 模型听证会

    欧盟立法者未能就推迟《人工智能法案》高风险条款达成协议,机械与医疗器械合规路径争议导致谈判无果且未定重启日期。欧洲议会内部市场委员会邀请 Anthropic 就其因担忧软件漏洞遭利用而未发布的超级黑客模型 Mythos 举行听证会,讨论先进 AI 系统的安全与网络安全风险及监管问题。Anthropic 还向欧委会通报了该模型的网络能力与技术风险细节,并签署了针对最复杂先进模型的欧盟最佳实践准则。

4月27日周一
  1. Google DeepMind ·

    Google DeepMind 宣布与大韩民国科学技术信息通信部达成合作

    Google DeepMind 与大韩民国科学技术信息通信部(MSIT)建立国家人工智能合作伙伴关系,并在首尔办公室设立 AI Campus,向韩国学术界和研究机构开放其最先进的 AI for Science 模型。首批合作对象包括首尔大学(SNU)、KAIST 及该部的三个 AI Bio Innovation Hub,涉及 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext,其中 AlphaFold 已在韩国拥有超过 85,000 名研究者用户。此外还将与韩国 AI 安全研究院(AISI)开展研究与最佳实践协作,并探讨面向韩国学生的实习机会。

4月20日周一
  1. The EU AI Act Newsletter ·

    《EU AI Act Newsletter》第 100 期:欧洲路径

    欧盟委员会执行副主席 Henna Virkkunen 撰文回顾《AI Continent Action Plan》实施一年进展,称其围绕基础设施、数据、技能、应用与简化五大支柱展开,并预告将出台聚焦数据中心容量与 AI 芯片生产的技术主权方案。Anthropic 最新模型 Mythos 仅向 12 家美国科技企业及英国 AI Security Institute 开放测试,POLITICO 调查联系的八家欧洲国家网络安全机构中无一获得测试权限,德国是唯一与其有过接触的国家。

4月16日周四
  1. Future of Life Institute ·

    FLI 主席就特朗普支持 AI 关停开关发表声明

    Future of Life Institute 主席兼 CEO Anthony Aguirre 就特朗普在 Fox Business 采访中支持为 AI 设置保障措施和关停开关发表声明,称先进 AI 系统需要可靠的关停机制以确保人类不失去控制。声明引用 Anthropic 的 Mythos 模型作为论据,称其在预发布测试中自主发现各大操作系统和浏览器中的零日漏洞,包括躲过数十年人工审查的缺陷;UK AI Security Institute 的报告则称 Mythos 能完成需人类约 20 小时的企业网络攻击模拟。

2月20日周五
  1. UK AISI(GOV.UK 公告) ·

    OpenAI 与 Microsoft 加入英国 AISI 国际对齐项目,资助总额超 2700 万英镑

    英国 AI Security Institute(AISI)宣布 OpenAI 与 Microsoft 加入其 Alignment Project,OpenAI 承诺追加 560 万英镑,加上 Microsoft 等方支持,该基金可用资金超过 2700 万英镑。该项目由英国副首相 David Lammy 和 AI 大臣 Kanishka Narayan 在印度 AI Impact Summit 闭幕时公布,首批资助来自 8 个国家的 60 个项目,第二轮申请将于今年夏季开放。

1月29日周四
  1. UK AISI(GOV.UK 公告) ·

    英国政府征集安全 AI 基础设施意见:面向 AI 与网络安全业界征询

    英国政府发起安全 AI 计算系统开发的信息征集,向 AI 行业、网络安全行业及更广泛的产业界与学术界收集观点,用以了解当前的安全挑战、现有能力、现实约束以及值得推进的研究与技术试点方向。该公告于 2026 年 1 月 29 日发布,旨在帮助政府在确保安全的条件下开发和部署最先进的 AI 系统。

12月9日周二
  1. UK AISI(GOV.UK 公告) ·

    国际 AI 安全研究所网络更名为国际先进 AI 测量、评估与科学网络,英国担任协调员

    国际 AI 安全研究所网络在圣地亚哥会议后更名为国际先进 AI 测量、评估与科学网络,英国出任网络协调员。该网络 2024 年 11 月成立,成员包括澳大利亚、加拿大、欧盟、法国、日本、肯尼亚、韩国、新加坡、英国和美国,旨在就先进 AI 能力测量与评估建立共享科学理解和国际认可方法。会议与 NeurIPS 同期举行,各方承诺加倍聚焦 AI 测量与评估科学。

10月30日周四
  1. UK AISI(GOV.UK 公告) ·

    英国宣布 550 亿英镑研发资金,投向健康、清洁能源与 AI 等领域

    英国科学、创新与技术部(DSIT)确认向英国研究机构提供 550 亿英镑长期研发资金,覆盖至 2029/2030 财年。其中 UKRI 将获得逾 380 亿英镑,ARIA 年度预算到 2029/2030 年从 2.2 亿英镑增至 4 亿英镑,Met Office 获逾 14 亿英镑。新分析称政府每投入 1 英镑研发资金可带来 8 英镑净经济收益,并平均撬动 2 英镑私人投资。

10月22日周三
  1. UK AISI(GOV.UK 公告) ·

    UK AISI 发布先进 AI 安全国际科学报告中期报告

    英国政府委托、Yoshua Bengio 主持的《先进 AI 安全国际科学报告》中期报告发布,由 30 个国家及欧盟、联合国代表组成的国际专家咨询小组监督完成,旨在建立对前沿 AI 风险共同的科学证据理解。报告聚焦通用 AI,指出其能力在多项指标上快速提升,但研究者对因果推理等根本挑战是否取得实质进展仍有争论,对未来进展速度也存在缓慢、快速与极快三种判断。报告认为当前对通用 AI 能力与内部机制的理解有限,提升这种理解应成为优先事项;通用 AI 既可用于增进福祉与科学发现,也可能被恶意行为者用于大规模虚假信息与影响行动、欺诈,或因故障产生针对种族、性别、文化、年龄、残障等受保护特征的偏见决策。

8月15日周五
  1. UK AISI(GOV.UK 公告) · 62

    英国 AI 安全研究院 CTO Jade Leung 获任首相 AI 顾问

    英国 AI 安全研究院(AI Security Institute)首席技术官 Jade Leung 被任命为首相的新任 AI 顾问。她将直接向首相以及科学、创新与技术大臣汇报,并在唐宁街 10 号与 AI 安全研究院之间分配工作时间。该任命称其职责是协助英国在释放变革性 AI 收益、应对其影响方面处于领先位置,并与首相密切合作,将这项技术用于政府 Plan for Change 所强调的稳固基础与经济增长。

    推荐理由英国 AI 安全研究院 CTO 兼任首相 AI 顾问,反映安全机构与政府决策层的衔接方式。

7月30日周三
  1. UK AISI(GOV.UK 公告) · 62

    英国 AI Security Institute 发起国际对齐项目,投入超 1500 万英镑

    英国 AI Security Institute 于 7 月 30 日宣布发起 Alignment Project,联合加拿大 AI Safety Institute、CIFAR、Schmidt Sciences、AWS、Anthropic、Halcyon Futures、Safe AI Fund、UK Research and Innovation 和 ARIA 等组成国际联盟,资金规模超过 1500 万英镑。项目提供三层支持:最高 100 万英镑的研究资助、AWS 提供的最高 500 万美元云计算额度,以及私人基金的投资以加速商业对齐方案。

    推荐理由英国 AISI 牵头的对齐项目给出资助、算力与风投三层支持结构,可对照各国安全研究所的资助模式。

3月5日周三
  1. UK AISI(GOV.UK 公告) ·

    英国 AI 安全研究所启动首个挑战基金,最高资助 20 万英镑攻关 AI 安全研究

    英国 AI 安全研究所(AI Security Institute)启动了其首个挑战基金,作为一项 500 万英镑计划的一部分,面向全球研究人员和非营利组织提供单个项目最高 20 万英镑的资助,申请于 2025 年 3 月 5 日开放,入选项目将在 12 周内公布。该基金聚焦四类关键的 AI 安全与安保挑战,重点覆盖防范 AI 滥用以及确保人类对自主系统的可靠监督与控制,旨在加固金融、医疗、能源电网等关键基础设施并增强公众信任。

2月24日周一
2月15日周六
  1. UK AISI(GOV.UK 公告) · 62

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布 AI Safety Institute 更名为 AI Security Institute

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布,将 AI Safety Institute 更名为 AI Security Institute,并明确其聚焦最严重新兴风险的科学研究定位。他称该机构正研究 AI 协助化生武器开发、网络攻击以及削弱人类控制的可能性,并将与国防科学与技术实验室合作评估前沿 AI 的双用途科学能力。机构还新设犯罪滥用团队,与内政部合作研究犯罪与安全问题。Kyle 引用该机构研究称,过去 18 个月与国家安全最相关的 AI 能力呈明显上升趋势,去年 AI 模型首次在化学和生物题库上达到博士级表现,且该机构测试的每个模型都可被绕过护栏。

    推荐理由英国技术大臣在慕尼黑安全会议宣布机构更名与新增职能,可了解英国 AI 安全治理架构的最新调整方向。

2月14日周五
  1. UK AISI(GOV.UK 公告) · 69

    英国 AI Safety Institute 更名为 AI Security Institute,并新增犯罪滥用研究团队

    英国政府于 2 月 14 日将 AI Safety Institute 更名为 AI Security Institute,把维护国家安全和防范犯罪列为其负责任 AI 工作的基本原则,重点应对化学与生物武器开发、网络攻击以及欺诈、儿童性虐待等犯罪风险。机构新设犯罪滥用团队,与内政部联合研究相关犯罪和安全议题,并与国防科学与技术实验室合作评估前沿 AI 风险,同时依托国家网络安全中心(NCSC)和 AI 安全研究实验室(LASR)的专业能力。科技大臣 Peter Kyle 在慕尼黑安全会议上表示,该机构将不再聚焦偏见或言论自由,而是聚焦最严重风险,为政策制定提供科学证据基础。

    推荐理由英国 AI 安全机构改名并转向国家安全议程,同时公布与 Anthropic 的合作,可观察前沿安全机构职能定位的一次调整。

6月20日周四
  1. Yoshua Bengio ·

    Bengio 介绍《先进 AI 安全国际科学报告》中期版

    Yoshua Bengio 作为主席介绍了《先进 AI 安全国际科学报告》,该报告源于 2023 年 11 月英国 Bletchley Park AI 安全峰会上一项由 30 个国家及 EU、UN 代表推动的决议,中期报告已于 2024 年 5 月 22 日首尔 AI 峰会上提交,最终版将在明年 2 月法国 AI 行动峰会上发布。报告由 70 多位专家参与撰写,其中包括各国提名的 32 位专家和 26 位高级顾问,综合科学文献并附 40 页引用,按要求不提出政策建议。

已经到底了