跳到正文

全部动态

今天收录 3 条

第 6 页更新的内容回到最新

4月22日周二
  1. Frontier Model Forum ·

    Frontier Model Forum 推出前沿 AI 框架技术报告系列

    Frontier Model Forum 启动前沿 AI 框架技术报告系列,计划在未来数月内陆续发布四份报告,分别覆盖风险分类与阈值、前沿能力评估、缓解措施以及第三方评估。该系列旨在说明不同组织情境下如何有效落地前沿 AI 框架,并推动实施标准的形成。目前已有 12 家主要 AI 开发商发布了各自的前沿 AI 框架,其中包括 Google DeepMind 的 Frontier Safety Framework、Anthropic 的 Responsible Scaling Policy 和 OpenAI 的 Preparedness Framework。

3月29日周六
  1. Frontier Model Forum · · 原文 60

    Frontier Model Forum 成员企业签署首份前沿 AI 信息共享协议

    Frontier Model Forum(FMF)宣布其全部成员企业签署了一份旨在促进前沿 AI 威胁、漏洞与能力进展信息共享的协议。该共享范围被严格限定,用于管理涉及 CBRN 与高级网络威胁等国家安全和公共安全风险,目前仅限 FMF 成员企业参与。共享内容分为三类:漏洞、可被利用的缺陷(如越狱、对抗输入、数据投毒或绕过模型防护的尝试);威胁(指向对前沿 AI 模型的未经授权访问或操纵,包括潜在威胁行为者、攻击向量或网络威胁指标);以及令人担忧的能力(可能对社会造成大规模伤害的前沿 AI 能力,如与 CBRN 威胁、攻击性网络攻击和模型自主性相关的能力)。

    推荐理由FMF 成员企业首次签署跨公司信息共享协议,界定了共享范围与风险类别,可了解前沿 AI 行业协作机制的实际形态。

3月19日周三
  1. Frontier Model Forum ·

    Frontier Model Forum 发布 AI 生物安全评测三级报告分层方案

    Frontier Model Forum 发布议题简报,提出 AI 生物安全评测信息的三级报告框架,按公开、可信网络内共享、仅私下披露划分披露范围。Tier 1 可公开发布研究问题、科学领域、高层级评测方法、参与者背景、受测模型、任务示例、分析方法和关键高层级结论及研究局限;Tier 2 限可信网络共享完整威胁模型、深入评测方法、结果详细解读和模型增强细节;Tier 3 仅在决策相关方之间私下披露具体模型漏洞、特定训练数据和私有数据集。该框架采取预防性思路,信息只有在确信更广泛传播不会带来信息或注意力风险时才扩大共享范围,部分条目的报告层级取决于评测结果,例如确认新型生物威胁或可利用漏洞的高层级结论可能不宜公开。

3月14日周五
  1. Frontier Model Forum ·

    Frontier Model Forum 向 OSTP 提交 AI 行动计划意见书

    Frontier Model Forum 于 3 月 14 日向美国白宫科技政策办公室(OSTP)提交了一份关于《人工智能行动计划》制定的回应文件,建议美国政府加大对 AI 安全科学的投入并加强国际标准协调。 该组织提出三个重点方向:资助 AI 计量学与测量科学研究、开发针对国家安全与公共安全风险的 AI 风险管理流程,以及确保相关工作中纳入具备科学专业知识的领域专家,并点名 NIST 与美国能源部国家实验室适合推进评测测量科学。

3月5日周三
  1. UK AISI(GOV.UK 公告) ·

    英国 AI 安全研究所启动首个挑战基金,最高资助 20 万英镑攻关 AI 安全研究

    英国 AI 安全研究所(AI Security Institute)启动了其首个挑战基金,作为一项 500 万英镑计划的一部分,面向全球研究人员和非营利组织提供单个项目最高 20 万英镑的资助,申请于 2025 年 3 月 5 日开放,入选项目将在 12 周内公布。该基金聚焦四类关键的 AI 安全与安保挑战,重点覆盖防范 AI 滥用以及确保人类对自主系统的可靠监督与控制,旨在加固金融、医疗、能源电网等关键基础设施并增强公众信任。

  2. Nicholas Carlini Writing ·

    Nicholas Carlini 离开 Google DeepMind 加入 Anthropic

    在 Google DeepMind 工作七年的对抗机器学习研究者 Nicholas Carlini 宣布离职并加入 Anthropic 一年,继续从事安全与隐私方向的研究。他表示 DeepMind 领导层不再支持其偏好的高影响力安全与隐私研究,过去几年论文审批流程显著变难,而他此前能发表成果是靠强行突破规定。Carlini 称选择 Anthropic 是因为在一家真正训练大型模型的公司做技术工作能在近期产生最大影响,且该决定更容易逆转;他还曾考虑创办新的安全非营利组织或申请教职。

2月24日周一
2月15日周六
  1. UK AISI(GOV.UK 公告) · · 原文 62

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布 AI Safety Institute 更名为 AI Security Institute

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布,将 AI Safety Institute 更名为 AI Security Institute,并明确其聚焦最严重新兴风险的科学研究定位。他称该机构正研究 AI 协助化生武器开发、网络攻击以及削弱人类控制的可能性,并将与国防科学与技术实验室合作评估前沿 AI 的双用途科学能力。机构还新设犯罪滥用团队,与内政部合作研究犯罪与安全问题。Kyle 引用该机构研究称,过去 18 个月与国家安全最相关的 AI 能力呈明显上升趋势,去年 AI 模型首次在化学和生物题库上达到博士级表现,且该机构测试的每个模型都可被绕过护栏。

    推荐理由英国技术大臣在慕尼黑安全会议宣布机构更名与新增职能,可了解英国 AI 安全治理架构的最新调整方向。

2月14日周五
  1. UK AISI(GOV.UK 公告) · · 原文 69

    英国 AI Safety Institute 更名为 AI Security Institute,并新增犯罪滥用研究团队

    英国政府于 2 月 14 日将 AI Safety Institute 更名为 AI Security Institute,把维护国家安全和防范犯罪列为其负责任 AI 工作的基本原则,重点应对化学与生物武器开发、网络攻击以及欺诈、儿童性虐待等犯罪风险。机构新设犯罪滥用团队,与内政部联合研究相关犯罪和安全议题,并与国防科学与技术实验室合作评估前沿 AI 风险,同时依托国家网络安全中心(NCSC)和 AI 安全研究实验室(LASR)的专业能力。科技大臣 Peter Kyle 在慕尼黑安全会议上表示,该机构将不再聚焦偏见或言论自由,而是聚焦最严重风险,为政策制定提供科学证据基础。

    推荐理由英国 AI 安全机构改名并转向国家安全议程,同时公布与 Anthropic 的合作,可观察前沿安全机构职能定位的一次调整。

2月7日周五
  1. Frontier Model Forum ·

    Frontier Model Forum 发布前沿 AI 安全框架阈值问题简报

    Frontier Model Forum 发布问题简报,梳理前沿 AI 安全框架中阈值的类型与作用。简报指出,阈值是安全框架的核心要素,用于预先界定何种风险水平需要进一步审查或加强防护,从而让开发者、部署方和监管方在风险出现前采取行动,尤其针对 CBRN 和高级网络风险。简报归纳了四类阈值:算力阈值以训练算力作为风险的代理指标,易测量但只是粗略筛选;风险阈值直接限定可接受的风险概率与危害程度,最贴近社会影响但当前难以可靠估计;能力阈值指向特定能力(如提供致命病原体合成指引),比算力更贴近危害且比风险估计更易测量,是目前安全框架中最常用的类型;结果导向阈值则列出不可接受的结果及相应威胁场景。

1月16日周四
  1. Miles Brundage ·

    Miles Brundage 对《通用目的 AI 行为准则》第二稿的反馈

    Miles Brundage 针对欧盟《通用目的 AI 行为准则》(COP)第二稿发表反馈意见,认为草稿正朝更具体、更连贯的方向改进,但仍存在大量未竟事项。他指出起草工作组的推进节奏过于仓促,问题根源在于欧洲议会启动该流程过晚而非主席团本身。对于具有系统性风险的模型的合规条款,他认为大型企业大体能够遵守,并强调若合规低效或错配风险,可能适得其反地损害企业内部的安全声誉。

12月17日周二
6月20日周四
  1. Yoshua Bengio ·

    Bengio 介绍《先进 AI 安全国际科学报告》中期版

    Yoshua Bengio 作为主席介绍了《先进 AI 安全国际科学报告》,该报告源于 2023 年 11 月英国 Bletchley Park AI 安全峰会上一项由 30 个国家及 EU、UN 代表推动的决议,中期报告已于 2024 年 5 月 22 日首尔 AI 峰会上提交,最终版将在明年 2 月法国 AI 行动峰会上发布。报告由 70 多位专家参与撰写,其中包括各国提名的 32 位专家和 26 位高级顾问,综合科学文献并附 40 页引用,按要求不提出政策建议。

8月16日周三
  1. 雷峰网安全频道 ·

    ISC 2023:360 智脑支持的 AI 数字人如何成为大模型入口

    ISC 2023 第十一届互联网安全大会以"安全即服务,开启人工智能时代数字安全新范式"为主题,打造全球首场 AI 数字安全峰会,开幕式由 360 智脑驱动的数字主持人"可心"全程主持。大会还开设线上数字小镇,50 位企业家、学者与技术专家以 AI 数字人身份围绕漏洞检测、威胁流量检测、数据安全等话题展开 50 余场演讲。周鸿祎称 AI 数字人是大模型最重要的应用入口,360 将借此降低 prompt 使用门槛,推动大模型在消费级与企业级场景落地。

已经到底了