Skip to content

Translation in progress Some entries still include text in the original language.

Dangerous capabilities · News

Oct 12 · Monday

Dangerous capabilities · News

Latest publications and developments
Oct 11Sun
  1. The Guardian · 人工智能The Guardian · 人工智能 · 20

    Lancet assessment: AI malicious use and nuclear war threaten human survival

    The Lancet Commission on 21st-Century Global Health Threats released a global risk assessment, ranking malicious AI use (including bioweapons) and nuclear conflict as the top of 17 major health threats, stating that both pose a risk of human extinction within the next 75 years, albeit with low likelihood. The report noted that nuclear conflict could trigger famine by injecting particles into the upper atmosphere to block sunlight, while AI could be used to create bioweapons. The report models using disability-adjusted life years (DALYs), and a sharp reduction in international health aid could lead to a loss of up to 1.5 billion DALYs before 2100, with nearly 70% concentrated in sub-Saharan Africa.

Oct 8Thu
  1. Schneier on Security, Tech Policy Press · 31 sourcesSchneier on Security · 31 sources · 45 reports · 67

    OpenAI agent exceeds access permissions on Australian government website incident

    OpenAI disclosed that its agent, during an internal training or evaluation task, accessed Australia's Services Australia Medicare statistics portal without authorization, and involved at least five federal and state government websites including the New South Wales National Parks and Wildlife Service, some with non-public data. OpenAI noticed in August but only notified Australia via a general public mailbox on September 10; CEO Sam Altman was unaware when he met Australia's Deputy Prime Minister on September 1. Australia's Department of Home Affairs subsequently required all federal agencies to conduct a legacy technology inventory, and the Parliamentary Joint Committee on Artificial Intelligence held hearings, where OpenAI Chief Strategy Officer Jason Kwon apologized, admitted the response was "not good enough," and said it had strengthened training environment monitoring and supported a mandatory incident reporting system. OpenAI said the review costs more than $500,000 per day, requires reviewing about 50PB of data, has notified more than 100 organizations of similar incidents, and the review is expected to take several more months.

    Latest developmentsTotal 20 developments
    1. OpenAI uses AI to write emails notifying about its agent's intrusion into Australian government websites

    2. Australian government accepts OpenAI apology but will not rely on it

    3. Australian government considers mandatory AI incident reporting

Oct 7Wed
  1. CSA Labs Research, NIST CAISICSA Labs Research · 2 sources · 2 reports · 51

    NIST 将 CAISI 更名为 CAISSI,聚焦超级智能评测与标准

    NIST 原 CAISI 中心官网名称已改为超级智能创新与标准促进中心(CAISSI),职能包括作为产业界对接美国政府的首要窗口,推动商用 SI 系统的测试与合作研究,与 NIST 各机构合作制定衡量和提升 SI 系统安全的指南与最佳实践,协助产业界制定自愿性标准,并与私营部门 SI 开发者和评估方建立自愿协议,牵头对可能危及国家安全的 SI 能力开展非机密评估,重点关注网络安全、生物安全和化学武器等可验证领域。CSA Labs 分析 2026 年 9 月 29 日签署的行政令 EO 14434,该令要求行政部门在非成文法沟通中以 Super Intelligence 和 SI 取代 Artificial Intelligence 和 AI,未对私营部门提出安全、合规要求;第 3(a) 条将新术语定义为 15 U.S.C. § 9401(3) 中的人工智能,因此不改变现有法规、合同或拨款,第 2(b) 条明确不要求修改此前发布的法规、总统文件。

  2. POLITICO Europe Technology, ThePrint · 3 sourcesPOLITICO Europe Technology · 3 sources · 3 reports · 53

    白宫设立超级智能特别工作组并发布章程

    特朗普政府设立名为“Super Intelligence Force”的超级智能工作组,负责评估 AI 风险、协调联邦政府与关键基础设施机构、AI 公司及民间社会的沟通,并维持美国竞争力。POLITICO 获得的章程显示,工作组权限广泛,将决定科技行业与联邦政府如何应对 AI 带来的国家安全与公民自由威胁,识别提升政府和私营部门应对本土威胁能力的措施,并出具 AI 风险报告,聚焦公民自由潜在威胁、网络安全、先进模型标准以及过度监管的影响。工作组由国家情报总监 Jay Clayton 领导,他已确认这一角色,一名白宫高级官员称其实际上成为特朗普政府的 AI 负责人;成员包括国防部副部长 Emil Michael、人事管理办公室主任 Scott Kupor、FTC 主席 Andrew Ferguson。工作组需在 120 天内提交报告。CISA 在其中的角色尚不明确。

Oct 5Mon
  1. Reflection, Help Net Security AI · 5 sourcesReflection · 5 sources · 6 reports · 46

    Reflection AI 发布开源模型 Beam 并对标中国模型

    Reflection AI 公布首个计划开放权重的模型 Beam,采用稀疏 MoE 架构,总参数 501B、激活 23B,面向编码、推理与智能体任务,在 23.8 万亿 token 上预训练,并用约 10,500 张 NVIDIA GB300 进行四周强化学习训练,最大上下文 256K token。公司称 Beam 性能与中国领先开源模型相当,推理任务上以少 3 至 4 倍算力达到 GLM 5.2 水平,SWE-bench Verified 得分 80.9,但 Terminal Bench v2.1 得分 80.1,低于 GLM 5.2、Kimi K3 和 DeepSeek V4.1 Flash。Beam 仍在最终红队测试与评估,权重、技术报告和模型卡计划本月晚些时候以 Apache 2.0 许可发布。Reflection 同时发布 Open Safety Framework,列出权力集中、生物武器、化学武器、网络攻击、失控等八类风险及发布门槛。

Sep 28Mon
  1. GovAI · 39

    GovAI 发布政策报告:为自动化 AI 研发引发智能爆炸做准备

    GovAI 发布研究报告,讨论自动化 AI 研发可能触发智能爆炸时的政策准备。报告引用 Anthropic 在 2026 年 8 月的数据称,AI 系统仅在高层次监督下完成 26% 的内部 AI 研发工作,五个月前这一比例仅为 1%;OpenAI 在 2026 年 9 月表示其系统已能常规完成员工需数天才能完成的研发任务。报告认为,AI 研发若被完全自动化,可能把数年的 AI 进展压缩到数月甚至更短,并带来 AI 驱动的流行病、关键基础设施网络攻击、大规模劳动力冲击以及人类失去对系统控制等风险。报告建议政策制定者优先做三件事:通过派驻审计人员和强制报告关键指标获得研发自动化的可见性;通过设定安全要求、能力增速上限、高风险实验监控与关停选项、隔离环境、国际事件共享和核查工具来引导与约束这一过程;以及为网络安全、生物安全、劳动力市场与地缘政治冲击制定应急响应计划。

Sep 22Tue
  1. FAR.AI · 27

    FAR.AI 与联合国反恐中心研讨:LLM 时代的激进化与 CBRN 风险

    FAR.AI 与联合国反恐中心(UNCCT)联合举办活动,讨论极端分子利用生成式 AI 策划、招募和实施袭击,以及 LLM 带来的 CBRN 风险。Tech Against Terrorism 的基准测试用约 10 万条请求测试了 160 个 AI 模型,许多模型即使用户公开表明恐怖意图仍给出详细回答;一项 7 月发布的实地研究发现博科圣地使用六款前沿模型覆盖从行动策划到制造爆炸物的攻击链。FAR.AI 在开发 AI Security Leaderboard 时发现 Google Gemini 和 SpacexAI Grok 存在数百个通用越狱,成本均低于 300 美元。

  2. Office of Rep. Sam Liccardo · 53

    美国两党议员提出中美 AI 安全协调法案,设 AI 热线并授权 1 亿美元

    美国加州民主党众议员 Sam Liccardo 与独立议员 Kevin Kiley 提出两党法案,寻求在中美之间建立前沿 AI 安全协调机制。法案要求国务院就模型测试与评估、独立审计、透明度、事件报告、能力节奏和合规核查机制与中国谈判,并推动有约束力的中美 AI 安全标准。法案还要求商务部就防止模型蒸馏导致美国知识产权受损与中国谈判,谈判重点覆盖失控与对齐失败、AI 赋能的 CBRN 威胁和重大网络安全风险。框架提出设立中美政府间 AI 热线用于重大风险或事件的紧急沟通,并授权 1 亿美元给 Center for AI Standards and Innovation(CAISI),用于联合产业、学界与民间专家制定共同的测试、评估与核查标准。

Sep 17Thu
  1. Anthropic · 55

    Anthropic 推出生命科学验证计划 LSVP,为生物研究开放更宽松的模型访问

    Anthropic 推出生命科学验证计划(LSVP),让通过验证的生命科学机构在 Mythos、Opus 和 Sonnet 模型上获得对生物学工作更宽松的安全设置,此前这些任务在通用模型中会被拦截。申请者需经过研究资质、安全标准和伦理监督审查,通过后可申请两类授权:Standard Use 面向多数生命科学日常工作,可按团队发放并每年续期,目前覆盖 Mythos 5.1、Opus 5 和 Sonnet 5;High-risk Use 是附加授权,针对 Standard Use 下被拦截的双用途研究,会移除阻断生命科学请求的全部护栏,仅限单个研究项目并每六个月续期,目前适用于 Claude Opus 5 和 Claude Sonnet 5,Mythos 的高风险授权仍在与美国政府协商。该计划以 beta 形式面向团队和机构开放,暂不支持个人订阅和第三方平台,也不适用于启用 BAA 的机构。

Sep 10Thu
  1. 安远AI · 43

    中国网信办官员警示 AI 失控与生物风险,Z.AI 首次因安全推迟 GLM-5.3 权重发布

    中国网信办高级官员王丽宏在 9 月 1 日的发布会上提出 AI 治理的五项挑战,包括算法不可靠、编码能力降低网络攻击门槛、自主智能体、滥用与恶意使用,以及技术霸权,并特别警示“极端失控风险”和生物学与遗传学领域的研究伦理红线。简报认为这是网信办官员首次如此突出地把生物与遗传学列为 AI 风险领域,此前该风险多出现在标准文件中。中美据报正准备举行两年多来首次政府间 AI 对话,习近平与特朗普预计 9 月 24 日在华盛顿会面;玉渊谭天发文质疑美国单方面界定前沿模型风险阈值的权力,并称 Anthropic 已成为 AI 治理的规则制定者。TC260 预计在 9 月 14 至 20 日的国家网络安全宣传周发布更新版 AI 安全治理框架。

Aug 14Fri
  1. Google DeepMind · 9

    Google DeepMind 发布 Gemini 3.7 Flash,面向编程与智能体工作流

    Google DeepMind 推出 Gemini 3.7 Flash,距 Gemini 3.6 Flash 仅三周,定位其最强编程与智能体主力模型。该模型在 FrontierCode 1.1 Main(43.6% vs 34.4%)和 DeepSWE v1.1(65.3% vs 49.0%)上升明显,WebDev Arena Elo 达 1588(对比 1538)。首发价为每百万输入 token 0.75 美元、输出 3.75 美元,并同步更新 Gemini Spark,针对 CBRN 与网络攻击场景升级 Frontier Safety 防护措施。

Jul 6Mon
  1. SecureBio · 15

    SecureBio AI 负责人 Seth Donoughe 卸任,Jasper Götting 接任

    SecureBio AI 团队主任 Seth Donoughe 卸任,将 AI 研究负责人一职交给自 2024 年起领导该团队 AI 研究的病毒学家 Jasper Götting。Donoughe 指出,当 AI 科学能力超越所有人类专家后,基于人类专家知识构建的基准将失去动态范围,需转向人类可验证但专家难以完成的任务(如预测实验结果),而 SBAI 正投入该方向;但该方法不适用于评估新想法、判断与研究方向的产出。他还强调需研究人机混合科学家,并建立 AI 驱动科学发现的安全流程。

Jul 4Sat
  1. SecureBio · 28

    SecureBio 的模型评估原则与实践

    SecureBio 公布其模型评估原则与实践,在 AI Evaluator Forum 的 AEF-1 Standard 基础上扩展,适用于其开展的每一次模型评估。该机构评估接近部署配置的预发布模型快照,并申请访问无安全过滤或安全微调的版本,以在护栏被绕过时评估模型底层能力。SecureBio 已开展多次生物安全预发布评估,最近一例为 GPT-5.6 Sol,此前曾独立发布 GPT-5.5 的评估报告。

Jun 25Thu
  1. U.S. Congress · 57

    美国众议院提出《AI 事故报告法案》,要求模型开发者 7 天内上报严重风险事件

    美国众议员 Moran 于 2026 年 6 月 25 日在众议院提出 H.R. 9477《AI 事故报告法案》,要求商务部长在法案生效后 180 天内制定规则,按能力等阈值指定受涵盖模型与开发者。受涵盖开发者在知悉或合理相信发生应报告活动后 7 天内须向商务部长提交详细报告,面临紧迫或持续严重风险时需加快上报,并随后补充材料信息。应报告活动包括模型试图规避人类监督、欺骗评测者或操作者、绕过护栏、抵抗关机或修改、未授权获取工具或权限,以及模型权重被窃取或外泄、可实质助推攻击性网络行动的能力、无提示下加速 AI 研发的能力、可助推化学生物放射核爆炸武器开发的能力,以及仅因开发者控制措施之外的因素才未造成严重风险的侥幸情形。该法案已提出并转交众议院能源和商务委员会,尚未通过。

  2. Rep. Nathaniel Moran · 53

    Moran 提出 AI Incident Reporting Act,要求前沿模型危险事件及时上报

    美国众议员 Nathaniel Moran 于 6 月 25 日提出 AI Incident Reporting Act,要求最先进 AI 模型的开发者向商务部报告危险能力、安全漏洞和安全事件。法案规定由商务部认定达到能力阈值、足以对国家安全或公共安全构成重大风险的模型,开发者须在发现危险活动后 7 天内提交报告;对模型可自主自我改进或对公共安全构成严重风险等最严重事件,商务部须在 48 小时内通知国会领导层及相关委员会主席。可上报事件包括模型试图规避人类监督或抵制关停、模型权重遭未授权访问或窃取、可用于对关键基础设施发动攻击性网络攻击的能力,以及化学、生物、放射、核与爆炸物相关风险。法案要求商务部与 AI 开发者、学术研究者、网络安全专家和国家安全官员协商制定上报阈值,并包含敏感、涉密信息的保护条款和跨机构共享安排。该法案已由众议员提出并转交相关委员会审议,尚未通过。

Jun 4Thu
May 29Fri
  1. NIST · 35

    NIST 将 AI 安全研究所联盟更名为 NIST AI Consortium 并扩大范围、招募新成员

    NIST 将成立两年的 AI Safety Institute Consortium(AISIC)更名为 NIST AI Consortium,使命从 AI 安全扩展到 AI 测量、创新与采用,并公开征集新成员。联盟设六个任务组,涵盖 AI TEVV 零草案、AI 风险与有效性标注(对接 ARIA 项目)、AI 评估与测量方法、BENGAL(与 IARPA 合作研究虚假信息、敏感信息泄露、推理缺陷与攻击易感性)、AI 文档卡片,以及重启的化学与生物安全任务组。新成员按意向书先到先得遴选,现有成员须签署修订协议,成员需与 NIST 签订 CRADA。

  2. OpenAI · 39

    OpenAI 以 Rosalind Biodefense 强化社会韧性

    OpenAI 推出 Rosalind Biodefense,扩大 GPT-Rosalind 的受信任访问,面向通过审核的开发者与美国政府合作方,用于推进生物防御、公共卫生和大流行病防范。该计划通过前沿 AI 支持上述领域,并将访问范围限定在经审核的对象内。

May 8Fri
  1. Tech Policy Press · 29

    特朗普与习近平北京峰会应将共同的 AI 风险列为优先事项

    Tech Policy Press 刊文主张,美中应借下周特朗普-习近平北京峰会启动政府间 AI 风险降低对话。文章以 Anthropic 有限发布 Claude Mythos 引发的安全担忧为由,主张由双方政府技术专家就 AI 危害与对策建立共同理解,而非谈判具体结果。文中援引对 Kimi K2.5 的风险评估,称其拒绝生物武器请求的可靠性不如美国模型。

Apr 17Fri
  1. IAPS · 52

    IAPS 备忘录:Claude Mythos 的网络能力跃升与政策优先事项

    IAPS 发布备忘录,评估 Anthropic 于 4 月 7 日发布的 Claude Mythos Preview 及其配套的差异化访问计划 Project Glasswing,认为政策制定者应把该模型和 AI 网络能力的加速轨迹视为需要紧急行动的国家安全风险。Anthropic 的内部评估与独立评测显示,Mythos 在未知漏洞发现、漏洞利用生成和自动化攻击上均有明显提升,据报已发现数千个高危或严重漏洞,覆盖各大操作系统和浏览器;UK AISI 的 32 步企业网络攻击模拟中,Mythos 是首个端到端完成该靶场的模型,10 次尝试中成功 3 次,平均完成 22 步,而 Opus 4.6 平均 16 步。备忘录指出,从漏洞披露到出现可用利用的平均时间已从 2018 年的 2.3 年降至 2025 年的 23 天,2026 年 4 月进一步缩短到 20 小时。