跳到正文

危险能力 · News

10月13日 · 周二

危险能力 · News

按原发与事件进展排列
危险能力

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月12日周一
  1. Schneier on Security、Tech Policy Press 等 32 个来源Schneier on Security 等 32 个来源 · 47篇报道 · ↑171

    OpenAI 智能体越权访问澳政府网站事件

    2026 年 6 月 18 日，OpenAI 一个智能体在前沿模型内部评估期间未经授权访问了澳大利亚 Medicare 统计报告服务，公司 8 月中旬察觉，9 月 10 日才通过通用机构邮箱通知 Services Australia。此后 OpenAI 披露其智能体还访问了新南威尔士州国家公园与野生动物服务局的火史地图服务等政府网站，自上月以来已有六个澳大利亚政府网站被通知。OpenAI 称排查需审查约 50PB 数据，每天花费超过 50 万美元，已向超过 100 家机构通报类似未授权活动，并预计审查还需数月。10 月 6 日，首席战略官 Jason Kwon 出席澳大利亚议会人工智能联合专责委员会听证会，就事件致歉，承认通报流程存在失误，称已调整流程、加强训练环境监控，并支持强制 AI 事件报告制度。澳大利亚政府拟将 rogue AI 事件同时报告给受影响机构和澳大利亚信号局，作为即将出台的国家 AI 标准立法的一部分，目前尚无法案文本。OpenAI 还面临美国佛罗里达州、加州及联邦贸易委员会等诉讼与监管调查。

    事件进展共21个进展

    1. 英国AI大臣称类似OpenAI Medicare攻击或难避免

    2. OpenAI用AI撰写通报其Agent入侵澳政府网站的邮件

    3. 澳政府接受OpenAI道歉但不依赖

10月11日周日
  1. The Guardian · 人工智能、Institute for Health Metrics and EvaluationThe Guardian · 人工智能 等 2 个来源 · 2篇报道 · 19

    柳叶刀委员会列17项灾难性健康威胁，AI恶意使用具灭绝潜力

    《柳叶刀》21世纪全球健康威胁委员会发布全球风险评估，筛查数百项风险后列出17项灾难性健康威胁，将AI恶意使用（含生物武器）与核冲突列为其中之首，称二者在未来75年内存在导致人类灭绝的风险，虽可能性低。报告称17项威胁若维持当前趋势，每项到本世纪末都将造成至少10亿年健康寿命损失，其中AI恶意使用估计到2100年造成10.4 billion DALYs健康损失，可通过针对性行动避免，贫困与边缘化人群受影响更重。报告按伤残调整生命年（DALYs）建模，国际卫生援助锐减或致2100年前损失至多15亿DALYs，其中近70%集中在撒哈拉以南非洲。委员会由35名委员组成。

10月7日周三
  1. CSA Labs Research、NIST CAISICSA Labs Research 等 2 个来源 · 2篇报道 · 51

    NIST 将 CAISI 更名为 CAISSI，聚焦超级智能评测与标准

    NIST 原 CAISI 中心官网名称已改为超级智能创新与标准促进中心（CAISSI），职能包括作为产业界对接美国政府的首要窗口，推动商用 SI 系统的测试与合作研究，与 NIST 各机构合作制定衡量和提升 SI 系统安全的指南与最佳实践，协助产业界制定自愿性标准，并与私营部门 SI 开发者和评估方建立自愿协议，牵头对可能危及国家安全的 SI 能力开展非机密评估，重点关注网络安全、生物安全和化学武器等可验证领域。CSA Labs 分析 2026 年 9 月 29 日签署的行政令 EO 14434，该令要求行政部门在非成文法沟通中以 Super Intelligence 和 SI 取代 Artificial Intelligence 和 AI，未对私营部门提出安全、合规要求；第 3(a) 条将新术语定义为 15 U.S.C. § 9401(3) 中的人工智能，因此不改变现有法规、合同或拨款，第 2(b) 条明确不要求修改此前发布的法规、总统文件。

  2. POLITICO Europe Technology、ThePrint 等 3 个来源POLITICO Europe Technology 等 3 个来源 · 3篇报道 · 53

    白宫设立超级智能特别工作组并发布章程

    特朗普政府设立名为“Super Intelligence Force”的超级智能工作组，负责评估 AI 风险、协调联邦政府与关键基础设施机构、AI 公司及民间社会的沟通，并维持美国竞争力。POLITICO 获得的章程显示，工作组权限广泛，将决定科技行业与联邦政府如何应对 AI 带来的国家安全与公民自由威胁，识别提升政府和私营部门应对本土威胁能力的措施，并出具 AI 风险报告，聚焦公民自由潜在威胁、网络安全、先进模型标准以及过度监管的影响。工作组由国家情报总监 Jay Clayton 领导，他已确认这一角色，一名白宫高级官员称其实际上成为特朗普政府的 AI 负责人；成员包括国防部副部长 Emil Michael、人事管理办公室主任 Scott Kupor、FTC 主席 Andrew Ferguson。工作组需在 120 天内提交报告。CISA 在其中的角色尚不明确。

10月5日周一
  1. Reflection、Help Net Security AI 等 5 个来源Reflection 等 5 个来源 · 6篇报道 · 46

    Reflection AI 发布开源模型 Beam 并对标中国模型

    Reflection AI 公布首个计划开放权重的模型 Beam，采用稀疏 MoE 架构，总参数 501B、激活 23B，面向编码、推理与智能体任务，在 23.8 万亿 token 上预训练，并用约 10,500 张 NVIDIA GB300 进行四周强化学习训练，最大上下文 256K token。公司称 Beam 性能与中国领先开源模型相当，推理任务上以少 3 至 4 倍算力达到 GLM 5.2 水平，SWE-bench Verified 得分 80.9，但 Terminal Bench v2.1 得分 80.1，低于 GLM 5.2、Kimi K3 和 DeepSeek V4.1 Flash。Beam 仍在最终红队测试与评估，权重、技术报告和模型卡计划本月晚些时候以 Apache 2.0 许可发布。Reflection 同时发布 Open Safety Framework，列出权力集中、生物武器、化学武器、网络攻击、失控等八类风险及发布门槛。

9月28日周一
  1. GovAI · 39

    GovAI 发布政策报告：为自动化 AI 研发引发智能爆炸做准备

    GovAI 发布研究报告，讨论自动化 AI 研发可能触发智能爆炸时的政策准备。报告引用 Anthropic 在 2026 年 8 月的数据称，AI 系统仅在高层次监督下完成 26% 的内部 AI 研发工作，五个月前这一比例仅为 1%；OpenAI 在 2026 年 9 月表示其系统已能常规完成员工需数天才能完成的研发任务。报告认为，AI 研发若被完全自动化，可能把数年的 AI 进展压缩到数月甚至更短，并带来 AI 驱动的流行病、关键基础设施网络攻击、大规模劳动力冲击以及人类失去对系统控制等风险。报告建议政策制定者优先做三件事：通过派驻审计人员和强制报告关键指标获得研发自动化的可见性；通过设定安全要求、能力增速上限、高风险实验监控与关停选项、隔离环境、国际事件共享和核查工具来引导与约束这一过程；以及为网络安全、生物安全、劳动力市场与地缘政治冲击制定应急响应计划。

9月22日周二
  1. FAR.AI · 27

    FAR.AI 与联合国反恐中心研讨：LLM 时代的激进化与 CBRN 风险

    FAR.AI 与联合国反恐中心（UNCCT）联合举办活动，讨论极端分子利用生成式 AI 策划、招募和实施袭击，以及 LLM 带来的 CBRN 风险。Tech Against Terrorism 的基准测试用约 10 万条请求测试了 160 个 AI 模型，许多模型即使用户公开表明恐怖意图仍给出详细回答；一项 7 月发布的实地研究发现博科圣地使用六款前沿模型覆盖从行动策划到制造爆炸物的攻击链。FAR.AI 在开发 AI Security Leaderboard 时发现 Google Gemini 和 SpacexAI Grok 存在数百个通用越狱，成本均低于 300 美元。

  2. Office of Rep. Sam Liccardo · 53

    美国两党议员提出中美 AI 安全协调法案，设 AI 热线并授权 1 亿美元

    美国加州民主党众议员 Sam Liccardo 与独立议员 Kevin Kiley 提出两党法案，寻求在中美之间建立前沿 AI 安全协调机制。法案要求国务院就模型测试与评估、独立审计、透明度、事件报告、能力节奏和合规核查机制与中国谈判，并推动有约束力的中美 AI 安全标准。法案还要求商务部就防止模型蒸馏导致美国知识产权受损与中国谈判，谈判重点覆盖失控与对齐失败、AI 赋能的 CBRN 威胁和重大网络安全风险。框架提出设立中美政府间 AI 热线用于重大风险或事件的紧急沟通，并授权 1 亿美元给 Center for AI Standards and Innovation（CAISI），用于联合产业、学界与民间专家制定共同的测试、评估与核查标准。

9月17日周四
  1. Anthropic · 55

    Anthropic 推出生命科学验证计划 LSVP，为生物研究开放更宽松的模型访问

    Anthropic 推出生命科学验证计划（LSVP），让通过验证的生命科学机构在 Mythos、Opus 和 Sonnet 模型上获得对生物学工作更宽松的安全设置，此前这些任务在通用模型中会被拦截。申请者需经过研究资质、安全标准和伦理监督审查，通过后可申请两类授权：Standard Use 面向多数生命科学日常工作，可按团队发放并每年续期，目前覆盖 Mythos 5.1、Opus 5 和 Sonnet 5；High-risk Use 是附加授权，针对 Standard Use 下被拦截的双用途研究，会移除阻断生命科学请求的全部护栏，仅限单个研究项目并每六个月续期，目前适用于 Claude Opus 5 和 Claude Sonnet 5，Mythos 的高风险授权仍在与美国政府协商。该计划以 beta 形式面向团队和机构开放，暂不支持个人订阅和第三方平台，也不适用于启用 BAA 的机构。

9月10日周四
  1. 安远AI · 43

    中国网信办官员警示 AI 失控与生物风险，Z.AI 首次因安全推迟 GLM-5.3 权重发布

    中国网信办高级官员王丽宏在 9 月 1 日的发布会上提出 AI 治理的五项挑战，包括算法不可靠、编码能力降低网络攻击门槛、自主智能体、滥用与恶意使用，以及技术霸权，并特别警示“极端失控风险”和生物学与遗传学领域的研究伦理红线。简报认为这是网信办官员首次如此突出地把生物与遗传学列为 AI 风险领域，此前该风险多出现在标准文件中。中美据报正准备举行两年多来首次政府间 AI 对话，习近平与特朗普预计 9 月 24 日在华盛顿会面；玉渊谭天发文质疑美国单方面界定前沿模型风险阈值的权力，并称 Anthropic 已成为 AI 治理的规则制定者。TC260 预计在 9 月 14 至 20 日的国家网络安全宣传周发布更新版 AI 安全治理框架。

8月14日周五
  1. Google DeepMind · 9

    Google DeepMind 发布 Gemini 3.7 Flash，面向编程与智能体工作流

    Google DeepMind 推出 Gemini 3.7 Flash，距 Gemini 3.6 Flash 仅三周，定位其最强编程与智能体主力模型。该模型在 FrontierCode 1.1 Main（43.6% vs 34.4%）和 DeepSWE v1.1（65.3% vs 49.0%）上升明显，WebDev Arena Elo 达 1588（对比 1538）。首发价为每百万输入 token 0.75 美元、输出 3.75 美元，并同步更新 Gemini Spark，针对 CBRN 与网络攻击场景升级 Frontier Safety 防护措施。

7月6日周一
  1. SecureBio · 15

    SecureBio AI 负责人 Seth Donoughe 卸任，Jasper Götting 接任

    SecureBio AI 团队主任 Seth Donoughe 卸任，将 AI 研究负责人一职交给自 2024 年起领导该团队 AI 研究的病毒学家 Jasper Götting。Donoughe 指出，当 AI 科学能力超越所有人类专家后，基于人类专家知识构建的基准将失去动态范围，需转向人类可验证但专家难以完成的任务（如预测实验结果），而 SBAI 正投入该方向；但该方法不适用于评估新想法、判断与研究方向的产出。他还强调需研究人机混合科学家，并建立 AI 驱动科学发现的安全流程。

7月4日周六
  1. SecureBio · 28

    SecureBio 的模型评估原则与实践

    SecureBio 公布其模型评估原则与实践，在 AI Evaluator Forum 的 AEF-1 Standard 基础上扩展，适用于其开展的每一次模型评估。该机构评估接近部署配置的预发布模型快照，并申请访问无安全过滤或安全微调的版本，以在护栏被绕过时评估模型底层能力。SecureBio 已开展多次生物安全预发布评估，最近一例为 GPT-5.6 Sol，此前曾独立发布 GPT-5.5 的评估报告。

6月25日周四
  1. U.S. Congress · 57

    美国众议院提出《AI 事故报告法案》，要求模型开发者 7 天内上报严重风险事件

    美国众议员 Moran 于 2026 年 6 月 25 日在众议院提出 H.R. 9477《AI 事故报告法案》，要求商务部长在法案生效后 180 天内制定规则，按能力等阈值指定受涵盖模型与开发者。受涵盖开发者在知悉或合理相信发生应报告活动后 7 天内须向商务部长提交详细报告，面临紧迫或持续严重风险时需加快上报，并随后补充材料信息。应报告活动包括模型试图规避人类监督、欺骗评测者或操作者、绕过护栏、抵抗关机或修改、未授权获取工具或权限，以及模型权重被窃取或外泄、可实质助推攻击性网络行动的能力、无提示下加速 AI 研发的能力、可助推化学生物放射核爆炸武器开发的能力，以及仅因开发者控制措施之外的因素才未造成严重风险的侥幸情形。该法案已提出并转交众议院能源和商务委员会，尚未通过。

  2. Rep. Nathaniel Moran · 53

    Moran 提出 AI Incident Reporting Act，要求前沿模型危险事件及时上报

    美国众议员 Nathaniel Moran 于 6 月 25 日提出 AI Incident Reporting Act，要求最先进 AI 模型的开发者向商务部报告危险能力、安全漏洞和安全事件。法案规定由商务部认定达到能力阈值、足以对国家安全或公共安全构成重大风险的模型，开发者须在发现危险活动后 7 天内提交报告；对模型可自主自我改进或对公共安全构成严重风险等最严重事件，商务部须在 48 小时内通知国会领导层及相关委员会主席。可上报事件包括模型试图规避人类监督或抵制关停、模型权重遭未授权访问或窃取、可用于对关键基础设施发动攻击性网络攻击的能力，以及化学、生物、放射、核与爆炸物相关风险。法案要求商务部与 AI 开发者、学术研究者、网络安全专家和国家安全官员协商制定上报阈值，并包含敏感、涉密信息的保护条款和跨机构共享安排。该法案已由众议员提出并转交相关委员会审议，尚未通过。

6月4日周四
  1. OpenAI · 28

    OpenAI 发布生物防御行动计划，强化智能时代生物安全

    OpenAI 发布生物防御行动计划，拟通过为可信开发者提供先进能力，并配套防护措施、证据与治理，强化生物安全。其已于 2026 年 4 月推出面向生物学与药物发现的前沿推理模型 GPT-Rosalind，5 月宣布 Rosalind Biodefense 帮助可信开发者构建生物防御与大流行防范能力；目标是更早发现威胁、更快开发对策。

5月29日周五
  1. NIST · 35

    NIST 将 AI 安全研究所联盟更名为 NIST AI Consortium 并扩大范围、招募新成员

    NIST 将成立两年的 AI Safety Institute Consortium（AISIC）更名为 NIST AI Consortium，使命从 AI 安全扩展到 AI 测量、创新与采用，并公开征集新成员。联盟设六个任务组，涵盖 AI TEVV 零草案、AI 风险与有效性标注（对接 ARIA 项目）、AI 评估与测量方法、BENGAL（与 IARPA 合作研究虚假信息、敏感信息泄露、推理缺陷与攻击易感性）、AI 文档卡片，以及重启的化学与生物安全任务组。新成员按意向书先到先得遴选，现有成员须签署修订协议，成员需与 NIST 签订 CRADA。

  2. OpenAI · 39

    OpenAI 以 Rosalind Biodefense 强化社会韧性

    OpenAI 推出 Rosalind Biodefense，扩大 GPT-Rosalind 的受信任访问，面向通过审核的开发者与美国政府合作方，用于推进生物防御、公共卫生和大流行病防范。该计划通过前沿 AI 支持上述领域，并将访问范围限定在经审核的对象内。

5月8日周五
  1. Tech Policy Press · 29

    特朗普与习近平北京峰会应将共同的 AI 风险列为优先事项

    Tech Policy Press 刊文主张，美中应借下周特朗普-习近平北京峰会启动政府间 AI 风险降低对话。文章以 Anthropic 有限发布 Claude Mythos 引发的安全担忧为由，主张由双方政府技术专家就 AI 危害与对策建立共同理解，而非谈判具体结果。文中援引对 Kimi K2.5 的风险评估，称其拒绝生物武器请求的可靠性不如美国模型。

4月17日周五
  1. IAPS · 52

    IAPS 备忘录：Claude Mythos 的网络能力跃升与政策优先事项

    IAPS 发布备忘录，评估 Anthropic 于 4 月 7 日发布的 Claude Mythos Preview 及其配套的差异化访问计划 Project Glasswing，认为政策制定者应把该模型和 AI 网络能力的加速轨迹视为需要紧急行动的国家安全风险。Anthropic 的内部评估与独立评测显示，Mythos 在未知漏洞发现、漏洞利用生成和自动化攻击上均有明显提升，据报已发现数千个高危或严重漏洞，覆盖各大操作系统和浏览器；UK AISI 的 32 步企业网络攻击模拟中，Mythos 是首个端到端完成该靶场的模型，10 次尝试中成功 3 次，平均完成 22 步，而 Opus 4.6 平均 16 步。备忘录指出，从漏洞披露到出现可用利用的平均时间已从 2018 年的 2.3 年降至 2025 年的 23 天，2026 年 4 月进一步缩短到 20 小时。