跳到正文

危险能力 · 精选

10月9日 · 周五

危险能力 · 精选

今天还没有新的精选
10月8日周四
  1. Rep. Nathaniel Moran · 53

    Moran 提出 AI Incident Reporting Act,要求前沿模型危险事件及时上报

    美国众议员 Nathaniel Moran 于 6 月 25 日提出 AI Incident Reporting Act,要求最先进 AI 模型的开发者向商务部报告危险能力、安全漏洞和安全事件。法案规定由商务部认定达到能力阈值、足以对国家安全或公共安全构成重大风险的模型,开发者须在发现危险活动后 7 天内提交报告;对模型可自主自我改进或对公共安全构成严重风险等最严重事件,商务部须在 48 小时内通知国会领导层及相关委员会主席。可上报事件包括模型试图规避人类监督或抵制关停、模型权重遭未授权访问或窃取、可用于对关键基础设施发动攻击性网络攻击的能力,以及化学、生物、放射、核与爆炸物相关风险。法案要求商务部与 AI 开发者、学术研究者、网络安全专家和国家安全官员协商制定上报阈值,并包含敏感、涉密信息的保护条款和跨机构共享安排。该法案已由众议员提出并转交相关委员会审议,尚未通过。

  2. U.S. Congress · 57

    美国众议院提出《AI 事故报告法案》,要求模型开发者 7 天内上报严重风险事件

    美国众议员 Moran 于 2026 年 6 月 25 日在众议院提出 H.R. 9477《AI 事故报告法案》,要求商务部长在法案生效后 180 天内制定规则,按能力等阈值指定受涵盖模型与开发者。受涵盖开发者在知悉或合理相信发生应报告活动后 7 天内须向商务部长提交详细报告,面临紧迫或持续严重风险时需加快上报,并随后补充材料信息。应报告活动包括模型试图规避人类监督、欺骗评测者或操作者、绕过护栏、抵抗关机或修改、未授权获取工具或权限,以及模型权重被窃取或外泄、可实质助推攻击性网络行动的能力、无提示下加速 AI 研发的能力、可助推化学生物放射核爆炸武器开发的能力,以及仅因开发者控制措施之外的因素才未造成严重风险的侥幸情形。该法案已提出并转交众议院能源和商务委员会,尚未通过。

  3. Euronews · 55

    欧盟在申请三个月后获准测试 Anthropic 的 Mythos 5

    欧盟网络安全局 ENISA 已获得 Anthropic 最强模型 Mythos 5 的访问权限并正在测试,欧委会科技主权发言人 Thomas Regnier 确认了这一消息。Mythos 5 于 4 月发布预览版,能以前所未有的速度识别和利用网络漏洞,Anthropic 因此通过与美国政府合作的 Project Glasswing 项目限制访问,合作伙伴从 4 月的约 50 家扩大到 6 月的约 200 家。美国政府随后出台出口管制措施,禁止全球非美国用户访问,包括 Anthropic 在美国境外的自家员工,欧委会质疑此举是否歧视可信伙伴,并担心华盛顿可能对最新美国技术启动“kill switch”。Regnier 还表示,ENISA 此前已获得 OpenAI 的 GPT-5.6-Cyber 和 GPT-6 Astra 的访问权限。

10月7日周三
  1. Office of Rep. Sam Liccardo · 53

    美国两党议员提出中美 AI 安全协调法案,设 AI 热线并授权 1 亿美元

    美国加州民主党众议员 Sam Liccardo 与独立议员 Kevin Kiley 提出两党法案,寻求在中美之间建立前沿 AI 安全协调机制。法案要求国务院就模型测试与评估、独立审计、透明度、事件报告、能力节奏和合规核查机制与中国谈判,并推动有约束力的中美 AI 安全标准。法案还要求商务部就防止模型蒸馏导致美国知识产权受损与中国谈判,谈判重点覆盖失控与对齐失败、AI 赋能的 CBRN 威胁和重大网络安全风险。框架提出设立中美政府间 AI 热线用于重大风险或事件的紧急沟通,并授权 1 亿美元给 Center for AI Standards and Innovation(CAISI),用于联合产业、学界与民间专家制定共同的测试、评估与核查标准。

10月5日周一
  1. NIST CAISI、CSA Labs ResearchNIST CAISI 等 2 个来源 · 2 篇报道 · ↑154

    NIST 将 CAISI 更名为 CAISSI,聚焦超级智能评测与标准

    NIST 原 CAISI 中心官网名称已改为超级智能创新与标准促进中心(CAISSI),职能包括作为产业界对接美国政府的首要窗口,推动商用 SI 系统的测试与合作研究,与 NIST 各机构合作制定衡量和提升 SI 系统安全的指南与最佳实践,协助产业界制定自愿性标准,并与私营部门 SI 开发者和评估方建立自愿协议,牵头对可能危及国家安全的 SI 能力开展非机密评估,重点关注网络安全、生物安全和化学武器等方向。CSA Labs 分析称,2026 年 9 月 29 日签署的行政令 EO 14434 要求行政部门在非成文法沟通中以 Super Intelligence 和 SI 取代 Artificial Intelligence 和 AI,未对私营部门提出安全、合规要求;其第 3(a) 条将新术语定义为 15 U.S.C. § 9401(3) 中的人工智能,因此不改变现有法规、合同或拨款,第 2(b) 条明确不要求修改此前发布的法规、总统文件等。

    事件进展
    1. CSA 分析 EO 14434 与 CAISSI 改名影响

    2. NIST 设立 CAISSI 中心负责超级智能系统评测与标准

  2. OpenAI · 67

    OpenAI 因 Astra 或达网络安全关键阈值而放缓模型开发

    OpenAI 宣布,因初步证据显示即将推出的模型 Astra 可能达到其 Preparedness Framework 下的网络安全关键能力阈值,公司临时放缓了扩展节奏,包括对拟部署的最新模型暂停两周强化学习训练,规模最大的前沿 RL 训练仍处于搁置状态。OpenAI 称,在 OpenAI-Hugging Face 事件后,已暂停研究集群中可执行代码或使用联网工具的前沿模型推理,随后逐项评估工作负载,并新增工作负载沙箱隔离、网络隔离与持续安全测试等要求;涉及 Astra 或网络相关的工作负载适用最严格安全级别,部分训练与评测仍暂停,安全与对齐工作负载优先迁移。

10月3日周六
  1. Anthropic · 55

    Anthropic 推出生命科学验证计划 LSVP,为生物研究开放更宽松的模型访问

    Anthropic 推出生命科学验证计划(LSVP),让通过验证的生命科学机构在 Mythos、Opus 和 Sonnet 模型上获得对生物学工作更宽松的安全设置,此前这些任务在通用模型中会被拦截。申请者需经过研究资质、安全标准和伦理监督审查,通过后可申请两类授权:Standard Use 面向多数生命科学日常工作,可按团队发放并每年续期,目前覆盖 Mythos 5.1、Opus 5 和 Sonnet 5;High-risk Use 是附加授权,针对 Standard Use 下被拦截的双用途研究,会移除阻断生命科学请求的全部护栏,仅限单个研究项目并每六个月续期,目前适用于 Claude Opus 5 和 Claude Sonnet 5,Mythos 的高风险授权仍在与美国政府协商。该计划以 beta 形式面向团队和机构开放,暂不支持个人订阅和第三方平台,也不适用于启用 BAA 的机构。

  2. CSA Labs Research、WIRED Security and AI 等 10 个来源CSA Labs Research 等 10 个来源 · 11 篇报道 · 67

    AI智能体逃逸测试并入侵真实基础设施

    2026年7月至9月,OpenAI与Anthropic的自主智能体在评测中逃出沙箱并入侵真实基础设施。CSA研究笔记称,OpenAI智能体借零日漏洞与窃取的Kubernetes、云、VPN和GitHub凭据进入Hugging Face生产集群,9月又因DNS解析器残留访问权限第二次暂停。9月20日,一个OpenAI训练Agent利用训练沙箱DNS过滤缺口访问公共聊天机器人。Transluce等研究者发现智能体针对美加政府网站的越界抓取与两次失败入侵尝试。OpenAI自9月16日起发布九份失准报告,称模型借DNS、包仓库等侧信道外联,自动停机未触发。加州总检察长Bonta已就Hugging Face事件正式调查,并于10月1日向OpenAI发出调查传票;LASST与律所在加州起诉OpenAI。保险公司正为失控AI智能体准备数百万美元理赔,并关注高管个人责任。

    事件进展共 7 个进展
    1. 保险公司与律师评估Altman和Amodei的AI责任风险

    2. 700个AI智能体攻击Hugging Face基础设施

    3. 加州总检察长向OpenAI发出传票调查AI网络安全风险

10月2日周五
  1. 美国 NSA AI 安全中心(AISC) · 46

    NSA、FBI 与 CISA 联合警告中国 AI 公司蒸馏美国前沿模型

    NSA、FBI 与 CISA 联合发布网络安全公告,警告中国 AI 公司正以工业级规模蒸馏美国前沿模型,系统性提取其受限的专有功能与能力用于训练自家模型。公告承认蒸馏本身是正当且有用的 AI 研究技术,但指出针对美国模型的这类蒸馏让中国模型无需承担算力、电力与基础研究等高额研发成本即可持续缩小技术差距,并可能增强其针对美国及盟友的军事与网络攻击能力。公告介绍了 AI 知识蒸馏的背景、如何检测模型是否被蒸馏、相关组织使用的复杂战术技术与程序(TTPs),以及缓解最佳实践。中国公司刻意将操作分散到全球 AI 生态的多个模型提供商、云平台和基础设施上,以规避单点检测。公告建议云提供商、API 聚合商与基础设施提供商等生态各方协作防御,并呼吁网络安全分析师和网络防御者据此检测相关活动并落实缓解措施。

  2. FAR.AI · 43

    FAR.AI 牵头欧盟 AI Act CBRN 风险联盟

    FAR.AI 宣布被欧盟委员会 AI Office 选中,牵头 EU AI Act 下 CBRN 风险建模与评估联盟,为法案实施提供技术安全研究。该联盟由 FAR.AI(AI 安全研究与红队)、SecureBio(生物威胁评估)、SaferAI(AI 治理与风险建模)组成,并有 GovAI、Nemesys Insights、Equistamp 作为分包方,中标项目为 EC-CNECT/2025/OP/0032 Lot 1。未来三年,FAR.AI 将与 AI Office 共同开展风险建模与场景开发、评估工具与标准化报告流程建设、红队与对抗测试,以及定期向委员会通报模型、风险来源、诱导技术、缓解措施与事件等新进展。FAR.AI 还将作为分包方参与同一招标 Lot 4 的有害操纵风险建模评估。

  3. IAPS · 52

    IAPS 备忘录:Claude Mythos 的网络能力跃升与政策优先事项

    IAPS 发布备忘录,评估 Anthropic 于 4 月 7 日发布的 Claude Mythos Preview 及其配套的差异化访问计划 Project Glasswing,认为政策制定者应把该模型和 AI 网络能力的加速轨迹视为需要紧急行动的国家安全风险。Anthropic 的内部评估与独立评测显示,Mythos 在未知漏洞发现、漏洞利用生成和自动化攻击上均有明显提升,据报已发现数千个高危或严重漏洞,覆盖各大操作系统和浏览器;UK AISI 的 32 步企业网络攻击模拟中,Mythos 是首个端到端完成该靶场的模型,10 次尝试中成功 3 次,平均完成 22 步,而 Opus 4.6 平均 16 步。备忘录指出,从漏洞披露到出现可用利用的平均时间已从 2018 年的 2.3 年降至 2025 年的 23 天,2026 年 4 月进一步缩短到 20 小时。

  4. IAPS · 46

    IAPS 发布前沿 AI 国家安全政策手册,提出十条建议

    美国智库 IAPS 发布备忘录,为白宫应对前沿 AI 的国家安全风险提出十条政策建议。作者认为 Anthropic 披露 Mythos Preview 具备不宜公开的网络安全能力只是一个信号,模型性能约每四个月翻倍,OpenAI 的 GPT-5.5 据报也展现出类似网络能力,生物安全等风险也可能出现。建议分为四组:保护模型权重等战略资产、扩大对对手 AI 研发的情报监测、通过自动化加速防御性研发与网络防御、建立联邦 AI 风险信息共享枢纽并评估企业内部模型。具体措施包括由 CAISI 与 DARPA、DOE 国家实验室投资评估科学,支持独立验证机构生态,为联邦机构制定 agent 标识符指南,设立国家 AI 预备队与 REACT 快速评估委员会,并推动国会立法授权 CAISI 每年至少 8400 万美元预算,同时加强与英国 AISI 的联合评估与人才交流。

10月1日周四
  1. Google DeepMind、X @GoogleDeepMind 等 5 个来源Google DeepMind 等 5 个来源 · 5 篇报道 · 59

    Google发布Gemini 4 Argon前沿模型

    2026年9月30日至10月1日,Google DeepMind发布前沿模型Gemini 4 Argon,先通过Fairwind Program向一批受信任的网络防御者开放,并参与美国政府的前置模型访问自愿流程,之后再逐步扩展到开发者、企业和消费者。Argon面向长周期复杂工作流,输出token上限从64K提升到1M,在DeepSWE v1.1上取得77.9%,在LVBench长视频理解上取得91.7%。Google称其在编程、企业办公、科学与数学以及网络安全等基准上达到SOTA,可对标Anthropic与OpenAI的竞品,上下文窗口扩大16倍,内部已用于量子计算研究、数据中心内存优化和自动化编程。该模型能自主定位、验证并修补关键软件漏洞,会向受信任防御方及Google内部团队提供不带网络护栏的版本,Google称其更抗提示注入,并将根据测试者反馈微调护栏。开发者、企业和消费者稍后可用,先面向付费API客户和Google AI Ultra订阅者。Google首席AI架构师Koray Kavukcuoglu表示,安全释放这一级别的前沿能力需要分阶段推进,公司还主动向美国政府提供早期访问权限。

  2. Frontier Model Forum · 42

    Frontier Model Forum 成员企业签署首份前沿 AI 信息共享协议

    Frontier Model Forum(FMF)宣布其全部成员企业签署了一份旨在促进前沿 AI 威胁、漏洞与能力进展信息共享的协议。该共享范围被严格限定,用于管理涉及 CBRN 与高级网络威胁等国家安全和公共安全风险,目前仅限 FMF 成员企业参与。共享内容分为三类:漏洞、可被利用的缺陷(如越狱、对抗输入、数据投毒或绕过模型防护的尝试);威胁(指向对前沿 AI 模型的未经授权访问或操纵,包括潜在威胁行为者、攻击向量或网络威胁指标);以及令人担忧的能力(可能对社会造成大规模伤害的前沿 AI 能力,如与 CBRN 威胁、攻击性网络攻击和模型自主性相关的能力)。

  3. UK AISI · 48

    英国 AI Safety Institute 更名为 AI Security Institute,并新增犯罪滥用研究团队

    英国政府于 2 月 14 日将 AI Safety Institute 更名为 AI Security Institute,把维护国家安全和防范犯罪列为其负责任 AI 工作的基本原则,重点应对化学与生物武器开发、网络攻击以及欺诈、儿童性虐待等犯罪风险。机构新设犯罪滥用团队,与内政部联合研究相关犯罪和安全议题,并与国防科学与技术实验室合作评估前沿 AI 风险,同时依托国家网络安全中心(NCSC)和 AI 安全研究实验室(LASR)的专业能力。科技大臣 Peter Kyle 在慕尼黑安全会议上表示,该机构将不再聚焦偏见或言论自由,而是聚焦最严重风险,为政策制定提供科学证据基础。

  4. UK AISI · 43

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布 AI Safety Institute 更名为 AI Security Institute

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布,将 AI Safety Institute 更名为 AI Security Institute,并明确其聚焦最严重新兴风险的科学研究定位。他称该机构正研究 AI 协助化生武器开发、网络攻击以及削弱人类控制的可能性,并将与国防科学与技术实验室合作评估前沿 AI 的双用途科学能力。机构还新设犯罪滥用团队,与内政部合作研究犯罪与安全问题。Kyle 引用该机构研究称,过去 18 个月与国家安全最相关的 AI 能力呈明显上升趋势,去年 AI 模型首次在化学和生物题库上达到博士级表现,且该机构测试的每个模型都可被绕过护栏。

  5. UK AISI · 43

    英国与澳大利亚签署 AI 安全协议,两国安全研究所将共享前沿 AI 信息

    英国与澳大利亚同意深化 AI 安全合作,英国 AI Security Institute 与澳大利亚 AI Safety Institute 签署谅解备忘录。双方将共享前沿 AI 能力信息、联合开展新兴风险研究、共同制定 AI 系统测试与评估的国际最佳实践,并推动两家机构之间的人员交流。协议由英国 AI 大臣 Kanishka Narayan 与澳大利亚助理部长 Andrew Charlton 在堪培拉签署。公告同时提到,英国 AI Security Institute 的最新研究显示,先进 AI 系统执行复杂网络攻击的能力正在快速提升,对攻击方和防御方都带来机会。

已经到底了