跳到正文

危险能力

网络攻击、生物化学、自主复制等危险能力的评估与阈值。

370条动态与论文相关主题安全评测System Card前沿安全框架
在这个话题内搜索或按分类筛选

新闻与论文

第 281–300 条 · 共 370 条
10月1日周四
  1. 腾讯玄武实验室 · 收录 · 原文 20

    腾讯玄武实验室推出一款基于安全大模型的EDR告警研判机器人

    腾讯玄武实验室公开一款基于安全大模型的EDR告警研判机器人,能对EDR设备上报的告警做多维度的智能分析与自动调查取证。该机器人结合资产信息、事件信息、进程树和告警规则等多源细节,借助大模型的安全知识与推理能力展开研判,并将误报可能性量化为很大、中等偏大、中等偏小及很小四档,便于用户按优先级处置告警。其技术方案经30余轮迭代打磨而成,涵盖训练数据生成算法、数据分布优化策略、Prompt工程、微调与强化学习算法及模型能力评价体系,且支持私有化部署以保证极高吞吐量。

  2. Dean Ball · 收录 · 原文 29

    Anthropic 的 Claude Mythos 如何颠覆网络安全格局

    Anthropic 的 Claude Mythos 具备近乎超人水平的自动化软件漏洞发现能力,已发现数千个漏洞,其中大部分尚未修复。该模型目前未公开,但研究人员警告其将从根本上颠覆网络安全,且未来约六周内可能有 2-3 家美国公司掌握同等能力,随后中国等对手也将获得。研究人员认为过渡期可能漫长而残酷,最终世界或将进入防御方受益的稳态。

  3. Frontier Model Forum · 收录 · 原文 30

    Frontier Model Forum 发布 AI 生物安全评估初步分类体系

    Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报,提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类:基准评估、红队演练和对照研究;领域涵盖科学知识与科学推理性评估及危害性生物知识评估,后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识,旨在推动建立有效的 AI 生物安全评估生态。

  4. Frontier Model Forum · 收录 · 原文 36

    Frontier Model Forum 发布前沿 AI 安全框架阈值问题简报

    Frontier Model Forum 发布问题简报,梳理前沿 AI 安全框架中阈值的类型与作用。简报指出,阈值是安全框架的核心要素,用于预先界定何种风险水平需要进一步审查或加强防护,从而让开发者、部署方和监管方在风险出现前采取行动,尤其针对 CBRN 和高级网络风险。简报归纳了四类阈值:算力阈值以训练算力作为风险的代理指标,易测量但只是粗略筛选;风险阈值直接限定可接受的风险概率与危害程度,最贴近社会影响但当前难以可靠估计;能力阈值指向特定能力(如提供致命病原体合成指引),比算力更贴近危害且比风险估计更易测量,是目前安全框架中最常用的类型;结果导向阈值则列出不可接受的结果及相应威胁场景。

  5. Frontier Model Forum · 收录 · 原文 21

    Frontier Model Forum 向 OSTP 提交 AI 行动计划意见书

    Frontier Model Forum 于 3 月 14 日向美国白宫科技政策办公室(OSTP)提交了一份关于《人工智能行动计划》制定的回应文件,建议美国政府加大对 AI 安全科学的投入并加强国际标准协调。 该组织提出三个重点方向:资助 AI 计量学与测量科学研究、开发针对国家安全与公共安全风险的 AI 风险管理流程,以及确保相关工作中纳入具备科学专业知识的领域专家,并点名 NIST 与美国能源部国家实验室适合推进评测测量科学。

  6. Frontier Model Forum · 收录 · 原文 40

    Frontier Model Forum 发布 AI 生物安全评测三级报告分层方案

    Frontier Model Forum 发布议题简报,提出 AI 生物安全评测信息的三级报告框架,按公开、可信网络内共享、仅私下披露划分披露范围。Tier 1 可公开发布研究问题、科学领域、高层级评测方法、参与者背景、受测模型、任务示例、分析方法和关键高层级结论及研究局限;Tier 2 限可信网络共享完整威胁模型、深入评测方法、结果详细解读和模型增强细节;Tier 3 仅在决策相关方之间私下披露具体模型漏洞、特定训练数据和私有数据集。该框架采取预防性思路,信息只有在确信更广泛传播不会带来信息或注意力风险时才扩大共享范围,部分条目的报告层级取决于评测结果,例如确认新型生物威胁或可利用漏洞的高层级结论可能不宜公开。

  7. Frontier Model Forum · 收录 · 原文 42

    Frontier Model Forum 成员企业签署首份前沿 AI 信息共享协议

    Frontier Model Forum(FMF)宣布其全部成员企业签署了一份旨在促进前沿 AI 威胁、漏洞与能力进展信息共享的协议。该共享范围被严格限定,用于管理涉及 CBRN 与高级网络威胁等国家安全和公共安全风险,目前仅限 FMF 成员企业参与。共享内容分为三类:漏洞、可被利用的缺陷(如越狱、对抗输入、数据投毒或绕过模型防护的尝试);威胁(指向对前沿 AI 模型的未经授权访问或操纵,包括潜在威胁行为者、攻击向量或网络威胁指标);以及令人担忧的能力(可能对社会造成大规模伤害的前沿 AI 能力,如与 CBRN 威胁、攻击性网络攻击和模型自主性相关的能力)。

    推荐理由FMF 成员企业首次签署跨公司信息共享协议,界定了共享范围与风险类别,可了解前沿 AI 行业协作机制的实际形态。

  8. Frontier Model Forum · 收录 · 原文 23

    Frontier Model Forum 推出前沿 AI 框架技术报告系列

    Frontier Model Forum 启动前沿 AI 框架技术报告系列,计划在未来数月内陆续发布四份报告,分别覆盖风险分类与阈值、前沿能力评估、缓解措施以及第三方评估。该系列旨在说明不同组织情境下如何有效落地前沿 AI 框架,并推动实施标准的形成。目前已有 12 家主要 AI 开发商发布了各自的前沿 AI 框架,其中包括 Google DeepMind 的 Frontier Safety Framework、Anthropic 的 Responsible Scaling Policy 和 OpenAI 的 Preparedness Framework。

  9. Frontier Model Forum · 收录 · 原文 32

    Frontier Model Forum 资助 AI 生物风险研究:病毒学与细菌生物威胁基准及湿实验室试验

    Frontier Model Forum(FMF)通过 AI Safety Fund 公布三项应对 AI—生物风险的资助进展。SecureBio 开发了含 322 道多模态问题的 Virology Capabilities Test(VCT)基准,Nemesis Insights 则建成约 1,000 条高质量细菌生物威胁提示词的 BBG 框架,两者数据集将提供给安全团队、监管机构和学术研究者。此外,FMF 联合 Sentinel Bio 资助一项大规模 BSL-2 湿实验室研究,对比有无领先多模态 AI 辅助下新手完成实验的成功率,全部结果将在发表前经独立的生物安全与国家安全专家顾问委员会预先审核。

  10. UK AISI · 收录 · 原文 48

    英国 AI Safety Institute 更名为 AI Security Institute,并新增犯罪滥用研究团队

    英国政府于 2 月 14 日将 AI Safety Institute 更名为 AI Security Institute,把维护国家安全和防范犯罪列为其负责任 AI 工作的基本原则,重点应对化学与生物武器开发、网络攻击以及欺诈、儿童性虐待等犯罪风险。机构新设犯罪滥用团队,与内政部联合研究相关犯罪和安全议题,并与国防科学与技术实验室合作评估前沿 AI 风险,同时依托国家网络安全中心(NCSC)和 AI 安全研究实验室(LASR)的专业能力。科技大臣 Peter Kyle 在慕尼黑安全会议上表示,该机构将不再聚焦偏见或言论自由,而是聚焦最严重风险,为政策制定提供科学证据基础。

    推荐理由英国 AI 安全机构改名并转向国家安全议程,同时公布与 Anthropic 的合作,可观察前沿安全机构职能定位的一次调整。

  11. UK AISI · 收录 · 原文 43

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布 AI Safety Institute 更名为 AI Security Institute

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布,将 AI Safety Institute 更名为 AI Security Institute,并明确其聚焦最严重新兴风险的科学研究定位。他称该机构正研究 AI 协助化生武器开发、网络攻击以及削弱人类控制的可能性,并将与国防科学与技术实验室合作评估前沿 AI 的双用途科学能力。机构还新设犯罪滥用团队,与内政部合作研究犯罪与安全问题。Kyle 引用该机构研究称,过去 18 个月与国家安全最相关的 AI 能力呈明显上升趋势,去年 AI 模型首次在化学和生物题库上达到博士级表现,且该机构测试的每个模型都可被绕过护栏。

    推荐理由英国技术大臣在慕尼黑安全会议宣布机构更名与新增职能,可了解英国 AI 安全治理架构的最新调整方向。

  12. Nicholas Carlini Writing · 收录 · 原文 15

    Nicholas Carlini 撰文《我为何发动攻击》:从可修补漏洞到不可修补漏洞

    谷歌研究员 Nicholas Carlini 发文回应芝加哥大学计算机教授 Ben Zhao 在一个拥有 15,000 名成员的公开 Discord 服务器上对他的批评,并阐述自己撰写攻击论文的原因——出于解谜的兴趣而非行善驱动。他把所有安全漏洞划分为一条光谱:一端是可修补漏洞,例如针对 Web 服务器的 SQL 注入或 XSS,披露前应给开发者留出修复时间;另一端是不可修补漏洞,他以破解 AES 或 RSA 为例指出此类问题一旦存在便无法真正挽回损害,应立即公开。

  13. Nicholas Carlini Writing · 收录 · 原文 8

    Machines of Ruthless Efficiency:为何我们应当担忧 AI 的未来

    前 Google 研究员 Nicholas Carlini 撰文指出,深度学习系统之所以被大规模建造,是因为它们具有无情的效率优势,而这本身就构成风险。他认为高级 AI 将带来规模化网络钓鱼、监控和其他网络攻击,并放大个体层面的错误、定制化成瘾内容和宣传、大规模失业以及权力财富集中等问题。其中部分危害无需比现有模型强多少即可实现,另一些则需要更强的模型能力。

  14. AI Frontiers · 收录 · 原文 20

    Drone WMDs Don't Need Any New Technology

    现有微型无人机技术几乎足以构成大规模杀伤性武器——拳頭大小的机体能自主导航室内并追踪人类目标,俄罗斯 V2U 等半自主武器的前线应用已验证这一点,剩下的主要障碍只是集成而非工程突破。当前小型 FPV 无人机多数仍需人工操控,仅末段交由 AI 瞄准系统,原因是战场属对抗环境,敌我识别、规避己方火力与预设反无人机手段仍需人来完成。若攻击者接受无差别打击并使用简单弹药针对平民,该技术的实用化门槛将大幅降低。 要点: - 所需部件均已存在:拳头大小机架与人形目标跟踪已在侦察无人机及俄制 V2U 类半自主武器中投入使用。

  15. AI Frontiers · 收录 · 原文 43

    MATS 与 FAR.AI 作者提出修复 AI 越狱披露机制的两层方案

    MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出,当前前沿 AI 实验室的越狱披露机制存在三大问题:许多厂商没有官方报告渠道,现有漏洞赏金项目普遍附带限制披露的 NDA,且严重性由实验室用不公开的标准自行评定。作者称,目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径,且仅覆盖 CBRN 相关的漏洞赏金;Google DeepMind、SpaceXAI(原 xAI)和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。

  16. Google DeepMind · 收录 · 原文 29

    Google DeepMind 与 Isomorphic Labs 联合公布生物韧性方案

    Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案,一方面防范威胁行为者滥用其模型,另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月,两家机构推进了超过 15 项合作,覆盖预防、检测与响应三个方向:Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途,AlphaEvolve 优化宏基因组测序算法以加快疫情侦测,Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分,并与 Frontier Safety Framework 相衔接。

  17. Google DeepMind · 收录 · 原文 52

    Google DeepMind 发布 Gemini 3.5 Flash Cyber 网络安全模型

    Google DeepMind 推出 Gemini 3.5 Flash Cyber,一款基于 3.5 Flash 微调的轻量网络安全模型,用于快速发现、验证和修补漏洞,在相关任务上优于 Gemini 主线 Flash 模型。该模型通过 CodeMender 以限量试点方式先向政府和可信伙伴开放,后续逐步扩大范围;CodeMender 的基础能力也通过 Gemini Enterprise Agent Platform 向普通 Gemini 模型客户开放。

    推荐理由Google 公开了 3.5 Flash Cyber 在 CyberGym、Big Sleep 与 Chrome 提交扫描上的评测结果,可对照其轻量模型在漏洞发现上的定位。