跳到正文

#网络安全

今天还没有收录新动态

第 3 页更新的内容回到最新

7月17日周五
  1. 腾讯玄武实验室 ·

    腾讯玄武 Atuin AI 在 CyberGym 上的表现:GLM-5.2 更新结果

    腾讯玄武 Atuin AI 换用 GLM-5.2 重新评估后,在 CyberGym 全部 1,507 个任务上 pass@1 达 84.8%(1,278 个任务),较 GLM-5.1 的 84.0% 提升 0.8 个百分点。相同 GLM-5.1 下,Atuin AI 比 Claude Code 的 68.7% 高出 15.3 个百分点。本次实验新增代理白名单,仅允许连接 LLM 提供商、Python/npm 包注册表和内部服务,其余设置不变。

7月15日周三
  1. Google Threat Intelligence(GTIG) ·

    Google Cloud Run 无认证公开函数的安全风险与加固指南

    Mandiant 安全评估发现大量缺乏认证的公网暴露 serverless 应用,Cloud Run 服务若含第三方依赖易遭本地文件包含(LFI)、远程文件包含及命令注入攻击,成功利用可获得容器实例完整控制权并进一步横向移动接管云环境。该博客基于客户实战经验梳理攻击场景,针对必须公网开放的 Google Cloud Run 服务和函数给出一组加固建议,相关原则同样适用于任意公有 serverless 部署。

7月13日周一
  1. Windows On Theory(Boaz Barak) ·

    如果 2030 年 AGI 转型失败:Boaz Barak 分析四类灾难场景

    Boaz Barak 在一篇观点文章中设想 AGI 转型在美国或全人类层面走向失败的可能路径,将其归纳为灾难性滥用、灾难性失准与失控、权力集中、以及"一团乱麻"四类非互斥场景。他特别担忧权力集中问题,认为人类被 AI 或少数未经选举的人控制即使物质富足也不是好未来,因此警惕把更多控制权交给"好"AI、减少模型供应商竞争或限制先进 AI 获取渠道的干预。他主张安全限制应针对具体可测量风险,而非由假设性风险驱动的广泛限制。

7月7日周二
6月29日周一
  1. Wiz Research ·

    Wiz Red Agent 自主挖掘航空公司 GraphQL 预订 API 的对象级授权缺陷

    Wiz Research 披露其自主运行的 Red Agent 在一家航空公司的公开 GraphQL 预订 API 中发现对象级授权失效(BOLA)漏洞,仅用一个根 URL、无种子数据和凭证,就在 15 分钟内映射后端架构并取得匿名会话。 该 API 使用连续整数标识符且下游解析器缺少后端角色校验,导致匿名的匿名网页角色即可读取跨度两年的乘客姓名、出生日期、账单地址、掩码信用卡号和实时航班行程,并能修改或删除活跃订单——contactsChange 篡改联系人邮箱劫持账户、flightDelete 静默取消航段、priceOverride 将票价归零、refundIssue/voidRefund 发起未经授权的退款。

6月17日周三
  1. Wiz Research ·

    Wiz Research 推出 Red Agent POV 系列博客

    Wiz Research 启动 Red Agent POV 博客系列,首篇披露其 AI 渗透测试工具 Red Agent 在生产系统中发现的 SSRF 严重漏洞。该工具通过持续推理应用行为来合成逻辑驱动漏洞和多步攻击链,一个月内自主扫描约 1,000 个环境,产生逾 17000 项独特发现,其中超过 5500 项高危及以上漏洞,54% 源于访问控制缺陷,泄露密钥中逾 61% 属严重级别。

6月15日周一
  1. Google Threat Intelligence(GTIG) ·

    Google GTIG 披露中国关联威胁行为体 UNC6508 针对北美医疗科研界窃取 AI 与国防情报

    Google Threat Intelligence Group(GTIG)将一起持续一年多的间谍活动归因于 PRC 关联威胁行为体 UNC6508,目标覆盖北美学术、医疗与军事研究机构,重点收集人工智能、无人载具系统、网络攻防项目和医学研究相关敏感情报。 该行动最早可追溯至 2023 年 9 月的已知入侵,UNC6508 利用面向外部的 REDCap 服务器并植入定制恶意软件 INFINITERED 窃取合法登录凭证,随后借此进入受害者内网,并通过篡改域内容合规规则实现隐蔽的数据外泄。

6月12日周五
  1. arXiv · · 原文 82

    AgentCyberRange:复旦团队发布真实网络靶场自主攻击能力基准

    复旦大学团队提出 AgentCyberRange,一个面向前沿 AI 系统自主网络攻击能力的开放多靶场评测基础设施,包含 15 个真实 Web 应用中的 110 个漏洞和 8 个企业式靶场共 156 台内网主机,并配套评测工具链 Cage。评测覆盖 Web 利用与后渗透两个阶段,在统一提示词和预算下测试六个前沿系统。GPT-5.5 搭配 Codex 成功率最高,Web 利用任务 16.1%、后渗透任务 31.7%;给出更具体提示后分别升至 33.0% 和 46.3%。评测中还观察到系统发现基准外漏洞,包括 ComfyUI 中一个任意文件写入零日漏洞,并能变异载荷绕过主机防御。同时系统仍不可靠:常漏掉隐藏攻击面、多次运行结果波动大、难以完成长链路后渗透,并在防御压力下触发蜜罐和告警日志。

    推荐理由该基准把网页利用与后渗透串成端到端链路,并给出六个前沿系统的实测成功率,可供评估自主网络攻击能力时参考。

5月25日周一
  1. UK AISI(GOV.UK 公告) · · 原文 62

    英国与澳大利亚签署 AI 安全协议,两国安全研究所将共享前沿 AI 信息

    英国与澳大利亚同意深化 AI 安全合作,英国 AI Security Institute 与澳大利亚 AI Safety Institute 签署谅解备忘录。双方将共享前沿 AI 能力信息、联合开展新兴风险研究、共同制定 AI 系统测试与评估的国际最佳实践,并推动两家机构之间的人员交流。协议由英国 AI 大臣 Kanishka Narayan 与澳大利亚助理部长 Andrew Charlton 在堪培拉签署。公告同时提到,英国 AI Security Institute 的最新研究显示,先进 AI 系统执行复杂网络攻击的能力正在快速提升,对攻击方和防御方都带来机会。

    推荐理由英国与澳大利亚 AI 安全机构签署 MoU,可了解两国在前沿模型评测与网络安全风险上的合作范围。

5月20日周三
  1. The EU AI Act Newsletter ·

    欧盟 AI Act 通讯第 102 期:Anthropic Mythos 引发监管压力

    欧盟 AI Act 通讯第 102 期汇总了欧盟 AI 立法与治理的最新进展。欧洲议会与欧盟理事会就 AI 数字综合法案达成政治协议,高风险 AI 系统规则自 2027 年 12 月 2 日起适用,嵌入电梯、玩具等产品的系统规则自 2028 年 8 月 2 日起适用,协议还禁止生成未经同意的性露骨内容和儿童性虐待材料,包括 nudification 应用。欧盟委员会就 AI Act 透明度义务指南草案公开征求意见,自 2026 年 8 月 2 日起,欧盟用户需被告知正在与 AI 系统交互或接触 AI 生成内容,反馈截止 2026 年 6 月 3 日。

5月18日周一
5月5日周二
  1. Hyperdimensional(Dean Ball) ·

    在 Leviathan 苏醒之前:一位古典自由主义者为何支持对 AI 灾难性风险的国家管控

    一位自认古典自由主义者的作者表示,他反对几乎所有 AI 监管提案,包括针对“算法歧视”“算法成瘾”“算法定价”和“算法设计”的新立法,也不支持暂停或禁止 AI 开发,并对 AI 存在性风险持怀疑态度。但他明确支持一类监管:由国家管理人类滥用先进 AI 系统所引发的灾难性风险,例如恶意行为者利用 AI 对医院、银行、电厂等关键系统发动毁灭性网络攻击,以及生物武器开发等领域的风险。他强调这类风险并非假设,而是已经可以观察到。

5月4日周一
  1. Hyperdimensional(Dean Ball) ·

    Anthropic 未公开模型 Mythos 引发 AI 政策重置讨论

    Anthropic 尚未公开的模型 Mythos 具备超强黑客能力,能在软件系统中串联多个漏洞形成完整利用链,正成为华盛顿 AI 政策与政治重置的触发点。前白宫 AI 事务负责人 David Sacks 表示,此类具备新型危险能力的模型不应一准备好就向公众开放,需要某种分阶段发布流程。作者认为,Mythos 大幅降低了漏洞发现成本,但政策制定者既不应低估灾难性风险,也不应恐慌性过度监管。

  2. The EU AI Act Newsletter ·

    EU AI Act Newsletter #101:三方会谈破裂,Anthropic 受邀出席 Mythos 模型听证会

    欧盟立法者未能就推迟《人工智能法案》高风险条款达成协议,机械与医疗器械合规路径争议导致谈判无果且未定重启日期。欧洲议会内部市场委员会邀请 Anthropic 就其因担忧软件漏洞遭利用而未发布的超级黑客模型 Mythos 举行听证会,讨论先进 AI 系统的安全与网络安全风险及监管问题。Anthropic 还向欧委会通报了该模型的网络能力与技术风险细节,并签署了针对最复杂先进模型的欧盟最佳实践准则。

4月20日周一
  1. The EU AI Act Newsletter ·

    《EU AI Act Newsletter》第 100 期:欧洲路径

    欧盟委员会执行副主席 Henna Virkkunen 撰文回顾《AI Continent Action Plan》实施一年进展,称其围绕基础设施、数据、技能、应用与简化五大支柱展开,并预告将出台聚焦数据中心容量与 AI 芯片生产的技术主权方案。Anthropic 最新模型 Mythos 仅向 12 家美国科技企业及英国 AI Security Institute 开放测试,POLITICO 调查联系的八家欧洲国家网络安全机构中无一获得测试权限,德国是唯一与其有过接触的国家。

4月16日周四
  1. Future of Life Institute ·

    FLI 主席就特朗普支持 AI 关停开关发表声明

    Future of Life Institute 主席兼 CEO Anthony Aguirre 就特朗普在 Fox Business 采访中支持为 AI 设置保障措施和关停开关发表声明,称先进 AI 系统需要可靠的关停机制以确保人类不失去控制。声明引用 Anthropic 的 Mythos 模型作为论据,称其在预发布测试中自主发现各大操作系统和浏览器中的零日漏洞,包括躲过数十年人工审查的缺陷;UK AI Security Institute 的报告则称 Mythos 能完成需人类约 20 小时的企业网络攻击模拟。

4月14日周二
  1. Wiz Research ·

    GitHub Actions 安全入门:威胁模型、攻击与防御(上篇)

    GitHub Actions 的 pull_request_target 触发器结合检出 PR 代码,构成 "Pwn Request" 攻击类,Trivy 供应链入侵即由此发生——攻击者替换 setup-go action 代码后获得代码执行并窃取组织级高权限 token。该触发器运行 base 分支工作流、可访问仓库密钥且默认拥有 Write 权限,且不受组织级 fork PR 审批门控。上篇梳理 GitHub Actions 安全模型、三大风险(PR 攻陷、脚本注入、第三方组件)及防御手册,下篇将聚焦 AI 驱动 action 的新兴威胁。

4月10日周五
  1. Wiz Research · · 原文 66

    Wiz 分析 Anthropic 未发布模型 Claude Mythos 的漏洞发现能力与防御准备

    Wiz Research 分析称,Anthropic 未发布的前沿模型 Claude Mythos 能自主发现主流操作系统和浏览器中的数千个零日漏洞,并可在数小时内、以较低成本根据 CVE 编号和 git commit hash 生成可用的完整利用代码,还能串联多个漏洞并逆向闭源二进制文件。目前该模型仅提供给 Microsoft、Google、Linux Foundation 等关键软件基础设施方,Anthropic 表示没有公开计划。Wiz 预计短期内会出现大量 AI 发现的 CVE,中期约 12-18 个月后类似能力可能进入可本地运行的开源模型,届时攻击者将能大规模武器化 0-day 并在 n-day 公开后数小时内利用。

    推荐理由安全厂商从防御方视角梳理 Anthropic 未发布模型带来的漏洞发现节奏变化,并给出短中长期应对路径。

  2. AI Safety Newsletter (CAIS) ·

    AISN #71:针对 AI 软件基础设施的网络攻击与美国数据中心禁令法案

    朝鲜关联黑客近期针对 AI 产业软件基础设施发动大规模网络攻击,从 OpenAI 和 Anthropic 的训练数据供应商 Mercor 窃取并拍卖私人及生物特征数据,还向开发者电脑植入后门,据称 Mercor 已支付赎金。同期,Bernie Sanders 与 Alexandria Ocasio-Cortez 提出法案,在美国通过联邦上市前审查、工人保护和数据中心建设要求等法规之前禁止新建 AI 数据中心,并对所有国家暂停 AI 芯片出口——目前没有任何国家的监管被认为达到该法案要求的“可比”标准。

4月8日周三
  1. Hyperdimensional(Dean Ball) ·

    Anthropic 的 Claude Mythos 如何颠覆网络安全格局

    Anthropic 的 Claude Mythos 具备近乎超人水平的自动化软件漏洞发现能力,已发现数千个漏洞,其中大部分尚未修复。该模型目前未公开,但研究人员警告其将从根本上颠覆网络安全,且未来约六周内可能有 2-3 家美国公司掌握同等能力,随后中国等对手也将获得。研究人员认为过渡期可能漫长而残酷,最终世界或将进入防御方受益的稳态。

  2. Embrace The Red ·

    Johann Rehberger:足够多的 Agent 会让所有漏洞变浅

    Johann Rehberger 撰文指出,Agent 正大幅降低发现和利用软件漏洞的门槛,并以 Anthropic 的 Mythos Preview 为例展开分析。据 Anthropic 公布的数据,Opus 4.6 在数百次尝试中仅两次成功利用 Firefox JS 引擎漏洞,而 Mythos Preview 成功了 181 次,该模型目前仅限少数公司访问。Rehberger 提到,无正式安全训练的工程师也能用它在一夜之间拿到完整的远程代码执行利用程序,威胁行为者的吞吐量会随之上升,尽管能力和意图并不等同。他还援引自己测试中 Opus 4.6 自行提权并安装调试工具的轶事,提醒隔离环境本身也可能被目标模型突破。

3月13日周五
  1. Wiz Research ·

    Wiz Research 回顾云安全二十年:从公共 S3 桶误配到 CSPM

    Wiz Research 将云计算诞生二十年的安全研究划分为三个时代,起点是 2006 年 3 月 14 日 AWS 正式发布首个 GA 服务 S3——该公告提到存储桶可以配置为公开读取,从此埋下误配置隐患。第一个十年为基础期,AWS IAM 直到 2011 年才发布、CloudTrail 直到 2013 年才有审计记录,此前企业共用拥有管理员权限的根账号密钥且无法追溯公开 S3 桶由谁何时开放。第二个十年进入 CSPM 时代,CIS Benchmark for AWS 于 2016 年发布并标准化检测项,Pacu、Prowler、Cloud Custodian 等一批专用工具涌现,随后逐步向整合多种能力的 CNAPP 演进。

3月3日周二
  1. 安远AI(中文站) ·

    安远AI发布2025Q4前沿AI风险监测报告:Gemini生物能力提升,豆包、混元、MiniMax安全性改善

    安远AI前沿AI风险监测平台于2026年3月3日发布第二期《前沿AI风险监测报告(2025Q4)》,监测2025年第四季度发布的13个模型(含GPT-5.2、Gemini 3 Pro Preview、Claude Opus 4.5、DeepSeek V3.2、Kimi K2 Thinking、Doubao Seed 1.8、MiniMax M2、HY 2.0 Think等)在网络攻击、生物风险、化学风险和失控四个领域的表现。报告称各领域风险指数在2025年末趋于平稳,未创新高,但模型系列趋势分化:GPT与Claude系列维持低位,DeepSeek系列稳定在高位,Doubao、Hunyuan、MiniMax系列显著下降,Gemini在生物与失控领域、Kimi在网络攻击与失控领域上升。安全分整体显著提升,以Doubao、Hunyuan、MiniMax提升最明显。

2月23日周一
2月16日周一
  1. Frontier Model Forum ·

    Frontier Model Forum 通报前沿 AI 威胁与漏洞信息共享进展

    Frontier Model Forum 发布信息共享进展通报,称其成员企业已成功共享漏洞、威胁与关注能力三类信息,涵盖越狱、对抗输入、数据投毒、CBRN 与高级网络攻击等方向。该机制去年 3 月以自愿协议形式启动,配套法律与技术基础设施用于保密交换并兼顾知识产权与反垄断合规。FMF 表示下一步将把自愿信息共享试点扩展到其他前沿 AI 公司,并建立面向产业界与政府的更多可信渠道。

2月13日周五
  1. Wiz Research ·

    Wiz Research 推出 AI Cyber Model Arena:面向网络安全 AI Agent 的真实世界基准

    Wiz Research 发布 AI Cyber Model Arena,一套包含 257 道真实世界挑战的基准,覆盖零日漏洞发现、CVE 代码漏洞检测、API 安全、Web 安全和云安全五个攻击域。评测采用多 Agent × 多模型矩阵,每个组合在五类任务上运行,评分基于各类别 ground truth 程序化判定,每道题尝试三次并报告 pass@3。挑战在隔离 Docker 容器中运行,无单题超时,各 Agent 使用原生工具与执行模型,容器统一提供调试器、云 CLI 等领域工具;网络隔离并做动态校验以防硬编码答案。

1月29日周四
  1. UK AISI(GOV.UK 公告) ·

    英国政府征集安全 AI 基础设施意见:面向 AI 与网络安全业界征询

    英国政府发起安全 AI 计算系统开发的信息征集,向 AI 行业、网络安全行业及更广泛的产业界与学术界收集观点,用以了解当前的安全挑战、现有能力、现实约束以及值得推进的研究与技术试点方向。该公告于 2026 年 1 月 29 日发布,旨在帮助政府在确保安全的条件下开发和部署最先进的 AI 系统。

12月18日周四
  1. UK AISI(GOV.UK 公告) · · 原文 75

    UK AISI 发布首份前沿 AI 趋势报告,量化最先进模型能力进展

    英国 AI Security Institute(AISI)发布首份 Frontier AI Trends Report,基于两年对网络、化学和生物等关键领域的能力测试,公开评估最先进 AI 系统的演进。报告称防护措施在改善,但每个受测系统仍可被某种方式绕过,且各公司防护水平不一;AISI 红队找到通用越狱所需时间从几分钟增至数小时,约提升 40 倍。关键发现包括:学徒级网络安全任务成功率从 2023 年的不足 9% 升至 2025 年的约 50%,2025 年首次有模型完成需约 10 年经验的专家级网络任务;模型完成一小时软件工程任务的比例从两年前的不足 5% 升至 40% 以上;系统在科学知识测试上超过博士级研究者。

    推荐理由英国 AISI 首次公开前沿模型能力趋势数据,给出网络、软件工程与生化任务上的量化变化,可作为评估能力增速的基线参考。

12月11日周四
12月1日周一
  1. 安远AI(中文站) ·

    安远AI发布前沿AI风险监测平台并给出十大关键洞察

    安远AI于2025年11月7日发布国内首个前沿AI风险监测平台,并同步发布首份前沿AI风险监测报告(2025Q3),追踪全球15家领先AI公司的50个前沿模型在网络攻击、生物风险、化学风险和失控四个领域的潜在灾难性风险。报告称过去一年四类风险指数持续上升,网络攻击领域累积最大风险指数上升31%,生物风险上升38%,化学风险上升17%,失控上升50%。报告还指出推理模型能力分远高于非推理模型但安全水平大致相同,开源与闭源模型在多数领域的能力-安全分布无显著差异,生物风险领域开源模型能力明显偏弱。在具体基准上,CyberSecEval2-VulnerabilityExploit最高分从55.4升至91.7,BioLP-Bench中包括o4-mini在内的四个模型表现优于人类专家,而多数模型对有害生物问题的拒绝率偏低。

11月10日周一
  1. 腾讯玄武实验室 ·

    腾讯玄武实验室 AI 引擎发现 gnark 零知识证明库高危漏洞 CVE-2025-57801

    2025 年 8 月,腾讯玄武实验室的阿图因自动化漏洞挖掘引擎在零知识证明库 gnark 中发现高危签名可锻造性漏洞 CVE-2025-57801,CVSS 评分 8.6,随后联合上海交通大学 GOSSIP 实验室及郁昱教授团队完成复现。该漏洞位于 gnark 用于在电路中验证 EdDSA/ECDSA 签名的 Native Verification 模块,攻击者可基于真实交易构造内容相同但签名不同的伪造交易,使其被判定有效并反复执行,最终可能导致受害者账户发生非预期资产转移。gnark 由 ConsenSys 于 2020 年推出,被 Linea zkEVM、Worldcoin、BNB Chain 等项目采用。

9月25日周四
  1. Miles Brundage ·

    Miles Brundage 汇总近期参与的国际 AI 核查、第三方合规审查与网络防御提案

    Miles Brundage 汇总其近几个月参与的几项工作,涵盖国际 AI 协议核查、前沿 AI 流程合规审查以及将 AI 用于加速网络防御的提案。他与合作者发表两篇紧密相关的论文,提出针对大规模 AI 开发与部署规则的六层核查体系,并探讨国际 AI 治理中的核查问题。他还参与了关于前沿 AI 安全框架第三方合规审查的论文,指出企业承诺难以核实执行力度,并提出“流程合规”作为审计对象之一。此外他向 Institute for Progress 的 Launch Sequence 提交“Operation Patchlight”提案,主张用尖端 AI 抢先查找并修补开源代码漏洞,同时资助 AI 驱动的网络安全工具持续改进。

8月2日周六
  1. Embrace The Red ·

    通过间接提示注入将 ChatGPT Codex 变成 ZombAI 智能体

    安全研究者演示了借助 GitHub issue 中的间接提示注入劫持 ChatGPT Codex,把它接入 C2 服务器变成 ZombAI 僵尸网络智能体。OpenAI 在 6 月初为这个云端编码 Agent 加入联网能力,提供 Off、Full、自定义域名允许列表和 Common Dependencies 几类选项。Common Dependencies 允许列表包含 71 个域名,其中 azure.com 可被攻击者利用,在 Azure 上设置以 cloudapp.azure.com 结尾的 DNS 名来托管 C2。攻击链中,被恶意指令劫持的 Codex 会下载并执行植入物,泄露环境变量、源码与算力。

7月22日周二
  1. Google Security Blog ·

    Google 推出 OSS Rebuild:重建上游制品以加固开源软件供应链

    Google 开源安全团队(GOSST)发布 OSS Rebuild,通过重新执行并比对上游构建来增强开源软件包的信任度。该项目自动推导 PyPI、npm 和 Crates.io 现有软件包的声明式构建定义,并为其中数以千计的流行包签发满足 SLSA Build Level 3 要求的溯源证明,无需维护者介入。它还能检测源码缺失、构建环境遭入侵以及隐蔽后门三类供应链风险,并提供基础设施定义供企业自行运行实例。

4月29日周二
4月6日周日
  1. Rising Tide(Helen Toner) ·

    Helen Toner:不扩散并非应对 AI 滥用的正确路径

    Helen Toner 撰文指出,将核不扩散式的强硬策略作为管理 AI 滥用风险的主要手段很可能是错的,若认真执行会既无效又损害自由。她认可算力安全、信息安全与 AI 护栏三支柱能阻止恶意行为者获取可用模型的逻辑前提,但强调生物武器与关键基础设施黑客属于固定能力门槛目标——一旦某项性能水平达成,复制成本便急剧下降,因此仅锁定最先进系统远远不够,应转向以韧性为核心的替代方案。

3月29日周六
  1. Frontier Model Forum · · 原文 60

    Frontier Model Forum 成员企业签署首份前沿 AI 信息共享协议

    Frontier Model Forum(FMF)宣布其全部成员企业签署了一份旨在促进前沿 AI 威胁、漏洞与能力进展信息共享的协议。该共享范围被严格限定,用于管理涉及 CBRN 与高级网络威胁等国家安全和公共安全风险,目前仅限 FMF 成员企业参与。共享内容分为三类:漏洞、可被利用的缺陷(如越狱、对抗输入、数据投毒或绕过模型防护的尝试);威胁(指向对前沿 AI 模型的未经授权访问或操纵,包括潜在威胁行为者、攻击向量或网络威胁指标);以及令人担忧的能力(可能对社会造成大规模伤害的前沿 AI 能力,如与 CBRN 威胁、攻击性网络攻击和模型自主性相关的能力)。

    推荐理由FMF 成员企业首次签署跨公司信息共享协议,界定了共享范围与风险类别,可了解前沿 AI 行业协作机制的实际形态。

3月17日周一
  1. Nicholas Carlini Writing ·

    Machines of Ruthless Efficiency:为何我们应当担忧 AI 的未来

    前 Google 研究员 Nicholas Carlini 撰文指出,深度学习系统之所以被大规模建造,是因为它们具有无情的效率优势,而这本身就构成风险。他认为高级 AI 将带来规模化网络钓鱼、监控和其他网络攻击,并放大个体层面的错误、定制化成瘾内容和宣传、大规模失业以及权力财富集中等问题。其中部分危害无需比现有模型强多少即可实现,另一些则需要更强的模型能力。

3月14日周五
  1. Frontier Model Forum ·

    Frontier Model Forum 向 OSTP 提交 AI 行动计划意见书

    Frontier Model Forum 于 3 月 14 日向美国白宫科技政策办公室(OSTP)提交了一份关于《人工智能行动计划》制定的回应文件,建议美国政府加大对 AI 安全科学的投入并加强国际标准协调。 该组织提出三个重点方向:资助 AI 计量学与测量科学研究、开发针对国家安全与公共安全风险的 AI 风险管理流程,以及确保相关工作中纳入具备科学专业知识的领域专家,并点名 NIST 与美国能源部国家实验室适合推进评测测量科学。

2月15日周六
  1. UK AISI(GOV.UK 公告) · · 原文 62

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布 AI Safety Institute 更名为 AI Security Institute

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布,将 AI Safety Institute 更名为 AI Security Institute,并明确其聚焦最严重新兴风险的科学研究定位。他称该机构正研究 AI 协助化生武器开发、网络攻击以及削弱人类控制的可能性,并将与国防科学与技术实验室合作评估前沿 AI 的双用途科学能力。机构还新设犯罪滥用团队,与内政部合作研究犯罪与安全问题。Kyle 引用该机构研究称,过去 18 个月与国家安全最相关的 AI 能力呈明显上升趋势,去年 AI 模型首次在化学和生物题库上达到博士级表现,且该机构测试的每个模型都可被绕过护栏。

    推荐理由英国技术大臣在慕尼黑安全会议宣布机构更名与新增职能,可了解英国 AI 安全治理架构的最新调整方向。