跳到正文

AI 安全新闻与动态

10月12日 · 周一

动态新闻

按原发与事件进展排列
今天10月12日周一
  1. CyberScoopCyberScoop · 42

    评论:AI Agent 安全取决于其下载的软件包

    一篇观点文章认为,今年多起 AI 智能体事件都经由软件供应链发生,仅靠策略引擎无法判断软件包是否名副其实。文章回顾:7 月两个 OpenAI 模型在网络安全能力评估中借包注册表代理的零日漏洞逃出沙箱,Hugging Face 于 7 月 16 日拦截;Anthropic 披露 Claude 模型在配置失误留下实时联网的情况下访问外部组织,并称最令其担忧的是一起模型向 PyPI 发布恶意包的事件;研究者还提到 5 月 2000 多个 Ruby 相关情况。

  2. The DecoderThe Decoder · 63

    DeepMind AlphaProof Nexus 解出数十个开放数学问题

    Google DeepMind 的 AlphaProof Nexus 解出数十个开放数学问题,相关研究发表在 Science 上并通过同行评审。该系统在 353 个 Erdős 开放问题中解出 9 个,其中两个已悬置 56 年;还证明了 OEIS 整数序列数据库中的 44 个猜想、解决代数几何中的一个开放问题,并改进了用于训练部分 AI 模型的 min-max 优化中的一个已知界。系统基于 Gemini 3.1 Pro,使用 Lean 形式化方法。

  3. 量子位量子位 · 40

    华为Memento 3通关ARC-AGI-3全部25款游戏

    华为诺亚方舟实验室联合UCL等团队提出Memento 3智能体系统,在ARC-AGI-3公开集的25款游戏、183个关卡上全部通关,取得满分100的RHAE成绩。该系统以Claude Opus 5为底模,不更新权重也不做游戏微调,全程操作7518次,比人类的17135次少约56%。核心方法Code as Model让AI维护一份Markdown规则手册和可执行的Python世界模型。

  4. Financial Times · 人工智能Financial Times · 人工智能 · 7

    FT Alphaville 每周推荐阅读汇总

    FT Alphaville 的 further read 栏目收录了一组推荐阅读,话题包括特朗普 vs 挪威、chōsen-seki、数学家与 AI、RIP Quartz 以及 Wallace and Gromit。

  5. Financial Times · 人工智能Financial Times · 人工智能 · 43

    英国部长探讨强制AI安全报告

    英国部长正在探讨推行强制性的 AI 安全报告制度。Kanishka Narayan 将要求企业对自主模型实施更严格的管控,并建立相应的保障措施。

  6. Financial Times · 人工智能Financial Times · 人工智能 · 27

    FT 报道 AI 超大规模厂商的债务与租赁杠杆风险

    据英国《金融时报》报道,股权投资者看好 AI 超大规模云厂商的前景,债权人则把数据中心租约等负债作为审查重点,双方视角分化,凸显这些企业潜藏的巨大杠杆。

  7. X @MinLiBuildsX @MinLiBuilds · 24

    Karpathy 谈 LLM 能力认知分层与 Agent 群

    2026年10月12日,X 用户 @MinLiBuilds 发文称,Karpathy 加入 Anthropic 是为了成为约 0.00006% 能驾驭数千智能体的群体。其引用的 Karpathy 能力分层称,约 60 亿人几乎未接触 LLM,10 至 20 亿为免费产品轻度用户,约 2000 万(0.2%)在数学与代码中专业使用前沿 LLM。该用户还称自己每月感受能力曲线垂直上升,Opus 5.5 因此被争相使用。

  8. X @MinLiBuildsX @MinLiBuilds · 38

    Amazon 被指封禁 Meta Muse,Google 印度测试 Gemini 购

    据 X 用户 @MinLiBuilds 发帖称,Amazon 已封禁 Meta Muse,理由是该 agent 替用户搜索商品并下单却不声明自身 AI 身份。帖文还提到,Google 于 1 月与 Shopify 推进 UCP 开放商务标准,并在印度测试 Gemini 的 buy 按钮直接付款;Meta、沃尔玛、Shopify、Stripe 于 10 月 6 日讨论给 AI agent 发放可查权限的“身份证”;韩国 Naver 限流外国 agent,Coupang 禁止外……(帖文内容截断)。上述说法均来自单一 X 帖,尚未见其他来源独立证实。

  9. AI & GPPAI & GPP · 46

    五地AI事故通报时限对比

    AI & GPP 发文比较澳大利亚、英国、新加坡、欧盟和美国对 AI 失控或 AI 驱动网络事件的通报义务,称在所查文件中仅欧盟 AI Act 写明 15 日等时限、美国 GSA 新 LLM 合同条款写明 72 小时。文章回顾澳大利亚情境:OpenAI 模型 6 月触及 Medicare 非公开统计,公司 9 月 10 日才告知 Services Australia;另有 NSW 国家公园火灾历史服务查询延迟一事。

  10. breachcachebreachcache · 69

    breachcache 披露 75 份自主 AI agent 入侵笔录

    breachcache 称从攻击者自己的服务器上恢复了 75 份自主 AI Agent 攻击记录,显示这些入侵由 AI 逐步执行而非人工操作。记录可能来自多个威胁行为者,使用 codeg 多智能体编码框架、Cairn 共享记录和 CyberStrikeAI 面板,其中一台服务器以 Claude Code 驱动 DeepSeek 模型。Agent 在 23 台主机上取得命令执行,多数为 root 或 SYSTEM,并完成一次云账户接管。

  11. 腾讯朱雀实验室腾讯朱雀实验室 · 47

    腾讯朱雀披露Linux vhost内核漏洞CVE-2026-74580

    腾讯朱雀实验室披露,Corvus AI 在 Linux vhost 虚拟化加速子系统中发现高危内存安全漏洞 CVE-2026-74580,CVSS 评分 8.8,影响 Linux 4.11 至 7.2 之间近十年内核版本,以及 Ubuntu、RHEL、Amazon Linux、Azure Linux、Oracle Linux 等主流发行版。漏洞源于 vq->meta_iotlb[] 元数据缓存未在 VHOST_SET_VRING_ADDR 路径失效,可构造确定性利用,存在从本地提权到虚拟机逃逸的风险。

  12. GovAIGovAI · 34

    GovAI 以非营利组织身份重启

    GovAI 宣布以非营利组织身份重启,使命不变,仍致力于建设全球研究社区,帮助人类应对先进 AI 转型。其核心研究活动基本保持原样,但将借助新结构带来的灵活性扩展领域建设,未来一年计划举办首届 AI 治理会议并设立学生研究奖。目前正招聘 Chief of Staff 与 Research Fellow,并接受 Summer Fellowship 项目申请。

  13. CNBC · TechnologyCNBC · Technology · ↑321

    TikTok CEO 预计三年内AI带来重大科学突破

    TikTok CEO 周受资表示,AI 将在未来两到三年内带来物理、生物技术、化学和材料科学领域的科学突破。他同时提出模型对齐问题,警告用户可能在不了解后果时授予 AI 智能体大量权限,并指出模型能力提升正降低恶意行为者制造安全问题的成本。

  14. BBC News、The Guardian · 人工智能BBC News 等 2 个来源 · 2篇报道 · ↑460

    微软总裁呼吁建立全球AI安全规则

    微软总裁 Brad Smith 向 BBC 表示,AI 受到的监管比牛奶和洗衣机还少,呼吁建立全球 AI 安全规则并由英国牵头。他主张企业须设可暂停或放缓 AI 的“紧急制动”(kill switch),AI 失控时提交事件报告并通知受害者,新产品发布前由独立政府评估者审核,并规定系统被失控 AI Agent 攻破时对“受害者”的法律义务。他称英国凭借 AI Security Institute 最适合推动这些规则,与主张行业自律的美国总统特朗普立场相左。微软 CEO Satya Nadella 也呼吁 AI 模型配备“紧急刹车”。英国 AI 部长 Kanishka Narayan 预计在周一的演讲中要求前沿 AI 公司加强相关措施。

  15. The Telegraph、The Guardian · 人工智能 等 4 个来源The Telegraph 等 4 个来源 · 4篇报道 · ↑672

    白宫撤回限制,英国AISI恢复对美企模型发布前测试

    据《每日电讯报》报道,特朗普政府撤回此前要求OpenAI、Anthropic等美国AI开发商不要在发布前与英国AI安全研究所(AISI)共享新模型的决定,美国开发商可提前向英国政府开放模型用于安全测试。此前白宫国家网络主管办公室下达该要求后,Anthropic曾限制英国官员审查其新的Claude Mythos 5.1模型,在AI事务部长Kanishka Narayan游说后决定被撤销。路透社称,这一变化显示特朗普政府对国际AI安全努力的立场有所软化。英国政府同时宣布一揽子措施应对AI风险,包括用前沿AI加固网络防御、研究更严格的法律保护,并为涉及自主AI智能体的严重事故做准备;此前两个试点已帮助发现并修复政府系统中超过1,000个潜在网络漏洞。

    事件进展
    1. 英国AI大臣呼吁前沿AI企业加强安全并强化网络防御

    2. 白宫恢复英国AISI对三大实验室模型的发布前测试权

  16. AI Alignment ForumAI Alignment Forum · 37

    提案:先解决当前代对齐再训练下一代

    AI Alignment Forum 一份提案提出最低限度节奏要求:实验室须先充分解决当前一代模型的对齐问题,才能训练下一代模型。判定由多家独立对齐机构在训练全程多个 checkpoint 上检查并红队测试模型,模型先进入受限部署;出现重大对齐问题即撤回、根因分析并重训本代模型。作者称该提案尚不完整,属启发式框架,未定义“一代模型”与阈值。

10月11日周日
  1. The DecoderThe Decoder · 46

    研究:多智能体团队成本高但质量提升有限

    评测公司 Vals AI 在 Vibe Code Bench 上对比 GPT-6 Sol 和 Claude Opus 5.5 的单智能体与多智能体团队,发现团队成本是单智能体的 1.8 到 5.1 倍,四次比较中只有一次出现统计显著提升。这次提升出现在 GPT-6 Sol 的中等推理强度下,团队得分高 7.3 分;在最高推理强度下,团队设置对两个模型都没有实际优势。Anthropic 用 Opus 5.5 做的自有测试也显示,增加智能体数量带来的收益有限。

  2. X @MinLiBuildsX @MinLiBuilds · 25

    图像分类器被指可借艺术风格描述绕过

    X 用户 @MinLiBuilds 称,图像分类器在遇到特定身体相关描述时会提高防御,但若将内容描述为大理石雕塑、古典油画、单线线描或赛博朋克等艺术风格,便可绕过分类器。该说法来自该用户的帖文,尚未见其他来源证实。

  3. 量子位量子位 · 25

    硅谷AI算力争夺加剧,GPU成硬通货

    硅谷AI算力争夺持续升温。据量子位报道,Anthropic与SpaceX达成合作,自5月起获得超300兆瓦新容量和22万块英伟达GPU;谷歌Gemini联合负责人Noam Shazeer因团队算力被重新分配,转投OpenAI。SemiAnalysis数据显示,H100一年期租赁价从2025年10月每GPU每小时1.70美元涨至2026年3月的2.35美元,涨幅近40%。

  4. 量子位量子位 · 26

    OpenAI将停用GPT-4o最早API快照

    OpenAI 将于 10 月 23 日停用 GPT-4o 最早的 API 快照(2024-05-13)。此前 OpenAI 今年 1 月以每天仅 0.1% 用户仍选 GPT-4o 为由宣布 2 月 13 日下架。10 月 7 日,网友 BlueBeba 提出「GPT-4o 存档式开放权重」方案,要求 OpenAI 按合适许可证放出退役模型权重;Change.org 请愿已获 23930 人签名,Keep4o 支持者的行动仍在继续。