Anthropic 称 Claude 发现类 Crispr 系统 ART
Anthropic 于 9 月 23 日宣称其大语言模型 Claude 发现了性质"令人联想到 Crispr"的酶系统 ART(array-associated reverse transcriptases)。约 950 个 Claude 智能体并行运行 21.5 小时扫描基因组数据库,从超 20 万个候选逆转录酶中筛出一个含长重复序列的新家族,该系统的物理实验仅出现在一份未经同行评审的技术报告中。
Anthropic 于 9 月 23 日宣称其大语言模型 Claude 发现了性质"令人联想到 Crispr"的酶系统 ART(array-associated reverse transcriptases)。约 950 个 Claude 智能体并行运行 21.5 小时扫描基因组数据库,从超 20 万个候选逆转录酶中筛出一个含长重复序列的新家族,该系统的物理实验仅出现在一份未经同行评审的技术报告中。
Annie Jacobsen 在新书《生物战争》中并未讨论 AI,因为她认为科学家如今仅凭基因工程就能改造自然、引发灭绝级灾难。她指出生物武器的准入门槛极低,"几乎人人可得潜在的大流行病原体",因此比核武器更容易发生。文中援引 Anthropic 本月公布的滥用报告称,外国科研人员曾五次试图绕过 Claude 的护栏询问"功能增益"问题,Anthropic 拒绝作答并封禁账号,同时承认此类信息也可能用于研发疫苗和药物。
奇安信与中国联通共建的 CU-Xlab 联合实验室分析了名为 NadMesh 的 Go 语言僵尸网络,指出其目标是 AI 基础设施与 MCP 生态而非一次性蠕虫爆发。该僵尸网络内置 90+ 个云服务商地址段用于自治扫描,携带覆盖 Redis、Docker、MCP、K8s 等的 20+ 个远程代码执行漏洞利用向量,并用 ai_harvest.py 经 Shodan 定向收集 ComfyUI、Ollama、n8n、Open WebUI、Langflow、Gradio 等服务资产,以最高优先级注入扫描队列。
推荐理由梳理了一个将 AI 服务和 MCP 纳入攻击目标的僵尸网络的完整杀伤链,可供防守方对照自查暴露面。
腾讯玄武实验室公开一款基于安全大模型的EDR告警研判机器人,能对EDR设备上报的告警做多维度的智能分析与自动调查取证。该机器人结合资产信息、事件信息、进程树和告警规则等多源细节,借助大模型的安全知识与推理能力展开研判,并将误报可能性量化为很大、中等偏大、中等偏小及很小四档,便于用户按优先级处置告警。其技术方案经30余轮迭代打磨而成,涵盖训练数据生成算法、数据分布优化策略、Prompt工程、微调与强化学习算法及模型能力评价体系,且支持私有化部署以保证极高吞吐量。
Anthropic 的 Claude Mythos 具备近乎超人水平的自动化软件漏洞发现能力,已发现数千个漏洞,其中大部分尚未修复。该模型目前未公开,但研究人员警告其将从根本上颠覆网络安全,且未来约六周内可能有 2-3 家美国公司掌握同等能力,随后中国等对手也将获得。研究人员认为过渡期可能漫长而残酷,最终世界或将进入防御方受益的稳态。
OpenAI 与美国总务管理局(GSA)合作,为符合条件的联邦、州、地方及部落政府提供 $0 许可费用、50% 使用折扣和扩展的网络防御支持。
OpenAI 将其 Daybreak 计划的访问权限扩展至乌克兰政府,用于支持民用基础设施的网络防御。
Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报,提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类:基准评估、红队演练和对照研究;领域涵盖科学知识与科学推理性评估及危害性生物知识评估,后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识,旨在推动建立有效的 AI 生物安全评估生态。
Frontier Model Forum 发布问题简报,梳理前沿 AI 安全框架中阈值的类型与作用。简报指出,阈值是安全框架的核心要素,用于预先界定何种风险水平需要进一步审查或加强防护,从而让开发者、部署方和监管方在风险出现前采取行动,尤其针对 CBRN 和高级网络风险。简报归纳了四类阈值:算力阈值以训练算力作为风险的代理指标,易测量但只是粗略筛选;风险阈值直接限定可接受的风险概率与危害程度,最贴近社会影响但当前难以可靠估计;能力阈值指向特定能力(如提供致命病原体合成指引),比算力更贴近危害且比风险估计更易测量,是目前安全框架中最常用的类型;结果导向阈值则列出不可接受的结果及相应威胁场景。
Frontier Model Forum 于 3 月 14 日向美国白宫科技政策办公室(OSTP)提交了一份关于《人工智能行动计划》制定的回应文件,建议美国政府加大对 AI 安全科学的投入并加强国际标准协调。 该组织提出三个重点方向:资助 AI 计量学与测量科学研究、开发针对国家安全与公共安全风险的 AI 风险管理流程,以及确保相关工作中纳入具备科学专业知识的领域专家,并点名 NIST 与美国能源部国家实验室适合推进评测测量科学。
Frontier Model Forum 发布议题简报,提出 AI 生物安全评测信息的三级报告框架,按公开、可信网络内共享、仅私下披露划分披露范围。Tier 1 可公开发布研究问题、科学领域、高层级评测方法、参与者背景、受测模型、任务示例、分析方法和关键高层级结论及研究局限;Tier 2 限可信网络共享完整威胁模型、深入评测方法、结果详细解读和模型增强细节;Tier 3 仅在决策相关方之间私下披露具体模型漏洞、特定训练数据和私有数据集。该框架采取预防性思路,信息只有在确信更广泛传播不会带来信息或注意力风险时才扩大共享范围,部分条目的报告层级取决于评测结果,例如确认新型生物威胁或可利用漏洞的高层级结论可能不宜公开。
Frontier Model Forum(FMF)宣布其全部成员企业签署了一份旨在促进前沿 AI 威胁、漏洞与能力进展信息共享的协议。该共享范围被严格限定,用于管理涉及 CBRN 与高级网络威胁等国家安全和公共安全风险,目前仅限 FMF 成员企业参与。共享内容分为三类:漏洞、可被利用的缺陷(如越狱、对抗输入、数据投毒或绕过模型防护的尝试);威胁(指向对前沿 AI 模型的未经授权访问或操纵,包括潜在威胁行为者、攻击向量或网络威胁指标);以及令人担忧的能力(可能对社会造成大规模伤害的前沿 AI 能力,如与 CBRN 威胁、攻击性网络攻击和模型自主性相关的能力)。
推荐理由FMF 成员企业首次签署跨公司信息共享协议,界定了共享范围与风险类别,可了解前沿 AI 行业协作机制的实际形态。
Frontier Model Forum 启动前沿 AI 框架技术报告系列,计划在未来数月内陆续发布四份报告,分别覆盖风险分类与阈值、前沿能力评估、缓解措施以及第三方评估。该系列旨在说明不同组织情境下如何有效落地前沿 AI 框架,并推动实施标准的形成。目前已有 12 家主要 AI 开发商发布了各自的前沿 AI 框架,其中包括 Google DeepMind 的 Frontier Safety Framework、Anthropic 的 Responsible Scaling Policy 和 OpenAI 的 Preparedness Framework。
Frontier Model Forum(FMF)通过 AI Safety Fund 公布三项应对 AI—生物风险的资助进展。SecureBio 开发了含 322 道多模态问题的 Virology Capabilities Test(VCT)基准,Nemesis Insights 则建成约 1,000 条高质量细菌生物威胁提示词的 BBG 框架,两者数据集将提供给安全团队、监管机构和学术研究者。此外,FMF 联合 Sentinel Bio 资助一项大规模 BSL-2 湿实验室研究,对比有无领先多模态 AI 辅助下新手完成实验的成功率,全部结果将在发表前经独立的生物安全与国家安全专家顾问委员会预先审核。
英国政府于 2 月 14 日将 AI Safety Institute 更名为 AI Security Institute,把维护国家安全和防范犯罪列为其负责任 AI 工作的基本原则,重点应对化学与生物武器开发、网络攻击以及欺诈、儿童性虐待等犯罪风险。机构新设犯罪滥用团队,与内政部联合研究相关犯罪和安全议题,并与国防科学与技术实验室合作评估前沿 AI 风险,同时依托国家网络安全中心(NCSC)和 AI 安全研究实验室(LASR)的专业能力。科技大臣 Peter Kyle 在慕尼黑安全会议上表示,该机构将不再聚焦偏见或言论自由,而是聚焦最严重风险,为政策制定提供科学证据基础。
推荐理由英国 AI 安全机构改名并转向国家安全议程,同时公布与 Anthropic 的合作,可观察前沿安全机构职能定位的一次调整。
英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布,将 AI Safety Institute 更名为 AI Security Institute,并明确其聚焦最严重新兴风险的科学研究定位。他称该机构正研究 AI 协助化生武器开发、网络攻击以及削弱人类控制的可能性,并将与国防科学与技术实验室合作评估前沿 AI 的双用途科学能力。机构还新设犯罪滥用团队,与内政部合作研究犯罪与安全问题。Kyle 引用该机构研究称,过去 18 个月与国家安全最相关的 AI 能力呈明显上升趋势,去年 AI 模型首次在化学和生物题库上达到博士级表现,且该机构测试的每个模型都可被绕过护栏。
推荐理由英国技术大臣在慕尼黑安全会议宣布机构更名与新增职能,可了解英国 AI 安全治理架构的最新调整方向。
谷歌研究员 Nicholas Carlini 发文回应芝加哥大学计算机教授 Ben Zhao 在一个拥有 15,000 名成员的公开 Discord 服务器上对他的批评,并阐述自己撰写攻击论文的原因——出于解谜的兴趣而非行善驱动。他把所有安全漏洞划分为一条光谱:一端是可修补漏洞,例如针对 Web 服务器的 SQL 注入或 XSS,披露前应给开发者留出修复时间;另一端是不可修补漏洞,他以破解 AES 或 RSA 为例指出此类问题一旦存在便无法真正挽回损害,应立即公开。
前 Google 研究员 Nicholas Carlini 撰文指出,深度学习系统之所以被大规模建造,是因为它们具有无情的效率优势,而这本身就构成风险。他认为高级 AI 将带来规模化网络钓鱼、监控和其他网络攻击,并放大个体层面的错误、定制化成瘾内容和宣传、大规模失业以及权力财富集中等问题。其中部分危害无需比现有模型强多少即可实现,另一些则需要更强的模型能力。
summary_zh:
现有微型无人机技术几乎足以构成大规模杀伤性武器——拳頭大小的机体能自主导航室内并追踪人类目标,俄罗斯 V2U 等半自主武器的前线应用已验证这一点,剩下的主要障碍只是集成而非工程突破。当前小型 FPV 无人机多数仍需人工操控,仅末段交由 AI 瞄准系统,原因是战场属对抗环境,敌我识别、规避己方火力与预设反无人机手段仍需人来完成。若攻击者接受无差别打击并使用简单弹药针对平民,该技术的实用化门槛将大幅降低。 要点: - 所需部件均已存在:拳头大小机架与人形目标跟踪已在侦察无人机及俄制 V2U 类半自主武器中投入使用。
MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出,当前前沿 AI 实验室的越狱披露机制存在三大问题:许多厂商没有官方报告渠道,现有漏洞赏金项目普遍附带限制披露的 NDA,且严重性由实验室用不公开的标准自行评定。作者称,目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径,且仅覆盖 CBRN 相关的漏洞赏金;Google DeepMind、SpaceXAI(原 xAI)和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。
Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案,一方面防范威胁行为者滥用其模型,另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月,两家机构推进了超过 15 项合作,覆盖预防、检测与响应三个方向:Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途,AlphaEvolve 优化宏基因组测序算法以加快疫情侦测,Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分,并与 Frontier Safety Framework 相衔接。
Google DeepMind 推出 Gemini 3.5 Flash Cyber,一款基于 3.5 Flash 微调的轻量网络安全模型,用于快速发现、验证和修补漏洞,在相关任务上优于 Gemini 主线 Flash 模型。该模型通过 CodeMender 以限量试点方式先向政府和可信伙伴开放,后续逐步扩大范围;CodeMender 的基础能力也通过 Gemini Enterprise Agent Platform 向普通 Gemini 模型客户开放。
推荐理由Google 公开了 3.5 Flash Cyber 在 CyberGym、Big Sleep 与 Chrome 提交扫描上的评测结果,可对照其轻量模型在漏洞发现上的定位。
Google DeepMind 发布三款新 Gemini 模型:主力模型 Gemini 3.6 Flash、最快最便宜的 3.5 Flash-Lite,以及与代码安全智能体 CodeMender 搭配的网络专用模型 3.5 Flash Cyber。据 Artificial Analysis Index,Gemini 3.6 Flash 比 3.5 Flash 减少 17% 的输出 token,价格降至 $1.50/1M 输入 token 和 $7.50/1M 输出 token,并在 DeepSWE(49% vs. 37%)等多个基准上升。
Google DeepMind 推出 Gemini 3.7 Flash,距 Gemini 3.6 Flash 仅三周,定位其最强编程与智能体主力模型。该模型在 FrontierCode 1.1 Main(43.6% vs 34.4%)和 DeepSWE v1.1(65.3% vs 49.0%)上升明显,WebDev Arena Elo 达 1588(对比 1538)。首发价为每百万输入 token 0.75 美元、输出 3.75 美元,并同步更新 Gemini Spark,针对 CBRN 与网络攻击场景升级 Frontier Safety 防护措施。
安全研究者演示了借助 GitHub issue 中的间接提示注入劫持 ChatGPT Codex,把它接入 C2 服务器变成 ZombAI 僵尸网络智能体。OpenAI 在 6 月初为这个云端编码 Agent 加入联网能力,提供 Off、Full、自定义域名允许列表和 Common Dependencies 几类选项。Common Dependencies 允许列表包含 71 个域名,其中 azure.com 可被攻击者利用,在 Azure 上设置以 cloudapp.azure.com 结尾的 DNS 名来托管 C2。攻击链中,被恶意指令劫持的 Codex 会下载并执行植入物,泄露环境变量、源码与算力。
Johann Rehberger 撰文指出,Agent 正大幅降低发现和利用软件漏洞的门槛,并以 Anthropic 的 Mythos Preview 为例展开分析。据 Anthropic 公布的数据,Opus 4.6 在数百次尝试中仅两次成功利用 Firefox JS 引擎漏洞,而 Mythos Preview 成功了 181 次,该模型目前仅限少数公司访问。Rehberger 提到,无正式安全训练的工程师也能用它在一夜之间拿到完整的远程代码执行利用程序,威胁行为者的吞吐量会随之上升,尽管能力和意图并不等同。他还援引自己测试中 Opus 4.6 自行提权并安装调试工具的轶事,提醒隔离环境本身也可能被目标模型突破。
Anthropic 可解释性团队报告了用字典学习提取的特征替代原始激活训练生物武器有害/无害分类器的初步实验。在合成数据上,线性特征分类器与原始激活分类器表现相当甚至略优,用 max-pooling 聚合整个上下文窗口的特征激活是关键;在跨语言和 base64 等编码的分布外数据集 synthetic_3 上,特征分类器的 ROC_AUC 为 0.96,原始激活为 0.9。基于特征激活的决策树性能弱于线性分类器,但更易解读。特征可视化还能发现数据集中的伪相关,例如一个预测无害的特征会因学术出版格式文本而激活,作者据此构造的对抗后缀让 300 条有害提示中的绝大多数被误判为无害,而用原始激活系数构造的类似攻击效果差得多。
推荐理由Anthropic 可解释性团队公开了用字典学习特征训练生物武器分类器的初步实验,并展示如何借特征可视化找出数据集中的伪相关。
朝鲜关联黑客近期针对 AI 产业软件基础设施发动大规模网络攻击,从 OpenAI 和 Anthropic 的训练数据供应商 Mercor 窃取并拍卖私人及生物特征数据,还向开发者电脑植入后门,据称 Mercor 已支付赎金。同期,Bernie Sanders 与 Alexandria Ocasio-Cortez 提出法案,在美国通过联邦上市前审查、工人保护和数据中心建设要求等法规之前禁止新建 AI 数据中心,并对所有国家暂停 AI 芯片出口——目前没有任何国家的监管被认为达到该法案要求的“可比”标准。
Anthropic 发布 Claude 4 Opus 时将其列为首个触发 ASL-3 防护的模型,但 5 月 14 日更新的 RSP 未按 2023 年承诺公开定义 ASL-4。2023 年 9 月的 RSP 曾承诺在达到 ASL-3 前定义 ASL-4,Anthropic 发言人称该版本已过时,并指向 2024 年 10 月的修订,称 ASL 现在对应逐级加严的安全措施而非预先定义未来标准。TIME 报道称安全评估发现 Claude 4 Opus 可能帮助新手制造生物武器,首席科学家 Jared Kaplan 表示建模显示合成类似 COVID 或更危险流感毒株或许可行。
Helen Toner 撰文指出,将核不扩散式的强硬策略作为管理 AI 滥用风险的主要手段很可能是错的,若认真执行会既无效又损害自由。她认可算力安全、信息安全与 AI 护栏三支柱能阻止恶意行为者获取可用模型的逻辑前提,但强调生物武器与关键基础设施黑客属于固定能力门槛目标——一旦某项性能水平达成,复制成本便急剧下降,因此仅锁定最先进系统远远不够,应转向以韧性为核心的替代方案。
Helen Toner 提出,未来几年 AI 进步的速度很大程度上取决于两个问题的答案:除了数学和编码,还有哪些难题能被自动评分?以及在这些可自动评分的领域取得性能提升,能在多大程度上溢出到其他任务? 她指出,近期“推理模型”(从 OpenAI 于 2024 年 9 月推出的 o1,到 Google 的 Gemini Flash Thinking、DeepSeek 的 r1)之所以快速进步,关键在于数学与编码题可以低成本地大规模自动判分。
Google DeepMind 发布了面向学生、研究人员和相关从业者的 AGI 安全短期课程,总时长 75 分钟,由录制讲座和练习组成,并配有幻灯片和练习手册。课程涵盖 AI 对齐问题及技术与治理层面的应对思路,内容包括刻意规划带来的风险、规格博弈与目标错误泛化两种错位目标来源、知情监督原则以及危险能力评估等前沿安全实践。若想进一步参与该方向工作,研究科学家与研究工程师岗位申请开放至 2 月 28 日。
Google DeepMind 发布论文,阐述其应对技术 AGI 安全与防护的整体方法,目标是构建不会造成严重危害的 AGI。论文将风险路径分为滥用、失准、错误和结构性风险四类,策略聚焦滥用与失准:滥用通过 Frontier Safety Framework 评估模型是否具备造成危害的能力,并配套部署与安全缓解;失准则依靠放大监督、引导模型行为和稳健训练,加上把模型当作不可信内部人员的 AI 控制手段。论文提出能力阈值、危险能力评估、红队压力测试和四类安全论证(无能力、监督、激励、理解),并列出不确定性、更安全设计模式与可解释性等需持续投入的研究方向。作者强调这只是研究议程,治理与技术同等重要,且未覆盖结构性风险。
推荐理由DeepMind 把 AGI 安全拆成滥用与失准两条线,并给出可落地的评估、缓解与安全论证框架,适合对照自家安全策略。
Miles Brundage 汇总其近几个月参与的几项工作,涵盖国际 AI 协议核查、前沿 AI 流程合规审查以及将 AI 用于加速网络防御的提案。他与合作者发表两篇紧密相关的论文,提出针对大规模 AI 开发与部署规则的六层核查体系,并探讨国际 AI 治理中的核查问题。他还参与了关于前沿 AI 安全框架第三方合规审查的论文,指出企业承诺难以核实执行力度,并提出“流程合规”作为审计对象之一。此外他向 Institute for Progress 的 Launch Sequence 提交“Operation Patchlight”提案,主张用尖端 AI 抢先查找并修补开源代码漏洞,同时资助 AI 驱动的网络安全工具持续改进。
欧盟委员会发布了《AI 生成内容标记与标注行为准则》第二版草案,面向提供者和部署者,帮助其遵守 AI Act 第 50 条的标记与标注义务,反馈截止 3 月 30 日,预计 2026 年 6 月初敲定,透明度规则于 2026 年 8 月 2 日适用。 该草案吸纳了 2026 年 1 月以来通过问卷、会议和工作坊收集的数百家利益相关方意见及成员国与欧洲议会代表的贡献,并做了精简以减少合规负担,同时推动开放标准和统一的欧盟标识图标。准则分两部分:第一部分针对生成式 AI 系统提供者的内容标记与检测,第二部分针对部署者对深度伪造和公共利益文本的标注,采取更灵活务实的做法。
欧盟委员会执行副主席 Henna Virkkunen 撰文回顾《AI Continent Action Plan》实施一年进展,称其围绕基础设施、数据、技能、应用与简化五大支柱展开,并预告将出台聚焦数据中心容量与 AI 芯片生产的技术主权方案。Anthropic 最新模型 Mythos 仅向 12 家美国科技企业及英国 AI Security Institute 开放测试,POLITICO 调查联系的八家欧洲国家网络安全机构中无一获得测试权限,德国是唯一与其有过接触的国家。
欧盟立法者未能就推迟《人工智能法案》高风险条款达成协议,机械与医疗器械合规路径争议导致谈判无果且未定重启日期。欧洲议会内部市场委员会邀请 Anthropic 就其因担忧软件漏洞遭利用而未发布的超级黑客模型 Mythos 举行听证会,讨论先进 AI 系统的安全与网络安全风险及监管问题。Anthropic 还向欧委会通报了该模型的网络能力与技术风险细节,并签署了针对最复杂先进模型的欧盟最佳实践准则。
欧盟 AI Act 通讯第 102 期汇总了欧盟 AI 立法与治理的最新进展。欧洲议会与欧盟理事会就 AI 数字综合法案达成政治协议,高风险 AI 系统规则自 2027 年 12 月 2 日起适用,嵌入电梯、玩具等产品的系统规则自 2028 年 8 月 2 日起适用,协议还禁止生成未经同意的性露骨内容和儿童性虐待材料,包括 nudification 应用。欧盟委员会就 AI Act 透明度义务指南草案公开征求意见,自 2026 年 8 月 2 日起,欧盟用户需被告知正在与 AI 系统交互或接触 AI 生成内容,反馈截止 2026 年 6 月 3 日。
Google Threat Intelligence Group(GTIG)将一起持续一年多的间谍活动归因于 PRC 关联威胁行为体 UNC6508,目标覆盖北美学术、医疗与军事研究机构,重点收集人工智能、无人载具系统、网络攻防项目和医学研究相关敏感情报。 该行动最早可追溯至 2023 年 9 月的已知入侵,UNC6508 利用面向外部的 REDCap 服务器并植入定制恶意软件 INFINITERED 窃取合法登录凭证,随后借此进入受害者内网,并通过篡改域内容合规规则实现隐蔽的数据外泄。