Skip to content

Translation in progress Some entries still include text in the original language.

Dangerous capabilities · News

Oct 12 · Monday

Dangerous capabilities · News

Latest publications and developments
Dangerous capabilities

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 2Fri
  1. Google DeepMind, Help Net Security AI · 3 sourcesGoogle DeepMind · 3 sources · 4 reports · 43

    Google DeepMind 发布 SynthID Bio 蛋白质水印技术

    Google DeepMind 发布 SynthID Bio，将水印技术引入合成生物学，把不可感知的签名直接嵌入生物代码，使水印既能在数字模型上验证，也能在合成出的实体蛋白质上验证，同时保持其生物功能。该方法按数据类型调整策略：对序列微调氨基酸选择，对预测的 3D 结构调整原子坐标。团队将 AlphaProteo 设计方法与带 SynthID Bio 的 ProteinMPNN 序列生成器配对，在 VEGF-A、SARS-CoV-2 刺突蛋白受体结合域和 PD-L1 等靶点上开展实验，并通过湿实验验证水印不损害蛋白质功能。DeepMind 称这是全球首创，可在不影响生物功能的前提下把签名嵌入蛋白质序列。此外，DeepMind 在播客中讨论了溯源的作用，以及不可感知水印如何保护数字媒体和生物设计。

    Latest developments

    1. Google DeepMind 播客介绍 SynthID 水印技术

    2. Google DeepMind 发布 SynthID Bio 蛋白质水印技术

  2. Goodfire ResearchGoodfire Research · 46

    Goodfire 发布基于蛋白质嵌入的生物安全监控器

    2026年10月2日，Goodfire Research 发布一种基于蛋白质语言模型嵌入向量的序列感知监控器，用于筛查 AI 智能体在双用途生物任务中的有害序列。该方法同时利用序列本身和任务上下文，在自建基准上优于前沿模型护栏，且在双用途任务上拒答更少。监控器对改写和片段化等对抗攻击更稳健：当原始蛋白存在于筛查数据库时 AUROC 约为 0.98；原始蛋白不在库中时各方法性能均下降，但该方法在低误报率下仍保持优势。其泛化能力还扩展到留出的蛋白家族、酶类毒素机制留出集以及外部细菌毒素数据。

Oct 1Thu
  1. Goodfire · 28

    Goodfire 推出基于蛋白质模型嵌入向量的生物安全序列感知监控器

    Goodfire研究人员提出基于蛋白语言模型表征的序列风险监控器，用于生物研究智能体工作流中的双重用途筛查。他们在自建基准上发现，所测前沿模型的拒答主要受任务描述影响，对危险和良性序列的区分不足；序列监控器在被测改写、片段化和部分留出条件下优于序列比对筛查。作者报告该方法达到毫秒级处理，但重设计蛋白是否保留生物活性仅通过计算估计，未经实验验证。结果限定于被测序列与基准，不能视为全面生物安全保证。

Jul 16Thu
  1. Google DeepMind · 29

    Google DeepMind 与 Isomorphic Labs 联合公布生物韧性方案

    Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案，一方面防范威胁行为者滥用其模型，另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月，两家机构推进了超过 15 项合作，覆盖预防、检测与响应三个方向：Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途，AlphaEvolve 优化宏基因组测序算法以加快疫情侦测，Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分，并与 Frontier Safety Framework 相衔接。

Dec 9, 2025Tue
  1. Jan Leike · 34

    Anthropic 安全缓解措施漏洞赏金计划

    Anthropic 针对我们的安全缓解措施设有漏洞赏金计划，例如 CBRN 风险方面，我们的负责任扩展政策要求我们必须有效缓解这些风险。 如果你对此感兴趣，请报名参加！你可以通过攻破我们的防御来帮助 AI 安全并赚取报酬。👇

You have reached the end