跳到正文

#生物/化学

今日 0 条
10月1日周四
  1. 研究者论文追踪 ·

    SynthIDBio:为 AI 生成的蛋白质序列与结构嵌入保功能水印

    Google DeepMind 团队提出 SynthIDBio,把水印直接嵌入 AI 生成的蛋白质序列与结构,同时保持其生物学功能。SynthIDBio-sequence 将 SynthID-text 的锦标赛采样接入 ProteinMPNN,并增加基于 g 值的过滤以保证可检测性;体外实验显示,针对 SC2RBD、VEGF-A 和 PD-L1 的水印结合蛋白在结合亲和力分布和命中率上与未加水印设计无显著差异,其中 SC2RBD 达到低纳摩尔级、VEGF-A 与 PD-L1 达到亚纳摩尔级。SynthIDBio-structure 则微调 AlphaFold 3 的扩散模块并联合训练一个受 PointNet 启发的检测器,在 AF3 评测集上以 0.1% 假阳性率取得超过 99.8% 的真阳性率,且 LDDT 与模板建模分数不下降。

  2. Help Net Security AI ·

    Google DeepMind 推出 SynthID Bio,为 AI 设计的蛋白质加水印且不破坏功能

    Google DeepMind 发布 SynthID Bio,一种面向 AI 设计蛋白质的水印方法,并在湿实验中验证其不损害蛋白质功能。该方法把签名隐藏在设计的氨基酸序列和预测三维结构的原子坐标中,DeepMind 称合成后的实体蛋白质也能检出该签名。团队将 AlphaProteo 设计方法与带 SynthID Bio 的 ProteinMPNN 序列生成器配对,在 VEGF-A、SARS-CoV-2 刺突蛋白受体结合域和 PD-L1 三个靶点上做湿实验,水印设计在命中率、结合亲和力和天然序列多样性上与未加水印版本持平。

  3. WIRED Security and AI ·

    Anthropic 称 Claude 发现类 Crispr 系统 ART

    Anthropic 于 9 月 23 日宣称其大语言模型 Claude 发现了性质"令人联想到 Crispr"的酶系统 ART(array-associated reverse transcriptases)。约 950 个 Claude 智能体并行运行 21.5 小时扫描基因组数据库,从超 20 万个候选逆转录酶中筛出一个含长重复序列的新家族,该系统的物理实验仅出现在一份未经同行评审的技术报告中。

  4. WIRED Security and AI ·

    《Annie Jacobsen 新书〈生物战争〉警告:无需 AI,基因工程已足以制造灭绝级威胁》

    Annie Jacobsen 在新书《生物战争》中并未讨论 AI,因为她认为科学家如今仅凭基因工程就能改造自然、引发灭绝级灾难。她指出生物武器的准入门槛极低,"几乎人人可得潜在的大流行病原体",因此比核武器更容易发生。文中援引 Anthropic 本月公布的滥用报告称,外国科研人员曾五次试图绕过 Claude 的护栏询问"功能增益"问题,Anthropic 拒绝作答并封禁账号,同时承认此类信息也可能用于研发疫苗和药物。

  5. Google DeepMind ·

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质与结构加水印

    Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印既能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。该方法按数据类型调整策略,对序列微调氨基酸选择,对预测的 3D 结构调整原子坐标。在 AlphaProteo 与 SynthID Bio 版 ProteinMPNN 的实验中,针对 VEGF-A、SARS-CoV-2 spike 蛋白 RBD 和 PD-L1 三个靶点的水印设计在命中率、结合亲和力与序列多样性上与未加水印版本相当,作者称这是首批带水印且具备生物功能的蛋白质结合体。

  6. OpenAI Deployment Safety · 71

    OpenAI 发布 GPT-6 Astra System Card 增补:GPT-6.1 Sol

    OpenAI 发布 GPT-6 Astra System Card 的增补文件,介绍 GPT-6.1 Sol。按 Preparedness Framework,OpenAI 将 GPT-6.1 Sol 在网络安全领域视为 Critical capability,在生物与化学领域为 High capability,在 AI 自我改进上低于 High 阈值,因此沿用与 GPT-6 Astra 相同的防护体系。生物化学方面,其 Critical 级评测结果未越过指示性阈值。生物拒答评测中,它在严重与两用类别上与 GPT-6 Sol 相当,对良性提示词的拒答更少;这些结果只反映模型本身的回答,不含完整的生产环境防护。网络安全的安全评测中,GPT-6.1 Sol 在生产聊天评测上优于此前所有模型,但在合成与半合成智能体环境中比 GPT-5.6 Sol 有小幅退步。

    推荐理由GPT-6.1 Sol 的 System Card 增补给出了生物化学与网络安全能力评测结果,可对照 GPT-6 Astra 与 GPT-6 Sol 的差异。

9月29日周二
9月27日周日
  1. arXiv:越狱与提示注入 ·

    SafeMol:分子多模态模型的双模态安全对齐

    分子多模态模型在纯文本与图条件输入下均存在显著越狱漏洞,安全鲁棒性需跨输入模态成立并兼顾安全、过度拒答与效用。为此研究者构建 SafeMolBench 基准,含 3702 个样本、覆盖 618 种独特危险分子,分为危险有害、危险允许与效用回放三个子集。基于该基准提出的参数高效对齐框架 SafeMol 联合优化两种模态的轻量模块,用 MMD 做分布级表示对齐并显式建模分子危险性与有害操作意图,实验显示攻击成功率下降数十个百分点,同时保持较低过度拒答与分子任务效用。

9月25日周五
9月14日周一
  1. arXiv:越狱与提示注入 · 82

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    研究者提出“能力洗白”(capability laundering)攻击:较弱的未对齐模型把有害任务拆成看似无害的子问题,分别独立咨询更强的对齐模型,再在本地组合答案,因此没有任何单次回复本身构成有害任务。作者以 GPT-5.5、Claude Opus 4.8 和 Grok-4.3 为顾问、四个本地模型为编排者,在 CyBench、BountyBench 和有害 CBRN 请求上衡量咨询带来的能力提升。CyBench 上,Gemma-4-31B 借助 GPT-5.5 和 Opus 分别解出 8/14、7/9 个候选任务,Gemma-4-12B 只有 2/21、4/15;BountyBench 上效果因编排者而异,Muse-Glimmer-30B 一个也没解出。CBRN 方面,咨询把 Gemma-4-31B 在一条假设攻击链八个步骤上的平均评分从 62.3 提高到 83.1(满分 100)。作者认为,拒绝有害任务并不能阻止前沿能力经由许多各自被允许的交互转移和组合。

    推荐理由论文把有害任务拆成多个看似无害的子问题分别咨询强对齐模型、再在本地拼装,并在 CyBench 和 CBRN 测试上量化了这种能力转移,说明只按单次交互评估安全会漏掉这一缺口。

9月7日周一
  1. LessWrong(精选) ·

    无人机大规模杀伤性武器无需任何新技术

    无人机已具备成为大规模杀伤性武器(WMD)的条件,且无需依赖任何新技术。当前无人机虽受无线电干扰、高功率微波、拦截无人机等反制手段限制,约 75% 无法抵达目标,但已在乌克兰等战场造成 80% 的伤亡,并让俄罗斯损失三分之一舰队。随着各国为突破反制而竞相研发更自主的无人机,这一军备竞赛可能催生出让流氓国家获得非核威慑、或让恐怖分子掌握的新型 WMD。

9月2日周三
  1. arXiv:危险能力与安全评测 ·

    FUSE:面向大语言模型危险能力的模块化评测框架

    研究者提出 FUSE 模块化评测框架,通过知识(K)、防御(D)、危害(H)三条正交管线在统一协议下评测模型,并汇总为标准化危险能力画像 φ。框架以可插拔模块提供场景种子、知识库、危害查询和评判标准,核心评测引擎跨领域保持不变,化学-生物(CB)评测之外还以网络安全试点验证协议可迁移性。用 CB 模块实例化后,研究评测了来自四个模型家族的 12 个商用大语言模型,发现三个维度暴露出差异明显的画像:知识水平相近的模型在拒答韧性上不同,防御强的模型在配合时也未必生成更少有害内容,家族层面还能区分 Claude、DeepSeek 和 GPT 模型。

8月4日周二
  1. arXiv · 82

    AI Security Leaderboard 发布:四个前沿模型的越狱成本相差上百倍

    独立基准 AI Security Leaderboard 发布 v1.0 报告,按 FAR$.$AI Minimal Standard 对前沿模型的护栏从弱到强排名,测试范围覆盖 CBRNE(化学、生物、放射、核与爆炸物)严重滥用请求和进攻性网络安全。报告测试了四个领先模型:Claude Fable 5 和 GPT-5.6 Sol 抵御了所有攻击,未发现通用越狱,作者估计用该方法越狱的成本可能超过 14200 美元;而 Grok 4.5 和 Gemini 3.1 Pro 存在数百个通用越狱,每个成本不到 300 美元,Grok 最弱的网络安全领域越狱成本低至 24 美元。

    推荐理由该榜单在同一最小标准下横向比较四个前沿模型的越狱成本,并指出所有弱点都已有现成防御,便于评估方理解当前护栏差距。

  2. AI Frontiers ·

    MATS 与 FAR.AI 作者提出修复 AI 越狱披露机制的两层方案

    MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出,当前前沿 AI 实验室的越狱披露机制存在三大问题:许多厂商没有官方报告渠道,现有漏洞赏金项目普遍附带限制披露的 NDA,且严重性由实验室用不公开的标准自行评定。作者称,目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径,且仅覆盖 CBRN 相关的漏洞赏金;Google DeepMind、SpaceXAI(原 xAI)和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。

7月20日周一
  1. arXiv · 85

    上海 AI 实验室提出 Intern-BioBreaker,在 14 个前沿模型上暴露生物安全越狱风险

    上海人工智能实验室团队提出生物红队模型 Intern-BioBreaker,用于探测前沿大语言模型在生物安全任务上的越狱漏洞。该模型经科学语料继续预训练、通用越狱数据 SFT、生物数据 RL 和推理期智能体红队四阶段训练,在 SafeSci-Bio 上对 GPT-5.5 的攻击成功率达 60%,对 Claude Opus 4.8 为 26%,高于 Qwen 系列基线和 Intern-S2-Preview。扩展到 14 个前沿模型后,3/14 在 SafeSci-Bio 上达到 100% 攻击成功率,10/14 在 SoSBench-Bio 上达到 100%,Claude 系列相对更抗攻击。案例研究显示,模型可被诱导生成经 AlphaFold3 评估结构合理、受体结合能更低的流感 HA 候选序列。

    推荐理由论文给出生物风险越狱在 14 个前沿模型上的攻击成功率,并延伸到序列级与湿实验验证,可对照现有生物安全护栏的覆盖范围。

  2. AI Frontiers ·

    Drone WMDs Don't Need Any New Technology

    现有微型无人机技术几乎足以构成大规模杀伤性武器——拳頭大小的机体能自主导航室内并追踪人类目标,俄罗斯 V2U 等半自主武器的前线应用已验证这一点,剩下的主要障碍只是集成而非工程突破。当前小型 FPV 无人机多数仍需人工操控,仅末段交由 AI 瞄准系统,原因是战场属对抗环境,敌我识别、规避己方火力与预设反无人机手段仍需人来完成。若攻击者接受无差别打击并使用简单弹药针对平民,该技术的实用化门槛将大幅降低。 要点: - 所需部件均已存在:拳头大小机架与人形目标跟踪已在侦察无人机及俄制 V2U 类半自主武器中投入使用。

7月16日周四
  1. Google DeepMind ·

    Google DeepMind 与 Isomorphic Labs 联合公布生物韧性方案

    Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案,一方面防范威胁行为者滥用其模型,另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月,两家机构推进了超过 15 项合作,覆盖预防、检测与响应三个方向:Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途,AlphaEvolve 优化宏基因组测序算法以加快疫情侦测,Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分,并与 Frontier Safety Framework 相衔接。

7月13日周一
  1. Windows On Theory(Boaz Barak) ·

    如果 2030 年 AGI 转型失败:Boaz Barak 分析四类灾难场景

    Boaz Barak 在一篇观点文章中设想 AGI 转型在美国或全人类层面走向失败的可能路径,将其归纳为灾难性滥用、灾难性失准与失控、权力集中、以及"一团乱麻"四类非互斥场景。他特别担忧权力集中问题,认为人类被 AI 或少数未经选举的人控制即使物质富足也不是好未来,因此警惕把更多控制权交给"好"AI、减少模型供应商竞争或限制先进 AI 获取渠道的干预。他主张安全限制应针对具体可测量风险,而非由假设性风险驱动的广泛限制。

6月26日周五
6月17日周三
  1. arXiv ·

    SciRisk-Bench:面向 AI4Science 安全的风险维度感知基准

    作者提出 SciRisk-Bench,一个从显式风险维度和科学学科两个角度评测 AI4Science 安全的基准,覆盖 7 个学科、31 个子学科和 10 个风险维度。研究指出,现有 AI4Science 安全数据集虽覆盖若干学科和任务形式,但底层风险维度界定不足。实验部分对主流 LLM 和面向科学的 LLM 按风险维度、学科和子学科进行评测,用于细粒度诊断科学模型在哪些方面仍不安全。论文编号 arXiv:2606.18936,属 cs.AI 与 cs.CY 方向。

5月5日周二
  1. Hyperdimensional(Dean Ball) ·

    在 Leviathan 苏醒之前:一位古典自由主义者为何支持对 AI 灾难性风险的国家管控

    一位自认古典自由主义者的作者表示,他反对几乎所有 AI 监管提案,包括针对“算法歧视”“算法成瘾”“算法定价”和“算法设计”的新立法,也不支持暂停或禁止 AI 开发,并对 AI 存在性风险持怀疑态度。但他明确支持一类监管:由国家管理人类滥用先进 AI 系统所引发的灾难性风险,例如恶意行为者利用 AI 对医院、银行、电厂等关键系统发动毁灭性网络攻击,以及生物武器开发等领域的风险。他强调这类风险并非假设,而是已经可以观察到。

3月28日周六
  1. Goodfire Research ·

    Goodfire 与 Arc Institute 合作解读 Evo 2 基因组基础模型

    Goodfire 与 Arc Institute 合作,对 Arc 新一代生物基础模型 Evo 2 开展机制可解释性研究,在其第 26 层训练 BatchTopK 稀疏自编码器(SAE),提取出外显子-内含子边界、蛋白质二级结构等具有生物学意义的特征,并通过大规模对齐分析以 domain-F1 分数验证其相关性。Evo 2 提供 7B 和 40B 两种参数规模,可在核苷酸级别处理最长 1M 碱基对序列。团队已初步尝试通过特征引导(steering)精确设计新蛋白质结构,但该模型的可控性远比语言模型复杂,仍需进一步研究。

2月19日周四
  1. METR · 67

    METR 复盘 AI 生物 RCT:五个关于证据型 AI 政策的经验

    METR 作者复盘其参与组织的 AI 生物随机对照试验(RCT),总结出五条面向证据型 AI 政策的经验。研究招募 153 名新手,随机分为 LLM 组和纯互联网组,在 8 周内完成分子生物学湿实验任务,如从基因序列重建病毒;结果显示 AI 在单个步骤上有帮助迹象,但在三项核心任务的端到端成功率上没有显著效果,这一结果出乎多数专家预料。

    推荐理由作者以亲历者身份复盘 AI 生物 RCT 的组织经验,为理解基准与真实能力差距提供了可迁移的方法视角。

2月16日周一
  1. Frontier Model Forum ·

    Frontier Model Forum 通报前沿 AI 威胁与漏洞信息共享进展

    Frontier Model Forum 发布信息共享进展通报,称其成员企业已成功共享漏洞、威胁与关注能力三类信息,涵盖越狱、对抗输入、数据投毒、CBRN 与高级网络攻击等方向。该机制去年 3 月以自愿协议形式启动,配套法律与技术基础设施用于保密交换并兼顾知识产权与反垄断合规。FMF 表示下一步将把自愿信息共享试点扩展到其他前沿 AI 公司,并建立面向产业界与政府的更多可信渠道。

12月23日周二
12月18日周四
  1. UK AISI(GOV.UK 公告) · 75

    UK AISI 发布首份前沿 AI 趋势报告,量化最先进模型能力进展

    英国 AI Security Institute(AISI)发布首份 Frontier AI Trends Report,基于两年对网络、化学和生物等关键领域的能力测试,公开评估最先进 AI 系统的演进。报告称防护措施在改善,但每个受测系统仍可被某种方式绕过,且各公司防护水平不一;AISI 红队找到通用越狱所需时间从几分钟增至数小时,约提升 40 倍。关键发现包括:学徒级网络安全任务成功率从 2023 年的不足 9% 升至 2025 年的约 50%,2025 年首次有模型完成需约 10 年经验的专家级网络任务;模型完成一小时软件工程任务的比例从两年前的不足 5% 升至 40% 以上;系统在科学知识测试上超过博士级研究者。

    推荐理由英国 AISI 首次公开前沿模型能力趋势数据,给出网络、软件工程与生化任务上的量化变化,可作为评估能力增速的基线参考。

12月11日周四
6月14日周六
  1. Frontier Model Forum ·

    Frontier Model Forum 资助 AI 生物风险研究:病毒学与细菌生物威胁基准及湿实验室试验

    Frontier Model Forum(FMF)通过 AI Safety Fund 公布三项应对 AI—生物风险的资助进展。SecureBio 开发了含 322 道多模态问题的 Virology Capabilities Test(VCT)基准,Nemesis Insights 则建成约 1,000 条高质量细菌生物威胁提示词的 BBG 框架,两者数据集将提供给安全团队、监管机构和学术研究者。此外,FMF 联合 Sentinel Bio 资助一项大规模 BSL-2 湿实验室研究,对比有无领先多模态 AI 辅助下新手完成实验的成功率,全部结果将在发表前经独立的生物安全与国家安全专家顾问委员会预先审核。

5月23日周五
  1. Obsolete(Garrison Lovely) ·

    Anthropic 被指在 Claude 4 Opus 发布中悄然回撤安全承诺

    Anthropic 发布 Claude 4 Opus 时将其列为首个触发 ASL-3 防护的模型,但 5 月 14 日更新的 RSP 未按 2023 年承诺公开定义 ASL-4。2023 年 9 月的 RSP 曾承诺在达到 ASL-3 前定义 ASL-4,Anthropic 发言人称该版本已过时,并指向 2024 年 10 月的修订,称 ASL 现在对应逐级加严的安全措施而非预先定义未来标准。TIME 报道称安全评估发现 Claude 4 Opus 可能帮助新手制造生物武器,首席科学家 Jared Kaplan 表示建模显示合成类似 COVID 或更危险流感毒株或许可行。

4月6日周日
  1. Rising Tide(Helen Toner) ·

    Helen Toner:不扩散并非应对 AI 滥用的正确路径

    Helen Toner 撰文指出,将核不扩散式的强硬策略作为管理 AI 滥用风险的主要手段很可能是错的,若认真执行会既无效又损害自由。她认可算力安全、信息安全与 AI 护栏三支柱能阻止恶意行为者获取可用模型的逻辑前提,但强调生物武器与关键基础设施黑客属于固定能力门槛目标——一旦某项性能水平达成,复制成本便急剧下降,因此仅锁定最先进系统远远不够,应转向以韧性为核心的替代方案。

3月29日周六
  1. Frontier Model Forum · 60

    Frontier Model Forum 成员企业签署首份前沿 AI 信息共享协议

    Frontier Model Forum(FMF)宣布其全部成员企业签署了一份旨在促进前沿 AI 威胁、漏洞与能力进展信息共享的协议。该共享范围被严格限定,用于管理涉及 CBRN 与高级网络威胁等国家安全和公共安全风险,目前仅限 FMF 成员企业参与。共享内容分为三类:漏洞、可被利用的缺陷(如越狱、对抗输入、数据投毒或绕过模型防护的尝试);威胁(指向对前沿 AI 模型的未经授权访问或操纵,包括潜在威胁行为者、攻击向量或网络威胁指标);以及令人担忧的能力(可能对社会造成大规模伤害的前沿 AI 能力,如与 CBRN 威胁、攻击性网络攻击和模型自主性相关的能力)。

    推荐理由FMF 成员企业首次签署跨公司信息共享协议,界定了共享范围与风险类别,可了解前沿 AI 行业协作机制的实际形态。

3月19日周三
  1. Frontier Model Forum ·

    Frontier Model Forum 发布 AI 生物安全评测三级报告分层方案

    Frontier Model Forum 发布议题简报,提出 AI 生物安全评测信息的三级报告框架,按公开、可信网络内共享、仅私下披露划分披露范围。Tier 1 可公开发布研究问题、科学领域、高层级评测方法、参与者背景、受测模型、任务示例、分析方法和关键高层级结论及研究局限;Tier 2 限可信网络共享完整威胁模型、深入评测方法、结果详细解读和模型增强细节;Tier 3 仅在决策相关方之间私下披露具体模型漏洞、特定训练数据和私有数据集。该框架采取预防性思路,信息只有在确信更广泛传播不会带来信息或注意力风险时才扩大共享范围,部分条目的报告层级取决于评测结果,例如确认新型生物威胁或可利用漏洞的高层级结论可能不宜公开。

3月14日周五
  1. Frontier Model Forum ·

    Frontier Model Forum 向 OSTP 提交 AI 行动计划意见书

    Frontier Model Forum 于 3 月 14 日向美国白宫科技政策办公室(OSTP)提交了一份关于《人工智能行动计划》制定的回应文件,建议美国政府加大对 AI 安全科学的投入并加强国际标准协调。 该组织提出三个重点方向:资助 AI 计量学与测量科学研究、开发针对国家安全与公共安全风险的 AI 风险管理流程,以及确保相关工作中纳入具备科学专业知识的领域专家,并点名 NIST 与美国能源部国家实验室适合推进评测测量科学。

2月14日周五
  1. UK AISI(GOV.UK 公告) · 69

    英国 AI Safety Institute 更名为 AI Security Institute,并新增犯罪滥用研究团队

    英国政府于 2 月 14 日将 AI Safety Institute 更名为 AI Security Institute,把维护国家安全和防范犯罪列为其负责任 AI 工作的基本原则,重点应对化学与生物武器开发、网络攻击以及欺诈、儿童性虐待等犯罪风险。机构新设犯罪滥用团队,与内政部联合研究相关犯罪和安全议题,并与国防科学与技术实验室合作评估前沿 AI 风险,同时依托国家网络安全中心(NCSC)和 AI 安全研究实验室(LASR)的专业能力。科技大臣 Peter Kyle 在慕尼黑安全会议上表示,该机构将不再聚焦偏见或言论自由,而是聚焦最严重风险,为政策制定提供科学证据基础。

    推荐理由英国 AI 安全机构改名并转向国家安全议程,同时公布与 Anthropic 的合作,可观察前沿安全机构职能定位的一次调整。

2月7日周五
  1. Frontier Model Forum ·

    Frontier Model Forum 发布前沿 AI 安全框架阈值问题简报

    Frontier Model Forum 发布问题简报,梳理前沿 AI 安全框架中阈值的类型与作用。简报指出,阈值是安全框架的核心要素,用于预先界定何种风险水平需要进一步审查或加强防护,从而让开发者、部署方和监管方在风险出现前采取行动,尤其针对 CBRN 和高级网络风险。简报归纳了四类阈值:算力阈值以训练算力作为风险的代理指标,易测量但只是粗略筛选;风险阈值直接限定可接受的风险概率与危害程度,最贴近社会影响但当前难以可靠估计;能力阈值指向特定能力(如提供致命病原体合成指引),比算力更贴近危害且比风险估计更易测量,是目前安全框架中最常用的类型;结果导向阈值则列出不可接受的结果及相应威胁场景。

12月21日周六
  1. Frontier Model Forum ·

    Frontier Model Forum 发布 AI 生物安全评估初步分类体系

    Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报,提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类:基准评估、红队演练和对照研究;领域涵盖科学知识与科学推理性评估及危害性生物知识评估,后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识,旨在推动建立有效的 AI 生物安全评估生态。

10月16日周三
  1. Transformer Circuits(Anthropic 可解释性) · 60

    Anthropic 可解释性团队:用字典学习特征训练分类器

    Anthropic 可解释性团队报告了用字典学习提取的特征替代原始激活训练生物武器有害/无害分类器的初步实验。在合成数据上,线性特征分类器与原始激活分类器表现相当甚至略优,用 max-pooling 聚合整个上下文窗口的特征激活是关键;在跨语言和 base64 等编码的分布外数据集 synthetic_3 上,特征分类器的 ROC_AUC 为 0.96,原始激活为 0.9。基于特征激活的决策树性能弱于线性分类器,但更易解读。特征可视化还能发现数据集中的伪相关,例如一个预测无害的特征会因学术出版格式文本而激活,作者据此构造的对抗后缀让 300 条有害提示中的绝大多数被误判为无害,而用原始激活系数构造的类似攻击效果差得多。

    推荐理由Anthropic 可解释性团队公开了用字典学习特征训练生物武器分类器的初步实验,并展示如何借特征可视化找出数据集中的伪相关。

已经到底了