跳到正文

危险能力 · News

10月13日 · 周二

危险能力 · News

按原发与事件进展排列
危险能力

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月1日周四
  1. WIRED Security and AIWIRED Security and AI · 8

    Annie Jacobsen 新书警告基因工程灭绝风险

    Annie Jacobsen 在新书《生物战争》中并未讨论 AI，因为她认为科学家如今仅凭基因工程就能改造自然、引发灭绝级灾难。她指出生物武器的准入门槛极低，“几乎人人可得潜在的大流行病原体”，因此比核武器更容易发生。文中援引 Anthropic 本月公布的滥用报告称，外国科研人员曾五次试图绕过 Claude 的护栏询问“功能增益”问题，Anthropic 拒绝作答并封禁账号，同时承认此类信息也可能用于研发疫苗和药物。

9月30日周三
  1. fortune.com · 22

    Bill Gates 警告 AI 可致十亿人死亡，呼吁强制监测与记录

    Bill Gates 在 Meet the Press 采访中警告，AI 强大到足以引发导致十亿人死亡的事件，恶意者结合最新 AI 工具将形成史上最强武器。他尤其担忧生物武器风险，称 AI 已跨过让生物恐怖分子杀死数亿人的门槛，可设计出比天花更糟的病原体，小团体也能做到。Gates 认为政府应强制 AI 开发者内置监测与记录机制，并称自监管远远不够，仅靠 kill switch 也无法阻止悲剧。

8月4日周二
  1. AI Frontiers · 43

    MATS 与 FAR.AI 作者提出修复 AI 越狱披露机制的两层方案

    MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出，当前前沿 AI 实验室的越狱披露机制存在三大问题：许多厂商没有官方报告渠道，现有漏洞赏金项目普遍附带限制披露的 NDA，且严重性由实验室用不公开的标准自行评定。作者称，目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径，且仅覆盖 CBRN 相关的漏洞赏金；Google DeepMind、SpaceXAI（原 xAI）和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。

7月10日周五
  1. SecureBio · 29

    从 Claude Mythos 到 Fable：为何需要在“Bio Mythos”时刻前建立生物安全保证基础设施

    Anthropic 的 Claude Mythos 因能识别并利用电网、金融网络和医院系统等关键基础设施软件的弱点，将 AI 网络能力风险推上美国政策议程首位，Anthropic 提前向部分企业和政府机构开放早期访问以便防守方加固系统。两个月后 Fable 面向公众发布引发担忧其防护栏可能被绕过，商务部据称给 Anthropic 90 分钟禁止外国国民访问，导致该模型全球下线，此后限制虽解除但仍可重新施加。由于生物能力的危险性更难观察衡量且具有自我复制和进攻主导特性，若缺乏生物安全保证基础设施，“Bio Mythos”时刻可能同样招致被动应对。

7月8日周三
  1. Epoch AI · 8

    Epoch AI 提出 AI 未来主义辩论缺失的另一半：应做带明确 AI 假设的技术开发难度估算

    Epoch AI 发文指出，AI 未来主义辩论普遍只论证超级智能会来得快，却忽略了具体科幻技术的研发难度这另一半问题，主张部分研究者开展一项三步流程的新研究方向。 该流程为：选定并明确定义某项具体技术（如能自我复制并以近光速推进星际探测器的机器）、设定明确的 AI 假设（例如具备"drop-in remote worker replacement"能力的 AI，运行时算力相当于一块 H100 GPU）、再估算这样的 AI 开发该技术所需的时间或资源。 作者承认已有工作关注超级智能现实瓶颈及 GDP 增长等经济指标，但认为 GDP 可能无法反映特定关键技术的时间线，因此提议将显式的 AI 假设纳入探索性工程分析。

6月26日周五
6月18日周四
  1. Epoch AI · 22

    Epoch AI 提出面向 AI 研发任务的类 O\*NET 分类体系

    Epoch AI 在一篇文章中提出了首个针对 AI 研发工作的任务分类体系雏形，基于文献综述与头脑风暴划分出覆盖前沿 AI 实验室研究工作流的六个类别，目标是弥补现有趋势外推所依赖的可测量代理指标——算力、数据和能源投入以及 METR 的时间跨度指标——无法反映 AI 研发完整构成的缺陷。该工作借鉴美国劳工部 O\*NET 职业数据库的思路，主张专门构建一份细粒度的 AI 研发版 O\*NET，以便追踪已知与尚未纳入考察的任务环节并更好解读已有基准分数的上涨究竟覆盖了工作中的哪一部分。

6月2日周二
  1. SecureBio · 22

    SecureBio 解析生物风险证据层级中 Evals 的角色

    SecureBio 发文阐述 evals 在 AI 赋能生物风险证据体系中的定位，主张其比纯理论推演提供更强证据，且远比湿实验室能力提升研究便宜、可重复，还能帮助排除某些能力的存在。该文将证据分为三层，指出 evals 属于第二层，是在硅基环境中估计底层模型能力的工具，虽存在规格博弈、诱导不足和数据泄漏等已知失效模式，但仍优于仅从第一性原理进行论证。

5月5日周二
  1. Dean Ball · 15

    在 Leviathan 苏醒之前：一位古典自由主义者为何支持对 AI 灾难性风险的国家管控

    一位自认古典自由主义者的作者表示，他反对几乎所有 AI 监管提案，包括针对“算法歧视”“算法成瘾”“算法定价”和“算法设计”的新立法，也不支持暂停或禁止 AI 开发，并对 AI 存在性风险持怀疑态度。但他明确支持一类监管：由国家管理人类滥用先进 AI 系统所引发的灾难性风险，例如恶意行为者利用 AI 对医院、银行、电厂等关键系统发动毁灭性网络攻击，以及生物武器开发等领域的风险。他强调这类风险并非假设，而是已经可以观察到。

4月8日周三
  1. Dean Ball · 29

    Anthropic 的 Claude Mythos 如何颠覆网络安全格局

    Anthropic 的 Claude Mythos 具备近乎超人水平的自动化软件漏洞发现能力，已发现数千个漏洞，其中大部分尚未修复。该模型目前未公开，但研究人员警告其将从根本上颠覆网络安全，且未来约六周内可能有 2-3 家美国公司掌握同等能力，随后中国等对手也将获得。研究人员认为过渡期可能漫长而残酷，最终世界或将进入防御方受益的稳态。

4月3日周五
  1. Tech Policy Press · 42

    世界已有军控机制，但 AI 公司并不对其负责

    Tech Policy Press 的分析文章指出，前沿 AI 公司正在没有外部要求的情况下自建类似军控的内部机制，却不对任何外部机构负责。Anthropic 招聘负责化学武器与高当量炸药的政策经理，OpenAI 也发布了聚焦生物与化学风险的相近岗位，职责包括设计评估方法、识别模型输出中的滥用并运行快速响应协议。文章称，拥有 193 个成员国和以国际法为后盾核查机制的 OPCW 在 2026 年 3 月发布报告讨论 AI 与《化学武器公约》的交集，却无权强制私营公司提交模型评估。Anthropic 2026 年 2 月发布的 RSP 3.0 删除了未达安全标准即暂停开发的约束性承诺，改为非约束性公开目标；牛津治理 AI 中心的分析认为，若核心问题是集体行动，Anthropic 按其自身逻辑应推动更强监管。

2025年7月17日周四
  1. FAR.AI · 33

    Mind the Mitigation Gap：为何 AI 公司必须同时报告缓解前与缓解后的安全性评估

    FAR.AI 指出多数 AI 公司只披露缓解前或缓解后其中一类安全评估，导致风险难以准确衡量，主张两者都必须上报。其梳理发现 OpenAI 对 o1 两类均公开且覆盖 CBRN 高风险能力，Anthropic 仅报基于低拒绝版 Claude 3 与 3.5 的缓解前能力且无明确定义，Gemini 1.5 仅有缓解后评估，Meta 对 Llama 3.1 只给模糊声明，阿里 Qwen-2.5 仅有基础缓解后评估，DeepSeek R1 则完全没有报告。该框架应用于 o1、GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro 后发现，WMDP-Chem 准确率上 o1 与 GPT-4o 最高达 70–75%，危险请求合规率上 GPT-4o 高达 50%。

2025年4月6日周日
  1. Helen Toner · 22

    Helen Toner：不扩散并非应对 AI 滥用的正确路径

    Helen Toner 撰文指出，将核不扩散式的强硬策略作为管理 AI 滥用风险的主要手段很可能是错的，若认真执行会既无效又损害自由。她认可算力安全、信息安全与 AI 护栏三支柱能阻止恶意行为者获取可用模型的逻辑前提，但强调生物武器与关键基础设施黑客属于固定能力门槛目标——一旦某项性能水平达成，复制成本便急剧下降，因此仅锁定最先进系统远远不够，应转向以韧性为核心的替代方案。

已经到底了