跳到正文

危险能力 · News

10月13日 · 周二

危险能力 · News

按原发与事件进展排列
6月13日周六
  1. Epoch AI · 17

    Epoch AI 周报:Cyber Vulnerabilities 浏览器上线,FrontierMath v2 中 Claude Fable 5 登顶

    Epoch AI 发布了 Cyber Vulnerabilities 浏览器,追踪各组织自 2022 年以来向 CVE Program 报告的漏洞,可按严重程度筛选并叠加 AI 里程碑,数据显示 Anthropic 于 3 月底向 Project Glasswing 合作伙伴发布 Mythos Preview 前后高危与危急 CVE 明显上升。新版 FrontierMath: Tiers 1–4(Version 2)经审计修正了初版 42% 题目中的错误,Anthropic 最新的 Claude Fable 5 位居榜首,在 Tiers 1–3 达到 87%、Tier 4 达到 88%。

2月19日周四
  1. METR · 47

    METR 复盘 AI 生物 RCT:五个关于证据型 AI 政策的经验

    METR 作者复盘其参与组织的 AI 生物随机对照试验(RCT),总结出五条面向证据型 AI 政策的经验。研究招募 153 名新手,随机分为 LLM 组和纯互联网组,在 8 周内完成分子生物学湿实验任务,如从基因序列重建病毒;结果显示 AI 在单个步骤上有帮助迹象,但在三项核心任务的端到端成功率上没有显著效果,这一结果出乎多数专家预料。

2025年7月30日周三
  1. FAR.AI · 50

    FAR.AI 开源安全差距评估工具包,量化 Llama-3 移除护栏后的危险能力

    FAR.AI 发布开源工具包,用于移除开源指令微调模型的安全机制并评估由此产生的安全差距。工具包实现两种攻击方法,监督微调通过目标补全覆盖拒答行为,拒答消融则抑制模型内部与拒答相关的激活;评估覆盖多选题准确率、StrongReject 拒答行为和生成质量三个维度,训练流程已测试至 70B 参数,评估流程支持 405B。在 Llama-3.x-Instruct 系列(1B 至 405B)上的案例研究显示,WMDP-Bio 准确率随规模上升,移除护栏后对危险生物学请求的合规率大幅提高,准确率与合规率的乘积即有效危险能力随模型规模显著增长,说明安全差距在规模扩大时进一步拉大。作者指出当前仅支持微调和拒答消融两种攻击方法,数据集规模较小且框架针对对话模型优化。代码见 github.com/AlignmentResearch/safety-gap,论文见 arXiv:2507.11544。

已经到底了