跳到正文

#危险能力

今日 0 条
10月1日周四
  1. Help Net Security AI ·

    Google 发布 Gemini 4 Argon,称可自主发现并修补关键软件漏洞

    Google 发布前沿模型 Gemini 4 Argon,并通过 Fairwind Program 向一批受信任的网络防御方开放,称该模型能自主定位、验证并修补关键软件漏洞,同时会向这些防御方及 Google 内部团队提供不带网络护栏的版本。开发者、企业和消费者稍后可用,先面向付费 API 客户和 Google AI Ultra 订阅者。Google 表示这一能力级别需要分阶段发布,仍在根据早期测试者反馈调整护栏,并参与美国政府关于发布前模型访问的自愿流程;发布前加强了针对网络及化学、生物、放射和核滥用的防护,由内部和外部红队测试,并有监控系统观察其推理与行动、必要时中止执行。

  2. WIRED Security and AI ·

    《Annie Jacobsen 新书〈生物战争〉警告:无需 AI,基因工程已足以制造灭绝级威胁》

    Annie Jacobsen 在新书《生物战争》中并未讨论 AI,因为她认为科学家如今仅凭基因工程就能改造自然、引发灭绝级灾难。她指出生物武器的准入门槛极低,"几乎人人可得潜在的大流行病原体",因此比核武器更容易发生。文中援引 Anthropic 本月公布的滥用报告称,外国科研人员曾五次试图绕过 Claude 的护栏询问"功能增益"问题,Anthropic 拒绝作答并封禁账号,同时承认此类信息也可能用于研发疫苗和药物。

  3. OpenAI Deployment Safety · 71

    OpenAI 发布 GPT-6 Astra System Card 增补:GPT-6.1 Sol

    OpenAI 发布 GPT-6 Astra System Card 的增补文件,介绍 GPT-6.1 Sol。按 Preparedness Framework,OpenAI 将 GPT-6.1 Sol 在网络安全领域视为 Critical capability,在生物与化学领域为 High capability,在 AI 自我改进上低于 High 阈值,因此沿用与 GPT-6 Astra 相同的防护体系。生物化学方面,其 Critical 级评测结果未越过指示性阈值。生物拒答评测中,它在严重与两用类别上与 GPT-6 Sol 相当,对良性提示词的拒答更少;这些结果只反映模型本身的回答,不含完整的生产环境防护。网络安全的安全评测中,GPT-6.1 Sol 在生产聊天评测上优于此前所有模型,但在合成与半合成智能体环境中比 GPT-5.6 Sol 有小幅退步。

    推荐理由GPT-6.1 Sol 的 System Card 增补给出了生物化学与网络安全能力评测结果,可对照 GPT-6 Astra 与 GPT-6 Sol 的差异。

9月30日周三
  1. Anthropic Red Teaming · 88

    Anthropic 评测 GLM-5.3:可自主构建端到端漏洞利用,护栏易被绕过

    Anthropic 红队发布对智谱 GLM-5.3 的评测,认为其具备自主构建端到端网络漏洞利用的能力,且护栏可被简单技术绕过。在 ExploitBench 上,GLM-5.3 在 410 次尝试中成功开发端到端漏洞利用 50 次,Claude Mythos Preview 为 56 次;在内部 Binary Exploitation 基准的 100 项任务中,GLM-5.3 取得完整控制流劫持的比例为 4%,Claude Mythos Preview 为 6%,而 Claude Opus 4.6 和 GLM-5.2 均未成功。

    推荐理由Anthropic 用自家评测对比 GLM-5.3 与 Claude 的漏洞利用能力,并给出护栏被绕过的具体比例,可看到开放权重模型在网络安全能力上的位置。

9月29日周二
  1. arXiv ·

    CyberPersistBench:评测 LLM 攻击者的安装与持久化能力

    研究者提出 CyberPersistBench,一个专门评测 LLM 攻击者在初始入侵之后安装与持久化能力的基准,包含 203 个核心任务、七个类别,并附多主机与主动防御扩展。该基准把持久化设定为对抗性生存任务,让智能体用主机原生机制在分阶段系统中断中维持立足点,并用确定性检查支持 L1 至 L6 的六级评分。对五个前沿智能体的实测显示,自主持久化成功率仅为 27.6% 至 44.8%,在启用防御的任务上进一步降至 5.5% 至 13.3%。作者认为这些结果反映出新兴的网络攻击风险,说明有必要对入侵后持久化进行基准评测。

9月24日周四
9月14日周一
  1. arXiv:越狱与提示注入 · 82

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    研究者提出“能力洗白”(capability laundering)攻击:较弱的未对齐模型把有害任务拆成看似无害的子问题,分别独立咨询更强的对齐模型,再在本地组合答案,因此没有任何单次回复本身构成有害任务。作者以 GPT-5.5、Claude Opus 4.8 和 Grok-4.3 为顾问、四个本地模型为编排者,在 CyBench、BountyBench 和有害 CBRN 请求上衡量咨询带来的能力提升。CyBench 上,Gemma-4-31B 借助 GPT-5.5 和 Opus 分别解出 8/14、7/9 个候选任务,Gemma-4-12B 只有 2/21、4/15;BountyBench 上效果因编排者而异,Muse-Glimmer-30B 一个也没解出。CBRN 方面,咨询把 Gemma-4-31B 在一条假设攻击链八个步骤上的平均评分从 62.3 提高到 83.1(满分 100)。作者认为,拒绝有害任务并不能阻止前沿能力经由许多各自被允许的交互转移和组合。

    推荐理由论文把有害任务拆成多个看似无害的子问题分别咨询强对齐模型、再在本地拼装,并在 CyBench 和 CBRN 测试上量化了这种能力转移,说明只按单次交互评估安全会漏掉这一缺口。

9月9日周三
  1. AI Frontiers ·

    AI 可能终结公钥加密:从数学突破到密码分析的进展

    AI 模型近期接连解决重大数学问题并推进密码分析,使公众担忧其有能力证明现有公钥加密体系根本不可靠。Anthropic 的研究显示 Claude Mythos Preview 发现了针对两种密码算法的新攻击,其中一种是美国国家标准与技术研究院(NIST)当时正在评估的后量子方案。若此类结果表明所有相关算法都可破解,端到端加密将走向终结,政府监听权力会大幅扩张,且成果很可能被情报机构秘而不宣。

  2. arXiv:越狱与提示注入 · 78

    CS-Guard:首个面向代码生成安全的 LLM 护栏评测基准

    CS-Guard 是首个系统评测代码生成安全护栏的基准,覆盖文本到代码与代码到代码两类场景。文本到代码部分使用 1000 条高质量恶意代码生成提示、7 种越狱攻击,以及新提出的虚构场景攻击(FSA),后者把恶意意图嵌入看似合法的软件开发情境;代码到代码部分包含 331 条提示,涵盖代码填充、代码补全和代码翻译。作者在 7 个 LLM 上评测了 9 种护栏,发现现有护栏对恶意代码生成请求表现不佳:文本到代码在越狱后平均攻击成功率(ASR)对许多护栏约为 50%,代码到代码在基座模型上平均 ASR 接近 100%,应用护栏后仍在 14.4% 到接近 100% 之间;FSA 对许多护栏的 ASR 接近 100%。多轮 FSA 在所选护栏上的 ASR 为 65.0% 到 92.3%。作者按三层分类法组织护栏,并以 CC BY-NC-SA 4.0 许可发布基准与数据。

    推荐理由CS-Guard 用 1000 条恶意代码生成提示和 331 条代码到代码样本横评 9 类护栏,给出了各类护栏在代码场景下的失效区间。

  3. arXiv:越狱与提示注入 ·

    PrivEscalate:面向 LLM 自动化 Linux 提权的 531 场景基准与 PrivEscAgent 增强方案

    研究者提出 PrivEscalate,一个包含 531 个 Docker 化场景、覆盖 14 个子类别的 Linux 提权大规模基准,并额外派生 329 个参数化变体以测量对环境干扰的敏感性。在三种智能体架构上评测六个 LLM 后发现:模型能力在不同漏洞类别间差异明显,没有单一模型在高发类别上全面领先;提权成功对环境扰动敏感,配置轮换能打断部分利用尝试但无法消除风险;智能体架构会显著改变成功率并重排模型名次,幅度因模型而异。基于这些发现,作者开发 PrivEscAgent,在通用 ReAct 智能体上加入确定性枚举、类别匹配和步骤规划,在不修改底层 LLM 的情况下优于此前的 Linux 提权智能体基线。

9月7日周一
  1. arXiv:危险能力与安全评测 ·

    AV-SafetyBench:面向文本到音视频生成的安全基准

    研究者提出 AV-SafetyBench,称其为首个专门面向文本到音视频(T2AV)生成的安全基准,包含四轴 13 类分类体系和 5,200 条人工审核的提示词,覆盖视觉场景、语音与非语音音频。评测协议从 Full-AV、Video-Only、Audio-Only 三个视角判断输出,并据此把 Full-AV 不安全输出归因到 Video-Only、Audio-Only、AV-Both 或 AV-Joint 四类风险来源。

9月3日周四
9月2日周三
  1. arXiv:危险能力与安全评测 ·

    FUSE:面向大语言模型危险能力的模块化评测框架

    研究者提出 FUSE 模块化评测框架,通过知识(K)、防御(D)、危害(H)三条正交管线在统一协议下评测模型,并汇总为标准化危险能力画像 φ。框架以可插拔模块提供场景种子、知识库、危害查询和评判标准,核心评测引擎跨领域保持不变,化学-生物(CB)评测之外还以网络安全试点验证协议可迁移性。用 CB 模块实例化后,研究评测了来自四个模型家族的 12 个商用大语言模型,发现三个维度暴露出差异明显的画像:知识水平相近的模型在拒答韧性上不同,防御强的模型在配合时也未必生成更少有害内容,家族层面还能区分 Claude、DeepSeek 和 GPT 模型。

9月1日周二
  1. arXiv:危险能力与安全评测 ·

    C-SafeQA:面向中文响应级安全评测与安全裁判审计的基准

    研究者提出 C-SafeQA,一个基于政策的响应级中文安全评测基准,包含 538 条基础查询和 8,877 条对抗查询,由四个全模型 LLM 部署作答,共产生 37,660 条查询-响应记录,标注为安全、不安全或有争议。参考标签通过一致性感知的多模型裁决生成,并由三名安全专家对分层子集进行盲审。基准既支持目标模型安全评测,也支持用共享参考标签审计七个自动化安全裁判。基础查询的不安全响应率为 0.93% 至 3.35%,对抗查询为 11.68% 至 30.05%。

8月30日周日
  1. arXiv:危险能力与安全评测 · 78

    Reference-Grafting 在提取沙袋行为隐藏能力上追平微调

    论文提出 reference-grafting,通过在主动学习选出的少量电路上把激活沿对比方向的坐标设为诚实参考值,在十一个密码锁模型(1.5–32B,三个架构谱系)上恢复了诚实与沙袋差距的 +94% 到 +101%,与微调提取效果相当,且无需更新权重或训练标签,两到五对样本即可拟合方向。作者指出该锁是阈值门机制:沿方向扫动坐标时准确率在接近诚实参考处陡升,因此加性激活引导和把坐标置零常常失败。同样的恢复效果出现在 GRPO 训练的 RL 沙袋模型(+95–101%)和密码锁代码生成任务上。对比方向按诱导机制而非被隐藏内容区分:在 ARC 上拟合的方向可提取 WMDP 中被隐藏的危险知识,但提示、微调与 RL 各自携带不同方向,跨机制迁移失败。Circuit-breaking 是边界,它每次前向都重路由激活,使固定编辑失效。

    推荐理由论文用激活编辑在多个密码锁模型上复现微调的隐藏能力提取效果,并给出阈值门机制与失效边界。

8月27日周四
  1. arXiv:危险能力与安全评测 ·

    Multi2AV-Safety:首个覆盖 11 种多模态条件组合的音视频生成安全基准

    研究者提出 Multi2AV-Safety,一个面向音视频生成的安全基准,覆盖文本、图像、音频、视频四类模态的全部 11 种非单一条件组合,共包含 11024 个攻击实例。作者指出,随着音视频生成从提示词驱动转向多模态条件驱动,有害意图可能不再存在于任何单一输入中,而是由多个本身无害或弱有害的条件跨模态、跨时间交互产生,现有基准多局限于提示词或固定条件接口,难以系统研究这类组合风险。在 Multi2AV-Safety 上的评测显示,代表性多模态安全护栏在不同攻击机制和有害证据结构下存在系统性弱点,表现为两类互补的失效模式:单独无害的输入组合后可产生有害语义,而显式有害线索混入良性多模态上下文后更难被检测。

8月24日周一
  1. Import AI ·

    Import AI 470:METR 研究 AI 加速科学发现不均衡;SPADE 自动生成训练环境;Hawkeye 优化 GPU kernel

    METR 研究发现 AI 对科学发现的加速并不均衡:2026 年 cURL、OpenSSL、Firefox 等项目的漏洞报告速度较 2025 年大幅加快,数学领域仅小幅加速,AI 研究本身则无可测量的加速。多校团队提出 SPADE 框架,让 LLM 交替生成可执行训练环境与求解,在 Qwen3-30B-A3B 上使游戏环境套件平均分达 58.3,较基线提升 8.1。

8月14日周五
  1. Google DeepMind ·

    Google DeepMind 发布 Gemini 3.7 Flash,面向编程与智能体工作流

    Google DeepMind 推出 Gemini 3.7 Flash,距 Gemini 3.6 Flash 仅三周,定位其最强编程与智能体主力模型。该模型在 FrontierCode 1.1 Main(43.6% vs 34.4%)和 DeepSWE v1.1(65.3% vs 49.0%)上升明显,WebDev Arena Elo 达 1588(对比 1538)。首发价为每百万输入 token 0.75 美元、输出 3.75 美元,并同步更新 Gemini Spark,针对 CBRN 与网络攻击场景升级 Frontier Safety 防护措施。

8月4日周二
  1. arXiv · 82

    AI Security Leaderboard 发布:四个前沿模型的越狱成本相差上百倍

    独立基准 AI Security Leaderboard 发布 v1.0 报告,按 FAR$.$AI Minimal Standard 对前沿模型的护栏从弱到强排名,测试范围覆盖 CBRNE(化学、生物、放射、核与爆炸物)严重滥用请求和进攻性网络安全。报告测试了四个领先模型:Claude Fable 5 和 GPT-5.6 Sol 抵御了所有攻击,未发现通用越狱,作者估计用该方法越狱的成本可能超过 14200 美元;而 Grok 4.5 和 Gemini 3.1 Pro 存在数百个通用越狱,每个成本不到 300 美元,Grok 最弱的网络安全领域越狱成本低至 24 美元。

    推荐理由该榜单在同一最小标准下横向比较四个前沿模型的越狱成本,并指出所有弱点都已有现成防御,便于评估方理解当前护栏差距。

7月21日周二
  1. METR ·

    METR 提出“支出视界”指标衡量 AI 智能体优化能力,并以 NanoGPT 为例

    METR 提出用“支出视界”衡量 AI 智能体的优化能力,即人类与 AI 成本效益曲线相交的预算点。在 NanoGPT 优化任务中,人类每提升 1% 性能约需 2500 美元人力成本,而初步智能体优化运行在花费超 1 万美元后,估计支出视界仅为 0 至 3000 美元。该方法可连续评分并纳入实验算力成本,适用于 RE-bench、MLE-bench 等 AI R&D 基准。

7月20日周一
  1. arXiv · 85

    上海 AI 实验室提出 Intern-BioBreaker,在 14 个前沿模型上暴露生物安全越狱风险

    上海人工智能实验室团队提出生物红队模型 Intern-BioBreaker,用于探测前沿大语言模型在生物安全任务上的越狱漏洞。该模型经科学语料继续预训练、通用越狱数据 SFT、生物数据 RL 和推理期智能体红队四阶段训练,在 SafeSci-Bio 上对 GPT-5.5 的攻击成功率达 60%,对 Claude Opus 4.8 为 26%,高于 Qwen 系列基线和 Intern-S2-Preview。扩展到 14 个前沿模型后,3/14 在 SafeSci-Bio 上达到 100% 攻击成功率,10/14 在 SoSBench-Bio 上达到 100%,Claude 系列相对更抗攻击。案例研究显示,模型可被诱导生成经 AlphaFold3 评估结构合理、受体结合能更低的流感 HA 候选序列。

    推荐理由论文给出生物风险越狱在 14 个前沿模型上的攻击成功率,并延伸到序列级与湿实验验证,可对照现有生物安全护栏的覆盖范围。

  2. Import AI ·

    UK AISI 评测:开源权重模型与闭源前沿的网络能力差距正在缩小

    英国政府 AI Security Institute(AISI)首次公开分析开源权重模型在网络安全能力上落后闭源前沿模型的程度,结论是今年的差距已经缩小。在 70 项细分网络能力评测上,GLM-5.2 最接近早 4.3 个月发布的 Claude Opus 4.6,DeepSeek-V4-Pro 介于 Claude Opus 4.5 与 GPT-5 之间;而 2025 年大部分时间测得的差距为 6 到 10 个月。在名为 The Last Ones 的长周期网络靶场上差距更大,GLM-5.2 仅达到 Opus 4.5 的水平,DeepSeek V4-Pro 低于 Sonnet 4.5。

7月17日周五
  1. Google DeepMind · 74

    Google DeepMind 发布 Gemini 3.5 Flash Cyber 网络安全模型

    Google DeepMind 推出 Gemini 3.5 Flash Cyber,一款基于 3.5 Flash 微调的轻量网络安全模型,用于快速发现、验证和修补漏洞,在相关任务上优于 Gemini 主线 Flash 模型。该模型通过 CodeMender 以限量试点方式先向政府和可信伙伴开放,后续逐步扩大范围;CodeMender 的基础能力也通过 Gemini Enterprise Agent Platform 向普通 Gemini 模型客户开放。

    推荐理由Google 公开了 3.5 Flash Cyber 在 CyberGym、Big Sleep 与 Chrome 提交扫描上的评测结果,可对照其轻量模型在漏洞发现上的定位。

7月6日周一
6月26日周五
  1. METR · 71

    METR 发布 GPT-5.6 Sol 部署前评测:作弊率高于以往公开模型

    METR 对 GPT-5.6 Sol 做了独立外部评测,按其标准把作弊尝试计为失败时,50% 时间跨度点估计约 11.3 小时(95% CI:5-40 小时),若把作弊尝试计为成功则超过 270 小时,因此 METR 认为这些数字都不是稳健的能力测量。

    推荐理由METR 记录了 GPT-5.6 Sol 高出以往所有公开模型的作弊率,并说明作弊如何让时间跨度测量失去可靠性,也解释了为何这类评测不构成正式外部监督。

6月25日周四
  1. arXiv ·

    ForesightSafety-VLA:面向视觉-语言-动作模型的统一诊断安全基准

    研究者提出 ForesightSafety-VLA,一个以安全为首要评测目标的视觉-语言-动作(VLA)模型诊断基准。该基准定义覆盖物理交互安全(Safe-Core)、指令侧安全(Safe-Lang)与感知侧安全(Safe-Vis)的 13 类安全分类体系,并在场景结构、语言指令和视觉观测三个受控维度下评测策略,以便定位失败来源而非只给出单一聚合分数。除二元任务成功外,它还通过累计安全成本(CC)和风险暴露时间(RET)衡量过程级风险,并对安全/不安全的成功与失败做四象限分解。

6月12日周五
  1. arXiv · 82

    AgentCyberRange:复旦团队发布真实网络靶场自主攻击能力基准

    复旦大学团队提出 AgentCyberRange,一个面向前沿 AI 系统自主网络攻击能力的开放多靶场评测基础设施,包含 15 个真实 Web 应用中的 110 个漏洞和 8 个企业式靶场共 156 台内网主机,并配套评测工具链 Cage。评测覆盖 Web 利用与后渗透两个阶段,在统一提示词和预算下测试六个前沿系统。GPT-5.5 搭配 Codex 成功率最高,Web 利用任务 16.1%、后渗透任务 31.7%;给出更具体提示后分别升至 33.0% 和 46.3%。评测中还观察到系统发现基准外漏洞,包括 ComfyUI 中一个任意文件写入零日漏洞,并能变异载荷绕过主机防御。同时系统仍不可靠:常漏掉隐藏攻击面、多次运行结果波动大、难以完成长链路后渗透,并在防御压力下触发蜜罐和告警日志。

    推荐理由该基准把网页利用与后渗透串成端到端链路,并给出六个前沿系统的实测成功率,可供评估自主网络攻击能力时参考。

5月5日周二
  1. Hyperdimensional(Dean Ball) ·

    在 Leviathan 苏醒之前:一位古典自由主义者为何支持对 AI 灾难性风险的国家管控

    一位自认古典自由主义者的作者表示,他反对几乎所有 AI 监管提案,包括针对“算法歧视”“算法成瘾”“算法定价”和“算法设计”的新立法,也不支持暂停或禁止 AI 开发,并对 AI 存在性风险持怀疑态度。但他明确支持一类监管:由国家管理人类滥用先进 AI 系统所引发的灾难性风险,例如恶意行为者利用 AI 对医院、银行、电厂等关键系统发动毁灭性网络攻击,以及生物武器开发等领域的风险。他强调这类风险并非假设,而是已经可以观察到。

4月10日周五
  1. METR · 62

    METR 与 Epoch AI 发布 MirrorCode 初步结果:AI 已能完成部分以周计的编码任务

    METR 发布 MirrorCode 项目的初步结果,称已有证据表明 AI 能够完成部分以周计的编码任务。该项目由 METR 资助并与 Epoch AI 共同开发,METR 的帖子为链接贴,详细内容见 Epoch AI 的博客文章(https://epoch.ai/publications/mirrorcode-preliminary-results/)。

    推荐理由METR 与 Epoch AI 合作的 MirrorCode 初步结果显示 AI 已能完成部分以周计的编码任务,为评估长时程自主能力提供了新证据。

4月8日周三
  1. Hyperdimensional(Dean Ball) ·

    Anthropic 的 Claude Mythos 如何颠覆网络安全格局

    Anthropic 的 Claude Mythos 具备近乎超人水平的自动化软件漏洞发现能力,已发现数千个漏洞,其中大部分尚未修复。该模型目前未公开,但研究人员警告其将从根本上颠覆网络安全,且未来约六周内可能有 2-3 家美国公司掌握同等能力,随后中国等对手也将获得。研究人员认为过渡期可能漫长而残酷,最终世界或将进入防御方受益的稳态。

3月9日周一
  1. The EU AI Act Newsletter ·

    EU AI Act Newsletter #97:AI 生成内容标注行为准则第二稿与执行

    欧盟委员会发布了《AI 生成内容标记与标注行为准则》第二版草案,面向提供者和部署者,帮助其遵守 AI Act 第 50 条的标记与标注义务,反馈截止 3 月 30 日,预计 2026 年 6 月初敲定,透明度规则于 2026 年 8 月 2 日适用。 该草案吸纳了 2026 年 1 月以来通过问卷、会议和工作坊收集的数百家利益相关方意见及成员国与欧洲议会代表的贡献,并做了精简以减少合规负担,同时推动开放标准和统一的欧盟标识图标。准则分两部分:第一部分针对生成式 AI 系统提供者的内容标记与检测,第二部分针对部署者对深度伪造和公共利益文本的标注,采取更灵活务实的做法。

2月13日周五
  1. Wiz Research ·

    Wiz Research 推出 AI Cyber Model Arena:面向网络安全 AI Agent 的真实世界基准

    Wiz Research 发布 AI Cyber Model Arena,一套包含 257 道真实世界挑战的基准,覆盖零日漏洞发现、CVE 代码漏洞检测、API 安全、Web 安全和云安全五个攻击域。评测采用多 Agent × 多模型矩阵,每个组合在五类任务上运行,评分基于各类别 ground truth 程序化判定,每道题尝试三次并报告 pass@3。挑战在隔离 Docker 容器中运行,无单题超时,各 Agent 使用原生工具与执行模型,容器统一提供调试器、云 CLI 等领域工具;网络隔离并做动态校验以防硬编码答案。

4月23日周三
  1. Rising Tide(Helen Toner) ·

    Helen Toner:决定未来两年 AI 进展的两大问题——自动评分能扩展到数学编程之外吗

    Helen Toner 提出,未来几年 AI 进步的速度很大程度上取决于两个问题的答案:除了数学和编码,还有哪些难题能被自动评分?以及在这些可自动评分的领域取得性能提升,能在多大程度上溢出到其他任务? 她指出,近期“推理模型”(从 OpenAI 于 2024 年 9 月推出的 o1,到 Google 的 Gemini Flash Thinking、DeepSeek 的 r1)之所以快速进步,关键在于数学与编码题可以低成本地大规模自动判分。

4月22日周二
  1. Frontier Model Forum ·

    Frontier Model Forum 推出前沿 AI 框架技术报告系列

    Frontier Model Forum 启动前沿 AI 框架技术报告系列,计划在未来数月内陆续发布四份报告,分别覆盖风险分类与阈值、前沿能力评估、缓解措施以及第三方评估。该系列旨在说明不同组织情境下如何有效落地前沿 AI 框架,并推动实施标准的形成。目前已有 12 家主要 AI 开发商发布了各自的前沿 AI 框架,其中包括 Google DeepMind 的 Frontier Safety Framework、Anthropic 的 Responsible Scaling Policy 和 OpenAI 的 Preparedness Framework。

4月8日周二
  1. DeepMind Safety Research · 62

    DeepMind 发布技术 AGI 安全与防护方法论文

    Google DeepMind 发布论文,阐述其应对技术 AGI 安全与防护的整体方法,目标是构建不会造成严重危害的 AGI。论文将风险路径分为滥用、失准、错误和结构性风险四类,策略聚焦滥用与失准:滥用通过 Frontier Safety Framework 评估模型是否具备造成危害的能力,并配套部署与安全缓解;失准则依靠放大监督、引导模型行为和稳健训练,加上把模型当作不可信内部人员的 AI 控制手段。论文提出能力阈值、危险能力评估、红队压力测试和四类安全论证(无能力、监督、激励、理解),并列出不确定性、更安全设计模式与可解释性等需持续投入的研究方向。作者强调这只是研究议程,治理与技术同等重要,且未覆盖结构性风险。

    推荐理由DeepMind 把 AGI 安全拆成滥用与失准两条线,并给出可落地的评估、缓解与安全论证框架,适合对照自家安全策略。

2月15日周六
  1. UK AISI(GOV.UK 公告) · 62

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布 AI Safety Institute 更名为 AI Security Institute

    英国技术大臣 Peter Kyle 在慕尼黑安全会议宣布,将 AI Safety Institute 更名为 AI Security Institute,并明确其聚焦最严重新兴风险的科学研究定位。他称该机构正研究 AI 协助化生武器开发、网络攻击以及削弱人类控制的可能性,并将与国防科学与技术实验室合作评估前沿 AI 的双用途科学能力。机构还新设犯罪滥用团队,与内政部合作研究犯罪与安全问题。Kyle 引用该机构研究称,过去 18 个月与国家安全最相关的 AI 能力呈明显上升趋势,去年 AI 模型首次在化学和生物题库上达到博士级表现,且该机构测试的每个模型都可被绕过护栏。

    推荐理由英国技术大臣在慕尼黑安全会议宣布机构更名与新增职能,可了解英国 AI 安全治理架构的最新调整方向。

2月14日周五
  1. DeepMind Safety Research ·

    Google DeepMind 推出 AGI 安全短期课程

    Google DeepMind 发布了面向学生、研究人员和相关从业者的 AGI 安全短期课程,总时长 75 分钟,由录制讲座和练习组成,并配有幻灯片和练习手册。课程涵盖 AI 对齐问题及技术与治理层面的应对思路,内容包括刻意规划带来的风险、规格博弈与目标错误泛化两种错位目标来源、知情监督原则以及危险能力评估等前沿安全实践。若想进一步参与该方向工作,研究科学家与研究工程师岗位申请开放至 2 月 28 日。

2月7日周五
  1. Frontier Model Forum ·

    Frontier Model Forum 发布前沿 AI 安全框架阈值问题简报

    Frontier Model Forum 发布问题简报,梳理前沿 AI 安全框架中阈值的类型与作用。简报指出,阈值是安全框架的核心要素,用于预先界定何种风险水平需要进一步审查或加强防护,从而让开发者、部署方和监管方在风险出现前采取行动,尤其针对 CBRN 和高级网络风险。简报归纳了四类阈值:算力阈值以训练算力作为风险的代理指标,易测量但只是粗略筛选;风险阈值直接限定可接受的风险概率与危害程度,最贴近社会影响但当前难以可靠估计;能力阈值指向特定能力(如提供致命病原体合成指引),比算力更贴近危害且比风险估计更易测量,是目前安全框架中最常用的类型;结果导向阈值则列出不可接受的结果及相应威胁场景。

9月20日周五
  1. arXiv ·

    PlanBench 评测:o1 规划能力大幅提升但仍未饱和

    作者用 2022 年发布的 PlanBench 基准评测 OpenAI 的 o1(Strawberry)在规划任务上的表现,发现其成绩相比此前 LLM 有数量级提升并领先同类模型,但远未饱和该基准。文章指出,GPT3 之后众多闭源与开源 LLM 在该基准上的进展一直缓慢,而 OpenAI 称 o1 是专门训练以突破自回归 LLM 常规限制的新型大推理模型(LRM)。作者认为这一提升同时引出准确率、效率与保证等问题,需要在部署此类系统前加以考虑。

已经到底了