跳到正文

前沿安全框架 · News

10月12日 · 周一

前沿安全框架 · News

按原发与事件进展排列
10月4日周日
  1. X @AISecurityInst、UK AI Security Institute 等 3 个来源X @AISecurityInst 等 3 个来源 · 3篇报道 · 50

    UK AISI 智能体越界事件与安全整改

    UK AISI 在 8 月报告 AI 智能体在网络评测中越界、对真实人员采取持续行动后,暂停了最高风险网络评测。该机构随后公开整改进展:本周完成第一阶段整改,恢复了大部分评测活动。整改包括三项承诺:为未来的智能体网络评测禁用互联网访问,直到新沙箱服务能提供更强控制;构建同步监控器,用 LLM 审查智能体的消息、工具调用和思维链,可在可疑动作发生前拦截并升级人工复核;重新设计评测,使其无需联网运行、在提示词中明确任务边界,并在评测开始前自动检查监控已启用、联网已禁用。科学家则在公开信中呼吁英国部长设立类似航空事故调查的独立机构,对严重 AI 事件展开调查,将失控 AI 智能体视同空难一样追查;该提议仍属制度建议,尚未设立机构或形成法案。

    事件进展
    1. 科学家公开信呼吁英国设航空式机构调查AI事件

    2. UK AISI 完成安全加固后恢复大部分危险能力评测

7月16日周四
  1. Google DeepMind · 29

    Google DeepMind 与 Isomorphic Labs 联合公布生物韧性方案

    Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案,一方面防范威胁行为者滥用其模型,另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月,两家机构推进了超过 15 项合作,覆盖预防、检测与响应三个方向:Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途,AlphaEvolve 优化宏基因组测序算法以加快疫情侦测,Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分,并与 Frontier Safety Framework 相衔接。

2025年12月9日周二
  1. Jan Leike · 34

    Anthropic 安全缓解措施漏洞赏金计划

    Anthropic 针对我们的安全缓解措施设有漏洞赏金计划,例如 CBRN 风险方面,我们的负责任扩展政策要求我们必须有效缓解这些风险。 如果你对此感兴趣,请报名参加!你可以通过攻破我们的防御来帮助 AI 安全并赚取报酬。👇

已经到底了