跳到正文

前沿安全框架 · News

10月12日 · 周一

前沿安全框架 · News

按原发与事件进展排列
今天10月12日周一
  1. UK AI Security InstituteUK AI Security Institute · 51

    英国 AISI 提出前沿 AI 开发技术实践优先事项

    英国 AI Security Institute(AISI)发布博客,阐述其对前沿 AI 开发所需新技术实践与控制的看法,并列出八项最紧迫的优先事项。AISI 称,随着能力快速进展,风险正更早出现在训练、内部部署和评测阶段,而能力基准常在创建后很快饱和、对齐与控制评测方法仍不成熟,使评测难以跟上。该机构表示不寻求强制要求前沿开发者,而是与产业界合作推动自愿实践,待实践成熟后再通过国际标准组织形成共同安全基线。

10月9日周五
  1. 量子位、The Decoder 等 18 个来源量子位 等 18 个来源 · 26篇报道 · 62

    OpenAI安全团队离职与解雇风波

    2026年10月,OpenAI负责安全透明度职能、主导起草Preparedness Framework的David Robinson离职,并在《大西洋月刊》撰文批评公司及行业的安全文化已崩坏,主张前沿实验室应像核电站那样设置多层冗余。同期,安全研究员Jasmine Wang、Tomek Korbak和Mikita Balesni被解雇,三人致信董事会及安全委员会,否认公司关于其不当处理敏感信息的指控,称真实原因是提出安全担忧,并呼吁保留对AI思维链的监控能力。OpenAI回应称内部调查发现三人违反敏感信息处理政策、构成重大信任破坏,解雇与提出安全关切无关,并称正敲定与第三方安全评估机构的合同,将在未来几周公布细节。

    事件进展共8个进展
    1. Neel Nanda质疑OpenAI解雇三名安全研究员的解释

    2. OpenAI就解雇三名安全研究员作出回应

    3. OpenAI三名安全研究员称因强调安全被解雇

10月8日周四
  1. Anthropic Research、CyberScoop 等 8 个来源Anthropic Research 等 8 个来源 · 8篇报道 · 57

    Anthropic推出OSS Scanner与关键基础设施防御计划

    Anthropic 启动长期计划 Anthropic Cyber Mission,聚焦关键基础设施与开源软件两大方向。关键基础设施防御计划(CIDP)向电力、水务、交通等运营技术防御方提供前沿 Claude 模型、驻场工程师与威胁研究,合作方包括 CrowdStrike、Dragos、Palo Alto Networks、Rockwell Automation 等公司。同时推出的 OSS Scanner 是面向开源生态的可选加入漏洞扫描服务,由该公司最强模型免费为加入项目定期扫描;报告完全由模型生成、不经人工复核或分诊,因此可能不准确。Anthropic 称过去六个月用最新模型扫描重要软件项目,发现超过 29,000 个候选漏洞,仅人工复核约 6,000 个,应维护者要求已直接发送近 5,000 份未经人工验证的报告。

  2. SK 电讯新闻室、Yonhap News Agency 等 3 个来源SK 电讯新闻室 等 3 个来源 · 3篇报道 · 25

    SKT与Upstage等11家机构成立AI网安协议体

    SK电讯与Upstage联合安博士、SK盾牌等6家安全企业及高丽大学、崇实大学、釜山大学3所高校,共11家机构成立“独立AI网络安全协议体”,将把安全现场数据用于训练SK电讯A.X K系列与Upstage的Solar模型:安全企业提供恶意代码分析、漏洞分析、安全运营等数据,AI企业负责预训练和后训练,高校负责独立验证——高丽大学评测可执行文件分析与攻击防御能力,崇实大学验证安全性能与护栏绕过攻击的应对能力,釜山大学评估下一代模型与轻量模型的性能与安全性。协议体还将推动A.X K与Solar互相红队、互找漏洞,发现的脆弱案例回流为训练数据以强化防御能力。

  3. InnovationAus、澳大利亚 AI 安全研究所(industry.gov.au)InnovationAus 等 2 个来源 · 2篇报道 · 54

    澳机构提出识别AI隐蔽信念操纵框架

    澳大利亚联邦政府 AI 安全研究所与 CSIRO 研究人员合作发布报告,提出一套识别和抑制 AI 系统“隐性信念操纵”的框架。报告认为,现有安全评估无法识别 AI 语言模型如何操纵人类并影响重大决策,支持联邦政府现行指南,同时指出 AI 系统需要得到更好的评估。澳大利亚 AI 安全研究所与 CSIRO 还发布报告《可扩展监督中的认知安全》,提出认知安全概念,主张评估 AI 交互不能只看被监控任务是否给出正确答案,还要看其解释、框架和呈现方式如何影响监督者的信念。该报告提出理论框架 Strategic Interactive Oversight(SIO),把被监控任务与系统可能追求的隐藏目标分离,并以带交叉质询的辩论作为案例研究;受控实验中,较弱监督角色由 AI verifier 承担。

10月7日周三
  1. X @AISecHubX @AISecHub · 22

    AI Baseline Control Framework 发布

    据 X @AISecHub 帖子,AI Baseline Control Framework(AI BCF)是一个面向部署(使用)AI 的组织的免费开放框架,包含 20 项 AI 治理控制措施。每项控制均映射至 NIST AI RMF、ISO/IEC 42001 和 EU AI Act,旨在帮助各类规模的组织了解管理和治理 AI 部署所需的条件。

10月6日周二
  1. The EU AI Act Newsletter、France 24 / AFPThe EU AI Act Newsletter 等 2 个来源 · 3篇报道 · 46

    欧盟AI办公室谈AI法案执行

    欧盟委员会AI Office主任Lucilla Sioli在播客中说明该办公室如何执行《AI法案》,重点包括通用人工智能规则的执法、信息请求机制的实际运作,以及《行为准则》在模型合规中的作用。AI Office目前有150多人,约一半负责AI法案实施,另一半负责研究与创新政策,并仍在招聘。双方还讨论了团队资源挑战、与其他安全机构模式的比较,以及产业界、研究者和公民社会参与欧洲AI治理的途径。

    事件进展
    1. 欧盟AI法案通讯第112期:全球雄心与国内疑虑

    2. 欧盟称AI Act可覆盖测试阶段失控情形

    3. 欧盟AI办公室谈AI法案执行

  2. The Hacker News、Help Net Security AI 等 6 个来源The Hacker News 等 6 个来源 · 6篇报道 · 53

    Anthropic扩展CVP分级访问计划

    Anthropic宣布扩展Cyber Verification Program(CVP),将Project Glasswing与CVP合并为单一项目,按网络安全用途分三级:Defense Access面向企业、非营利组织、高校、政府安全团队及有漏洞报告记录的个人研究者,覆盖事件调查、恶意软件分析、漏洞分析与验证;Red Team Access仅限机构,用于授权攻击模拟与渗透测试;Specialized Access用于更专门用途。后两级逐步放宽安全护栏,经审核者可访问Claude Opus 5.5、Sonnet 5.5、Mythos 5.1及后续新模型。Anthropic称Glasswing合作方在4—7月发现至少12.9万个漏洞。

  3. Advisory Group on Mathematics and Artificial Intelligence · 46

    数学与 AI 顾问组就 OpenAI 发布数学成果发表意见并重申发布准则

    数学与人工智能顾问组(AGMAI)就 OpenAI 发布由内部模型生成的大批数学成果发表意见,称 OpenAI 报告了数百个开放问题的解答,并认为这是数学界的重要事件,其影响远超单个结果本身。该顾问组由 François Charles、Timothy Gowers、Martin Hairer、Edward Witten 等数学家组成,在 OpenAI 接触部分成员提议设立外部顾问委员会后,改为独立组建,不接受任何 AI 公司报酬,也不具备决策权。顾问组此前于 9 月 29 日发布 AI 生成数学成果负责任发布的一般准则,参考了六百多份问卷回复;10 月 6 日的意见重申这些准则,表示已与 OpenAI 讨论并认可其沟通意愿,但强调评估准则落实程度仍应由数学界完成。

10月5日周一
  1. 日本 AI 安全研究所(J-AISI)日本 AI 安全研究所(J-AISI) · 32

    日本AISI发布事业实证工作组愿景文件2.0版

    日本 AI 安全研究所(J-AISI)事业实证工作组发布愿景文件第 2.0 版,在 2025 年 3 月启动的 AI 安全评估事业实证基础上更新,并纳入新设工作组。文件面向医疗、机器人、教育、地理 AI 四个领域,提出以用户风险理解为前提的 AI 安全评估框架,并给出各领域共通的データ品质与适合性评估框架愿景,目标是兼顾信任与创新的 AI 社会。

  2. UC Berkeley CLTCUC Berkeley CLTC · 32

    CLTC与SaferAI发布AI风险建模开放问题论文

    CLTC 的 AI Security Initiative(AISI)与欧洲非营利机构 SaferAI 于 2026 年 3 月举办线上研讨会,聚焦 AI 安全中研究不足的风险建模领域,22 名来自民间社会、学术界和政府机构的专家参会。会后 12 名参会者发布论文《Open Problems in AI Risk Modeling》,梳理了限制传统方法应用于风险建模的方法论与制度挑战,并比较了基于场景的风险估计与基于贝叶斯网络的阈值设定。

  3. Reflection、Help Net Security AI 等 5 个来源Reflection 等 5 个来源 · 6篇报道 · 46

    Reflection AI 发布开源模型 Beam 并对标中国模型

    Reflection AI 公布首个计划开放权重的模型 Beam,采用稀疏 MoE 架构,总参数 501B、激活 23B,面向编码、推理与智能体任务,在 23.8 万亿 token 上预训练,并用约 10,500 张 NVIDIA GB300 进行四周强化学习训练,最大上下文 256K token。公司称 Beam 性能与中国领先开源模型相当,推理任务上以少 3 至 4 倍算力达到 GLM 5.2 水平,SWE-bench Verified 得分 80.9,但 Terminal Bench v2.1 得分 80.1,低于 GLM 5.2、Kimi K3 和 DeepSeek V4.1 Flash。Beam 仍在最终红队测试与评估,权重、技术报告和模型卡计划本月晚些时候以 Apache 2.0 许可发布。Reflection 同时发布 Open Safety Framework,列出权力集中、生物武器、化学武器、网络攻击、失控等八类风险及发布门槛。

  4. RANDRAND · 40

    RAND 发布 AI 失控情景推演复盘报告

    RAND 发布报告,汇总 2025 年 6 月至 2026 年 2 月间 26 场 Infinite Potential 推演中关于 AI 失控动态的观察。每场推演采用五种情景之一,包括商业与公民社会、网络突袭、欧洲能源、朝鲜半岛能源地缘政治和远程控制。报告认为政府可能难以及时识别和解读 AI 失控事件,也缺乏阻止或遏制脱离人类控制的 AI 系统的实际手段,并可能需要新的政府、决策者与操作方之间的沟通协调渠道。参与者还提出了相关建议。

  5. 中央社、iThome 专访 等 4 个来源中央社 等 4 个来源 · 4篇报道 · 41

    台湾资安院公布「国家资安防护 2.0」AI 红队计划

    台湾资通安全研究院公布「国家资安防护 2.0」规划,以「AI 对抗 AI」为核心,推动四项重点工作:AI 自动化源代码检测与修补、AI 强化渗透测试及攻防演练、以大型语言模型全自动分析全球威胁情资并转为边界设备阻挡规则,以及建立国家级 AI 资安攻防沙箱。AI 红队渗透演练预计明年 4 月至 10 月针对政府部门展开,由资安院自行设计攻击技能并交由 AI 代理人执行。AI 自动化源代码检测今年底至少验证 3 家政府机关系统,明年扩至重要机关核心系统;漏洞挖掘与攻防演练已完成测试验证,明年全面实施。情资分析系统与 AI 资安攻防沙箱目标明年推出初版,另有报道称 2027 年底推出第一版初步成果。前瞻研究中心以代理式 AI 为核心,采第一年建立、后四年扩大部署的方式推进。

10月1日周四
  1. X @ZenitySecX @ZenitySec · 13

    Zenity 称 OWASP、MITRE、NIST 已建 Agentic AI 安全框架

    2026 年 10 月 1 日,Zenity 在 X 上表示,OWASP、MITRE ATLAS 与 NIST 在过去一年各自建立了面向智能体 AI 的专门框架,并独立得出同一结论:智能体需要独立的安全类别。Zenity 同时发布《企业智能体 AI 安全买家指南》,拆解这一趋势的成因,并列出评估平台时真正重要的能力。

  2. Apollo Research、X @ApolloResearchApollo Research 等 2 个来源 · 4篇报道 · 47

    Apollo 主张外部评测需嵌入评估员

    Apollo Research 连续发文主张,有意义的外部安全评测应让评估者以接近员工的权限嵌入 AI 公司内部,而非只做发布前最终检查点评测。文章认为最终检查点评测存在三类局限:最严重的失控风险可能出现在内部部署阶段,许多风险取决于公司流程与控制而非模型本身,且模型越来越能识别自己正在被评测;并以 Hugging Face 事件为例,指出该事件发生在内部评测和训练阶段,相关模型本就不打算以该形态公开发布。随后 Apollo 提出嵌入式评估原则,要求评估者获得接近员工级别的访问权限,并需满足降低风险、告知公众、形成良好激励、对开发者与评估者双方公平四项标准;评估者针对预先固定的具体主张给出 A 到 E 五级裁定,从 Verified 到 Blocked,并默认公开报告、说明所获访问权限与证据。Apollo 还提出任何针对谋划的安全论证都应包含四条主张:训练未激励谋划、评估与红队测试显示模型没有谋划倾向、内部部署期间从未尝试谋划、谋划推理会被检测到,并指出开发者目前无法自信地做出全部四条。

    事件进展
    1. Apollo 提出谋划倾向嵌入式评估框架

    2. Apollo Research 提出嵌入式评估核心原则

    3. Apollo 主张外部评测需嵌入评估员

9月30日周三
  1. Google DeepMind、Help Net Security AI 等 6 个来源Google DeepMind 等 6 个来源 · 6篇报道 · 60

    Google发布Gemini 4 Argon,先向可信防御者开放

    Google发布前沿模型Gemini 4 Argon,先通过Fairwind Program向一批受信任的网络防御者开放,并参与美国政府的前置模型访问自愿流程,之后再逐步扩展到开发者、企业和消费者。该模型面向长周期复杂工作流,输出token上限从64K提升到1M,上下文窗口扩大16倍,在DeepSWE v1.1上取得77.9%,在LVBench长视频理解上取得91.7%。Google称其在编程、企业办公、科学与数学及网络安全等基准上达到SOTA,可对标Anthropic与OpenAI竞品,并称其更抗提示注入。Fairwind阶段向防御方及Google内部团队提供不带网络护栏的版本,用于提前发现并修复漏洞,Google将据此微调护栏。开发者、企业和消费者稍后可用,先面向付费API客户和Google AI Ultra订阅者。

  2. OECD.AI(政策与事件监测) · 22

    HAIP 2.0 如何与 EU AI Act 实现互操作

    OECD 于 2026 年 5 月发布广岛 AI 进程(HAIP)报告框架 2.0 版,该自愿性框架与 EU AI Act 及通用 AI 行为准则(CoP)高度重叠。CeSIA 在 2026 年 6 月的映射分析发现,HAIP 2.0 的 31 个报告问题中有 80% 涉及 EU 监管已覆盖的要求,其中 58% 具有强或部分一致性。为 EU AI Act 合规准备的证据可直接用于填写 HAIP 报告,但 HAIP 报告会在 OECD.AI 政策观察站公开,而 EU 的技术文档、合规评估等大多不公开。

  3. RAND · 42

    RAND 报告:AGI 竞赛中的相互克制取决于国内 AI 监管与核查能力

    RAND 研究人员用两阶段博弈模型分析 AGI 竞赛中对手国能否维持相互克制,结论是没有国内 AI 监管就无法可信承诺克制。模型第一阶段由各国决定对本国 AI 产业施加超出政策要求的额外监管,第二阶段各国反复互动直至 AGI 到来,每期选择遵守、公开竞赛或暗中违约。报告指出,国内监管(算力登记、许可、设施审计、事件报告)构成核查的证据基础,应被视为安全架构而非单纯监管;对灾难的共同担忧只能部分自我威慑,针对抢先抵达 AGI 的纯位置性违约仍需检测手段。随着对手认为 AGI 临近,可用于惩罚违约者的剩余时间缩短,核查效力下降,只有与后 AGI 结果挂钩的工具仍可能起威慑作用。报告建议投资不暴露敏感信息的核查技术(如机密计算与可信硬件),并考虑通过技术援助或共享监测平台降低对手建设监管能力的成本。

9月29日周二
  1. OpenAIOpenAI · 32

    OpenAI发布前沿AI训练安全案例指南

    OpenAI发布前沿AI训练安全案例的早期指南,面向前沿AI训练环节,涵盖技术防护措施、运营实践以及失准(misalignment)事件的调查方法,旨在为安全案例的构建提供初步框架。