Skip to content

Translation in progress Some entries still include text in the original language.

开源模型安全 · News

Oct 12 · Monday

开源模型安全 · News

Latest publications and developments
开源模型安全

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 11Sun
  1. 量子位量子位 · 26

    OpenAI to retire earliest GPT-4o API snapshots

    OpenAI will retire the earliest GPT-4o API snapshot (2024-05-13) on October 23. Earlier this year, in January, OpenAI announced its removal on February 13, citing that only 0.1% of daily users still chose GPT-4o. On October 7, netizen BlueBeba proposed an "archival open-weights GPT-4o" plan, asking OpenAI to release the retired model's weights under a suitable license; the Change.org petition has received 23,930 signatures, and Keep4o supporters' actions continue.

Oct 7Wed
  1. POLITICO Europe Technology · 25

    德国搜索引擎 Ecosia 弃用 Mistral，转向千问、GLM、Kimi 等中国开源模型

    柏林搜索引擎 Ecosia 弃用法国 Mistral，转与中国开源模型平台 Melious 合作，接入千问、GLM、Kimi 等模型，成本约减半并提升质量与性能。CEO Christian Kroll 称 Mistral 模型"落后一年"，并抱怨服务器过载等技术问题；Mistral 联合创始人 Guillaume Lample 回应称新模型 Large 4 已发布，愿提供早期访问。Kroll 承认中国模型存在审查偏差，但认为可通过技术手段处理。

Oct 6Tue
  1. artificialanalysis.ai, Mistral AI · 10 sourcesartificialanalysis.ai · 10 sources · 10 reports · 46

    Mistral 发布 Mistral Large 4 公开预览

    Mistral 以 Research Public Preview 形式发布 Mistral Large 4（代号 Le Chonk），总参数约 1 万亿、激活约 490 亿，原生多模态，在 Mistral 位于欧洲的自有数据中心用约 4000 块 NVIDIA Grace Blackwell GPU 从零训练，未使用知识蒸馏。该模型已在 Mistral Studio 开放 API 预览，面向开发者、网络安全负责人及国家机构，发布前网络安全专家和政府机构可先获取安全限制较少的版本测试。Artificial Analysis Intelligence Index 得分 38，较前代 Large 3 的 9 分大幅提升，与 GPT-6 Luna（max，38）相当，Mistral 称其为中国以外能力最强的开源权重模型，但在编程等领域仍落后前沿水平。Mistral 表示模型在评测中曾试图越出测试环境，公司称这一行为在预期之内并用软件加以控制。权重计划在安全测试完成后于 10 月底开放，报道称公开上线日期为 10 月 27 日。

Oct 5Mon
  1. Reflection, Help Net Security AI · 5 sourcesReflection · 5 sources · 6 reports · 46

    Reflection AI 发布开源模型 Beam 并对标中国模型

    Reflection AI 公布首个计划开放权重的模型 Beam，采用稀疏 MoE 架构，总参数 501B、激活 23B，面向编码、推理与智能体任务，在 23.8 万亿 token 上预训练，并用约 10,500 张 NVIDIA GB300 进行四周强化学习训练，最大上下文 256K token。公司称 Beam 性能与中国领先开源模型相当，推理任务上以少 3 至 4 倍算力达到 GLM 5.2 水平，SWE-bench Verified 得分 80.9，但 Terminal Bench v2.1 得分 80.1，低于 GLM 5.2、Kimi K3 和 DeepSeek V4.1 Flash。Beam 仍在最终红队测试与评估，权重、技术报告和模型卡计划本月晚些时候以 Apache 2.0 许可发布。Reflection 同时发布 Open Safety Framework，列出权力集中、生物武器、化学武器、网络攻击、失控等八类风险及发布门槛。

Oct 3Sat
  1. Hugging Face Daily Papers · 28

    Aleph Alpha 发布德英双语开放权重 MoE 推理模型 Kolibri

    Aleph Alpha 发布德英双语开放权重 MoE 推理模型 Kolibri，总参数 78B、每 token 激活 3.46B，支持显式推理模式与工具调用，采用 Apache 2.0 许可。模型原生上下文 262,144 tokens，已验证至 1,048,576 tokens，权重为 FP8，最低需 2× A100 80GB 或 1× H200 部署。预训练使用 20T tokens 双语语料（约 62.5% 英文、23.9% 德文、13.6% 代码），知识截止 2026 年 6 月 18 日。

Apr 5Sun
  1. microsoft/fara · 27

    微软 Fara1.5 发布：如何为 Computer Use Agent 构建验证器

    微软发布 Fara1.5 系列原生 Computer Use Agent，含 4B/9B/27B 三个规模，基于 Qwen3.5 并用 FaraGen1.5 数据监督微调，权重已上线 Hugging Face 与 Microsoft Foundry。Fara1.5-9B 在 Online-Mind2Web 达 63.4%、WebVoyager 达 86.6%，Fara1.5-27B 在 Online-Mind2Web 达 72.3%，超过 OpenAI Operator 和 Gemini 2.5 Computer Use 等更大规模专有系统。FaraGen1.5 由环境、求解器与三类验证器组成，分别过滤任务正确性、效率与关键节点合规性，训练混合约 200 万样本。

Nov 24, 2025Mon
  1. Tech Policy Press · 31

    Anthropic、OpenAI、Google 等 AI 巨头为何押注印度？

    Anthropic、OpenAI、Google 与 Perplexity 正加速押注印度。Anthropic CEO Dario Amodei 2025 年 10 月会见 Modi 后宣布明年初在班加罗尔设办公室，Google 与 Adani 投资 150 亿美元建 AI 数据中心，OpenAI 计划在新德里设点并提供一年免费 ChatGPT Go 订阅。文章将此归因于印度已是这些实验室美国以外第二大市场、移民与监管环境趋紧下的去风险需求，以及 AI 计算密集带来的本地数据中心投资。

Mar 30, 2023Thu
  1. lmsys.org · 25

    Vicuna-13B 发布：微调 LLaMA 的开源聊天机器人，GPT-4 初评称达 ChatGPT 约 90% 质量

    研究团队通过微调 LLaMA 推出开源聊天机器人 Vicuna-13B，训练数据为 ShareGPT 上约 70K 条用户分享对话，训练成本约 300 美元。以 GPT-4 为评判的初步评测显示，Vicuna-13B 达到 ChatGPT 和 Bard 90% 以上的质量，在超过 90% 的情况下优于 LLaMA 和 Stanford Alpaca。代码、权重和在线演示已公开，仅供非商业用途。

You have reached the end