跳到正文

工具与开源 · News

10月12日 · 周一

工具与开源 · News

按原发与事件进展排列
工具与开源

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架

当前：工具与开源

9月18日周五
  1. 日本 AI 安全研究所（J-AISI） · 8

    日本 AI 安全研究所（J-AISI）将举办 2026 年度「AI 安全评估环境 研讨任务组」总会

    日本 AI 安全研究所（J-AISI）将于 2026 年 10 月 7 日在线举办 2026 年度「AI 安全评估环境 研讨任务组」总会，免费公开，非任务组成员也可报名，截止 10 月 5 日 16:00。该任务组由多家 AI 相关企业参与，讨论其以开源软件形式公开的「AI 安全评估环境」评估工具的定位与功能强化方向。会议内容包括 AISI 活动介绍、AI 安全评估观点、AI×安全最新动向、评估环境与任务组活动介绍，以及 AI 安全评估专题讨论。

9月3日周四
9月2日周三
  1. Coalition for Secure AI（CoSAI） · 15

    CoSAI 举办 Open Delegation & Identity Standard（ODIS）工作会议

    CoSAI（隶属 OASIS Open Project）于 8 月 28 日召开混合形式工作会议，推进面向 AI 智能体的开放委派与身份标准 ODIS，会上进行了两场早期实现现场演示并收集反馈。该标准定义跨企业信任域的供应商中立密码学身份架构，通过扩展 OAuth 2.0、OpenID Connect（OIDC）、SPIFFE 和 SCIM 来满足智能体 AI 的身份、委派与治理需求，由 CoSAI Workstream 4 负责制定。

7月20日周一
  1. Coalition for Secure AI（CoSAI） · 15

    CoSAI 第二年回顾：从聊天机器人到自主集群的智能体安全

    安全人工智能联盟（CoSAI）成立两年之际公布其智能体安全工作进展，涵盖《The Future of Agentic Security: From Chatbots to Autonomous Swarms》报告及在 RSAC 2026 发布的 MCP 安全和智能体身份研究成果。该组织通过四个工作流推进最佳实践共享，并新增 OWASP、AI Alliance 和云安全联盟加入技术指导委员会。下一步将发布面向 AI/ML 供应链信任与溯源的工件完整性成熟度模型、Zero Trust for AI Systems 以及 MCP 安全指南第二版。

5月6日周三
  1. Coalition for Secure AI（CoSAI） · 15

    CoSAI 发布两份新的智能体身份与安全研究报告

    继在 RSAC Conference 2026 高调亮相后，全球多方利益相关方倡议组织 Coalition for Secure AI（CoSAI）发布了智能体身份与安全方向的两份新研究论文，旨在帮助各类组织应对不断演变的 AI 安全格局。该联盟称此举是其通过技术指导与产业参与推动实用化 AI 系统安全的整体行动的一部分，完整新闻稿发布于 OASIS 官网。

4月8日周三
  1. 安远AI · 28

    AI Safety in China #26：OpenClaw 推动 AI 智能体安全进入政策主流

    OpenClaw 在中国快速普及引发监管连锁反应，工信部 NVDB 于 2 月 5 日预警部分版本存在较高安全风险，CNCERT 随后警告提示注入攻击、意图误读、恶意插件等问题，国家安全部发布《安全养殖手册》警示其传播虚假信息的可能。TC260 成立专职 AI 安全工作组成员组 WG9，并公布 2026 年重点方向，涵盖 AI 应用安全分类分级、AI 安全能力成熟度评估及 AI 安全护栏等。

2025年12月17日周三
  1. Mistral AI · 6

    Mistral AI 发布 Mistral OCR 3

    Mistral AI 发布 Mistral OCR 3，在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 取得 74% 整体胜率，并已驱动 Mistral AI Studio 中的 Document AI Playground。该模型支持带 HTML 表格重建的 markdown 输出，定价为每 1,000 页 $2，Batch-API 折扣后降至 $1，模型标识为 mistral-ocr-2512，与 Mistral OCR 2 完全向后兼容，并提供自托管选项。

已经到底了