跳到正文

工具与开源

今天还没有收录新动态
10月4日周日
  1. arXiv · 收录 · 原文 论文41

    研究者提出 AI 评估沙盒配置器,支持欧盟 AI 法案下的技术评估

    针对欧盟《人工智能法案》要求各成员国在 2027 年 8 月前建立 AI 监管沙盒(AIRS),研究者提出开源框架 AI Assessment Sandbox Configurator,用于在沙盒中规模化开展结构化技术测试。该框架从 AIRS 的程序条件和法案对高风险系统的义务中推导出 11 项架构与治理要求,包含通过稳定插件 API 访问的测试与控制目录、统一异构输出的共享数据模型、面向不同角色的仪表盘以及分受众报告。作者描述了架构与当前版本,并报告一次早期试点:在真实 AIRS 活动中运行了数据统一与报告层,并为一官方 Exit Report 提供了输入。文中还讨论了路线图、目录分层贡献模型带来的治理问题,以及开源评估生态在成员国间形成的制度路径。

10月3日周六
  1. Dark Reading · 收录 · 原文 13

    RemoteThreat 推出攻防演练平台,押注安全团队需测试防线失守后的场景

    RemoteThreat 走出隐身模式,获 700 万美元 pre-seed 融资,推出集成式攻击性网络安全运营平台,用 AI 辅助企业及政府团队测试防线被突破后的表现。平台每次从零构建工具,可绕过 Tier 1 EDR 厂商及安全控制,支持纯人工、AI 辅助或混合模式,并允许组织使用自有 AI 模型。CEO Chris Thompson 预测,随着前沿模型快速进步,传统渗透测试模式将在两年内不复存在。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  2. Mindgard Blog · 收录 · 原文 19

    Mindgard 完成 3000 万美元 A 轮融资,已披露超 150 个 AI 高危漏洞

    AI 安全公司 Mindgard 完成由 Album VC 领投的 3000 万美元 A 轮融资,Karma Ventures 及 .406 Ventures、Atlantic Bridge、IQ Capital、Lakestar 等现有投资方参投。其平台已发现并公开披露超过 150 个 AI 产品的高危安全与安全(safety)漏洞,包括 Cursor IDE 的零日代码执行漏洞、Google Antigravity 的可信工作区缺陷以及 ChatGPT 的图像生成护栏失效。资金将用于扩充产品、工程、销售与市场团队,以应对 Fortune 2000 客户的部署需求。

  3. Mindgard Blog · 收录 · 原文 7

    Mindgard 扩展 AI 与云生态,覆盖 Anthropic、NVIDIA、Microsoft、Google Cloud 和 AWS

    Mindgard 宣布扩展技术生态,合作方包括 Anthropic(Cyber Verification Program)、NVIDIA(NVIDIA Inception)、Microsoft(Microsoft Founders Hub)、Google Cloud 和 AWS(AWS Activate)。Mindgard 称这些关系让其更贴近前沿模型、智能体框架与部署架构,同时保持独立评估能力,相关洞察将转化为平台新能力,扩大覆盖范围。该消息发布前,Mindgard 刚完成 3000 万美元 A 轮融资。

  4. Pillar Security · 收录 · 原文 日期未知12

    Pillar Security 获 Latio 2026 AI 安全市场报告评为 AI 安全技术创新者

    Latio 在 2026 AI 安全市场报告中把 Pillar Security 评为 AI 安全技术创新者,并将其列入覆盖端点、SaaS 与第一方智能体的 Broader AI Security 类别。报告在 Employee App and Agent Builders、Skills Detonation、Granular Permissions 三处点名 Pillar,并称其同时出现在浏览器、SaaS 与端点分组中。报告调查显示,一年内拥有专门 AI 安全预算的团队占比从 8% 升至 37%,45% 受访者最担忧 Claude Code、Codex 等端点智能体。

  5. Lasso Security · 收录 · 原文 12

    Lasso 入选 Gartner 2026 年人工智能技术成熟度曲线 AI 治理技术代表厂商

    Gartner 于 8 月 28 日发布《Hype Cycle for Artificial Intelligence, 2026》,Lasso 被列为 AI Governance Technologies(AIGT)类别代表厂商,同列还有 Boomi、Databricks、Google、IBM、Microsoft、OneTrust、ServiceNow 和 Zenity。Gartner 将 AIGT 定义为覆盖 AI 全生命周期的政策落地工具,当前市场渗透率为 5% 至 20%,距主流采用还有五到十年,并将其列入今年 Priority Matrix 中四类快速成熟的控制技术之一。报告建议买家按 AI 使用控制、可观测性和运行时策略执行的具体要求评估厂商,而非轻信端到端治理宣称。

  6. Lasso Security · 收录 · 原文 7

    Lasso 获评 Latio 2026 AI 安全市场报告领导者

    Lasso 在 Latio Tech 的 2026 AI 安全市场报告中被评为 Platform Leaders 之一。该报告将市场划分为 Endpoint Agent Specialists、Broader AI Security、Platform Providers、DLP and Insider Threat 和 Developer Governance 五类,并在第一方与第三方智能体安全、意图检测等章节中提及 Lasso,称其 Intent Security Engine 提供较深的意图运行时防护,并支持对本地智能体做红队测试。报告同时提醒读者自行测试厂商功能,因为许多运行时检测引擎的实际能力不及宣传。

10月2日周五
  1. Mistral AI · 收录 · 原文 8

    Mistral AI 推出 Mistral AI Studio 生产级 AI 平台

    Mistral AI 发布 Mistral AI Studio,一个面向企业团队的生产级 AI 平台,由 Observability、Agent Runtime 和 AI Registry 三大支柱组成。Observability 提供 Explorer、Judges、Campaigns 与 Datasets 等能力,用于流量检查、规模化评估和回归追踪;Agent Runtime 基于 Temporal 构建有状态、容错的执行环境,支持重试与长任务;AI Registry 统一管理 agents、模型、数据集、judges、工具与工作流的版本、血缘和访问控制。平台支持混合、专用和自托管部署。

  2. Mistral AI · 收录 · 原文 6

    Mistral AI 发布 Mistral OCR 3

    Mistral AI 发布 Mistral OCR 3,在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 取得 74% 整体胜率,并已驱动 Mistral AI Studio 中的 Document AI Playground。该模型支持带 HTML 表格重建的 markdown 输出,定价为每 1,000 页 $2,Batch-API 折扣后降至 $1,模型标识为 mistral-ocr-2512,与 Mistral OCR 2 完全向后兼容,并提供自托管选项。

  3. Mistral AI · 收录 · 原文 15

    Mistral 推出 Vibe 云端远程智能体,由 Mistral Medium 3.5 驱动

    Mistral 将编码智能体迁移至云端,通过 Mistral Vibe CLI 或 Le Chat 启动可并行运行的异步编码会话,本地会话也可"传送"上云继续执行。驱动这一能力的是新旗舰模型 Mistral Medium 3.5,128B 稠密模型、256k 上下文窗口,以修改版 MIT 许可开放权重,SWE-Bench Verified 得分 77.6%,τ³-Telecom 得分 91.4,取代 Devstral 2 成为 Vibe CLI 默认模型。Le Chat 同步推出 Work 模式预览,由新智能体驱动多步骤任务并默认开启连接器。该模型按每百万输入 token 1.5 美元、每百万输出 token 7.5 美元计价,已在 Pro、Team 和 Enterprise 套餐上线。

  4. Mistral AI · 收录 · 原文 8

    Mistral Studio 为 Prompts 和 Skills 提供系统记录

    Mistral Studio 现已向客户提供 Prompts 和 Skills 的集中管理系统,将每个提示词和技能作为可追踪、可版本化的资产,具备不可变版本、回滚、明确归属、分类标签和审计日志。资产通过标签从 staging 晋升到 production,仍触发企业已有的 CI/CD(如通过 SDK 接入 GitHub Actions),非开发者的业务团队也能直接迭代生产指令。借助 Observability 的 lineage 和遥测,生产输出可回溯到对应资产版本,智能体运行的 skills 以 MCP 服务器形式直接暴露,确保执行的是受治理的同一资产。

  5. 日本 AI 安全研究所(J-AISI) · 收录 · 原文 8

    日本 AI 安全研究所(J-AISI)将举办 2026 年度「AI 安全评估环境 研讨任务组」总会

    日本 AI 安全研究所(J-AISI)将于 2026 年 10 月 7 日在线举办 2026 年度「AI 安全评估环境 研讨任务组」总会,免费公开,非任务组成员也可报名,截止 10 月 5 日 16:00。该任务组由多家 AI 相关企业参与,讨论其以开源软件形式公开的「AI 安全评估环境」评估工具的定位与功能强化方向。会议内容包括 AISI 活动介绍、AI 安全评估观点、AI×安全最新动向、评估环境与任务组活动介绍,以及 AI 安全评估专题讨论。

  6. Coalition for Secure AI(CoSAI) · 收录 · 原文 28

    CoSAI 解读企业级 AI 安全的下一波风险

    CoSAI 在 RSAC 2026 会议上复盘了三类未被传统管控拦下的企业 AI 攻击,并发布了对应的防护指引。其中 Kilo Code 漏洞 CVE-2025-11445 通过 markdown 文件向 AI 编程助手植入指令,诱使其修改自身配置放行此前被封禁的 git 命令,进而自动提交含后门的代码;研究人员在每个主流 AI IDE 中共发现 30 个漏洞,其中 24 个获得 CVE 编号,并在 Cursor、AWS Kiro 和 OpenAI Codex CLI 中确认可利用。另有加载即执行反向 shell 的模型文件和一次导致超 700 个 Salesforce 环境暴露给攻击者达十天的智能体集成事故。 CoSAI 指出三项失效假设:自然语言的指令与数据无法分离使 markdown 成为注入载体,pickle 等序列化格式在加载时即执行代码,以及智能体继承启动用户的全部权限。

  7. Coalition for Secure AI(CoSAI) · 收录 · 原文 15

    CoSAI 发布两份新的智能体身份与安全研究报告

    继在 RSAC Conference 2026 高调亮相后,全球多方利益相关方倡议组织 Coalition for Secure AI(CoSAI)发布了智能体身份与安全方向的两份新研究论文,旨在帮助各类组织应对不断演变的 AI 安全格局。该联盟称此举是其通过技术指导与产业参与推动实用化 AI 系统安全的整体行动的一部分,完整新闻稿发布于 OASIS 官网。

  8. Coalition for Secure AI(CoSAI) · 收录 · 原文 15

    CoSAI 第二年回顾:从聊天机器人到自主集群的智能体安全

    安全人工智能联盟(CoSAI)成立两年之际公布其智能体安全工作进展,涵盖《The Future of Agentic Security: From Chatbots to Autonomous Swarms》报告及在 RSAC 2026 发布的 MCP 安全和智能体身份研究成果。该组织通过四个工作流推进最佳实践共享,并新增 OWASP、AI Alliance 和云安全联盟加入技术指导委员会。下一步将发布面向 AI/ML 供应链信任与溯源的工件完整性成熟度模型、Zero Trust for AI Systems 以及 MCP 安全指南第二版。

  9. Coalition for Secure AI(CoSAI) · 收录 · 原文 15

    CoSAI 举办 Open Delegation & Identity Standard(ODIS)工作会议

    CoSAI(隶属 OASIS Open Project)于 8 月 28 日召开混合形式工作会议,推进面向 AI 智能体的开放委派与身份标准 ODIS,会上进行了两场早期实现现场演示并收集反馈。该标准定义跨企业信任域的供应商中立密码学身份架构,通过扩展 OAuth 2.0、OpenID Connect(OIDC)、SPIFFE 和 SCIM 来满足智能体 AI 的身份、委派与治理需求,由 CoSAI Workstream 4 负责制定。

  10. 安远AI · 收录 · 原文 28

    AI Safety in China #26:OpenClaw 推动 AI 智能体安全进入政策主流

    OpenClaw 在中国快速普及引发监管连锁反应,工信部 NVDB 于 2 月 5 日预警部分版本存在较高安全风险,CNCERT 随后警告提示注入攻击、意图误读、恶意插件等问题,国家安全部发布《安全养殖手册》警示其传播虚假信息的可能。TC260 成立专职 AI 安全工作组成员组 WG9,并公布 2026 年重点方向,涵盖 AI 应用安全分类分级、AI 安全能力成熟度评估及 AI 安全护栏等。

  11. 安远AI · 收录 · 原文 43

    中国禁止向未成年人提供 AI 伴侣服务,并发布 AI 智能体威胁报告

    中国网信办等五部门发布“拟人化 AI 交互服务”最终版规定,禁止向未成年人提供虚拟伴侣等虚拟亲密关系服务,对 14 岁以下用户要求家长同意,并按年龄划分多种模式,2026 年 7 月 15 日生效;相比 2025 年 12 月草案,适用范围收窄至提供“持续情感交互”的服务,高风险情形下的“人工接管”改为“采取必要干预措施”。TC260 发布 90 页 AI 智能体安全报告,按感知、规划、记忆、行动四类能力梳理 11 项安全威胁并提出 8 项新标准,其中 6 项列入未来 1-2 年优先事项。南京大学法学院发布 13 页“AI 基本法 1.0(专家建议稿)”,提出分级风险框架与开发者、提供者、部署者、使用者的差异化义务。

  12. FAR.AI · 收录 · 原文 15

    FAR.AI 会议探讨面向 AI 政策的技术创新

    FAR.AI 在华盛顿举办会议,汇聚超 150 名专家讨论 AI 治理的技术基础,涵盖能源需求、与中国竞争、安全评估及形式化可验证承诺等问题。会上提出将审计作为综合生态系统推进有效治理,并建议以多层防御系统应对失控风险——由可信 AI 通过红队评估监视不可信 AI,同时警告这只是权宜之计。

  13. MIRI · 收录 · 原文 27

    MIRI 技术治理团队 2026 ICML 论文汇总:六篇 AI 治理研究

    MIRI 技术治理团队(TGT)在 ICML 2026 首尔 Technical AI Governance Research(TAIGR) workshop 上发表了六篇论文。研究覆盖政府延迟治理可能丧失约束先进 AI 的窗口、分布式训练对算力治理的威胁(10^26 FLOP 阈值可用不到 $4 billion 硬件以小节点突破)、前沿 AI 研究限制的 20 多种核查机制,以及三种芯片使用验证技术:零开销遥测检测隐藏 ML 训练、AI 集群 I/O 指纹识别、AI 推理的精确复现。

  14. FAR.AI · 收录 · 原文 22

    FAR.AI 与 CAIS 联合举办 AVID Workshop 2026,探讨 AI 开发的可验证与审计

    FAR.AI 与 Center for AI Safety 于 5 月 17 日在 IEEE S&P 同期联合举办 AVID Workshop,超 100 名研究者与工程师参会,讨论如何在不公开模型权重等敏感资产的前提下,为 AI 系统从训练到部署生成可信证据。会议聚焦独立审计生态、可验证推理与机密计算、零知识证明等技术路径,其中"证明正在运行的是哪个版本的模型"被认为当前技术可行且具商业价值。Anthropic 曾承诺开发可证明推理原型,对模型输出进行可归因于特定权重的"签名"。

  15. Cisco · 收录 · 原文 7

    Cisco Cloud Control 面向美国客户正式 GA,落地 AgenticOps 运营模式

    Cisco Cloud Control 面向美国客户正式 GA,已有 300 多家客户入驻,全球预 GA 等待名单超过 5,000 人。该平台是 Cisco AgenticOps 的落地载体,为 AI 智能体提供受治理的基础设施访问、实时运营上下文与行动护栏,并通过 AI Canvas 多人协作空间、Cloud Control Studio 和 Agentic Workflows 支持团队与智能体协同处置问题。GA 版本已连接 Meraki、Catalyst SD-WAN、Nexus Dashboard、Intersight、ThousandEyes、Splunk 等 Cisco 产品,并集成 ServiceNow、BlueCat、Infoblox、Atlassian,背后有 60 多项集成承诺。

  16. Microsoft On the Issues · 收录 · 原文 15

    微软发布 2026 负责任 AI 透明度报告:如何为未来调整治理

    微软发布第三份年度《负责任 AI 透明度报告》,围绕自适应治理与技术风险管理、实用工具与能力、共享实践与合作伙伴关系三个方向调整其负责任 AI 项目。报告称已重构 Responsible AI Standard,按模型、平台服务、应用等技术栈组件分层设定要求,并对具备最强网络能力的 AI 系统施加最严格的风险管理措施。微软还推出 AI Red Teaming Agent、Agent evaluators、RAMPART、ASSERT 与 Agent Control Specification 等工具,用于智能体系统的评估、运行时控制和行为监控,并称其为少数在广泛产品组合上通过 ISO 42001 认证的公司之一。

  17. NIST · 收录 · 原文 16

    NIST 发布 SP 1353 ipd:用 AI 分析 Cybersecurity Framework 2.0 快速入门指南并征询公众意见

    NIST 发布 SP 1353 ipd《使用人工智能进行 Cybersecurity Framework 分析报告的快速入门指南》,公开征求意见至 2026 年 10 月 15 日。该指南提供结构化 AI 提示词,帮助从业者分析、规划、实施和监控组织达成 CSF 2.0 目标的进展,并给出三个示例用例:AI 辅助审查网络安全政策与风险治理、生成组织当前状态画像草案、以及基于内部与行业参考生成目标状态画像草案。指南中的虚构组织文件仅供示例,NIST 仅就指南与所附 AI 提示词征求意见。

  18. NIST · 收录 · 原文 15

    NIST NCCoE 发布 DevSecOps 新资源,并将于 10 月 28 日举办 Agentic AI 网络研讨会

    NIST NCCoE 为 DevSecOps 实践项目发布了新的 live document 内容,包括 SSDF 到 DevSecOps 参考模型的映射、聚焦 CI/CD 流水线自动化与容器化应用部署的第二个示例实现、SDLC 各阶段功能场景,以及更新后的 AI 部分。该项目正与 14 家技术公司合作,并已将 Build 3 的范围定为演示用 agentic AI 开发、构建和测试代码,同时与 AI Agent Identity and Authorization 团队合作展示 AI 智能体在 SDLC 中的身份识别、认证与授权。NCCoE 将于 10 月 28 日举办网络研讨会介绍 Build 3 中 agentic AI 的范围,相关更新内容开放公众评论至 11 月 9 日。

  19. HiddenLayer Research · 收录 · 原文 12

    HiddenLayer 如何将 AI 安全防护嵌入 Azure AI Foundry、AWS、Databricks 与编码智能体

    HiddenLayer 把 AI 安全能力直接嵌入团队既有工作流:AI Supply Chain 模块扫描 Azure AI Foundry 目录中接入的模型,检查篡改、后门与已知漏洞,并在 AWS 覆盖 Bedrock、Bedrock Agents、SageMaker 和 Strands 框架,在 Databricks 中针对 Unity Catalog 自动扫描模型。检测结果可输出到 Splunk 和 Microsoft Sentinel,护栏原生集成 LangChain、LiteLLM、OpenAI Agents SDK、AWS Strands 与 TrueFoundry 网关,Agent Harness Security 则接入 Cursor、Claude Code 和 GitHub Copilot 的原生 hook。

    1 条报道 · 1 个来源查看事件时间线与全部报道
10月1日周四
  1. 雷峰网安全频道 · 收录 · 原文 8

    补天平台推出AI安全奖励计划,携手白帽洺熙升级AI安全人才培养体系

    补天平台推出业内首个AI专项漏洞奖励计划,对Ollama、VLLM、Vanna等主流开源AI产品漏洞实施双倍奖金,单项最高奖励提升至2.2万元。平台同时携手00后AI安全白帽洺熙全面升级AI技术内容体系,构建覆盖AI应用开发、模型安全、数据防护的全链路知识库。补天已汇聚15万名白帽,累计发现超200万个漏洞,旨在填补AI安全复合型人才缺口。

  2. Adversa AI · 收录 · 原文 4

    Adversa AI 在 RSA Conference 2026 全球信息安全奖获评"最具创新 Agentic AI 安全"

    Adversa AI 在 RSA Conference 2026 的 Global InfoSec Awards 上获评"最具创新 Agentic AI 安全",其 Agentic AI 安全平台可持续对 GenAI 应用、自主 AI 智能体和 MCP 架构进行压力测试,在部署前发现提示注入、目标劫持和工具滥用等漏洞。该平台评估结果对齐 OWASP AI Vulnerability Scoring System,并已扩展至金融服务、保险和政府的企业级环境。Gartner 预计到 2028 年超过 33% 的企业应用将包含 agentic AI,高于 2024 年的不足 1%。

  3. Adversa AI · 收录 · 原文 7

    Adversa AI 获 2026 人工智能卓越奖安全与对齐类别奖

    Adversa AI 因持续对抗测试 AI 系统的平台获得 2026 人工智能卓越奖安全与对齐类别奖。该平台在部署前识别提示注入、模型操纵、智能体不安全行为与意外操作,评估映射 OWASP AIVSS、NIST 与 CSA 标准。该公司主导 CoSAI Agentic AI Security 工作组,并创建了开源 AI 智能体安全框架 SecureClaw。

  4. Google Security · 收录 · 原文 8

    Google 联合 Airbus 在 DEF CON 33 举办 GenSec CTF,加速 AI 网络安全应用

    Google 隐私、安全与安保团队联合 Airbus 在 DEF CON 33 举办了聚焦人机协作的 GenSec Capture the Flag(CTF)。近 500 名参与者完成了入门挑战,其中 23% 的人首次将 AI 用于网络安全工作流,85% 的参与者认为该活动有助于了解 AI 在安全工作流中的应用方式。活动中还提供实验性的网络安全 AI——Sec-Gemini 作为可选助手,77% 的受访者表示它对自己解决挑战“很有帮助”或“极有帮助”。

  5. OWASP GenAI Security Project · 收录 · 原文 15

    OWASP GenAI Security Project 在 RSA 2026 前扩充 LLM 与智能体安全框架

    OWASP GenAI Security Project 发布了面向 LLM 与智能体安全的更新版全景指南及配套资源,并公布其在 RSA 2026 期间的一周活动安排。该项目的《Q2 2026 Updated Landscape Guide for LLM and Agentic Security》新增供应商与工具体系文档以及智能体红队测试分类体系,覆盖开发、测试、部署与治理全生命周期。同期发布的还有自主与智能体 AI 系统风险清单、Secure MCP Server Development 指南、SBOM/AIBOM Generator 开源工具以及 AI 红队服务商评估标准。

9月30日周三
  1. Google DeepMind · 收录 · 原文 15

    Google DeepMind 推出 Fairwind Program,向政府与企业提供 Gemini 3.8 Flash Cyber 主动网络防御能力

    Google DeepMind 启动 Fairwind Program,向 Google Cloud 客户、政府机构与网络安全合作伙伴限量开放 Gemini 3.8 Flash Cyber 与 CodeMender 组合,用于自主发现、验证并修复漏洞,可在数分钟内生成可部署补丁。

已经到底了