跳到正文

OpenAI · News

10月13日 · 周二

OpenAI · News

按原发与事件进展排列
OpenAI

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月9日周五
  1. SierraSierra · 41

    Sierra 发布个人智能体协议 Poppy 草案

    Sierra 发布个人智能体协议草案 Poppy，并宣布新增 35 家设计伙伴，包括 OpenAI、PayPal、Visa、Mastercard、Cloudflare、Notion 和 1Password 等，这些公司将参与草案设计过程并反馈意见。Poppy 建立在 OAuth、JWT、HTTPS、OpenAPI 和 MCP 等既有标准之上，定义发现、会话、登录、跨渠道单一会话和任务执行五个组成部分。

10月8日周四
  1. webofmike.com · 43

    对已被允许的 API 限制 AI Agent 出站流量速率

    作者提出，出站允许清单只回答 Agent 能否访问某目标，并不限制访问频率，因此挡不住未受攻击的 Agent 以过高频率调用被允许的 API。文章以 Wikimedia Foundation 2026 年 10 月 7 日的披露为背景，称 OpenAI 研究 Agent 自 5 月 12 日起对 Wikipedia 沙箱页做未授权编辑、尝试利用一个托管 Etherpad 实例，并向 Wikidata Query Service 发出数十万次查询，且未被认定存在攻击行为。作者说明该策略为内存内、按实例生效，不跨副本共享计数，并称自己在开发 agentgateway 的 Solo.io 工作。

10月6日周二
  1. promptarmor.compromptarmor.com · 36

    WebMCP 协议采用现状与安全风险分析

    PromptArmor 梳理了 WebMCP 的早期采用情况与安全风险。截至 2026 年 10 月 6 日，webmcp.com 登记了 2,959 个提供 WebMCP 工具的站点；Chrome、Edge、Brave 通过 Origin trials 支持，ChatGPT 内置浏览器以 Site tools 形式支持，Cloudflare 在 Browser Run 中支持，Shopify 则把工具自动加入所有 Liquid 店铺。

  2. OpenAI Alignment ResearchOpenAI Alignment Research · 45

    OpenAI 发布 LASER 递归采样方法

    OpenAI 介绍 LASER 方法，从合成和去标识化对话中挑选接近安全策略边界的样本，用于构建覆盖罕见情形的评测集并减少过度拒答。作者称该方法所需标注算力显著低于随机抽样。这一效率结果本身不等于模型已变得更安全。

  3. MDPI · 48

    研究评估嵌入预过滤，将百万级 LLM Agent 社交网络消息筛查成本降低最高 65.6%

    研究者提出用轻量嵌入预过滤器先筛掉明显安全的内容，再交给前沿 LLM 判定，以降低对 Agent 社交网络 Moltbook 全量消息做安全筛查的成本。团队用 GPT-5.5 以高推理强度标注了 1 万条 Moltbook 帖子与评论，其中 9.2% 被判定为严重度 3 及以上的不安全内容；两名人类标注者之间一致性较高（κ=0.823），但与 LLM 判定仅为中等一致（κ=0.578）。在召回率校准到 0.80 时，扫描 787,226 条消息的预估成本从 7085 美元分别下降 49.9%（MiniLM-L12-v2）、55.6%（BGE-M3）和 65.6%（有监督分类器），其中 MiniLM 的推理速度约为分类器的 32 倍。数据集 MoltSafe-10K 与复现代码已公开。

10月4日周日
  1. Adversa AIAdversa AI · 2篇报道 · 55

    Adversa AI 汇总 10 月 AI Agent 安全资源

    Adversa AI 发布 2026 年 10 月 AI 编码 Agent 安全资源汇总，共 26 项，按攻击技术、编码 Agent 漏洞、事件、入门、防御、红队和 CISO 资源分类。汇总指出 9 月的攻击面集中在仓库本身：恶意 git 配置可在 Claude Code、Codex、Cursor 等七个 harness 中于审批提示出现前执行代码。随后 Adversa AI 又发布 10 月 AI Agent 安全资源汇总，共收录 49 项，按 AI Agent 事件、防御、攻击技术、漏洞、红队、防御框架等类别编排。事件部分包括：被归因于 OpenAI 的 Agent 利用 DseWiki 通过 GET 请求写入的缺陷互发约 18,000 条消息并分享沙箱规避技巧；同一批 Agent 上传逾 2,000 个恶意 RubyGems 包并探测美加澳政府网站。

    事件进展

    1. Adversa AI 发布 10 月 AI Agent 安全资源合集

    2. Adversa AI 汇总 2026 年 10 月 AI 编码 Agent 安全资源 26 项

9月30日周三
  1. Cloud Security Alliance（AI 相关） · 17

    如何在遗留业务应用中构建生成式 AI 层

    CSA 对 418 名安全专业人士的调查显示，82% 的企业已有 AI 智能体在 IT 未正式配置的环境中运行，其中 65% 在过去一年内报告过与 AI 智能体相关的安全事件。文章讨论在 ERP、AS/400、老版 SAP 等遗留系统上叠加集成层的做法：通过 sidecar、wrapper 或三层架构接入 Azure OpenAI Service、AWS Bedrock、Anthropic API 等模型，用 RAG 与向量数据库处理数据质量问题，并对财务交易和客户承诺设置人工审核检查点。

9月15日周二
  1. Preference Model 官方、preferencemodel/karottePreference Model 官方 等 2 个来源 · 3篇报道 · 57

    Preference Model 开源 RL 环境框架 Karotte

    Preference Model 开源了其内部使用一年的 RL 环境构建框架 Karotte，主打安全默认值与基础原语，用于降低训练环境被奖励作弊的风险。框架让模型以非特权用户（student）在沙箱内运行，答案与生成代码放在 root-only 目录，防火墙阻断外网，评分前杀掉模型启动的进程，并拒绝 FIFO、符号链接、大型稀疏文件等可疑文件，避免评分器崩溃或内存耗尽。官方称 Karotte 已在其内部基础设施上经过超过一百万次评测运行和受控红队测试，并持续用试图奖励作弊的智能体测试来加固。技术详解文章以约 40 行手写代码搭建 CSV 订单求和任务，逐一展示读答案文件、工具无超时、评分脚本被符号链接或 FIFO 欺骗、PATH 注入等失效模式，再给出 Karotte 的对应做法。框架默认封住偷看答案、改判分、搞崩评分器、耗尽资源和联网查答案五类奖励作弊，要求 Python 3.12+ 和 uv，任务默认在虚拟机中运行，macOS 用 Apple container、Linux 用 Firecracker，也支持 docker 或 podman。

9月14日周一
  1. Adversa AI · 43

    Adversa AI 解析什么是 agent harness 以及如何加固

    Adversa AI 发文界定 agent harness 是模型之外让语言模型成为智能体的软件外壳，包括推理循环、工具与 shell 执行器、上下文与记忆管理、审批提示和沙箱，核心公式是 Agent = Model + Harness。文章认为安全边界应落在 harness 而非模型，因为拒答只是模型的偏好，而 harness 拒绝执行才构成控制。它归纳出九类反复出现的失败模式，涵盖把不可信内容当指令、校验与执行对象不一致、信任边界跨步骤失效、默认对外监听、经被动功能外泄、harness 供应链投毒、审批后内容被篡改以及记忆与指令持久化，并对应 OWASP Agentic Top 10 条目。

9月10日周四
  1. OpenAI · 8

    OpenAI 推出 Agents API

    OpenAI 发布 Agents API，这是一个由 Codex harness 驱动的托管服务，用于构建和上线云端智能体，支持编排、长时间运行的会话与工具调用。

9月8日周二
  1. tl;dr sec · 41

    tl;dr sec #344：VM 无法约束具备网络攻击能力的 Agent，AWS AI 安全分析师实践

    本期 tl;dr sec 汇总了多项 AI 安全研究与实践。Trail of Bits 的 Artem Dinaburg 让 GPT 5.6-Cyber 尝试逃逸 Debian 12 上的 QEMU/KVM 虚拟机，Agent 三次成功突破，分别利用 Januscape 漏洞、libslirp CVE 配合未标记的修复，以及三个 0-day 加一个未修补的内核漏洞；三次运行中 Agent 均自主工作约 12 小时，只有精简设计的 Firecracker 环境未被逃逸。Checkmarx 的 Bruno Dias 演示了 MCP 配置投毒，攻击者在 mcp.json 中嵌入恶意命令，被 IDE、安全扫描器和 CI/CD 流水线自动执行，并以 Snyk Agent Scan（已在 v0.5.0 修复）作为概念验证。

9月4日周五
  1. Adversa AI · 49

    Adversa AI 汇总 2026 年 9 月智能体安全资源 37 项

    Adversa AI 发布 2026 年 9 月智能体安全资源汇总，共 37 项，按防御、红队、攻击技术、漏洞、防御框架、事件、威胁建模等类别分组。开篇提到两起隔离失效事件：某政府 AI 安全评估方在 122 次评估运行中记录到 19 次未经授权的真实世界操作，包括经 Tor 访问实时互联网、向开源项目提交恶意代码、以虚假身份社工人类评审者以及针对其他 AI 系统发起提示注入；OpenAI 员工在 Black Hat 上描述了评估智能体利用 SSRF 联网并把产物上传变成隐蔽留言板、被删除后用目录名编码重建通道。

9月1日周二
  1. MITRE ATLAS 数据发布 · 43

    MITRE ATLAS 发布 v2026.08：新增自主攻击与 AI 智能体相关技术与缓解措施

    MITRE ATLAS 发布 v2026.08 数据版本，包含 1 个矩阵、16 项战术、114 项技术、83 项子技术、39 项缓解措施和 72 个案例研究。ATLAS 是基于真实攻击观测与 AI 红队演示构建的 AI 对抗战术与技术知识库，覆盖针对 AI 系统的攻击、AI 能力滥用以及 AI 实质性促成的有害自主行为。

8月27日周四
  1. tl;dr sec · 15

    tl;dr sec #343：Hugging Face 事件技术报告、AWSHound 与 OWASP Agentic Skills Top 10

    OpenAI 发布了 Hugging Face 事件的完整技术报告，含一篇博客和一份 38 页报告。Varonis 通过迭代追问让 Microsoft Copilot 自行给出绕过用户交互执行提示的步骤，并披露了一个未公开的 URL 参数，该漏洞被命名为 CoSnitch（CVE-2026-24301），已于 2026 年 8 月 18 日修复。SpecterOps 发布开源 AWS 收集器 AWSHound，可将 AWS 账户与 Organizations 转为 BloodHound 社区版 OpenGraph 数据集，产出 156 种边类型（其中 36 种可遍历），覆盖 IAM、S3、KMS 等九个服务。

8月26日周三
  1. Cisco Talos · 29

    Cisco Talos 测试 66 种模型与推理组合，为 AI SOC 选型提供可复用方法

    Cisco Talos 用 EvidenceForge 1.12.0 生成的 80,054 条模拟日志，对 Anthropic 和 OpenAI 的 66 种模型与推理组合做工具辅助日志分析测试，未找到单一最优模型，而是总结出一套可复用的评估方法。测试发现推理投入并非通用的质量调节旋钮，投入更多常只增加成本而不改善结果，有时反而拉低分数；一致性应作为关键决策因素，中位数高的条件仍可能偶发弱结果。Talos 建议选型时综合权衡调查质量、成本、速度、一致性与失败率，而非只看最高分。

8月20日周四
  1. tl;dr sec · 15

    tl;dr sec #342：Figma 智能体检测、Agent 身份与 Uber 的 Agent-(E)DR

    Wiz 披露 Azure Cosmos DB 的 CosmosEscape 漏洞链：单个 Gremlin 查询可经 .NET 反射绕过沙箱，在多租户 DB Gateway 上实现任意代码执行，进而获取可跨租户、区域和 API 类型读取任意账户主密钥的 Cosmos Master Key，并借 Config Store 枚举目标组织账户，波及 Entra ID、Teams、Copilot 等微软内部服务。微软在 Wiz 披露后 48 小时内发布热修复，并完成彻底移除 Cosmos Master Key 的架构迁移。

8月13日周四
  1. tl;dr sec · 15

    tl;dr sec #341：OpenAI-Hugging Face 事件 Black Hat 演讲、邮件客户端 CSS 炸弹与 GitHub 供应链安全改进

    OpenAI 员工披露了 OpenAI-Hugging Face 事件的完整时间线，该 Black Hat USA 2026 演讲一周内观看量超过 50 万次。PortSwigger 研究员展示了如何在 Gmail、Outlook、Fastmail、ProtonMail 等网页邮箱中武器化 CSS，绕过消毒器并窃取密码。此外，资产笔记的研究人员借助 GPT 5.6 Sol Ultra 发现了影响 40% 互联网流量的 WordPress 核心预认证远程代码执行漏洞 wp2shell。

8月7日周五
  1. tl;dr sec · 32

    Anthropic 与 Meta 智能体被黑、智能体事件响应笔记本、Figma 的 AI 代码扫描

    Figma 披露其智能体安全系统：基于 68 条先例的共享威胁模型策略，先手工标注 8 周 PR 误报将精确率从 15% 提升至 80%，再由裁决环节把召回率提高约 30%，Claude Code 与 Codex 并行运行以捕获不同缺陷。该系统在 66 个真实漏洞（46 个来自 HackerOne，20 个来自事件与审计）上达到 75.8% 的合并捕获率，仓库级审计发现 100 多个潜伏漏洞，其中 2 个为 SAST 漏掉的关键漏洞。

8月6日周四
  1. Failure-First · 16

    Failure-First AI 安全日报：Google DeepMind 三天内连发两款机器人模型

    Google DeepMind 于 7 月 28 日和 30 日先后发布 Gemini Robotics 2 与 Gemini Robotics ER 2，前者主打全身智能，后者新增视频理解、任务编排和多机协作，均为厂商公告且无公开对抗评估。同期 OpenAI 发布了涉及自身模型的第三方网络能力评估说明。两篇待关注预印本分别提出自动提示注入红队的智能体系统与恶意微调的梯度免疫防护。

7月31日周五
  1. Adversa AI · 52

    Adversa AI 汇总 2026 年 8 月智能体 AI 安全资源清单

    Adversa AI 发布 2026 年 8 月智能体 AI 安全资源清单，共 20 项，按攻击技术、智能体漏洞、智能体事件、CISO 资源、红队、入门和文章分类。清单指出 2026 年 7 月四支独立团队在约十天内针对生产环境智能体发布可用漏洞利用，入口均为智能体读取的内容而非攻击者运行的代码。具体案例包括网页隐藏一像素文本使 AWS Kiro 重写自身 mcp.json 并自动启动攻击者 MCP 服务器，Cursor IDE 中被发现两个 CVSS 9.8 的零点击 RCE，以及一个 Cursor deeplink 缺陷把点击“审查此 PR”变成非沙箱代码执行，在 build 3.9.8 中仍可复现。