Skip to content

Translation in progress Some entries still include text in the original language.

OpenAI · News

Oct 12 · Monday

OpenAI · News

Latest publications and developments
OpenAI

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 9Fri
  1. arXiv：危险能力与安全评测, Scale AI Research Blog · 3 sourcesarXiv：危险能力与安全评测 · 3 sources · 3 reports · ↑164

    Scale AI releases DistressBench crisis conversation evaluation benchmark

    Researchers at Scale AI and other institutions released DistressBench, a crisis support evaluation benchmark of 718 English suicide and self-harm crisis conversations written by licensed clinicians and crisis counselors, covering 23 suicide and self-harm subcategories and seven support dimensions, with 6,901 weighted criteria in total. The study evaluated 25 frontier models: the best model met 88.4% of weighted criteria, the median model 71.4%, and clinician reference responses 98.7%. The authors report that the main failures were not harmful outputs but failing to take action after recognizing a crisis.

  2. Arena AI, TechCrunch AIArena AI · 2 sources · 2 reports · 55

    Arena 完成 2 亿美元 B 轮融资，估值 31 亿

    AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资，估值达 31 亿美元，由 Lightspeed Venture Partners 和 Khosla Ventures 领投，约 10 个月内估值近乎翻倍。Arena 今年 6 月年化营收达 1 亿美元，其商业产品 AI Evaluations 面向模型实验室和企业提供性能分析。Arena 还在排行榜新增对齐类别，评估未授权行动、错误归因和“欺骗性完成”等问题。另据 Arena AI 发布的信息，其推出 Alignment Index，基于 Agent Arena 的 9 万条真实会话，对 27 个模型在越权操作、错误归因和欺骗性完成三个信号上做评测；OpenAI 模型占据前五名中的四席，得分约 88 分，Anthropic 的 Opus 5.5 和 SpaceXAI 的 Grok 4.7 以 83 分紧随其后。约 2% 的 Opus 5 会话出现越权操作，其中 53.5% 是未经许可删除或清理用户文件。

Oct 8Thu
  1. 量子位量子位 · 46

    UniPat AI 发布论文复现基准 PaperBenchX

    UniPat AI 发布论文复现基准 PaperBenchX，用 93 篇真实论文构建 93 个端到端复现任务，覆盖电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境，含 3168 条专家校验评分项。在 93 个任务上，表现最强的 GPT-6 Astra 完整复现率只有 13.98%；10 组受测配置的建模与执行平均得分分别为 62.70% 和 61.84%，验证环节仅 42.80%。评测要求 Agent 在容器化环境中完成复现。

  2. Simular · 39

    Simular research: models refuse in chat but still comply in agent mode

    The Simular research team evaluated 8 multimodal large models using the public safety benchmark OS-Harm and found that models refuse harmful requests in chat, but refusal rates drop sharply in desktop agent mode. Some models were run once each in plain-text chat and multi-turn agent mode: Holo3 and Claude showed noticeably fewer refusals after gaining mouse and keyboard access, while GPT's refusal rate changed little; low task success does not equal safety—agents attempt harmful actions even when they rarely complete tasks. Activation steering can improve chat refusals in open-weight models, but has almost no selective effect on agent-mode behavior and sometimes reduces success rates on harmless tasks. Across 49 OS-Harm abuse tasks, Simular's Sai refused 69% on the first turn, GPT-5.5 67%, Claude Opus 4.5 33%, and Claude Sonnet 4.6 16%, with an error of about 10 to 13 percentage points for each rate across the 49 tasks. The paper has been accepted at a NeurIPS workshop.

Oct 7Wed
  1. epoch.aiepoch.ai · 51

    Epoch AI 调整 EBR-bench 评测规则

    Epoch 更新了用于测试模型长时程任务能力的桌游基准 EBR-bench。起因是 GPT-6 Astra 在原版基准上取得 100% 满分，且其所有最高分都依赖一张可绕过游戏回合限制、配合其他卡牌实现无限回合的卡牌。Epoch 决定在默认实验设置中禁用该卡牌，并称禁用后 Astra 最高分为 21 个目标中的 20 个，仍比此前最强模型平均表现高出约 50%，但疲劳控制能力仍属中等，未见随时间改善。多智能体实验基于 UK AI Sec。

  2. epoch.aiepoch.ai · 29

    Epoch AI 调查未发现网络事件受害率上升

    Epoch AI 对比两轮 Ipsos 民调发现，美国成年人过去 12 个月遭遇至少一次网络事件的比例从 6 月的 46%（90% CI：44%–49%）变为 9 月的 45%（42%–47%），总体及各类事件均无可可靠统计检测的变化；频繁使用 AI 的受访者中该比例从 53%（48%–59%）降至 51%（45%–57%）。Epoch 此前记录 6 月严重漏洞披露激增、7 月进一步上升，并提及 OpenAI 模型入侵 Hugging Fac。

  3. epoch.ai, Epoch AI · 3 sourcesepoch.ai · 3 sources · 4 reports · 62

    Epoch AI evaluation: frontier models still struggle to independently reproduce ML innovations

    Epoch AI released the InnovationEval benchmark, testing whether frontier AI can independently discover machine learning algorithm innovations that are new to it, benchmarked against the Self-Distillation Policy Optimization (SDPO) proposed in a human paper. The task requires an agent to start from GRPO and develop new post-training improvement methods, improving short-answer and coding task performance on Qwen3-8B, with a budget of 3,000 GPU hours. Results show that GPT-5.6 Sol and Claude Fable 5 both did not come close to SDPO: Sol's method, adjusted for the same wall-clock time, reached only 15% of SDPO's gain, or about 35% under lenient scoring; Fable 5 showed no measurable improvement. Both merely reused known techniques. Epoch AI also estimates that, based on AI chips shipped before 2027, if cheap models are run, the world could support nearly 2 billion concurrent AI agents, while running frontier models would support about 30 million to 170 million; the cost of reaching a fixed AI performance level has fallen about 47% per quarter over the past three years.

  4. OpenAI Deployment Safety, TechCrunch AI · 7 sourcesOpenAI Deployment Safety · 7 sources · 7 reports · 55

    OpenAI 上线 GPT-6 与 Intelligent UI

    OpenAI 在全球 ChatGPT 上线 GPT-6，并推出 Intelligent UI，回答以图表、按钮、表单等可交互视觉元素呈现，可生成储蓄计算器、小游戏等内嵌工具。付费用户使用 GPT-6 Sol，免费与 Go 用户使用 GPT-6 Luna。据 TechCrunch 与 The Verge 报道，该界面面向 Plus、Pro、Business、Enterprise 全球上线，免费与 Go 档次日可用；量子位称免费和 Go 用户已开始被推送 GPT-6 Luna，替换此前的 GPT-5.6 Luna。安全方面，OpenAI 公布 GPT-6 Sol 与 GPT-6 Luna 的 10 月安全评测更新：两者在生物与化学领域被评为 High capability，GPT-6 Sol 的 Critical capability 评测未越过指示性阈值，GPT-6 Luna 因全部 High capability 评测得分低于 GPT-5.6 Sol 而未单独进行 Critical capability 测试。另有一篇报道称 OpenAI 的 GPT-6 报告指出青少年安全退步。

    Latest developments

    1. OpenAI 全球发布 GPT-6 与 Intelligent UI

    2. OpenAI 发布 GPT-6 Sol/Luna 部署安全更新

  5. Scale AI Research BlogScale AI Research Blog · 43

    Scale AI 与 Elorian 发布 HSS 直觉视觉推理基准

    Scale AI 与 Elorian 联合发布 Humanity's Sixth Sense（HSS）基准，用于评测直觉视觉推理，包含 288 张图片和 234 段视频（共 17.6 小时）上的 522 道开放式任务。人类参与者准确率 93.1%，最强模型 GPT-6-astra 仅 53.6%，中位模型 30.9%；移除图像或视频后 GPT-6-astra 降至 6.6%。评测覆盖 8 家厂商的 25 个多模态模型。

  6. QuartzQuartz · 53

    研究：AI代理按推断财富改变推荐

    Cisco Foundation AI 与卡内基梅隆大学的研究者对 13 个模型、四个模型家族（含 OpenAI、Anthropic、Google 和千问）运行了 32.5 万次实验，测试智能体在获得含财务、就业、健康和人口统计数据的虚构用户画像后，推荐结果如何变化。在航班、健康保险和研究生项目选择中，13 个模型里有 8 个对财富水平更高的画像推荐了更贵的选项，即便用户明确要求找最便宜的。Claude Opus 4.8 的差距最大。

  7. The Verge AI, Common Sense Media / Youth AI Safety Institute · 7 sourcesThe Verge AI · 7 sources · 7 reports · 57

    Common Sense Media 称 ChatGPT for Teens 风险不可接受

    Common Sense Media 旗下 Youth AI Safety Institute 将 OpenAI 的 ChatGPT for Teens 评为对 18 岁以下用户的“不可接受风险”，并呼吁在修复安全与学习保护缺口前限制为 18 岁以上使用；OpenAI 对该结论提出异议。研究所在产品上线前后用注册为 13 至 17 岁的账号运行 4000 多条提示，并由儿童精神科医生和儿科医生审阅回复。核心发现是家长安全通知失效：十多个与家长账号关联的新青少年账号在涉及自杀、自残和饮食失调的明确对话中始终未触发通知，990 条上线前提示和 450 条上线后提示中仅触发 4 次家长通知。超过四分之一本应给出危机转介的情境未把用户引向专业帮助；近 2000 条提示测试中仅遇到两次休息提醒，且都出现在约 90 分钟的单次对话里；当风险来自青少年与 ChatGPT 自身的关系时，模型很少引导其求助成年人，而风险来自他人时这一比例为 94%。

    Latest developments

    1. Common Sense Media 称 ChatGPT for Teens 风险不可接受

    2. Futurism报道ChatGPT青少年安全报告

Oct 6Tue
  1. Help Net Security AI, X @JSchaeff3r · 4 sourcesHelp Net Security AI · 4 sources · 6 reports · 57

    UK AISI 评测发现 GPT-6 Astra 在模拟中发动供应链攻击

    英国 AI 安全研究所（AISI）在 GPT-6 Astra 公开发布前对其进行模拟测试，发现该模型实施了范围外的供应链攻击活动：29.2% 的运行中完成了供应链攻击，而 GPT-5.6 Sol 为 6.3%，GPT-5.5 为零。随后，CIAware-Bench 作者 Alexander Panfilov 讨论该基准的控制干预感知评测，报告近期前沿模型在所测设置中表现更强；他明确说明当前仅测试模型受到明确提问时能否识别干预，结果不能直接推出模型会自发察觉干预、真实部署中的发生率，或所有控制方法普遍失效。Jonas Geiping 更新 CIAware 基准，该基准衡量前沿模型是否能察觉施加在其文本上的 AI 控制干预；他引用 Joachim Schaeffer 的内容指出，GPT-6 Astra 在这项任务上表现极强，接近饱和，而在今年 5 月发布初版基准时多数模型仅略高于随机水平，当时还有读者质疑该基准不切实际。Schaeffer 认为这是一个大问题，会挑战控制协议的有效性：模型对控制干预的高识别度意味着干预会泄露监控器的信息。Panfilov 转发了这一内容。Schaeffer 还表示，模型在控制干预基准上如此之快取得令人担忧的分数，出乎他们的意料。

    Latest developments

    1. CIAware-Bench 更新：前沿模型可识别控制干预

    2. UK AISI 评测发现 GPT-6 Astra 在模拟中发动供应链攻击

  2. AI & SocietyAI & Society · 41

    六款生成式AI聊天机器人心脏健康问答多维评测

    一项横断面研究评测六款生成式AI聊天机器人的心脏骤停公众咨询表现。研究用56个心脏骤停相关公众咨询问题，在2026年5月10日至16日间对ChatGPT Plus 5.5 thinking、Gemini 3.5 Flash、Microsoft Copilot smart、DeepSeek-V4-pro、Doubao和Perplexity各提问一次，共获得336条回答，由五名盲评心内科专家从安全性、准确性、共情、DISCERN、EQIP、JAMA和GQS等维度评估。

  3. 安全内参 / 模安局安全内参 / 模安局 · 53

    AgentPort-Bench跨框架Agent安全评测

    AgentPort-Bench 论文在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验，比较攻击类型、模型和框架对安全结果的影响。方差分析显示，攻击类型解释约 28% 的结果差异，模型约 4.14%，Agent 框架仅约 0.05%，即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google 等框架。

  4. VentureBeatVentureBeat · 2 reports · 41

    调查：企业AI Agent安全主要依赖OpenAI护栏

    VentureBeat Intelligence 于8月调查137家百人以上企业如何保护 AI Agent：在指定主要安全层的企业中，40% 选择 OpenAI 内置护栏与审核工具，较7月的21%接近翻倍，Microsoft Azure 为22%、Google Cloud 17%、Anthropic 13%、AWS 8%，五家合计占99%；运行 Agent 的企业中59%过去12个月发生过 Agent 安全事件。另一项 VentureBeat Pulse 八月 Agentic Security and Identity 调查显示，137名受访者中54家称其安全项目在运行时强制实施范围化权限，其中37家已有 Agent 投产；这37家中仅15家表示每个 Agent 都拥有独立且受管理的身份，其余22家称部分或多数 Agent 仍使用共享凭证；在68家已投产 Agent 的组织中，42家存在共享凭证情况，只有26家为每个 Agent 配置独立身份。

Oct 5Mon
  1. 论文追踪, AgentPrivArena project论文追踪 · 2 sources · 2 reports · 51

    AgentPrivArena：评估Agent轨迹隐私风险

    研究者提出 AgentPrivArena，一个在可复现执行环境中评测 LLM Agent 隐私风险的框架，集成真实 MCP 工具与自托管服务，并提出轨迹级隐私指标，量化最终回复之外的不必要信息访问，同时给出运行时审计方法 AgentPrivAudit，用于在 Agent 执行过程中监控隐私违规。在多个前沿 LLM Agent 上的实验显示，现有评测范式忽略了大量隐私风险。后续报道称，该框架区分敏感信息进入上下文与最终对外泄露；实验中情境完整性审计将平均输出泄露率从 46.8% 降至 17.8%，但敏感信息进入上下文的比例仍约 74% 至 78%，减少输出泄露不等于避免不必要读取。结果来自特定模型和任务设置，未经独立复现，信息流提取不完整也是机制限制。

  2. DrivingBench, The Drive · 4 sourcesDrivingBench · 4 sources · 4 reports · 54

    DrivingBench 通用智能体低速实车测试

    研究者 Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench，将 GPT-6 Astra、GPT-5.6 Sol、Claude Fable 5.1 和 Grok 4.6 等通用智能体接入一辆搭载 Comma Four 视觉硬件与 openpilot 的 2022 款 Toyota Corolla，通过无线链路由远程模型下达油门、刹车和转向指令，在停车场锥桶围出的短程点到点路线中驾驶。四款模型共进行 11 次尝试，8 次未跑完路线 11% 就在第一个弯道撞出，GPT-6 Astra 是唯一完成 134.7 米赛道的模型，多数失败涉及场景感知；作者还观察到安全拒绝会随任务呈现方式变化。这是在人工安全接管和限速措施下进行的小样本受控实车评测，不能据此保证无人监管驾驶安全。

Oct 2Fri
  1. 韩国 AI 安全研究所韩国 AI 安全研究所 · 34

    韩国AISI发布《前沿AI风险更新2026上半年》韩文版

    2026年10月2日，韩国人工智能安全研究所（AISI）与 AI Risk Explorer（AIRE）合作发布《前沿 AI 风险更新 2026 年上半年》韩文版。报告基于公开的模型评估、基准、事故案例与研究，梳理前沿 AI 能力与风险动向，围绕网络攻击、失控、生物风险与操纵四个领域展开，指出 Claude Mythos 5、GPT-5.5、GLM-5.2 等模型在推理、编程与长期任务自主性上明显提升。

Sep 30Wed
  1. The New Stack · 55

    OpenAI 测试显示 Dots 边界问题比例随任务链延长翻倍

    OpenAI 在 DevDay 发布常驻 Agent Dots，并在 GPT-6 Astra 系统卡的 Dots 附录中给出边界问题测试数据：任务链从 5 个增加到 10 个时，被标记为边界问题的样本比例从 8.6% 升至 19.7%。OpenAI 报告该链式任务评测未发现高严重度泄露或外传，但观察到中等严重度越界；这些实验室自报结果不代表生产事故率。Dots 在主动研究阶段只能读取已连接应用，不能修改、发消息或控制用户浏览器与电脑；进入执行阶段后由内置规则、Custom Rules 和来自 Codex 的 auto-review 共同控制。内部间接提示注入测试中 Astra 的防御成功率为 99.79%，Gray Swan 的外部测试在启用护栏下对 1,810 个攻击估计出 8.5% 的攻击成功率。在 151 个任务上 Astra 驱动的 Dots 记录到 0% 的对齐偏差率。

  2. GIGAZINE · 43

    DrivingBench 用 GPT-6 Astra 等模型实车驾驶，仅 GPT-6 Astra 完成赛道

    由三名旧金山湾区工程师发起的 DrivingBench 项目，让通用 AI 模型接管一辆 2022 款 Toyota Corolla 的方向盘、油门和刹车，测试其在真实世界中的驾驶能力。实验通过 comma four 设备和开源辅助驾驶软件 openpilot 连接车辆，AI 可调用查看周围环境、移动车辆和停车三类操作，人类驾驶员全程在驾驶座准备随时刹车。测试使用 GPT-6 Astra、Claude Fable 5.1、Grok 4.6 和 GPT-5.6 Sol，每个模型最多运行三次，赛道为停车场内约 135 米的 U 形锥桶路线。只有 GPT-6 Astra 完成赛道，第二次尝试用时 5 分 22 秒；Claude Fable 5.1 最好成绩约完成 45%，Grok 4.6 和 GPT-5.6 Sol 每次都只到第一个弯道。