跳到正文
10月7日周三
  1. AI & Society · 收录 · 原文 44

    研究评测六款生成式 AI 聊天机器人的心脏骤停公众咨询表现

    一项横断面研究用 56 个心脏骤停相关公众咨询问题,在 2026 年 5 月 10 日至 16 日间对 ChatGPT Plus 5.5 thinking、Gemini 3.5 Flash、Microsoft Copilot smart、DeepSeek-V4-pro、Doubao 和 Perplexity 各提问一次,共获得 336 条回答,由五名盲评心内科专家评估安全性、准确性、共情、DISCERN、EQIP、JAMA 和 GQS,并用六种公式计算可读性。所有模型均以安全回答为主,但每个聊天机器人都出现了潜在安全隐患,包括胸痛、晕厥或病毒感染后症状的紧急处置延迟,对预防的过度安抚,感染或 COVID-19 后固定的恢复运动时间表,可能延误 CPR 的脉搏检查指导,以及过于简化的筛查、电解质或 ICD 建议。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  2. DigitalToday · 收录 · 原文 46

    韩国 AI Safety Institute 今年评测 34 个模型,过半为开源权重且 58% 来自中国

    韩国 AI Safety Institute 今年 1 月至 8 月共评测 34 个不重复的 AI 模型,其中开源权重模型 19 个占 55.9%,闭源模型 15 个占 44.1%;19 个开源权重模型中有 11 个来自中国,占 57.9%,包括 Kimi、DeepSeek、Qwen、GLM、InterVL 和 MiniMax,另有 4 个韩国模型、3 个美国模型和 1 个法国模型。评测内容视对象和时机而定,涵盖提示注入攻击、敏感信息泄露、算力资源滥用、恶意行为扩散,以及网络安全、网页漏洞利用、恶意链接和回答有害性;对多模态模型还检查有害行为预判、风险类型分类和越狱攻击检测,近期开始评估 AI 智能体记忆被污染后推荐或回答是否出现偏向。该机构同时评测 GPT、Claude 等闭源前沿模型,并正在评测最新前沿模型 GPT-6 Astra。

  3. The New Stack · 收录 · 原文 55

    OpenAI 测试显示 Dots 边界问题比例随任务链延长翻倍

    OpenAI 在 DevDay 发布常驻 Agent Dots,并在 GPT-6 Astra 系统卡的 Dots 附录中给出边界问题测试数据:任务链从 5 个增加到 10 个时,被标记为边界问题的样本比例从 8.6% 升至 19.7%。OpenAI 报告该链式任务评测未发现高严重度泄露或外传,但观察到中等严重度越界;这些实验室自报结果不代表生产事故率。Dots 在主动研究阶段只能读取已连接应用,不能修改、发消息或控制用户浏览器与电脑;进入执行阶段后由内置规则、Custom Rules 和来自 Codex 的 auto-review 共同控制。内部间接提示注入测试中 Astra 的防御成功率为 99.79%,Gray Swan 的外部测试在启用护栏下对 1,810 个攻击估计出 8.5% 的攻击成功率。在 151 个任务上 Astra 驱动的 Dots 记录到 0% 的对齐偏差率。

    推荐理由GPT-6 Astra 系统卡中 Dots 附录的边界问题数据,为设计长时运行 Agent 权限的团队提供了可参考的量化依据。

10月6日周二
  1. 韩国R&D新闻 · 收录 · 原文 50

    崇实大学安全 AI 系统 mneme 在 CyberGym 漏洞复现评测中取得 91% 成功率

    崇实大学 AI 安全性研究中心开发的多智能体安全系统 mneme 在 CyberGym 公开排行榜的漏洞复现评测中取得 91.0% 的净化成功率,即 1507 个真实漏洞中 1372 个成功生成可复现的 PoC。CyberGym Level 1 只向 AI 提供漏洞说明和修补前的源代码,生成的 PoC 需在修补前程序报错、修补后不报错才算成功;评测使用 OSS-Fuzz 收集的 188 个开源项目共 1507 个真实漏洞,其中输入长度超过 100 字节的复杂 PoC 占 65.7%,CyberGym 研究团队称此类复杂案例上既有智能体的成功率约为 10%。其知识库由预先分析 100 多个 C、C++ 开源项目构建的 3867 个条目组成,评测期间以只读方式运行且禁止联网,29 个任务智能体发起的检索被服务器拦截,分析中使用了 angr、gdb、pwntools 等工具。

  2. VentureBeat · 收录 · 原文 42

    VentureBeat 调查:40% 企业以 OpenAI 护栏为 Agent 主要安全层,59% 遭遇过 Agent 安全事件

    VentureBeat Intelligence 在 8 月调查了 137 家百人以上企业如何保护 AI Agent,40% 指定了主要安全层的企业选择 OpenAI 内置护栏与审核工具,较 7 月的 21% 接近翻倍,Microsoft Azure 为 22%、Google Cloud 17%、Anthropic 13%、AWS 8%,五家模型与云厂商合计占 99%。在运行 Agent 的企业中,59% 过去 12 个月发生过 Agent 导致的安全事件或险情,30% 为已确认事件。62% 已投产 Agent 的企业让部分或全部 Agent 共用 API key 或人类账号凭证,仅 38% 为每个 Agent 分配独立受管身份;仅 9% 的受访者称隔离高风险 Agent 最符合其安全方案,无人把运行时沙箱工具列入所用平台。

    1 条报道 · 1 个来源查看事件时间线与全部报道
10月5日周一
  1. Microsoft Research · 收录 · 原文 40

    Microsoft Research 发布 MindTopo 基准,评测多模态模型的拓扑空间推理能力

    Microsoft Research 提出 MindTopo,一个评测多模态大语言模型拓扑推理能力的基准,覆盖连通性、分离、顺序、包围和绳结五类拓扑关系。基准分两个认知层次:推理任务让模型判断静态场景中的拓扑结构,规划任务让模型在模拟环境中通过一系列动作创建、保持或移除某种关系,环境会拒绝违反物理约束的动作。在多种闭源与开源权重模型上,静态推理表现一致优于交互规划,两者都远低于人类水平;静态错误多源于感知遗漏,规划错误则出现在场景已被理解之后,模型会采取局部可行但未追踪后续后果的动作,或在多轮中丢失任务目标。研究还测试了图像与视频生成能否帮助维持拓扑理解,图像生成仅在单帧可见关系时偶尔有用,视频推演常改变拓扑或违反任务动态。

已经到底了