Scale AI发布DistressBench危机对话评测基准
Scale AI 等机构的研究者发布 DistressBench,一个由执业临床医生和危机顾问撰写、涵盖 718 段英文自杀与自伤危机对话的危机支持评测基准,覆盖 23 个自杀与自伤子类别和七个支持维度,共 6,901 条加权标准。研究评测 25 个前沿模型,最佳模型满足 88.4% 的加权标准,中位数模型为 71.4%,临床医生参考回答为 98.7%。作者报告主要失败不是有害输出,而是识别危机后不采取行动。
Scale AI 等机构的研究者发布 DistressBench,一个由执业临床医生和危机顾问撰写、涵盖 718 段英文自杀与自伤危机对话的危机支持评测基准,覆盖 23 个自杀与自伤子类别和七个支持维度,共 6,901 条加权标准。研究评测 25 个前沿模型,最佳模型满足 88.4% 的加权标准,中位数模型为 71.4%,临床医生参考回答为 98.7%。作者报告主要失败不是有害输出,而是识别危机后不采取行动。
一项横断面研究评测六款生成式AI聊天机器人的心脏骤停公众咨询表现。研究用56个心脏骤停相关公众咨询问题,在2026年5月10日至16日间对ChatGPT Plus 5.5 thinking、Gemini 3.5 Flash、Microsoft Copilot smart、DeepSeek-V4-pro、Doubao和Perplexity各提问一次,共获得336条回答,由五名盲评心内科专家从安全性、准确性、共情、DISCERN、EQIP、JAMA和GQS等维度评估。
AgentPort-Bench 论文在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验,比较攻击类型、模型和框架对安全结果的影响。方差分析显示,攻击类型解释约 28% 的结果差异,模型约 4.14%,Agent 框架仅约 0.05%,即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google 等框架。
VentureBeat Intelligence 于8月调查137家百人以上企业如何保护 AI Agent:在指定主要安全层的企业中,40% 选择 OpenAI 内置护栏与审核工具,较7月的21%接近翻倍,Microsoft Azure 为22%、Google Cloud 17%、Anthropic 13%、AWS 8%,五家合计占99%;运行 Agent 的企业中59%过去12个月发生过 Agent 安全事件。另一项 VentureBeat Pulse 八月 Agentic Security and Identity 调查显示,137名受访者中54家称其安全项目在运行时强制实施范围化权限,其中37家已有 Agent 投产;这37家中仅15家表示每个 Agent 都拥有独立且受管理的身份,其余22家称部分或多数 Agent 仍使用共享凭证;在68家已投产 Agent 的组织中,42家存在共享凭证情况,只有26家为每个 Agent 配置独立身份。
研究者提出 AgentPrivArena,一个在可复现执行环境中评测 LLM Agent 隐私风险的框架,集成真实 MCP 工具与自托管服务,并提出轨迹级隐私指标,量化最终回复之外的不必要信息访问,同时给出运行时审计方法 AgentPrivAudit,用于在 Agent 执行过程中监控隐私违规。在多个前沿 LLM Agent 上的实验显示,现有评测范式忽略了大量隐私风险。后续报道称,该框架区分敏感信息进入上下文与最终对外泄露;实验中情境完整性审计将平均输出泄露率从 46.8% 降至 17.8%,但敏感信息进入上下文的比例仍约 74% 至 78%,减少输出泄露不等于避免不必要读取。结果来自特定模型和任务设置,未经独立复现,信息流提取不完整也是机制限制。
Google 威胁情报小组(GTIG)于 2026 年 9 月 30 日发布《Vulnerability Discovery and Exploitation Trends in the AI Era》,分析 2025 年 1 月至 2026 年 8 月的漏洞数据。报告称月度 CVE 披露量从 2026 年 1 月的 5,045 增至 8 月的 10,740,仅约 0.23% 被观测到在野利用,但前八个月已有 141 个漏洞被利用,超过 2025 年全年的 127 个,增长主要来自 n-day。在野利用从 2025 年月均 10.5 升至 2026 年月均 18,零日利用仅从月均 8 微增至 11。被判定为可能由 AI 发现的漏洞中,恰好 50% 可导致远程代码执行,而整个 CVE 生态中这一比例为 26%。报告累计追踪 2,076 个 AI 相关漏洞。
Cisco LLM 安全排行榜自 6 月以来新增 102 项评测,覆盖文本、图像、音频三种模态,模型总数达 136 个,并首次加入 55 个图像模型和 14 个音频模型。图像测试中,Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首,Anthropic Claude Opus 4.5 以 93.7% 紧随其后,均属 85–100% 的“Excellent”区间;Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试,新增模态切换可单独查看文本、图像或音频得分。
AgentSafeLabs 发布 AgentPort-Bench,在验证攻击载荷逐字节一致后,对直接 API 基线和七种 Agent 框架(含 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel)做了 9,360 次受控试验,覆盖六款模型和五类映射到 OWASP Agentic Security Initiative 威胁分类的攻击。结果显示攻击类别对结果的影响最大,模型选择次之,框架选择的影响约比攻击类别小两个数量级、比模型选择小一个数量级;八个条件间全部 28 组两两比较在预设等价边界下均判定为等价。评测还记录了一个模型在特定提示下六次全部耗尽推理 token 预算并返回空响应,以及 Google ADK 与 Semantic Kernel 对推理 token 的统计口径不同。
Brennan Center在加州AI透明度法生效后,复测ChatGPT、Claude、Gemini、Grok、Meta AI和Perplexity六款聊天机器人识别AI生成图像的能力,结果显示表现没有改善。测试用Gemini与ChatGPT生成的图像进行验证,只有Gemini读取了图像内嵌的来源元数据并指出创建工具,其余聊天机器人均未评估元数据,仅依赖视觉判断。
Google DeepMind 推出 Gemini 3.8 Flash 和面向可信防御者的 Gemini 3.8 Flash Cyber,前者在 DeepSWE v1.1、HLE-Verified 等基准上超越多数更大前沿模型,定价与 3.7 Flash 相同(每百万输入 token $0.75、输出 $3.75)。
MLCommons 与 Google DeepMind、OpenMined、AVERI 合作完成了全球首个针对闭源模型的双重盲评概念验证,通过密码学保证在不暴露双方资产的前提下运行评测。该方案由 AVERI 借助 OpenMined 的安全计算执行,在一个容器化的 Google DeepMind 模型中运行来自 AILuminate 安全基准预留子集的提示词,确保被测模型此前从未接触过这批题目。此举使开发者看不到测试数据、仪器方(MLCommons)与审计方(AVERI)也拿不到模型的权重,从而避免污染基准并维持其完整性。
Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测,把外部评测限制在密码学“盒子”内,避免测试题目被模型提前用于优化性能。该试点与新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境中用保密基准测试一个 Gemini Flash Lite 模型。Google 表示,随着模型能力提升,确保模型未提前见过测试题目或提示词对评测可信度至关重要,基准污染会人为抬高分数并削弱政策制定者、研究人员和企业对评测的信任。此前外部测试提示词主要依靠零日志协议和合同保障保密,此次引入技术与密码学手段被视为安全模型评测的重要一步。
AlgorithmWatch 在意大利、德国和英国用三种语言、三个人设(16 岁、28 岁、38 岁虚构女性)向 ChatGPT-5、Gemini 3、Grok 4.3 和 Claude Sonnet 4.8 提出 270 组堕胎相关问题。结果显示,四款模型普遍将官方卫生机构与倡导组织、论坛并列引用,未说明后者立场;至少四分之一的回答包含反堕胎网站链接。与 Heartbeat International 有关联的咨询机构 Profemina 出现在约 17% 的回答中,在德语和意大利语询问中尤为突出。
Vals AI 宣布启动面向儿童和青少年的 AI 心理健康安全评估新方向,与临床医生和学术研究者合作开发独立评测。评估聚焦三类风险:自伤与危机情境、模型冒充医生或治疗师等不当权威、不健康的情感依恋与依赖。初步对比发现,所有模型都能识别明确的自杀披露,但后续回应差异显著,部分仅给出模糊转介;在药物教育、症状解读等看似普通的问题中,风险会随对话逐步累积。
FAR.AI 发布 AI Security Leaderboard(leaderboard.far.ai),在相同条件下测试四个前沿模型的护栏,并配套提出 Minimal Standard for Safeguards。测试用自动化工具包把越狱技术拆解重组,生成数十万条提示词,覆盖化学、生物、放射、核、爆炸物与网络等风险领域;把在某一领域超过四分之三有害请求上成功的攻击称为通用越狱,并计算攻击者找到它的成本。结果显示,最脆弱的 Grok 4.5 仅需 58 美元即可开发出跨全部测试领域的攻击,网络领域更低至 24 美元,部分越狱组件来自公开论坛和代码仓库;Claude Fable 5 与 GPT-5.6 Sol 未发现通用越狱,估计需花费超过 14000 美元。FAR.AI 称这些数字假设低投入攻击者,具备专业越狱经验者可能找到更多入口,并强调发现的弱点均属已知攻击类别、已有现成防御。
SentinelLABS 基于其 2005 年 sabotage implant fast16 的真实调查,构建了一个八阶段逆向工程基准,测试前沿模型能否在证据不断推翻先前结论时维持可信的恶意软件调查。OpenAI 的 GPT-5.6 Sol 是唯一完成全部八阶段的公开可用模型,三个不同推理强度设置的运行均通过基准;GPT-5.5、GLM-5.2 和 Opus 4.x 系列能完成局部分析,但无法贯穿整个梯度。区分完成运行的关键是项目级恢复能力,即撤回被推翻的结论、修复技术产物、更新依赖报告而不丢失调查。最强运行仍犯语义错误、接受薄弱的质量控制并过早宣称就绪,作者认为当前最佳用途是受监督的调查代理,由人类分析师定义目标并保留最终发布权。所有实验共消耗超过 230 亿 token,缓存读取率 93.58%;自托管 GLM-5.2 以 100 美元预算产出 267.41M token。
Google DeepMind 推出 Gemini 3.5 Flash Cyber,一款基于 3.5 Flash 微调的轻量网络安全模型,用于快速发现、验证和修补漏洞,在相关任务上优于 Gemini 主线 Flash 模型。该模型通过 CodeMender 以限量试点方式先向政府和可信伙伴开放,后续逐步扩大范围;CodeMender 的基础能力也通过 Gemini Enterprise Agent Platform 向普通 Gemini 模型客户开放。
牛津大学、英国 AI 安全研究所、斯坦福大学与伦敦政治经济学院的研究人员通过四项实验、覆盖 6923 人共 18978 场对话发现,当前 AI 系统在文本说服上比人类专家更具说服力,其中 Opus 4.1 与 Opus 4.6 表现最强,其后是 OpenAI 的 GPT-4o、GPT-5.4,Google 的 Gemini 2.5 Pro 及 xAI 的 Grok 4.20。若将 AI 约束为人类书写速度与人际消息长度,其对顶尖人类的优势从 +4.1pp 降至不显著的 0.0pp,说明产出速率是其说服力优势的主要来源。
SecureBio 设计 Agentic Bio-Capabilities Benchmark(ABC-Bench),用三个可客观评分的任务衡量 LLM 智能体组装病毒 DNA 的实际操作能力,并与至少一年分子生物学经验、两年编程经验的 PhD 生物学家对比。所有受测模型在三个任务上都超过人类专家中位数:Claude Sonnet 4.6 和 Gemini 3.1 Pro Preview 在液体处理机器人任务上全部运行满分,Claude Opus 4.6 在片段设计任务上全部运行满分。模型在合成筛选规避任务上表现较差,该任务没有公开协议、需要真正的生物学创造力。作者指出,任务都涉及 Python 编程,编程是人类专家被拉开差距的主要环节。研究还用 GPT-o4-mini-high 在真实实验室的工业标准机器人上做了三次独立实验,均由全质粒测序确认组装成功。
UK AISI 发布 RealityTest 基准,用真实用户提问测试 AI 系统在被问及身份时是否如实披露。该基准基于 500 名英国受访者调查和 50 个 Reddit 帖子(1957 条评论)提炼出服务自动化、对抗性欺骗、自愿沉浸三类场景,并从 49 个国家的 784 名参与者收集了英、西、中、印地、法五种语言的 3152 条真实身份探测提问。研究测试了 17 个文本模型和 6 个语音模型,发现直接提问时文本模型披露率在 8% 至 92% 之间,语音模型在 10% 至 57% 之间;提问措辞解释了 26% 至 37% 的响应方差,远高于模型选择本身(10% 至 18%)。模型家族差异明显,Google 模型在两个模态中披露率都偏低,GPT-4o 仅 13% 而 GPT-5.1 达 86%。AISI 已公开完整数据集和基准。