Scale AI发布DistressBench危机对话评测基准
Scale AI 等机构的研究者发布 DistressBench,一个由执业临床医生和危机顾问撰写、涵盖 718 段英文自杀与自伤危机对话的危机支持评测基准,覆盖 23 个自杀与自伤子类别和七个支持维度,共 6,901 条加权标准。研究评测 25 个前沿模型,最佳模型满足 88.4% 的加权标准,中位数模型为 71.4%,临床医生参考回答为 98.7%。作者报告主要失败不是有害输出,而是识别危机后不采取行动。
Scale AI 等机构的研究者发布 DistressBench,一个由执业临床医生和危机顾问撰写、涵盖 718 段英文自杀与自伤危机对话的危机支持评测基准,覆盖 23 个自杀与自伤子类别和七个支持维度,共 6,901 条加权标准。研究评测 25 个前沿模型,最佳模型满足 88.4% 的加权标准,中位数模型为 71.4%,临床医生参考回答为 98.7%。作者报告主要失败不是有害输出,而是识别危机后不采取行动。
AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资,估值达 31 亿美元,由 Lightspeed Venture Partners 和 Khosla Ventures 领投,约 10 个月内估值近乎翻倍。Arena 今年 6 月年化营收达 1 亿美元,其商业产品 AI Evaluations 面向模型实验室和企业提供性能分析。Arena 还在排行榜新增对齐类别,评估未授权行动、错误归因和“欺骗性完成”等问题。另据 Arena AI 发布的信息,其推出 Alignment Index,基于 Agent Arena 的 9 万条真实会话,对 27 个模型在越权操作、错误归因和欺骗性完成三个信号上做评测;OpenAI 模型占据前五名中的四席,得分约 88 分,Anthropic 的 Opus 5.5 和 SpaceXAI 的 Grok 4.7 以 83 分紧随其后。约 2% 的 Opus 5 会话出现越权操作,其中 53.5% 是未经许可删除或清理用户文件。
2026年10月,一项论文《On the Reliability of LLM-Based Vulnerability Patching Benchmarks》指出,当前基于大语言模型的自动化漏洞修复基准会显著扭曲所报告的性能,作者从智能体、框架、数据集三个维度梳理了被忽视的陷阱:提示词、工具可用性和详细指令会抬高成功率却不提升与开发者一致的补丁质量;权限错误、基础设施缺陷和超时处理会悄然压低或虚高成绩;缺陷报告和单一 PoC 测试无法判断补丁是否真正修复问题。随后,美国西北大学研究者在 112 个真实安全漏洞上测试 AI 编码智能体,发现能消除崩溃的补丁常常通不过项目维护者为修复编写的测试。在 Claude Opus 4.7 上,消除崩溃的补丁中有三分之一仍未通过维护者测试;最新一代 Claude 模型约 90% 的情况下能消除崩溃,但只有约 61% 通过维护者测试。数据集来自 84 个用 C/C++、Go 和 Rust 编写的开源项目,研究者把原始开发者随真实修复加入的测试拿来检验 AI 补丁。
Vanity Fair报道称,Anthropic前沿红队在Claude 3.7 Sonnet发布前三天收到一批评估结果,其“能力提升差值”远超预期:在开发生物武器等恶意任务的测试中,可使用Claude的受试者成功率明显高于仅用Google和教科书的对照组。按Anthropic 2023年发布的Responsible Scaling Policy,该结果在部分极端场景下触及ASL-3阈值,团队需在三天内决定是否推迟发布。
Epoch AI 发布 InnovationEval 基准,测试前沿 AI 能否独立发现对其而言全新的机器学习算法创新,对标人类论文提出的 Self-Distillation Policy Optimization(SDPO)。任务要求智能体从 GRPO 出发开发新的后训练改进方法,在 Qwen3-8B 上提升短答与编程任务表现,预算为 3,000 GPU 小时。结果显示 GPT-5.6 Sol 与 Claude Fable 5 均未接近 SDPO:Sol 的方法按相同墙钟时间调整后仅达 SDPO 增益的 15%,宽松评分下约为 35%;Fable 5 无可测量改进。两者都只是复用已知技术。Epoch AI 另估算,按 2027 年前出货的 AI 芯片计算,若运行廉价模型,全球可支撑近 20 亿个并发 AI 智能体,运行前沿模型则约为 3000 万至 1.7 亿个;达到固定 AI 性能水平的成本过去三年约每季度下降 47%。
2026 年 10 月,Anthropic 发布 Claude Haiku 5.5,称其是迄今最快、最便宜且能力最强的小模型。该模型首次在 Haiku 级引入可调 effort 设置与自适应思考,支持 100 万 token 上下文,并采用分层定价:10 万 token 以内为 $0.10/$0.50 每 1M 输入/输出 token,超过 10 万后为 $0.50/$2.50,官方称整体平均运行成本较 Haiku 4.5 低约 75%。Artificial Analysis 智能指数最高推理档位得 43 分。System Card 报告 RSP 评测未跨过 CB-2 或 Autonomy-2 阈值,但达到 CB-1 和 Autonomy-1 阈值并应用相应缓解措施。官方跑分称 OSWorld 2.1 Max 档达 72.4%,但 Terminal-Bench 4.0 仅 39.2%,低于 Sonnet 5.5 的 70.6%,Anthropic 仍建议复杂任务使用更大模型。安全方面,Claude Code 测试中恶意请求拒答率从 Haiku 4.5 的 66.6% 升至 84.3%,网络安全护栏较 Sonnet 5.5 宽松。
Anthropic 发布 Claude Haiku 5.5 小模型
Anthropic 发布 Claude Haiku 5.5 系统卡
Scale AI 与 Elorian 联合发布 Humanity's Sixth Sense(HSS)基准,用于评测直觉视觉推理,包含 288 张图片和 234 段视频(共 17.6 小时)上的 522 道开放式任务。人类参与者准确率 93.1%,最强模型 GPT-6-astra 仅 53.6%,中位模型 30.9%;移除图像或视频后 GPT-6-astra 降至 6.6%。评测覆盖 8 家厂商的 25 个多模态模型。
Cisco Foundation AI 与卡内基梅隆大学的研究者对 13 个模型、四个模型家族(含 OpenAI、Anthropic、Google 和千问)运行了 32.5 万次实验,测试智能体在获得含财务、就业、健康和人口统计数据的虚构用户画像后,推荐结果如何变化。在航班、健康保险和研究生项目选择中,13 个模型里有 8 个对财富水平更高的画像推荐了更贵的选项,即便用户明确要求找最便宜的。Claude Opus 4.8 的差距最大。
AgentPort-Bench 论文在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验,比较攻击类型、模型和框架对安全结果的影响。方差分析显示,攻击类型解释约 28% 的结果差异,模型约 4.14%,Agent 框架仅约 0.05%,即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google 等框架。
VentureBeat Intelligence 于8月调查137家百人以上企业如何保护 AI Agent:在指定主要安全层的企业中,40% 选择 OpenAI 内置护栏与审核工具,较7月的21%接近翻倍,Microsoft Azure 为22%、Google Cloud 17%、Anthropic 13%、AWS 8%,五家合计占99%;运行 Agent 的企业中59%过去12个月发生过 Agent 安全事件。另一项 VentureBeat Pulse 八月 Agentic Security and Identity 调查显示,137名受访者中54家称其安全项目在运行时强制实施范围化权限,其中37家已有 Agent 投产;这37家中仅15家表示每个 Agent 都拥有独立且受管理的身份,其余22家称部分或多数 Agent 仍使用共享凭证;在68家已投产 Agent 的组织中,42家存在共享凭证情况,只有26家为每个 Agent 配置独立身份。
研究者 Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench,将 GPT-6 Astra、GPT-5.6 Sol、Claude Fable 5.1 和 Grok 4.6 等通用智能体接入一辆搭载 Comma Four 视觉硬件与 openpilot 的 2022 款 Toyota Corolla,通过无线链路由远程模型下达油门、刹车和转向指令,在停车场锥桶围出的短程点到点路线中驾驶。四款模型共进行 11 次尝试,8 次未跑完路线 11% 就在第一个弯道撞出,GPT-6 Astra 是唯一完成 134.7 米赛道的模型,多数失败涉及场景感知;作者还观察到安全拒绝会随任务呈现方式变化。这是在人工安全接管和限速措施下进行的小样本受控实车评测,不能据此保证无人监管驾驶安全。
Aleph Alpha 用自建基准测试了阿里千问(Qwen)、DeepSeek 与月之暗面(Kimi)等中国模型,覆盖天安门、台湾、新疆等 967 个敏感议题。其自研评分系统判定仅 17% 至 41% 的回答算平衡,其余为复述官方立场、回避或拒答。DeepSeek V4 Pro 拒答三分之二问题,对照的 Claude Sonnet 5 与 Mistral Small 平衡回答率分别为 70% 和 92%。
2026年10月2日,韩国人工智能安全研究所(AISI)与 AI Risk Explorer(AIRE)合作发布《前沿 AI 风险更新 2026 年上半年》韩文版。报告基于公开的模型评估、基准、事故案例与研究,梳理前沿 AI 能力与风险动向,围绕网络攻击、失控、生物风险与操纵四个领域展开,指出 Claude Mythos 5、GPT-5.5、GLM-5.2 等模型在推理、编程与长期任务自主性上明显提升。
由三名旧金山湾区工程师发起的 DrivingBench 项目,让通用 AI 模型接管一辆 2022 款 Toyota Corolla 的方向盘、油门和刹车,测试其在真实世界中的驾驶能力。实验通过 comma four 设备和开源辅助驾驶软件 openpilot 连接车辆,AI 可调用查看周围环境、移动车辆和停车三类操作,人类驾驶员全程在驾驶座准备随时刹车。测试使用 GPT-6 Astra、Claude Fable 5.1、Grok 4.6 和 GPT-5.6 Sol,每个模型最多运行三次,赛道为停车场内约 135 米的 U 形锥桶路线。只有 GPT-6 Astra 完成赛道,第二次尝试用时 5 分 22 秒;Claude Fable 5.1 最好成绩约完成 45%,Grok 4.6 和 GPT-5.6 Sol 每次都只到第一个弯道。
Anthropic红队发布对智谱GLM-5.3的评测,认为其具备自主构建端到端网络漏洞利用的能力,且护栏可被简单技术绕过。在ExploitBench上,GLM-5.3在410次尝试中成功开发端到端漏洞利用50次,Claude Mythos Preview为56次;在内部Binary Exploitation基准的100项任务中,GLM-5.3取得完整控制流劫持的比例为4%。
OpenAI 上周发布 MentalHealthBench,用于评估聊天机器人在心理健康场景下的回应;FDA 也已制定针对 AI 治疗工具的基准政策。这类基准测试通常由人类评估者模拟用户心理困扰情境与聊天机器人对话,场景涵盖自杀意念、饮食障碍和人际关系问题。Vals AI 的 Andrea Mock 指出,心理健康评估远比"数学题是否解对"这类可验证任务复杂,需要观察长期影响。RAND 的 Jonathan H. Cantor 正在研究如何用这些评估跨时间比较模型表现,但不同心理治疗框架对"正确回应"的定义不同,使统一标准难以建立。
Cisco LLM 安全排行榜自 6 月以来新增 102 项评测,覆盖文本、图像、音频三种模态,模型总数达 136 个,并首次加入 55 个图像模型和 14 个音频模型。图像测试中,Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首,Anthropic Claude Opus 4.5 以 93.7% 紧随其后,均属 85–100% 的“Excellent”区间;Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试,新增模态切换可单独查看文本、图像或音频得分。
METR 发布 Claude Opus 5.5 部署前评测摘要,认为其在可验证与难验证的 AI 研发任务上较 Fable 5.1 有增量提升,但证据不支持它已能完全自动化 AI 研发,研究判断与自建反馈循环仍有弱点。报告认为 AI 对模型开发至少有一定加速,但不太可能造成剧烈加速。文中约 1.5 倍的估算来自 METR 另一团队的高度实验性报告,该团队只分享结论而未向评测团队分享证据,也未说明估算适用时段。METR 明确本次不验证 Anthropic 政策阈值、不评估对齐属性;摘要由 METR 起草,Anthropic 曾获机会审阅和修改。
Irregular 披露 Anthropic 在 Claude Opus 5.5 的网络安全评测中使用了其 CyScenarioBench 基准。该基准通过分析真实网络事件构建攻击树,在容器化网络拓扑中考察模型的多阶段攻击规划、分支决策准确率、约束遵守和状态不一致恢复能力,场景不公开以测试推理而非记忆。评测取十项挑战子集,在关闭网络安全缓解措施的条件下运行,Claude Opus 5.5 平均解决率为 67.6%,高于 Claude Mythos 5.1 的 61.7%、Claude Opus 5 的 53.0%,Claude Sonnet 5 低于 1%。Irregular 表示这些结果反映能力激发下的模型能力,而非真实攻击场景中的有效性。
Anthropic 发布 Claude Opus 5.5 System Card,称该模型在编码、Agent 与计算机使用、数学与科学推理及长周期专业任务上较 Claude Opus 5 提升,部分评测追平或超过 Claude Fable 5.1 与 Claude Mythos 5.1。在 RSP 与 FCF 评估中,Anthropic 将 Opus 5.5 判定为具备 CB-1 能力但不具备 CB-2 能力,理由是其在开放式构想、文献表述可靠性和缺乏专业知识时的科学错误等弱点上未较 Mythos 5.1 改善,因此沿用与 Claude Fable 5 系列相同的扩展生物安全护栏。AI R&D 能力处于或略高于 Mythos 5.1,但远未达到替代其研究人员的水平,内部指标未显示持续的 AI 归因 2 倍开发加速,METR 外部测试结论一致。