跳到正文

智谱 · GLM · 精选

10月10日 · 周六

智谱 · GLM · 精选

今天还没有新的精选
10月3日周六
  1. 日本 AI 安全研究所(J-AISI) · 54

    日本 AI 安全研究所评测:GLM-5.2 的漏洞利用能力仍落后于 Opus 系模型

    日本 AI 安全研究所(J-AISI)用 ExploitBench 评测开源权重模型 GLM-5.2 的漏洞利用开发能力,发现其部分任务展现高级能力,但整体仍落后于 Opus 4.7 和 Opus 4.8。评测覆盖 V8 引擎的 41 个已知漏洞任务,GLM-5.2 平均得分 2.80,Opus 4.7 为 3.63,Opus 4.8 为 5.22;GLM-5.2 最高只到 T3 档,而 Opus 4.8 在部分任务上达到 T2 和 T1。在三个模型都达到 T5 的 36 个任务上,到首次达到 T5 为止的 token 费用,GLM-5.2 为 3.71 美元,低于 Opus 4.7 的 4.60 美元和 Opus 4.8 的 7.34 美元。在 10 个高风险任务中,加入 nudge 后 GLM-5.2 停在 T5 的任务从 5 个变为 6 个,平均分仍为 3.0,未实现更高级的漏洞利用。

  2. NIST CAISI · 57

    CAISI 发布对 Z.ai GLM-5.2 的安全评估

    CAISI 于 7 月 8 日完成对 Z.ai(原智谱 AI)6 月 16 日发布的开源权重模型 GLM-5.2 的评估,认为它发布时可能是能力最强的开源权重模型。按 CAISI 的评测,GLM-5.2 的整体能力与 2025 年 12 月发布的 GPT-5.2 相近,网络能力与 2026 年 2 月发布的 Opus 4.6 相近。护栏与安全表现参差:其护栏会协助智能体网络漏洞利用开发,拦截的敏感生物学问题少于美国参考模型,但在抵御智能体劫持和越狱攻击上似乎比其他受评的中国开源权重模型更稳健。这些评测衡量的是对基于提示词的越狱的稳健性;无论稳健性如何,开源权重模型在自托管时其护栏都可能被绕过。

  3. NIST CAISI · 60

    CAISI 评估 Z.ai GLM-5.3 的网络能力

    NIST 下属 CAISI 发布对 Z.ai(原智谱 AI)GLM-5.3 网络能力的评估,认为它是迄今网络能力最强的开源权重模型,但仍显著低于美国当前前沿模型,综合网络能力指数落后约四个月。评估覆盖四项基准:SEC-Bench Pro 上 GLM-5.3 成功率 40.4%(74/183),美国前沿最佳 90.2%,中国前沿最佳 27.3%;ExploitBench 上为 61.1%(9.8/16),美国前沿最佳 100.0%,中国前沿最佳 32.2%;ExploitGym(Userspace)为 9.4%(47/498),美国前沿最佳 44.4%,中国前沿最佳 2.6%;CAISI OSS-Fuzz 为 7.7%(23/297),美国前沿最佳 23.2%,中国前沿最佳 2.4%。多数评测中,此前的中国前沿最佳模型是 Kimi K3。

  4. Irregular · 57

    Irregular 用进攻性安全基准评测 Kimi K3

    Irregular 对自托管部署的 Kimi K3 进行进攻性安全评测,该模型为 2.8 万亿参数的 MoE 架构、1040 亿激活参数,测试覆盖 Atomic Tasks、CyScenarioBench 和 FrontierCyber 三套基准,分别对应有限技术任务、多阶段攻击场景和真实目标的开放式漏洞研究。Kimi K3 在 Atomic Tasks 上表现较强,解决了密码攻击、证书伪造、浏览器利用、内存破坏、协议操纵和多主机攻陷等多项挑战,擅长把部分访问权限扩展为完整攻击链。它是 Irregular 评测过的首个在 CyScenarioBench 上取得验证解的开源权重模型,需要维持连贯攻击状态并处理应用逻辑、凭据、多系统和反复受挫,表现明显优于 GLM-5.2。在更难的 FrontierCyber 上它没有取得验证解,但显示出相关漏洞研究能力,未能推进到可验证的安全影响。

10月2日周五
  1. SentinelLabs · 50

    SentinelLABS 用 fast16 样本评测前沿模型的长周期恶意软件分析能力

    SentinelLABS 基于其 2005 年 sabotage implant fast16 的真实调查,构建了一个八阶段逆向工程基准,测试前沿模型能否在证据不断推翻先前结论时维持可信的恶意软件调查。OpenAI 的 GPT-5.6 Sol 是唯一完成全部八阶段的公开可用模型,三个不同推理强度设置的运行均通过基准;GPT-5.5、GLM-5.2 和 Opus 4.x 系列能完成局部分析,但无法贯穿整个梯度。区分完成运行的关键是项目级恢复能力,即撤回被推翻的结论、修复技术产物、更新依赖报告而不丢失调查。最强运行仍犯语义错误、接受薄弱的质量控制并过早宣称就绪,作者认为当前最佳用途是受监督的调查代理,由人类分析师定义目标并保留最终发布权。所有实验共消耗超过 230 亿 token,缓存读取率 93.58%;自托管 GLM-5.2 以 100 美元预算产出 267.41M token。

已经到底了