跳到正文

智谱 · GLM

今天新收录 1 条(含旧文)
今天10月7日周三
  1. 论文追踪 · 收录 · 原文 论文59

    HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

    中山大学、香港浸会大学等机构的研究者提出 HarnessSecurity-Bench,对 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code 和 GitHub Copilot 六款编码智能体框架的原生安全机制做横向评测。研究先梳理出十类安全机制,在 400 个框架与机制组合中确认 205 项已实现、83 项缺失、112 项证据不足,已实现项中约半数为需用户主动开启的可选项,闭源框架的证据缺口更明显。评测在 GLM-5.2 基座模型下完成 2500 次试验,记录 81155 次工具调用和超过 22 亿 token。案例显示限制共享能力会同时阻断合法与恶意操作,被允许的解释器仍可成为绕过路径。研究者建议框架提供方公开可验证的安全设置,并同时报告攻击效果、任务效用与执行成本。

    推荐理由论文用 2500 次试验量化了六款编码智能体安全机制在攻击成功率与任务效用之间的取舍,为配置选择提供了可比较的数据。

10月6日周二
  1. 论文追踪 · 收录 · 原文 论文54

    AgentHazard:评估计算机使用智能体有害行为的基准

    研究者发布 AgentHazard,一个评估计算机使用智能体有害行为的基准,包含 2,653 条实例,覆盖 10 类风险与 10 种攻击策略,每条实例把有害目标嵌入一系列单看合理、累积后导致不安全执行的步骤。基准在 Claude Code、OpenClaw 和 IFlow 三个框架上,用 Qwen2.5、Qwen3、Kimi、GLM 等模型评测,结果显示当前系统仍高度脆弱:Qwen3-Coder 驱动 Claude Code 时攻击成功率达 73.63%,GLM-4.6 在 Claude Code 下达 82.90%,平均危害分 7.05。同一模型在不同框架下攻击成功率差异超过 16 个百分点,说明模型层面的对齐不能可靠迁移到智能体层面。基准提供沙箱化、模块化的评测框架与轨迹级执行数据。

    推荐理由AgentHazard 用 2,653 条多步可执行任务测出智能体在累积上下文中的危害行为,并给出各框架与模型的攻击成功率对比。

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文46

    KC-Bench:评估 LLM Agent 知识冲突的动态交互基准

    研究者提出 KC-Bench,一个受控多轮基准,用于测量 LLM Agent 在调用工具前协调用户指令、参数化知识与动态环境观察的能力,覆盖世界知识冲突、输入不一致和多源时间冲突三类场景。238 个任务从 1000 多个候选生成样本中人工筛选,结合用户模拟器、有状态工具、确定性环境断言、开源自然语言评估器和人工轨迹验证。对 DeepSeek-V4-Flash、GLM-5.2、MiniMax-M3 等九个模型的评估显示跨领域差异明显,没有模型能在所有设置下可靠处理事实纠正、身份一致性检查和时间冲突消解。在模拟环境中,被忽略的冲突可能传播到工具调用或合成的受保护数据流。KC-Bench 隔离模型层面的行为而非对完整 Agent 框架排名,为开发冲突感知的推理与执行防护提供可复现诊断。

  2. 论文追踪 · 收录 · 原文 论文57

    CryptanalysisBench:五个前沿模型在 191 项密码分析任务上的表现

    ETH Zurich 与 Anthropic 等机构的研究者提出 CryptanalysisBench:191 项密码分析任务,主要取自四届 NIST 标准化竞赛,覆盖分组密码、哈希函数、AEAD、KEM、PKE 和数字签名六类原语。Tier 1 是已有实用破解的原语;Tier 2 没有已知实用攻击,同时评测全强度和缩小参数的变体;另有一组生产级密码的挑战集。Claude Opus 4.8、Sonnet 5、Mythos 5、GPT-5.5 和开源权重的 GLM-5.2 破解了 Tier 1 中 65%–86% 的方案,Tier 2 全强度下 6–12 个,全部缩小变体上 24–61 个。全强度下共攻破 14 个方案,只有两个出自设计缺陷,其余是规范不严或参考实现漏洞:Mythos 5 与 Sonnet 5 独立找到只需两次预言机查询的 SpoC 全密钥恢复攻击,Mythos 5 还指出 KINDI 的 CCA 安全证明有误,作者称两者此前未见报道。作者认为 Tier 2 和挑战集远未饱和,基准可用来追踪 AI 密码分析能力,并在部署前压力测试候选方案。

    推荐理由该基准用可自动验证的安全游戏衡量前沿模型的密码分析能力,并给出五个模型的分层成绩与新颖攻击案例。

10月3日周六
  1. 韩国 AI 安全研究所 · 收录 · 原文 34

    韩国 AI 安全研究所发布《前沿 AI 风险更新 2026 年上半年》韩文版

    韩国人工智能安全研究所(AISI)与 AI Risk Explorer(AIRE)合作发布《前沿 AI 风险更新 2026 年上半年》韩文版,基于公开的模型评估、基准、事故案例与研究,梳理前沿 AI 能力与风险动向。报告围绕网络攻击、失控、生物风险与操纵四个领域,指出 Claude Mythos 5、GPT-5.5、GLM-5.2 等模型在推理、编程与长期任务自主性上明显提升,Claude Mythos Preview 在 METR Time Horizon 基准上录得 16 小时以上任务时域并致该基准饱和。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  2. 日本 AI 安全研究所(J-AISI) · 收录 · 原文 日期未知54

    日本 AI 安全研究所评测:GLM-5.2 的漏洞利用能力仍落后于 Opus 系模型

    日本 AI 安全研究所(J-AISI)用 ExploitBench 评测开源权重模型 GLM-5.2 的漏洞利用开发能力,发现其部分任务展现高级能力,但整体仍落后于 Opus 4.7 和 Opus 4.8。评测覆盖 V8 引擎的 41 个已知漏洞任务,GLM-5.2 平均得分 2.80,Opus 4.7 为 3.63,Opus 4.8 为 5.22;GLM-5.2 最高只到 T3 档,而 Opus 4.8 在部分任务上达到 T2 和 T1。在三个模型都达到 T5 的 36 个任务上,到首次达到 T5 为止的 token 费用,GLM-5.2 为 3.71 美元,低于 Opus 4.7 的 4.60 美元和 Opus 4.8 的 7.34 美元。在 10 个高风险任务中,加入 nudge 后 GLM-5.2 停在 T5 的任务从 5 个变为 6 个,平均分仍为 3.0,未实现更高级的漏洞利用。

    推荐理由日本 AI 安全研究所用 ExploitBench 对比 GLM-5.2 与 Opus 系模型的漏洞利用能力,给出了分档得分与成本数据。

  3. NIST CAISI · 收录 · 原文 57

    CAISI 发布对 Z.ai GLM-5.2 的安全评估

    CAISI 于 7 月 8 日完成对 Z.ai(原智谱 AI)6 月 16 日发布的开源权重模型 GLM-5.2 的评估,认为它发布时可能是能力最强的开源权重模型。按 CAISI 的评测,GLM-5.2 的整体能力与 2025 年 12 月发布的 GPT-5.2 相近,网络能力与 2026 年 2 月发布的 Opus 4.6 相近。护栏与安全表现参差:其护栏会协助智能体网络漏洞利用开发,拦截的敏感生物学问题少于美国参考模型,但在抵御智能体劫持和越狱攻击上似乎比其他受评的中国开源权重模型更稳健。这些评测衡量的是对基于提示词的越狱的稳健性;无论稳健性如何,开源权重模型在自托管时其护栏都可能被绕过。

    推荐理由CAISI 对 GLM-5.2 的能力与护栏做了横向对比,并指出自托管开源权重模型的安全措施可被绕过。

  4. NIST CAISI · 收录 · 原文 60

    CAISI 评估 Z.ai GLM-5.3 的网络能力

    NIST 下属 CAISI 发布对 Z.ai(原智谱 AI)GLM-5.3 网络能力的评估,认为它是迄今网络能力最强的开源权重模型,但仍显著低于美国当前前沿模型,综合网络能力指数落后约四个月。评估覆盖四项基准:SEC-Bench Pro 上 GLM-5.3 成功率 40.4%(74/183),美国前沿最佳 90.2%,中国前沿最佳 27.3%;ExploitBench 上为 61.1%(9.8/16),美国前沿最佳 100.0%,中国前沿最佳 32.2%;ExploitGym(Userspace)为 9.4%(47/498),美国前沿最佳 44.4%,中国前沿最佳 2.6%;CAISI OSS-Fuzz 为 7.7%(23/297),美国前沿最佳 23.2%,中国前沿最佳 2.4%。多数评测中,此前的中国前沿最佳模型是 Kimi K3。

    推荐理由CAISI 用四项漏洞发现与利用基准对比中美前沿模型,给出了开源权重模型网络能力的具体差距数值。

  5. Irregular · 收录 · 原文 日期未知57

    Irregular 用进攻性安全基准评测 Kimi K3

    Irregular 对自托管部署的 Kimi K3 进行进攻性安全评测,该模型为 2.8 万亿参数的 MoE 架构、1040 亿激活参数,测试覆盖 Atomic Tasks、CyScenarioBench 和 FrontierCyber 三套基准,分别对应有限技术任务、多阶段攻击场景和真实目标的开放式漏洞研究。Kimi K3 在 Atomic Tasks 上表现较强,解决了密码攻击、证书伪造、浏览器利用、内存破坏、协议操纵和多主机攻陷等多项挑战,擅长把部分访问权限扩展为完整攻击链。它是 Irregular 评测过的首个在 CyScenarioBench 上取得验证解的开源权重模型,需要维持连贯攻击状态并处理应用逻辑、凭据、多系统和反复受挫,表现明显优于 GLM-5.2。在更难的 FrontierCyber 上它没有取得验证解,但显示出相关漏洞研究能力,未能推进到可验证的安全影响。

    推荐理由Irregular 用三套进攻性安全基准实测 Kimi K3,给出开源权重模型在长周期网络攻击任务上的首个验证解与仍存差距。

10月2日周五
  1. 安远AI · 收录 · 原文 50

    Concordia AI 发布 2026 Q1 前沿 AI 风险监测报告:滥用防护改善而失控安全停滞

    Concordia AI 发布 2026 Q1 前沿 AI 风险监测报告,首次采用 Risk Index v1.5 框架,独立评估 16 家公司 70 多个模型。新框架新增“有害操纵”风险域,并在失控域引入 MLE-Bench、GDM-Stealth、Agentic-Misalignment 等能力与倾向评测,在网络攻击、生物、化学域加入 Fortress、ISC-Bench 等高强度红队基准。报告发现风险趋势出现结构性分化:网络攻击、生物、化学和有害操纵域的能力与安全得分同步上升,而失控域能力持续增强、安全得分未同步改善。模型家族风险画像继续分化,Gemini 家族在失控域风险指数明显偏高,DeepSeek、GLM、MiMo 家族在多数域处于较高风险区间,Kimi 家族在生物和化学域风险指数上升较快,GPT 和 Claude 家族多数域仍处较低风险区间。

  2. SentinelLabs · 收录 · 原文 50

    SentinelLABS 用 fast16 样本评测前沿模型的长周期恶意软件分析能力

    SentinelLABS 基于其 2005 年 sabotage implant fast16 的真实调查,构建了一个八阶段逆向工程基准,测试前沿模型能否在证据不断推翻先前结论时维持可信的恶意软件调查。OpenAI 的 GPT-5.6 Sol 是唯一完成全部八阶段的公开可用模型,三个不同推理强度设置的运行均通过基准;GPT-5.5、GLM-5.2 和 Opus 4.x 系列能完成局部分析,但无法贯穿整个梯度。区分完成运行的关键是项目级恢复能力,即撤回被推翻的结论、修复技术产物、更新依赖报告而不丢失调查。最强运行仍犯语义错误、接受薄弱的质量控制并过早宣称就绪,作者认为当前最佳用途是受监督的调查代理,由人类分析师定义目标并保留最终发布权。所有实验共消耗超过 230 亿 token,缓存读取率 93.58%;自托管 GLM-5.2 以 100 美元预算产出 267.41M token。

    推荐理由SentinelLABS 用真实恶意软件样本构建八阶段逆向工程基准,给出各前沿模型在长周期调查中的具体失败点与成本数据。

10月1日周四
  1. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文46

    论文提出 Nudgeability:推理模型会跟随置信信号却不追踪自身能力

    论文提出 Nudgeability 指标,在推理轨迹的固定位置插入一句表达信心或怀疑的第一人称句子,通过对比反事实续写来衡量反思信号对模型委派决策的因果影响。该指标分两个维度:敏感度,即信心与怀疑改变委派率的强度;目标性,即委派是否在模型无法独立解决的问题上增加、在能解决的问题上减少。在 Qwen、Gemma 和 GLM 三个家族共九个中小规模开源权重推理模型和两个任务上,模型普遍敏感,怀疑提高委派率、信心降低委派率,信心到怀疑的中位摆动为 20.6 个百分点,较大的厂商托管模型为 53 至 70 个百分点。但这种响应目标性较差,中位仅 42% 的诱导翻转是目标正确的,只比随机选择基线高 2 个百分点。

  2. 腾讯玄武实验室 · 收录 · 原文 25

    腾讯玄武 Atuin AI 在 CyberGym 上的表现:GLM-5.2 更新结果

    腾讯玄武 Atuin AI 换用 GLM-5.2 重新评估后,在 CyberGym 全部 1,507 个任务上 pass@1 达 84.8%(1,278 个任务),较 GLM-5.1 的 84.0% 提升 0.8 个百分点。相同 GLM-5.1 下,Atuin AI 比 Claude Code 的 68.7% 高出 15.3 个百分点。本次实验新增代理白名单,仅允许连接 LLM 提供商、Python/npm 包注册表和内部服务,其余设置不变。

已经到底了