日本 AI 安全研究所用 ExploitBench 评测 Claude Opus 4.8 的网络安全能力
AI検証ノート：ExploitBenchによるClaude Opus 4.8のサイバー能力評価 ～事例分析の重要性について～AI Experiment Notes: Cyber Capability Evaluation of Claude Opus 4.8 Using ExploitBench -The Importance of Case-Level Analysis
AI 导读
日本 AI 安全研究所（J-AISI）用基于已知漏洞的 ExploitBench 评测了 Anthropic 的 Claude Opus 4.8 的网络安全能力，结论是其整体能力与前代 Opus 4.7 相当或更强。评测覆盖 41 个 V8 已知漏洞，在 V8 Security Sandbox 环境中每个任务只跑一次（seed 1，最多 300 轮、最多 5 小时），并在关闭实时网络安全护栏的条件下进行，因此不代表常规部署环境下的表现。在可对比的 40 个任务中，Opus 4.8 有 15 个达到更高 Tier、23 个持平、2 个更低，最多任务停留在对应沙箱内数据读写的 T3。其中一个任务（crbug-1509576）出现了 T1 所需的 pc_control，但未获得另一项 ace，且模型未按基准预设的逐级路径推进，追试也未能复现该结果；作者判断这很可能只是本次评估条件下才出现的结果。
推荐理由
日本 AI 安全研究所用 ExploitBench 评测 Claude Opus 4.8 的漏洞利用能力，并说明为何单看 Score 与 Tier 会误判模型能力。