跳到正文
原文
Irregular·原文 · 入选 精选关注度71

Irregular 用 CyScenarioBench 评测 Claude Opus 5.5 的攻防安全能力

Assessing Claude Opus 5.5 Against Offensive Security Benchmarks

AI 导读

Irregular 披露 Anthropic 在 Claude Opus 5.5 的网络安全评测中使用了其 CyScenarioBench 基准。该基准通过分析真实网络事件构建攻击树,在容器化网络拓扑中考察模型的多阶段攻击规划、分支决策准确率、约束遵守和状态不一致恢复能力,场景不公开以测试推理而非记忆。评测取十项挑战子集,在关闭网络安全缓解措施的条件下运行,Claude Opus 5.5 平均解决率为 67.6%,高于 Claude Mythos 5.1 的 61.7%、Claude Opus 5 的 53.0%,Claude Sonnet 5 低于 1%。Irregular 表示这些结果反映能力激发下的模型能力,而非真实攻击场景中的有效性。

推荐理由

Anthropic 在 Claude Opus 5.5 的网络安全评测中采用了 Irregular 的 CyScenarioBench,其多阶段攻击场景设计与分数对比可供评测方法参考。

阅读原文irregular.com