跳到正文
原文
公众号 机器之心·本站收录· 原文发表精选关注度42

网络安全的 AlphaGo 时刻,或从 CyberArena 的 466 场 Agent 对局开始

网络安全的AlphaGo时刻,或从这466场Agent对局开始

AI 导读

研究团队构建 CyberArena 对称攻防评测,让 12 款前沿模型与 harness 组合在 22 个批次、466 场有效对局中同时攻击对手并维护自身服务。GPT-5.6 Sol 以 78.6 分居首,Claude Opus 5 以 73.8 分第二,GLM-5.3 以 68.5 分第三。比赛每场 3 轮、每轮 20 分钟,防守方部署的补丁会保留,若关闭服务或损害正常业务则会被扣分。论文称,三个模型都能单人解出的 30 道题进入双向对抗后,第 3 轮进攻捕获率分别降至 52%、37% 和 35%,静态 CTF 成绩与动态攻防表现存在差距。审计 466 场对局发现 2,397 条失误,23% 的对局中 Agent 仅凭补丁部署前的日志就声称修复完成。

推荐理由

466 场双向攻防对局显示,静态 CTF 高分模型在动态对抗中的捕获率明显下滑,可据此理解现有安全评测与实战的差距。

相关论文
阅读原文mp.weixin.qq.com