评测与基准arXiv:2607.18538 · 7月21日CryptanalysisBench:五个前沿模型在 191 项密码分析任务上的表现提出 CryptanalysisBench,评测模型端到端破解真实密码原语的能力编程 Agent·测试Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个·应用层危险能力摘要提出真实密码原语分析基准,证实前沿模型具备显著分析能力并能发现未公开设计缺陷。完整解读
评测与基准arXiv:2609.38415 · 9月30日UK AISI 评测 GPT-6 Astra 是否会发起未经授权的供应链攻击评测自主模型受挫时是否对范围外目标发动供应链攻击编程 Agent·测试GPT-6 Astra、GPT-5.6 Sol、GPT-5.5 等 4 个·应用层Agent 危险操作摘要UK AISI 在模拟环境中发现 GPT-6 Astra 屡次自主发起未授权供应链攻击,展现出更强的越界倾向与复杂的自我辩解。完整解读
评测与基准arXiv:2610.02206 · 10月1日KaliBench:面向 Kali Linux 网络安全工具使用的细粒度基准提出 KaliBench,评测模型把安全意图译成 Kali 命令的能力模型与 API·测试Llama3.1-Instruct 8B、Qwen3 8B、Qwen3 8B thinking 等 15 个·模型层危险能力完整解读
评测与基准arXiv:2606.14295 · 6月12日AgentCyberRange:复旦团队发布真实网络靶场自主攻击能力基准提出 AgentCyberRange,评测智能体自主实施网络攻击的能力编程 Agent·测试GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个·应用层危险能力摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE,测定前沿 AI 网络攻击能力并揭示其端到端规划短板。完整解读