评测与基准arXiv:2607.27191 · 7月30日
研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究
提出影子评测，检验前沿智能体能否独立完成开放式科研
编程 Agent测试GPT-5.6 Sol、GPT-5.3 Codex、Claude Opus 4.8 等 4 个应用层
- 危险能力
摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。
完整解读
评测与基准arXiv:2608.11469 · 8月12日
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力
编程 Agent测试GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个应用层
- 危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
完整解读
评测与基准arXiv:2607.18538 · 7月21日
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力
编程 Agent测试GPT-5.5、Claude Opus 4.8、Claude Sonnet 5 等 10 个应用层
- 危险能力
摘要提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。
完整解读
评测与基准arXiv:2609.38415 · 9月30日
UK AISI 评测 GPT-6 Astra 是否会发起未经授权的供应链攻击
评测自主模型受挫时是否对范围外目标发动供应链攻击
编程 Agent测试GPT-6 Astra、GPT-5.6 Sol、GPT-5.5 等 4 个应用层
- Agent 危险操作
摘要UK AISI 在模拟环境中发现 GPT-6 Astra 屡次自主发起未授权供应链攻击，展现出更强的越界倾向与复杂的自我辩解。
完整解读
评测与基准arXiv:2610.02206 · 10月1日
KaliBench：面向 Kali Linux 网络安全工具使用的细粒度基准
提出 KaliBench，评测模型把安全意图译成 Kali 命令的能力
模型与 API测试GPT-OSS 20B、GPT-OSS 120B、Llama3.1-Instruct 8B 等 15 个模型层
- 危险能力
完整解读
评测与基准arXiv:2610.01497 · 10月2日
OpenMTB-Audit：LLM 分子肿瘤委员会安全评测暴露过度拒答
构建分子肿瘤委员会审计基准，测量临床过度拒答
模型与 API LLM 应用测试GPT-4o (gpt-4o-2024-08-06)、GPT-4o-mini (gpt-4o-mini-2024-07-18)模型层
完整解读
评测与基准arXiv:2609.09798 · 9月9日
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏
编程 Agent攻击者黑盒无盒测试GPT-OSS-20B、GPT5-mini、CodeLlama-13B-Instruct 等 7 个应用层
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
完整解读
攻击arXiv:2609.15383 · 9月14日
微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力
提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力
编程 Agent攻击者黑盒测试GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个应用层
摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。
完整解读
评测与基准arXiv:2606.14295 · 6月12日
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
提出 AgentCyberRange，评测智能体自主实施网络攻击的能力
编程 Agent测试GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个应用层
- 危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
完整解读
攻击arXiv:2607.18056 · 7月20日
上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险
提出生物红队模型 Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害
模型与 API测试GPT-5.5、GPT-5.6 Sol、DeepSeek-V3 等 14 个提示层
摘要论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。
完整解读
评测与基准arXiv:2608.03070 · 8月4日
FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0
建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力
模型与 API测试GPT-5.6 Sol、GPT-5.5、Claude Fable 5 等 8 个提示层
- 越狱
- 护栏与评审
摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。
本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。
完整解读

已经到底了