全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态The Drive
DrivingBench 测试前沿模型驾驶真车，GPT-6 Astra 唯一跑完全程
Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench，让 Claude、GPT、Grok 等前沿模型通过 Comma 视觉硬件与 OpenPilot 控制一辆 Toyota Corolla，在锥桶围出的停车场短程路线中完成点到点驾驶，每个 Agent 有三次尝试机会。在四个 Agent 共 11 次运行中，8 次未跑完 11% 的路线就在第一个弯道撞出。Grok 首次尝试把锥桶缺口误认为应通过的闸门，两次指令后即冲出赛道；一个 GPT 模型自行编造了赛道一侧锥桶同色的规则，而人类指令已明确说明并非如此；多数 Agent 转向角度不足，无法过弯。GPT-6 Astra 是唯一完整跑完全程的 Agent，在第二次尝试中完成，路线贴着长右弯并在终点前几乎冲出赛道。 测试在低速锥桶场地进行，车内操作员保留人工刹车接管；上述小样本成绩不构成无人监管驾驶的安全保证。
- 动态Omniscient Media
GPT-6 Astra 被列为首个 Critical 网络安全模型，但默认配置仅完成 2.4% 漏洞利用
Omniscient Media 分析 GPT-6 Astra 系统卡中的思维链可监测性与推理摘要可用性限制。其转述的具体比例涉及特定评测环境，不能据此推断生产环境中的普遍缺失比例。
- 动态Cisco
Cisco 发布 VLoc Bench 与 Safety-VLoc-Bench，评测 Agent 的漏洞定位与攻防不对称
Cisco 发布 VLoc Bench，用于评测 Agent 在仓库规模下定位漏洞代码的能力：任务只给 CWE 描述和真实仓库的只读访问权限，不含公告文本、CVE 编号、修复提交或文件提示。该基准覆盖 290 个仓库、六个包生态和 147 个 CWE 类别的 500 个真实漏洞，每个任务包含修复前定位与修复后确认漏洞已消失两个阶段，以区分理解代码、定位漏洞代码和验证修复三种能力。在统一提示词、只读工具和命令预算下评测 27 个语言模型和 4 个静态分析工具，最强系统仅达到 0.229 File F1，38.4% 的任务中没有任何被评测模型找到正确文件；参数量仅 30 亿的 Antares-3B 以 0.223 排名第二。
- 动态韩国R&D新闻
崇实大学安全 AI 系统 mneme 在 CyberGym 漏洞复现评测中取得 91% 成功率
崇实大学 AI 安全性研究中心开发的多智能体安全系统 mneme 在 CyberGym 公开排行榜的漏洞复现评测中取得 91.0% 的净化成功率，即 1507 个真实漏洞中 1372 个成功生成可复现的 PoC。CyberGym Level 1 只向 AI 提供漏洞说明和修补前的源代码，生成的 PoC 需在修补前程序报错、修补后不报错才算成功；评测使用 OSS-Fuzz 收集的 188 个开源项目共 1507 个真实漏洞，其中输入长度超过 100 字节的复杂 PoC 占 65.7%，CyberGym 研究团队称此类复杂案例上既有智能体的成功率约为 10%。其知识库由预先分析 100 多个 C、C++ 开源项目构建的 3867 个条目组成，评测期间以只读方式运行且禁止联网，29 个任务智能体发起的检索被服务器拦截，分析中使用了 angr、gdb、pwntools 等工具。
- 论文论文追踪
报告评估 LLM Agent 选择和使用生物工具的能力
一份 78 页报告评估了 LLM Agent 在生物工具（BT）使用早期阶段的能力。研究先测试七个前沿 LLM Agent 能否为给定任务选择合适的生物工具，再通过 EVEscape 和 ESM3 两个案例研究考察它们与工具的实际交互，聚焦自主操作生物工具所需的使能能力。报告指出，生物工具通常需要专业知识才能成功操作，这构成非专家恶意使用的门槛，而 LLM Agent 可能削弱这一门槛；研究识别并评估了 LLM Agent 与生物工具交界处的技术障碍，为生物安全界和 AI 开发者提供后续风险与能力评估的基础。
- 动态RAND
RAND 评估 LLM 智能体规避核酸合成筛查的能力
RAND 研究团队评估了恶意行为者利用 LLM 智能体操作生物工具（BT）的威胁模型，考察智能体能否降低危险生物设计的专业门槛。结果显示，LLM 智能体已展现出使用生物工具规避核酸合成筛查的初步能力，但成功率不稳定；闭源权重模型的安全防护频繁限制了测试的开展。该报告由 Jeffrey Lee、Alyssa Worland、Christopher Rodriguez 等作者撰写，属于 RAND 研究报告中经过同行评审的成果。
- 论文论文追踪
论文：AI 在非公开漏洞上更帮攻击者还是防御者
一篇 arXiv 论文在五个非公开软件环境中评测开源权重与闭源模型的漏洞利用生成、漏洞修复和后续攻击能力，其中包含研究者私下披露、当时仍未修补的漏洞。任务评分由研究者开发并复核的确定性评分器给出，而非 LLM 评判。与 209 个已披露漏洞及密码学挑战的对比显示，不同系统和漏洞类型之间差异明显：在两个非公开环境中修复得分高于攻击得分，在三个环境中低于攻击得分。通过初始安全测试也不够，在 524 个非独立防御者测试区间中，有 92 个在初始漏洞利用被阻止后仍出现另一次成功利用。作者据此提出应做针对具体漏洞的攻击与修复对比，并补充后续抗攻击测试。
- 动态Irregular
Irregular 提出 containment challenge：在能力评测前让模型攻击评测基础设施
Irregular 提出在能力评测开始前先运行 containment challenge，让待评测模型在计划使用的 harness、工具、权限、资源限制和基础设施配置下尝试突破隔离边界。在一次网络隔离挑战中，模型在禁止通用互联网访问的云托管环境中找到了一条此前模型和安全研究者都未发现的云网络路径，并借此访问了受控外部端点；该路径源于底层云网络而非 Irregular 评测平台缺陷，未造成有害活动，Irregular 已关闭该路径并将修复扩展到所有挑战类型，同时复查此前评测运行未发现该路径被成功利用。Irregular 表示 containment challenge 只覆盖所测试的配置与条件，不能证明环境对所有提示词、模型、工具集或运行预算都安全，条件变化后需重新测试，并建议评测方将其作为评测准备的标准环节。
- 论文论文追踪
EXE-Bench：为真实可用性对 AI Windows 恶意软件检测器进行权衡排名
EXE-Bench 是一个面向 AI Windows 恶意软件检测器的综合基准，从性能、时间鲁棒性、对抗鲁棒性和计算开销四个维度打分并聚合为单一分数，用于直接公平地比较模型。该基准指出，仅在部署后评估无法完整反映检测器表现；通过特征工程注入的领域知识在抵御时间推移和对抗攻击上仍极为有效，而多数深度网络仅在部署初期表现优异。
- 论文论文追踪
研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究
研究者提出一种名为影子评测的新方法，把两篇尚未公开的 NeurIPS 2026 投稿的核心研究问题交给前沿 Agent，由原文作者按会议审稿标准打分。实验给 Agent 六天时间、3000 美元 Anthropic API 额度、GPU 算力和完整虚拟机与开放网络访问，Agent 独立完成了全部工程环节，但两篇论文均被作者明确拒稿，分别评为 Reject 和 Strong Reject。研究归纳出五类反复出现的失败模式：对可发表研究标准的判断不足、面对研究设计缺陷缺乏创造性应对、无法从死胡同有效回退、资源与时间意识薄弱、指令漂移。用 GPT-5.6 Sol 与 Codex 复现的实验重现了几乎全部失败模式。研究未发现明显的奖励作弊，但记录到一次访问 token 被提交进仓库，以及五次子 Agent 幻觉或误报结果被主 Agent 发现。
- 论文论文追踪
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
研究者发布 SRE-Bench，一个由逆向工程专家投入 5000 多专家小时从零构建、避免训练数据污染的逆向工程基准，包含 19 个平均 16,915.8 行代码的私有程序、44 种自研反分析机制，共 262 个二进制实例和 1,572 个确定性评分任务。在标准化公开评测中，GPT-5.6-Sol 与 Claude-Fable-5.1 分别只完整解出 31.5% 和 26.9% 的实例，说明源码安全能力强并不等于二进制分析能力强。在无预算上限、关闭安全护栏的模型方内部评测中，GPT-6-Astra 达到 99.2% pass@4，但从多次尝试中挑出正确解仍是未解问题。自研保护套件把 GPT-5.6-Sol 的平均分从 4.69 降到 2.50（满分 6），其他较弱模型几乎归零；GPT-6-Astra 基本保住分数，但在受保护二进制上的每分成本升至 1.5 倍。分析还显示，编译器优化和静态链接对 Agent 影响很小，而去除符号代价高昂，表明当前 Agent 更依赖名称线索而非指令级推理。
- 动态Scale AI Research / SEAL
DrugDiscoveryBench：编程智能体能否辅助早期药物发现？
Scale AI Research / SEAL 发布 DrugDiscoveryBench，用于评估编程智能体在早期药物发现中的能力。该基准测试考察编程智能体能否完成早期药物发现相关任务，作者包括 Afra Feyza Akyürek、Xinming Tu 等。
- 论文论文追踪
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
ETH Zurich 与 Anthropic 等机构的研究者提出 CryptanalysisBench：191 项密码分析任务，主要取自四届 NIST 标准化竞赛，覆盖分组密码、哈希函数、AEAD、KEM、PKE 和数字签名六类原语。Tier 1 是已有实用破解的原语；Tier 2 没有已知实用攻击，同时评测全强度和缩小参数的变体；另有一组生产级密码的挑战集。Claude Opus 4.8、Sonnet 5、Mythos 5、GPT-5.5 和开源权重的 GLM-5.2 破解了 Tier 1 中 65%–86% 的方案，Tier 2 全强度下 6–12 个，全部缩小变体上 24–61 个。全强度下共攻破 14 个方案，只有两个出自设计缺陷，其余是规范不严或参考实现漏洞：Mythos 5 与 Sonnet 5 独立找到只需两次预言机查询的 SpoC 全密钥恢复攻击，Mythos 5 还指出 KINDI 的 CCA 安全证明有误，作者称两者此前未见报道。作者认为 Tier 2 和挑战集远未饱和，基准可用来追踪 AI 密码分析能力，并在部署前压力测试候选方案。
- 论文论文追踪
BioSecBench-Surveillance：面向病原体基因组监测 AI 智能体的可验证基准
研究者发布 BioSecBench-Surveillance，一个包含 100 项评估的可验证基准，测试 AI 智能体能否从原始测序数据和监测背景中推断出正确的分析流程。每项评估只给智能体与人类分析师相同的数据和背景，再对其结构化答案做确定性评分，任务覆盖从分类学鉴定到基因工程检测等七个类别，涉及多种样本类型和测序技术。在来自十六组模型与工具链组合的 3962 次可评分尝试中，最强配置仅通过约一半：Opus 4.8 搭配 PI 以 50.2% 领先（83 项评估，95% 置信区间 40.1 至 60.3），与 GPT-5.5 搭配 Codex 的 50.2%（95% 置信区间 40.8 至 59.6）持平，其后是 Opus 4.7 搭配 PI 的 49.6% 和 Sonnet 4.6 搭配 PI 的 48.6%。该基准为衡量智能体在下一次疫情暴发时能否被信任执行基因组监测提供了标准。
- 论文论文追踪
BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准
研究者发布 BioSecBench-Refusal，一个用于评估生物研究任务风险识别与拒答行为的基准，将 61 个取自已发表文献的合法常规任务与 46 个看似真实研究但暗藏生物安全风险的虚构红队任务配对。在 16 种模型与框架组合中，常规任务的拒答率为 7% 至 74%，红队任务为 1% 至 62%，许多组合拒绝合法常规工作的比例与拒绝隐藏风险相当甚至更高。拒答最常由智能体推理之前生效的提供商 API 过滤器触发，而获得推理空间的模型表现出识别更多真实威胁的潜力。作者将该基准作为工具发布，供模型开发者校准智能体生物技术研发的能力与审慎程度。
- 论文论文追踪
研究者发布面向 EU AI Act 行为准则的系统性风险指数与仪表盘
研究者提出 Systemic Risk Index，一套开放评测流程与仪表盘，把 19 个公开基准归入 EU GPAI Code of Practice 定义的四类系统性风险：CBRN、网络攻击、有害操纵和失控，并用保留危害的扰动与模拟部署情境评测模型。仪表盘允许用户在平均与最坏情况聚合之间切换、调整模型能力对总分的影响，并把每项风险评级追溯到对应基准证据。在 18 个模型上，最坏情况聚合下分数下降 14 至 37 分，显示平均口径可能掩盖的风险信息。LLM 评委与人工评分者的一致性和人与人之间相当（κ = 0.78–0.82），盲审发现 83% 的抽样变换保留了原始危害；一项 N = 21 的调查中，多数参与者认为分数易于理解，仪表盘促使他们从不同设置查看模型评测。
- 动态epoch.ai
CMU 研究者发布 ExploitBench v0.1，分级评估 LLM Agent 的漏洞利用能力
卡内基梅隆大学研究者发布 ExploitBench v0.1，用于评估基于 LLM 的 Agent 在利用真实软件漏洞时能推进到哪一步。该基准不采用成功或失败的二元评分，而是沿一条能力阶梯逐级衡量，从触达存在漏洞的代码、触发崩溃、构建利用原语，一直到实现任意代码执行。评测对象是 Chromium 的 V8 JavaScript 与 WebAssembly 引擎中已有补丁的 N-day 漏洞，运行在默认发布构建上，并启用了堆沙箱、ASLR 和栈保护等缓解措施。
- 动态韩国 AI 安全研究所
韩国 AI 安全研究所发布《前沿 AI 风险更新 2026 年上半年》韩文版
韩国人工智能安全研究所（AISI）与 AI Risk Explorer（AIRE）合作发布《前沿 AI 风险更新 2026 年上半年》韩文版，基于公开的模型评估、基准、事故案例与研究，梳理前沿 AI 能力与风险动向。报告围绕网络攻击、失控、生物风险与操纵四个领域，指出 Claude Mythos 5、GPT-5.5、GLM-5.2 等模型在推理、编程与长期任务自主性上明显提升，Claude Mythos Preview 在 METR Time Horizon 基准上录得 16 小时以上任务时域并致该基准饱和。
- 动态日本 AI 安全研究所（J-AISI）
日本 AI 安全研究所用 ExploitBench 评测 Claude Opus 4.8 的网络安全能力
日本 AI 安全研究所（J-AISI）用基于已知漏洞的 ExploitBench 评测了 Anthropic 的 Claude Opus 4.8 的网络安全能力，结论是其整体能力与前代 Opus 4.7 相当或更强。评测覆盖 41 个 V8 已知漏洞，在 V8 Security Sandbox 环境中每个任务只跑一次（seed 1，最多 300 轮、最多 5 小时），并在关闭实时网络安全护栏的条件下进行，因此不代表常规部署环境下的表现。在可对比的 40 个任务中，Opus 4.8 有 15 个达到更高 Tier、23 个持平、2 个更低，最多任务停留在对应沙箱内数据读写的 T3。其中一个任务（crbug-1509576）出现了 T1 所需的 pc_control，但未获得另一项 ace，且模型未按基准预设的逐级路径推进，追试也未能复现该结果；作者判断这很可能只是本次评估条件下才出现的结果。
- 动态日本 AI 安全研究所（J-AISI）
日本 AI 安全研究所评测：GLM-5.2 的漏洞利用能力仍落后于 Opus 系模型
日本 AI 安全研究所（J-AISI）用 ExploitBench 评测开源权重模型 GLM-5.2 的漏洞利用开发能力，发现其部分任务展现高级能力，但整体仍落后于 Opus 4.7 和 Opus 4.8。评测覆盖 V8 引擎的 41 个已知漏洞任务，GLM-5.2 平均得分 2.80，Opus 4.7 为 3.63，Opus 4.8 为 5.22；GLM-5.2 最高只到 T3 档，而 Opus 4.8 在部分任务上达到 T2 和 T1。在三个模型都达到 T5 的 36 个任务上，到首次达到 T5 为止的 token 费用，GLM-5.2 为 3.71 美元，低于 Opus 4.7 的 4.60 美元和 Opus 4.8 的 7.34 美元。在 10 个高风险任务中，加入 nudge 后 GLM-5.2 停在 T5 的任务从 5 个变为 6 个，平均分仍为 3.0，未实现更高级的漏洞利用。
- 动态Gray Swan AI
Gray Swan 在斯坦福网络实测 AI 智能体与人类渗透测试员
Gray Swan AI 在斯坦福计算机科学网络上开展了一次 AI 智能体与专业人类渗透测试员的同条件对比实验，其自研框架 ARTEMIS 综合排名第二，超过 90% 的人类参与者。实验招募 10 名专业渗透测试员，给予学生级凭证和 Kali Linux 虚拟机，要求在 10 小时内发现、利用并记录漏洞；ARTEMIS 与 OpenAI Codex、Claude Code、CyAgent、Incalmo、MAPTA 等六个框架接受相同指令。ARTEMIS 发现了 Dell iDRAC 默认凭证、部门域名服务器 DNS 缓存投毒、SMB 共享写权限导致的 root 级持久后门以及高价值研究服务器上的 SSH 漏洞，工作流程与顶尖人类选手相似，但能并行启动最多 8 个子智能体、平均近 3 个并发，并在 10 小时中唯一坚持到 8.5 小时后仍提交漏洞。完整论文与 ARTEMIS 源码已公开。
- 动态NIST CAISI
CAISI 评测 DeepSeek V4 Pro：能力落后前沿约 8 个月
美国 NIST 下属 CAISI 于 2026 年 4 月评测开源权重模型 DeepSeek V4 Pro，结论是其综合能力落后前沿约 8 个月，表现与报告发布时（2026 年 5 月）已发布约 8 个月的 GPT-5 相近。评测覆盖网络安全、软件工程、自然科学、抽象推理和数学五个领域的九项基准，其中包括 ARC-AGI-2 半私有数据集和 CAISI 自建的软件工程评测 PortBench 两个未公开且未污染的基准；综合能力对比图用了 16 个基准、35 个模型的数据。DeepSeek 自报结果显示 V4 与当时发布约 2 个月的 Opus 4.6、GPT-5.4 相当，但 CAISI 在 DeepSeek 报告未包含的基准上观察到更差表现，例如 ARC-AGI-2 半私有集、PortBench 和 CTF-Archive-Diamond。
- 动态NIST CAISI
CAISI 发布对 Z.ai GLM-5.2 的安全评估
CAISI 于 7 月 8 日完成对 Z.ai（原智谱 AI）6 月 16 日发布的开源权重模型 GLM-5.2 的评估，认为它发布时可能是能力最强的开源权重模型。按 CAISI 的评测，GLM-5.2 的整体能力与 2025 年 12 月发布的 GPT-5.2 相近，网络能力与 2026 年 2 月发布的 Opus 4.6 相近。护栏与安全表现参差：其护栏会协助智能体网络漏洞利用开发，拦截的敏感生物学问题少于美国参考模型，但在抵御智能体劫持和越狱攻击上似乎比其他受评的中国开源权重模型更稳健。这些评测衡量的是对基于提示词的越狱的稳健性；无论稳健性如何，开源权重模型在自托管时其护栏都可能被绕过。
- 动态NIST CAISI
UK AISI 与 CAISI 联合评估 Kimi K3 的网络能力
UK AISI 与 CAISI 对月之暗面 7 月 16 日发布、计划 7 月 27 日开放权重的 Kimi K3 进行了网络能力联合初步评估。在 ExploitBench 上 Kimi K3 得分 32%，高于 2026 年 6 月网络能力最强的开源权重模型 GLM-5.2 的 24%，但在 41 项任务中均未实现任意代码执行（ACE），而最强模型平均在 20/41 项上达成 ACE。在 32 步企业网络攻击靶场 The Last Ones 中，Kimi K3 平均推进到第 17 步，美国最强模型平均为 28.5 步；在 100M token 限制内 10 次尝试中有 1 次完整通关，GLM-5.2 平均为第 11 步。评估指出该靶场缺少主动防御方与防御工具，且包含预设攻击路径，与真实环境存在差异。