HoneyBench：前沿模型奖励作弊通用基准

Scale AI 推出 READY 企业 Agent 部署评测框架

Scale AI 研究团队发布 Reliable Enterprise Agent Deployment（READY）评测框架，用于判断 AI Agent 能否在具体企业工作流中部署。该框架在保留各工作流自身成功定义的前提下，测量人机系统的可靠性与运行成本，从候选监督策略中选出满足指定可靠性目标的最低成本策略，并在留出案例上做统计资格认定，输出包含可靠性、人工监督负担和成本的部署画像。READY 以开源测试床实现，将工作流定义、执行、评测与部署资格认定解耦，可运行在现有 Agent 评测基础设施上。在覆盖 16 个 Agent 系统、750 个案例的临床审计端到端案例中，两个自主准确率仅差 0.3 个百分点（72.8% 与 72.5%）的系统，在同一 76% 可靠性目标下分别需要 39.2% 和 29.6% 的人工复核。

MLCommons 联合 Google DeepMind 完成首个闭源模型双重盲测概念验证

MLCommons 与 Google DeepMind、OpenMined、AVERI 合作完成了全球首个针对闭源模型的双重盲评概念验证，通过密码学保证在不暴露双方资产的前提下运行评测。该方案由 AVERI 借助 OpenMined 的安全计算执行，在一个容器化的 Google DeepMind 模型中运行来自 AILuminate 安全基准预留子集的提示词，确保被测模型此前从未接触过这批题目。此举使开发者看不到测试数据、仪器方（MLCommons）与审计方（AVERI）也拿不到模型的权重，从而避免污染基准并维持其完整性。

NVIDIA AVO 在 ARC-AGI-3 达到 100%，展示面向长周期自主智能体的前沿级通用架构

NVIDIA 的 AVO 在 ARC-AGI-3 上取得 100% 成绩，其定位是支撑长周期自主智能体的前沿级通用架构。该工作强调前沿语言模型只是 AI 智能体的组件之一，真正决定可靠性的是被称为 harness 的外围系统——它负责模型获取上下文、调用工具、维持状态、响应反馈以及从失败中恢复的方式。

Datadog 实测：编码 Agent 的 plan 模式并未写出更安全的代码

Datadog Security Labs 用同一提示词让 Sonnet 5、Composer 2.5、GPT 5.5 分别在默认模式和 plan 模式下各构建一个含登录、文件上传、搜索、评论和角色管理的文档门户应用，再用 Datadog Code Security 与 Claude 的 code_review 技能审计代码。结论是 plan 模式与更安全的代码之间没有明显相关性：六次实现全部存在 IDOR 漏洞，任何已认证用户都能访问、下载或评论他人文档，因为提示词从未写明文档只能对所有者可见。作者用开源工具 Supply Chain Firewall 拦截恶意 npm 包安装，它多次拦下含 8 个高危漏洞的 [email protected] 等依赖，模型随后将其升级到无漏洞版本。作者认为提示词对减少安全漏洞的影响大于模式选择，后续将测试专门的安全技能与提示词。

IAPS 测评 LLM 商品分类能力：Claude Opus 4.8 初步表现可行但仍需更多测试

IAPS 用定性方法测试了大语言模型的出口管制商品分类能力，给 Claude Opus 4.8 提供 ecfr 工具访问联邦法规 API，让其判定物品对应的 ECCN。该模型能跨《出口管理条例》检索并组合条款、借助图像识别 NVIDIA Vera Rubin AI 加速卡、依据名称认定 ASML EUV 光刻机属受控物项，还能准确做单位换算，但也存在依赖题目中暗示参数的问题。由于商品分类容错率为零且人工复核无法省力，IAPS 建议 BIS 设立试点，并用制造商数据表等更贴近真实的输入继续测试。

TERMINAL-BENCH 3.0 发布：面向更强智能体的更难任务

Scale AI 参与发布开源基准 TERMINAL-BENCH 3.0，任务难度较 2.0 提升，前沿模型在其上的解决率不足 40%。该基准在隔离 Docker 沙箱中让 AI 智能体操作真实 shell，按最终结果而非自述评分，覆盖约 16 个类别，Scale 是单一机构中贡献任务最多的一方。

腾讯玄武 Atuin AI 在 CyberGym 上的表现：GLM-5.2 更新结果

腾讯玄武 Atuin AI 换用 GLM-5.2 重新评估后，在 CyberGym 全部 1,507 个任务上 pass@1 达 84.8%（1,278 个任务），较 GLM-5.1 的 84.0% 提升 0.8 个百分点。相同 GLM-5.1 下，Atuin AI 比 Claude Code 的 68.7% 高出 15.3 个百分点。本次实验新增代理白名单，仅允许连接 LLM 提供商、Python/npm 包注册表和内部服务，其余设置不变。

Adversa AI 发布 AIRQ 框架，对 100 多个 AI 智能体做安全评级

Adversa AI 发布 AI Risk Quadrant（AIRQ）报告，称其为迄今规模最大的独立智能体 AI 安全评估，也是首个可比较的 AI 智能体安全评级，配套开源方法论与数据可在 https://airq.adversa.ai/report 获取。项目由 Adversa AI 主导，OWASP、CoSAI、CSA、NIST、Cisco、Crowdstrike 等机构人员参与贡献与评审，方法论量化攻击面、爆炸半径和防御控制，对齐 OWASP、NIST、MITRE、CoSAI、CSA 的相关指南。

Stanford CRFM 联合 Arabic.AI 发布 HELM Arabic Enterprise 企业级阿语大模型排行榜

Stanford CRFM 与 Arabic.AI 合作推出 HELM Arabic Enterprise，基于 HELM 方法论对企业用例下的阿拉伯语大语言模型进行透明可复现评测。该榜单涵盖六项任务——文章生成、金融多选题问答、金融布尔判断题、金融计算题以及法律开卷与闭卷问答，各实例按 0 到 1 打分并取宏平均作为模型得分。其中文章生成由 LLM-as-judge 从忠实性、完整性和风格遵循三个维度评分，用以惩罚模型幻觉与遗漏关键事实等问题。

Snyk Labs 实测 Opus 4.7 等模型在四个代码库上的漏洞发现能力

Snyk Labs 用四级难度递减的提示词，让 Opus 4.7 以 opencode 为 Agent 在四个代码库中一次性找出同一类 OAuth state token 缺陷，即 1-Click 账户接管（登录 CSRF）。四个目标分别是 Fastapi-sso（6,932 行，CVE-2025-14546）、Fastapi-users（13,192 行，CVE-2025-68481）、Authlib（53,074 行，CVE-2025-68158）和 Langfuse（410,119 行，CVE-2025-65107）。作者发现 Opus 4.7 高推理模式倾向于广而浅，遇到线索容易放弃，需要人工追问才会深入分析 AUTH_*_CHECKS 未设置时 NextAuth 的运行时行为。作者强调这不是基准测试，只是一次小规模探索。

CRUX 提出开放世界评测：AI 智能体自主开发并上架 iOS 应用

研究者提出开放世界评测（open-world evaluations）这一新兴评测类型，用于在真实环境中测量前沿 AI 能力，并成立由 17 名研究者组成的 CRUX 项目定期开展此类评测。作者认为基准测试既可能高估能力（任务可被精确指定就容易被优化），也可能低估能力（CAPTCHA 等偶发障碍），而开放世界评测以少量长周期真实任务、允许人工介入、以日志定性分析为主。

Frontier Model Forum 发布 AI 生物安全评估初步分类体系

Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报，提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类：基准评估、红队演练和对照研究；领域涵盖科学知识与科学推理性评估及危害性生物知识评估，后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识，旨在推动建立有效的 AI 生物安全评估生态。