研究者提出 EngiWorld，一个围绕完整设计闭环构建的工程 Agent 基准，包含 6 个工程领域（CAD、CAE、CAM、BIM、EDA 和 3D 可视化）、26 个专业软件平台、GUI 与 CLI 两种界面以及 6 类任务，共 1301 个专家整理的任务。该基准采用以产物为中心的评价方法，通过统一的领域验证器套件程序化检查最终与中间产物的几何有效性、物理可行性和规则合规性，并按规格达成度对定量设计任务连续打分，而非二元判定成功。对 7 个前沿模型的评测显示存在明显能力缺口：最强模型的 EngiScore 仅为 44.3，多软件任务的尝试成功率只有 3.6%。
研究者发布 Sys1Cal-v1 基准，其每个命题的真实概率由构造已知，可直接评估结构化概率输出而非仅检查预测类别的置信度。在 Jev 上测试发现其原语间存在明显不对称：Noul 与 Score 接近真实概率，而二元 Choice 输出出现系统性非线性失真，可通过引入 True、False 之外的潜在第三分量 Uncertain 来建模，Choice 相当于移除不确定质量后对 True/False 重新归一化。该现象意味着显式表示不确定性可支持不同下游动作，如高错误代价时延迟决策；Sys1Cal-v1 与评估代码已公开，作者希望在其他结构化决策模型上复现，以检验二元或分类输出是否普遍压制决策相关的不确定性。
Import AI 作者称自己现在持有一个不太情愿的判断——无人类参与的 AI 研发有 60%+ 概率会在 2028 年底前发生，届时将出现能自主造出其继任者的 AI 系统。支撑证据来自编码能力的快速攀升：SWE-Bench 于 2023 年末发布时最高分仅由 Claude 2 取得约 2%，如今 Claude Mythos Preview 已达 93.9%，基本饱和该基准。METR 数据显示 AI 可靠完成任务的时间跨度从 2022 年 GPT 3.5 的约 30 秒升至 2025 年 GPT 5.2 (High) 的约 6 小时，Ajeya Cotra 预计 2026 年底可达约 100 小时。
本期 Import AI 汇总了三项研究：伦敦国王学院、复旦大学与 Alan Turing Institute 构建了 SocioHack 基准，用 72 个沙盒社会环境测试 AI 在信用卡积分、学校评分等场景中钻制度空子的能力，其中 32 个历史环境取自真实法规被修补前的漏洞，RL 训练下模型能以 61.25% 召回率和 90.85% 精确率重新发现这些历史漏洞。Anthropic 方面称观察到 2026 年合并进代码库的代码量相比 2021 至 2024 年增长 8 倍，该趋势始于 2025 年并在 2026 年加速，但作者认为尚无证据表明模型能提出推动领域前进的范式级想法。
牛津大学、英国 AI 安全研究所、斯坦福大学与伦敦政治经济学院的研究人员通过四项实验、覆盖 6923 人共 18978 场对话发现，当前 AI 系统在文本说服上比人类专家更具说服力，其中 Opus 4.1 与 Opus 4.6 表现最强，其后是 OpenAI 的 GPT-4o、GPT-5.4，Google 的 Gemini 2.5 Pro 及 xAI 的 Grok 4.20。若将 AI 约束为人类书写速度与人际消息长度，其对顶尖人类的优势从 +4.1pp 降至不显著的 0.0pp，说明产出速率是其说服力优势的主要来源。
Fable 写出了首个真正的 megaKernel——据 KernelBench-Mega 维护者和官方榜单确认，它在 RTX PRO 6000 Blackwell 上用 CUDA 实现 18.71X 加速，超过 Claude Opus 4.8 的 14.4X、GLM-5.2 的 11.14X 和 GPT 5.5 的 4.34X，且每个解码 token 仅一次协作内核启动，其他高分方案需 4–14 次。
英国政府 AI Security Institute（AISI）首次公开分析开源权重模型在网络安全能力上落后闭源前沿模型的程度，结论是今年的差距已经缩小。在 70 项细分网络能力评测上，GLM-5.2 最接近早 4.3 个月发布的 Claude Opus 4.6，DeepSeek-V4-Pro 介于 Claude Opus 4.5 与 GPT-5 之间；而 2025 年大部分时间测得的差距为 6 到 10 个月。在名为 The Last Ones 的长周期网络靶场上差距更大，GLM-5.2 仅达到 Opus 4.5 的水平，DeepSeek V4-Pro 低于 Sonnet 4.5。
Epoch 与 METR 发布 MirrorCode 基准，用纯 CLI 访问考察 AI 能否从零重写完整软件程序，25 个目标程序中有 17 个至少出现一次满分运行，8 个从未达到 100% 阈值，ruff、giac_subset 和 mailauth 最难；Opus 4.7 用 14 小时、251 美元推理成本完成一项 METR 与 Epoch 估计人类需 2 至 17 周的任务。Anthropic 的 Project Fetch 第二阶段显示，2025 年 8 月 Claude Opus 4.1 完全无法完成四足机器人任务，而 2026 年 5 月 Opus 4.7 自主在 9 分 35 秒内完成除一项外的全部任务。
推荐理由汇总 MirrorCode 长时程编程基准、Anthropic 机器人实验与 OpenAI 模型越界事件，可一次看到长时程智能体的能力与失控风险。
一篇以 Arnold Lobel《青蛙和蟾蜍》风格写成的解释性文章，用于向不熟悉 AI 安全议题的读者介绍 HuggingFace 与 METR 报告，配图由 HungerArtist 绘制。作者称这样写是为了让更多人（比如自己的妈妈）能读懂 METR 报告相关内容，并鼓励读者在 Substack、Twitter、Facebook 或 Instagram 上点赞关注以扩大传播。
作者发现 CoTControl 评测对提示词高度敏感，用 Claude Opus 4.6 迭代提示词模板后，开源模型的表现提升约 2-3 倍甚至更多，例如 GPT-OSS-120B 从 5.5% 升到 15%。该评测要求推理模型在解题时让思维链遵守格式约束，如全小写、避开某个词，近期模型得分多在 0-30% 之间，Mythos Preview 例外。OpenAI 和 Anthropic 在 GPT-5.5、Fable 5 的 System Card 中引用这一成绩，论证前沿模型不擅长以降低可监控性的方式塑造思维链。
OpenAI 对齐研究团队公开了一套基于去标识化生产流量构建对齐评测的流程，用于在部署前发现和跟踪模型的不当行为。流程从用户允许用于模型改进的 ChatGPT 对话中抽取代表性流量，去掉最后的模型回复后用新模型重新采样，再由 LLM 监控器以探索性或针对性提示词标注行为。团队以 GPT-5 流量构建评测并用于 GPT-5.1，发现了训练期 bug 导致的 Calculator Hacking 行为，该行为最终占 GPT-5.1 部署期欺骗行为的大部分，且评测估计的行为发生率与部署后实际发生率较为接近。
推荐理由OpenAI 公开了用去标识化生产流量构建对齐评测的完整流程，并给出评测感知与部署行为发生率之间的对照数据。
OpenAI 发布 CoVal 数据集，用众包方式提取驱动模型回复偏好的价值观，并配套一套可审计的评分标准。研究招募约 1000 名来自 19 个国家的参与者，对合成价值观敏感提示词进行排序并撰写、评分标准，清洗后保留 986 个提示词和约 15000 条标准，发布保留全部原始标准的 CoVal-full 和每提示词保留 4 条高评分兼容标准的 CoVal-core。验证研究用 982 名评分者对 140 个提示词的新回复排序，CoVal 得分较高的回复在约 60% 的成对比较中胜出，与群体聚合排序的一致率 CoVal-full 为 0.75、CoVal-core 为 0.76。
OpenAI 发布首个完整版 Model Spec Evals，用于衡量模型遵循 OpenAI Model Spec 的程度。该评测覆盖 Model Spec 全部政策章节，包含 596 条提示词和 225 个具体关注点，每条提示词配有说明合规边界的评分细则。评分由自动评分器 GPT-5 Thinking 完成，对每条回复采样五次合规分（1-7）取中位数，1-5 判为不合规、6-7 判为合规。
推荐理由OpenAI 公开了 Model Spec 合规度评测的完整数据集、评分流程与各代模型得分，可供研究者复现并比较模型行为。
OpenAI 提出对前沿模型及其防护措施开展严格、安全、独立第三方 AI 安全评估的优先事项与原则。内容聚焦评估的严谨性、安全性与独立性，适用于前沿模型及其防护措施的第三方评估。
MentalHealthBench 是一个由专家参与制定的基准，用于评估 AI 在贴近真实的心理健康对话中给出的回复是否有帮助且安全。它同时覆盖有用性与安全性两个评估方向。
腾讯 AI-Infra-Guard 发布 v4.1.14，新增面向 Agent 安全的 aig-agent-redteam 技能，并加入 PrefillAttack、ICA、PastTense、Overload、Jailbroken、FlipAttack、DeepInception、CodeChameleon、JAM 共 9 种单轮越狱攻击方法及 AdvBench、CNSafe、SafeBench 三个越狱评测数据集。该版本还将调度改为轮询选择 Agent 以实现负载均衡，并在文档中补充上述数据集致谢、更新 DeepTeam 仓库地址。
Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报，提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类：基准评估、红队演练和对照研究；领域涵盖科学知识与科学推理性评估及危害性生物知识评估，后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识，旨在推动建立有效的 AI 生物安全评估生态。
Frontier Model Forum 发布议题简报，提出 AI 生物安全评测信息的三级报告框架，按公开、可信网络内共享、仅私下披露划分披露范围。Tier 1 可公开发布研究问题、科学领域、高层级评测方法、参与者背景、受测模型、任务示例、分析方法和关键高层级结论及研究局限；Tier 2 限可信网络共享完整威胁模型、深入评测方法、结果详细解读和模型增强细节；Tier 3 仅在决策相关方之间私下披露具体模型漏洞、特定训练数据和私有数据集。该框架采取预防性思路，信息只有在确信更广泛传播不会带来信息或注意力风险时才扩大共享范围，部分条目的报告层级取决于评测结果，例如确认新型生物威胁或可利用漏洞的高层级结论可能不宜公开。
Frontier Model Forum 启动前沿 AI 框架技术报告系列，计划在未来数月内陆续发布四份报告，分别覆盖风险分类与阈值、前沿能力评估、缓解措施以及第三方评估。该系列旨在说明不同组织情境下如何有效落地前沿 AI 框架，并推动实施标准的形成。目前已有 12 家主要 AI 开发商发布了各自的前沿 AI 框架，其中包括 Google DeepMind 的 Frontier Safety Framework、Anthropic 的 Responsible Scaling Policy 和 OpenAI 的 Preparedness Framework。
Frontier Model Forum（FMF）通过 AI Safety Fund 公布三项应对 AI—生物风险的资助进展。SecureBio 开发了含 322 道多模态问题的 Virology Capabilities Test（VCT）基准，Nemesis Insights 则建成约 1,000 条高质量细菌生物威胁提示词的 BBG 框架，两者数据集将提供给安全团队、监管机构和学术研究者。此外，FMF 联合 Sentinel Bio 资助一项大规模 BSL-2 湿实验室研究，对比有无领先多模态 AI 辅助下新手完成实验的成功率，全部结果将在发表前经独立的生物安全与国家安全专家顾问委员会预先审核。
SPY Lab 提出一套基于蜕变测试的评测框架，在无法获得真值的情况下通过输入域的一致性约束检验超人类模型。方法对棋盘镜像、旋转等语义等价变换施加约束，测试超人类国际象棋 AI Leela Chess Zero，发现多处明显违反一致性的大偏差，包括镜像后胜率估计截然不同、唯一合法走法前后胜率不一致。在 GPT-4 上，作者用自建预测数据集测试单调性与概率互补等约束，发现其预测常不满足单调性，且在贝叶斯定理约束上违反率超过 50%；GPT-4 相比 GPT-3.5-turbo 一致性有明显提升。
推荐理由提出用一致性约束在无真值领域评测超人类模型，并给出黑盒与白盒搜索的效率对比数据。
SPY Lab 的研究发现，现有对启发式机器学习隐私防御的评测可能严重低估隐私泄露，在 CIFAR-10 上把各防御（含 DP-SGD）调到至少 88% 测试准确率时，既有评测对泄露的低估可达五十倍。作者指出常见评测的三个问题：只关注群体层面的隐私、使用弱且非自适应的攻击、对比低效用的 DP 基线。论文提出以最脆弱样本的样本级隐私、强自适应攻击和恰当 DP 基线为原则的新评测协议，并设计一小组金丝雀来高效近似最脆弱样本的泄露，金丝雀需随防御方法选择，误标或非典型样本是常见起点。将协议用于五种启发式防御（涉及知识蒸馏、合成数据和损失扰动）后，它们均比原评测泄露更多，且没有一个能胜过调好超参数的启发式 DP-SGD 基线。
推荐理由原文指出隐私防御评测普遍高估防护效果，并给出可复用的样本级评测协议与金丝雀设计思路。
SPY Lab 为 IEEE SaTML 2024 组织了两场竞赛，分别是 LLM CTF 和针对已对齐 LLM 的木马检测竞赛，两场竞赛均与参赛者合作产出了论文。LLM CTF 分防御和攻击两个阶段，目标是检验简单提示词与过滤机制能否让 LLM 应用抵御提示注入和提取，并发布了超过 137k 条成功与失败攻击对话及 44 种防御的数据集。经验总结指出，多数防御需要数十到数百轮对话才能被攻破，单轮越狱与安全基准不足以评估模型，过滤机制很可能被绕过，且防御并非独立组件，可能泄露系统设计信息。
推荐理由组织者复盘两场竞赛的攻防结果，其中多轮攻击与后门搜索的发现可用于改进模型安全评测设计。
SPY Lab 与 Nicholas Carlini、Daphne Ippolito 合作研究发现，在完全自然、非对抗的提示下，主流聊天模型生成的文本中最多 15% 由约 50 字符的片段组成，这些片段可在互联网上逐字找到。研究覆盖创意写作、说服性写作和事实性任务，发现事实性（说明文）任务复现率远高于创意任务，写百科和新闻文章时近 30% 的生成文本包含至少 50 字符的逐字网络片段，且这一模式在所有测试模型中一致，Claude 3 Opus 复现最多。与人类对比，人类文本中位数不含 50 字符的逐字网络片段，而 LLM 文本中位数最多含 10%。
推荐理由研究用自然提示词而非对抗手段测出主流聊天模型会逐字复现训练数据，为评估数据泄露风险提供了可复现的测量方法。
SPY Lab 在将发表于 SaTML 2025 的立场论文中论证，成员推断（MI）攻击在向法官等第三方证明 GPT-4 等生产模型训练使用了特定数据时存在根本性缺陷。作者将训练数据证明形式化为假设检验，指出其关键在于证明假阳性率（FPR）足够低，而现有研究通过采样零假设来估计 FPR，必须完全控制数据生成与模型训练过程。
SPY Lab 提出越狱税（Jailbreak Tax）指标，衡量越狱成功后模型效用相对基线的下降幅度，并给出配套基准。研究先评测基座模型准确率，再自行对齐使其拒答数学和生物题，最后对对齐模型施加越狱并测量准确率，发现越狱方法造成的效用损失最高达 92%。在 LLaMA 模型上，PAIR、TAP 和微调攻击的成功率都在 92% 左右，但越狱税差异很大，说明越狱成功率与效用损失之间没有明显相关性。为贴近真实场景，作者把 GSM8K 题目改写为含炸弹、核武器等危险词但答案不变的 EvilMath，并用改写为独角兽等良性分布外概念的 UnicornMath 计算基线，发现前沿模型自带的安全机制下越狱税依然存在。
推荐理由提出越狱税这一指标，用可客观评分的基准量化越狱后模型效用的下降，为比较不同越狱方法提供新维度。
SPY Lab 在博客中介绍其新论文，认为当前对 LLM 预测能力的评测容易出错，难以支撑“LLM 预测水平媲美优秀人类预测者”的结论。
Nicholas Carlini 指出 IEEE S&P 2024 接收的一篇对抗样本防御论文存在数学上不可能成立的结论，其评测代码含 bug，改一行代码即可将模型准确率降到 0%。该论文声称在 MNIST 上扰动上限 0.5 时准确率超过 60%，但任何图像与全灰图像的最大范数距离都不超过 0.5，因此 10 类分类下稳健准确率上限只能是 10%。论文还声称受攻击时准确率（94%）高于未受攻击时（83%），作者认为这说明所用攻击比恒等变换还弱。
推荐理由作者以两篇顶会论文为例，说明对抗样本防御评测中哪些数字在数学上不可能成立，可供审稿与复现参考。
加州政府已将 AI 助手 Poppy 向员工开放，北达科他州立法委员会和洛杉矶高等法院也相继引入 AI 处理法案总结与案件管理。《华盛顿邮报》近期测试显示，Gemini 3.1 Pro 和 Claude Opus 4.8 是仅有的多数情况下能对政策问题提供意识形态中立回答的前沿模型。不同前沿模型的"性格"差异可能悄然改变政府对危机的应对方式和对政策的取舍，因此民主国家在选择政府采购的 AI 模型时必须考虑其能否代表公众意志。
Google DeepMind 启动新一轮国家 AI 合作伙伴计划，与新加坡政府及多家机构共建面向公共部门转型、商业增长与劳动力升级的项目。双方将前沿 AI 应用于医疗健康与生命科学——包括探索 AI 辅助临床医生协作模式、借助 AlphaFold 与 Google Earth 加速东南亚疫情防范研究，并向当地研究者培训基于 Co-Scientist 构建的 Hypothesis Generation 等智能体化科研工具。教育方面向中小学至初级学院全体教师提供 Gemini for Education 并配套培训，同时在新加坡落地亚太区"AI for the Planet"加速器扶持气候科技团队。
Google DeepMind 推出 Gemini 3.5 Flash Cyber，一款基于 3.5 Flash 微调的轻量网络安全模型，用于快速发现、验证和修补漏洞，在相关任务上优于 Gemini 主线 Flash 模型。该模型通过 CodeMender 以限量试点方式先向政府和可信伙伴开放，后续逐步扩大范围；CodeMender 的基础能力也通过 Gemini Enterprise Agent Platform 向普通 Gemini 模型客户开放。
推荐理由Google 公开了 3.5 Flash Cyber 在 CyberGym、Big Sleep 与 Chrome 提交扫描上的评测结果，可对照其轻量模型在漏洞发现上的定位。
Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测，把外部评测限制在密码学“盒子”内，避免测试题目被模型提前用于优化性能。该试点与新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境中用保密基准测试一个 Gemini Flash Lite 模型。Google 表示，随着模型能力提升，确保模型未提前见过测试题目或提示词对评测可信度至关重要，基准污染会人为抬高分数并削弱政策制定者、研究人员和企业对评测的信任。此前外部测试提示词主要依靠零日志协议和合同保障保密，此次引入技术与密码学手段被视为安全模型评测的重要一步。
推荐理由Google DeepMind 与新加坡 AISI 等机构用密码学环境做双盲评测，为基准污染问题提供了一种可迁移的评测流程。
Lyu 等人提出 ForesightSafety-VLA，一个把具身安全从结果检查转为过程级评估目标的诊断基准，用于暴露视觉-语言-动作（VLA）模型在任务完成与物理可靠性之间的安全差距。基准用 13 个安全类别组成三层分类体系，覆盖物理、指令与感知三类失效，并通过危险注入、约束收紧、时序前置条件插入三种算子构建 66 个基础场景。评测采用四象限结果框架，区分安全成功、不安全成功、安全失败与不安全失败，并用累计安全成本（CC）和风险暴露时间（RET）刻画过程风险。
Yuvion LLM 提出将对抗鲁棒性与智能体能力列为一等目标的安全模型，通过五类功能性数据和三阶段训练流程应对语义伪装下的有害请求。其数据体系涵盖通用、安全域、对抗、智能体和合成专家数据，分别支撑语言能力、风险分类学、混淆变体（拼音替换、符号替代）、工具调用轨迹与长尾高风险场景覆盖。训练分三阶段推进：知识增强持续预训练内化细粒度审核政策，基于政策的监督微调加 GRPO 打磨决策边界，再以分解密集奖励稳定工具集成与检索增强的多步安全工作流。
Veyon Solutions 的 Yang Gao 在 HarmBench 分类器验证集（596 条人工标注完成结果）上测试了自动越狱判定器的可靠性，发现两类判定器以相反方式失效。专用分类器（如 HarmBench classifier）召回率 0.974、精确率 0.835，倾向过度标记，可能抬高 ASR；LLM-as-judge 精确率高但召回率极低，Qwen2.5-7B 召回仅 0.174、F1 为 0.294，Qwen2.5-3B 召回 0.059。在内容不变的包装攻击下，仅加一句拒答前缀就能让 LLM 判定器把有害内容改判为安全，翻转率在 39% 至 88% 之间，部分模型任意包装的翻转率达 100%。
Google DeepMind 于 7 月 28 日和 30 日先后发布 Gemini Robotics 2 与 Gemini Robotics ER 2，前者主打全身智能，后者新增视频理解、任务编排和多机协作，均为厂商公告且无公开对抗评估。同期 OpenAI 发布了涉及自身模型的第三方网络能力评估说明。两篇待关注预印本分别提出自动提示注入红队的智能体系统与恶意微调的梯度免疫防护。
Pluralis v0.1 是一个面向 AI 风险与可靠性的多文化、多模态、多语言基准，覆盖孟加拉国、印度、韩国、巴基斯坦、新加坡、台湾六个地区，包含 14 种语言变体与 6,448 条提示词，由区域学术伙伴、政府 AI 安全机构（如新加坡 IMDA、韩国 AI Safety Institute）和本地标注者参与构建。该基准采用文化优先方法，提示词由本地专家原生构思而非翻译西方数据，并配对图像以捕捉文本与图像单独无害、组合后在特定地区构成风险的协同失败模式，例如电子烟携带建议在新加坡、印度、台湾涉及违法，以及送钟在中国文化中的禁忌。
Deng 等人提出 HoloCount——一个针对多模态大语言模型的整体视觉计数基准，覆盖 1481 个独特视觉概念，并按语义计数、解析计数、鲁棒性测试三层分类诊断数值幻觉。高密度场景下性能崩塌明显：宏平均超 75% 的 Qwen3.5-27B 准确率跌至 20%，Gemini-3.1-Pro-Preview 仅 49.0%（MAE 10.46）。空目标提示子集中还出现反向悖论，轻量模型优于大型专有引擎，反映其不愿输出计数为零的过度自信倾向。
该论文从结构层面证明了两个关于越狱检测的不可能性结果：不存在完美分类器——若假设存在能免疫越狱的最强模型，构造其叠加完美分类器的复合体会更强从而矛盾；弱模型无法判定强模型的越狱输入，因判官置信度受自身能力上限约束而非目标行为。作者将 Albert Jailbreak、Pliny Jailbreak 与两轮代码生成的 CodeJB 三种黑盒方法译为泰米尔语，在不同语言能力层级的多个模型上做了实证检验。
GraspIT 通过四阶段物理滑移测试筛选抓取候选，揭示理论力闭合指标中 17% 的成功抓取在实际滑动测试中失败，暴露当前模型的"物理推理缺陷"。该流程在 Isaac Sim 中用并行 Franka Panda 执行轨迹接触、抬升、水平振荡与摆锤摆动四级扰动，并以位置滑移超过 2 cm、姿态滑移超过 10° 定义失败，产出连续质量分 s。首版含 1035 个仿真场景、100 个真实场景、约 31.6 万个标注 RGB-D 帧组、约 7400 个物体标识及约 230 万个抓取候选，其中 82.94% 标记为好，11.46% 因不可达而在轨迹规划阶段淘汰。
