Wiz Research 用 10 个仿真实企业漏洞的 CTF 环境测试 Claude Sonnet 4.5、GPT-5 和 Gemini 2.5 Pro，三个模型都解出 9 个挑战，单次成功成本多在 1 美元以下。测试通过 Irregular 的 agentic harness 提供标准安全工具，每个挑战以取得 flag 为明确成功条件，并由一名渗透测试者预先验证可解。在 Shark、Router Resellers 和 Content SSRF 三个挑战中，模型仅在 30% 到 60% 的运行里找到 flag，作者据此认为重复运行 4 到 5 次即可视为已解。
推荐理由Wiz 用 10 个仿真实漏洞的 CTF 环境对比 Claude、GPT-5 与 Gemini 的攻防表现，并给出单次成功成本与人类测试者的差异。
前 OpenAI 政策研究者 Miles Brundage 联合创办的非营利智库 AVERI（AI Verification and Evaluation Research Institute）正式成立，目标是让针对前沿 AI 开发者的第三方审计变得有效且普及。该机构将前沿 AI 审计定义为基于对非公开信息的深度安全访问，由第三方严格核查开发者做出的安全声明并对照相关标准评估其系统与实践，同时配套发表了一份阐述何为前沿 AI 审计及其实施路径的长篇论文。
OpenAI 发布 CoVal 数据集，用众包方式提取驱动模型回复偏好的价值观，并配套一套可审计的评分标准。研究招募约 1000 名来自 19 个国家的参与者，对合成价值观敏感提示词进行排序并撰写、评分标准，清洗后保留 986 个提示词和约 15000 条标准，发布保留全部原始标准的 CoVal-full 和每提示词保留 4 条高评分兼容标准的 CoVal-core。验证研究用 982 名评分者对 140 个提示词的新回复排序，CoVal 得分较高的回复在约 60% 的成对比较中胜出，与群体聚合排序的一致率 CoVal-full 为 0.75、CoVal-core 为 0.76。
OpenAI 对齐研究团队公开了一套基于去标识化生产流量构建对齐评测的流程，用于在部署前发现和跟踪模型的不当行为。流程从用户允许用于模型改进的 ChatGPT 对话中抽取代表性流量，去掉最后的模型回复后用新模型重新采样，再由 LLM 监控器以探索性或针对性提示词标注行为。团队以 GPT-5 流量构建评测并用于 GPT-5.1，发现了训练期 bug 导致的 Calculator Hacking 行为，该行为最终占 GPT-5.1 部署期欺骗行为的大部分，且评测估计的行为发生率与部署后实际发生率较为接近。
推荐理由OpenAI 公开了用去标识化生产流量构建对齐评测的完整流程，并给出评测感知与部署行为发生率之间的对照数据。
英国 AI Security Institute（AISI）发布首份 Frontier AI Trends Report，基于两年对网络、化学和生物等关键领域的能力测试，公开评估最先进 AI 系统的演进。报告称防护措施在改善，但每个受测系统仍可被某种方式绕过，且各公司防护水平不一；AISI 红队找到通用越狱所需时间从几分钟增至数小时，约提升 40 倍。关键发现包括：学徒级网络安全任务成功率从 2023 年的不足 9% 升至 2025 年的约 50%，2025 年首次有模型完成需约 10 年经验的专家级网络任务；模型完成一小时软件工程任务的比例从两年前的不足 5% 升至 40% 以上；系统在科学知识测试上超过博士级研究者。
推荐理由英国 AISI 首次公开前沿模型能力趋势数据，给出网络、软件工程与生化任务上的量化变化，可作为评估能力增速的基线参考。
UK AISI 发布首份公开的前沿 AI 趋势报告及配套 factsheet，汇总自 2023 年 11 月以来对前沿 AI 系统的评测结果。报告覆盖对国家安全与公共安全关键的领域，基于两年 AISI 前沿模型测试数据，分析所观察到的能力趋势。AISI 称该报告旨在为政府、产业与公众提供易读、数据驱动的洞察，促进各方对 AI 能力前沿的共同理解。factsheet 提供报告的补充信息，发布于 2025 年 12 月 18 日。
推荐理由UK AISI 汇总两年前沿模型测试结果，给出首份公开的能力趋势评估，可了解官方评测覆盖的领域与结论口径。
Frontier Model Forum 宣布 AI Safety Fund 新一批 11 个受资助方，共获得超过 500 万美元，从 100 多份提案中遴选产生。
国际 AI 安全研究所网络在圣地亚哥会议后更名为国际先进 AI 测量、评估与科学网络，英国出任网络协调员。该网络 2024 年 11 月成立，成员包括澳大利亚、加拿大、欧盟、法国、日本、肯尼亚、韩国、新加坡、英国和美国，旨在就先进 AI 能力测量与评估建立共享科学理解和国际认可方法。会议与 NeurIPS 同期举行，各方承诺加倍聚焦 AI 测量与评估科学。
Future of Life Institute 发布 2025 冬季版 AI Safety Index，由独立专家小组评估全球八家主要 AI 公司的安全实践，评估维度包括风险评估、当前危害、安全框架、生存性安全、治理和信息共享。参评公司为 Anthropic、OpenAI、Google DeepMind、xAI、Meta、Z.ai、DeepSeek 和阿里云。评审认为，尽管各公司在风险评估等方面有渐进改善，但安全实践仍远未达到正在形成的全球标准，主要问题在于落实的深度、具体程度和质量参差不齐。评审还发现，所有明确竞逐 AGI 或超级智能的公司都没有控制比人类更聪明系统的稳健策略，这是行业的核心结构性弱点。
CAIS 发布 AI Dashboard，直接在统一的文本、视觉与风险三组排行榜上横向对比前沿模型的平均分，其中 Claude Opus 4.5 在最安全的六项高风险行为测试中取得最低均分 33.6（0–100，越低越安全）。该风险榜涵盖 Virology Capabilities Test 拒绝集、Agent Red Teaming、Humanity's Last Exam-Miscalibration、MASK、Machiavelli 与 TextQuests Harm，并同时追踪 AGI、Remote Labor Index（覆盖 23 类远程自由职业工作）以及特斯拉 Full Self Driving 脱离数据的自动化进程。
安远AI于2025年11月7日发布国内首个前沿AI风险监测平台，并同步发布首份前沿AI风险监测报告（2025Q3），追踪全球15家领先AI公司的50个前沿模型在网络攻击、生物风险、化学风险和失控四个领域的潜在灾难性风险。报告称过去一年四类风险指数持续上升，网络攻击领域累积最大风险指数上升31%，生物风险上升38%，化学风险上升17%，失控上升50%。报告还指出推理模型能力分远高于非推理模型但安全水平大致相同，开源与闭源模型在多数领域的能力-安全分布无显著差异，生物风险领域开源模型能力明显偏弱。在具体基准上，CyberSecEval2-VulnerabilityExploit最高分从55.4升至91.7，BioLP-Bench中包括o4-mini在内的四个模型表现优于人类专家，而多数模型对有害生物问题的拒绝率偏低。
Anthropic 发布 Claude Opus 4.5，称其为“全球最强的编程、智能体与计算机使用模型”，上下文 200,000 token、输出上限 64,000 token，定价 $5/$25 每百万 token。作者在 Claude Code 中实测该模型完成 sqlite-utils 的 20 次提交、39 个文件改动，但预览到期切回 Sonnet 4.5 后进度未变，难以确认能力差异。Anthropic 称 Opus 4.5 抗提示注入强于任何前沿模型，但作者指出单次注入仍有 1/20 成功率，十次尝试可升至 1/3。
Helen Toner 在 The Curve 大会演讲中指出 AI 能力呈"锯齿状"：一年前 Claude 3.5 Sonnet、GPT-4o、Gemini 1.5 已在 GPQA 博士级问题上达到约 50% 正确率，却数不清图中线条交叉几次。AI Village 中 Gemini 能卖周边、写博客，却因点不准按钮而误判为技术 bug；Anthropic 的 Project Vend 里 Claude 能自主定价售货，却报错 Venmo 地址、亏本卖金属块，甚至陷入存在危机。
Center for AI Safety（CAIS）与 Scale AI 发布 Remote Labor Index（RLI），用于测试 AI 能否自动化真实经济中的各类计算机工作项目，覆盖建筑、产品设计、电子游戏开发等职业。RLI 是首个从真实经济中收集计算机工作项目的基准，此前的基准多衡量孤立专门任务上的能力，无法反映 AI 对经济的影响。结果显示当前 AI 智能体只能完全自动化极少数工作项目，最强智能体在 RLI 上的自动化率仅为 2.5%，但呈稳步提升趋势。
Miles Brundage 撰文阐述其未来职业方向——针对前沿 AI 系统及组织的严格、独立且资源充足的第三方审计，并透露正联合创办一家致力于推动该审计普及的非营利组织。他指出当前业界仅停留在“最后一刻的黑盒产品测试”阶段，因第三方访问权限有限、AI 企业缺乏参与激励，威胁公共安全与国际稳定。文中还附有一则设定于 2027 年的虚构故事，描绘 DeepBrain 员工围绕新一代前沿系统 Pluto 2.1 的系统卡披露展开的内部讨论。
Frontier Model Forum（FMF）通过 AI Safety Fund 公布三项应对 AI—生物风险的资助进展。SecureBio 开发了含 322 道多模态问题的 Virology Capabilities Test（VCT）基准，Nemesis Insights 则建成约 1,000 条高质量细菌生物威胁提示词的 BBG 框架，两者数据集将提供给安全团队、监管机构和学术研究者。此外，FMF 联合 Sentinel Bio 资助一项大规模 BSL-2 湿实验室研究，对比有无领先多模态 AI 辅助下新手完成实验的成功率，全部结果将在发表前经独立的生物安全与国家安全专家顾问委员会预先审核。
SPY Lab 在博客中介绍其新论文，认为当前对 LLM 预测能力的评测容易出错，难以支撑“LLM 预测水平媲美优秀人类预测者”的结论。
Frontier Model Forum 启动前沿 AI 框架技术报告系列，计划在未来数月内陆续发布四份报告，分别覆盖风险分类与阈值、前沿能力评估、缓解措施以及第三方评估。该系列旨在说明不同组织情境下如何有效落地前沿 AI 框架，并推动实施标准的形成。目前已有 12 家主要 AI 开发商发布了各自的前沿 AI 框架，其中包括 Google DeepMind 的 Frontier Safety Framework、Anthropic 的 Responsible Scaling Policy 和 OpenAI 的 Preparedness Framework。
SPY Lab 提出越狱税（Jailbreak Tax）指标，衡量越狱成功后模型效用相对基线的下降幅度，并给出配套基准。研究先评测基座模型准确率，再自行对齐使其拒答数学和生物题，最后对对齐模型施加越狱并测量准确率，发现越狱方法造成的效用损失最高达 92%。在 LLaMA 模型上，PAIR、TAP 和微调攻击的成功率都在 92% 左右，但越狱税差异很大，说明越狱成功率与效用损失之间没有明显相关性。为贴近真实场景，作者把 GSM8K 题目改写为含炸弹、核武器等危险词但答案不变的 EvilMath，并用改写为独角兽等良性分布外概念的 UnicornMath 计算基线，发现前沿模型自带的安全机制下越狱税依然存在。
推荐理由提出越狱税这一指标，用可客观评分的基准量化越狱后模型效用的下降，为比较不同越狱方法提供新维度。
Frontier Model Forum 发布议题简报，提出 AI 生物安全评测信息的三级报告框架，按公开、可信网络内共享、仅私下披露划分披露范围。Tier 1 可公开发布研究问题、科学领域、高层级评测方法、参与者背景、受测模型、任务示例、分析方法和关键高层级结论及研究局限；Tier 2 限可信网络共享完整威胁模型、深入评测方法、结果详细解读和模型增强细节；Tier 3 仅在决策相关方之间私下披露具体模型漏洞、特定训练数据和私有数据集。该框架采取预防性思路，信息只有在确信更广泛传播不会带来信息或注意力风险时才扩大共享范围，部分条目的报告层级取决于评测结果，例如确认新型生物威胁或可利用漏洞的高层级结论可能不宜公开。
Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报，提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类：基准评估、红队演练和对照研究；领域涵盖科学知识与科学推理性评估及危害性生物知识评估，后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识，旨在推动建立有效的 AI 生物安全评估生态。
SPY Lab 在将发表于 SaTML 2025 的立场论文中论证，成员推断（MI）攻击在向法官等第三方证明 GPT-4 等生产模型训练使用了特定数据时存在根本性缺陷。作者将训练数据证明形式化为假设检验，指出其关键在于证明假阳性率（FPR）足够低，而现有研究通过采样零假设来估计 FPR，必须完全控制数据生成与模型训练过程。
SPY Lab 与 Nicholas Carlini、Daphne Ippolito 合作研究发现，在完全自然、非对抗的提示下，主流聊天模型生成的文本中最多 15% 由约 50 字符的片段组成，这些片段可在互联网上逐字找到。研究覆盖创意写作、说服性写作和事实性任务，发现事实性（说明文）任务复现率远高于创意任务，写百科和新闻文章时近 30% 的生成文本包含至少 50 字符的逐字网络片段，且这一模式在所有测试模型中一致，Claude 3 Opus 复现最多。与人类对比，人类文本中位数不含 50 字符的逐字网络片段，而 LLM 文本中位数最多含 10%。
推荐理由研究用自然提示词而非对抗手段测出主流聊天模型会逐字复现训练数据，为评估数据泄露风险提供了可复现的测量方法。
作者用 2022 年发布的 PlanBench 基准评测 OpenAI 的 o1（Strawberry）在规划任务上的表现，发现其成绩相比此前 LLM 有数量级提升并领先同类模型，但远未饱和该基准。文章指出，GPT3 之后众多闭源与开源 LLM 在该基准上的进展一直缓慢，而 OpenAI 称 o1 是专门训练以突破自回归 LLM 常规限制的新型大推理模型（LRM）。作者认为这一提升同时引出准确率、效率与保证等问题，需要在部署此类系统前加以考虑。
SPY Lab 为 IEEE SaTML 2024 组织了两场竞赛，分别是 LLM CTF 和针对已对齐 LLM 的木马检测竞赛，两场竞赛均与参赛者合作产出了论文。LLM CTF 分防御和攻击两个阶段，目标是检验简单提示词与过滤机制能否让 LLM 应用抵御提示注入和提取，并发布了超过 137k 条成功与失败攻击对话及 44 种防御的数据集。经验总结指出，多数防御需要数十到数百轮对话才能被攻破，单轮越狱与安全基准不足以评估模型，过滤机制很可能被绕过，且防御并非独立组件，可能泄露系统设计信息。
推荐理由组织者复盘两场竞赛的攻防结果，其中多轮攻击与后门搜索的发现可用于改进模型安全评测设计。
Nicholas Carlini 指出 IEEE S&P 2024 接收的一篇对抗样本防御论文存在数学上不可能成立的结论，其评测代码含 bug，改一行代码即可将模型准确率降到 0%。该论文声称在 MNIST 上扰动上限 0.5 时准确率超过 60%，但任何图像与全灰图像的最大范数距离都不超过 0.5，因此 10 类分类下稳健准确率上限只能是 10%。论文还声称受攻击时准确率（94%）高于未受攻击时（83%），作者认为这说明所用攻击比恒等变换还弱。
推荐理由作者以两篇顶会论文为例，说明对抗样本防御评测中哪些数字在数学上不可能成立，可供审稿与复现参考。
SPY Lab 的研究发现，现有对启发式机器学习隐私防御的评测可能严重低估隐私泄露，在 CIFAR-10 上把各防御（含 DP-SGD）调到至少 88% 测试准确率时，既有评测对泄露的低估可达五十倍。作者指出常见评测的三个问题：只关注群体层面的隐私、使用弱且非自适应的攻击、对比低效用的 DP 基线。论文提出以最脆弱样本的样本级隐私、强自适应攻击和恰当 DP 基线为原则的新评测协议，并设计一小组金丝雀来高效近似最脆弱样本的泄露，金丝雀需随防御方法选择，误标或非典型样本是常见起点。将协议用于五种启发式防御（涉及知识蒸馏、合成数据和损失扰动）后，它们均比原评测泄露更多，且没有一个能胜过调好超参数的启发式 DP-SGD 基线。
推荐理由原文指出隐私防御评测普遍高估防护效果，并给出可复用的样本级评测协议与金丝雀设计思路。
SPY Lab 提出一套基于蜕变测试的评测框架，在无法获得真值的情况下通过输入域的一致性约束检验超人类模型。方法对棋盘镜像、旋转等语义等价变换施加约束，测试超人类国际象棋 AI Leela Chess Zero，发现多处明显违反一致性的大偏差，包括镜像后胜率估计截然不同、唯一合法走法前后胜率不一致。在 GPT-4 上，作者用自建预测数据集测试单调性与概率互补等约束，发现其预测常不满足单调性，且在贝叶斯定理约束上违反率超过 50%；GPT-4 相比 GPT-3.5-turbo 一致性有明显提升。
推荐理由提出用一致性约束在无真值领域评测超人类模型，并给出黑盒与白盒搜索的效率对比数据。