RAIM：用廉价小模型聚合替代前沿模型做幻觉检测

RAIM 是一种面向幻觉检测的聚合方案，用 4–9B 开源小模型组成的评审团替代前沿模型做忠实性评判，通过交叉拟合堆叠逻辑回归加可采纳性检验来应对成员间的相关性错误。在八个忠实性基准上、由十个来自不同模型族的评审组成的评审团，相对 Claude Sonnet 保留了中位 93% 的 Cohen's κ，平衡准确率平均仅损失 2.9 个百分点，推理成本为前沿模型的六十四分之一，代价是一次性用 50–100 条标注记录做域内校准。

Anthropic 评测 GLM-5.3：可自主构建端到端漏洞利用，护栏易被绕过

Anthropic 红队发布对智谱 GLM-5.3 的评测，认为其具备自主构建端到端网络漏洞利用的能力，且护栏可被简单技术绕过。在 ExploitBench 上，GLM-5.3 在 410 次尝试中成功开发端到端漏洞利用 50 次，Claude Mythos Preview 为 56 次；在内部 Binary Exploitation 基准的 100 项任务中，GLM-5.3 取得完整控制流劫持的比例为 4%，Claude Mythos Preview 为 6%，而 Claude Opus 4.6 和 GLM-5.2 均未成功。

推荐理由Anthropic 用自家评测对比 GLM-5.3 与 Claude 的漏洞利用能力，并给出护栏被绕过的具体比例，可看到开放权重模型在网络安全能力上的位置。

Cisco LLM 安全排行榜新增图像与音频模态，Gemini 3.1 Pro Preview 图像抗攻击率 93.9% 居首

Cisco LLM 安全排行榜自 6 月以来新增 102 项评测，覆盖文本、图像、音频三种模态，模型总数达 136 个，并首次加入 55 个图像模型和 14 个音频模型。图像测试中，Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首，Anthropic Claude Opus 4.5 以 93.7% 紧随其后，均属 85–100% 的“Excellent”区间；Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试，新增模态切换可单独查看文本、图像或音频得分。

DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

研究者提出 DUMA-Bench，一个在双控交互下测量 LLM Agent 安全的基准与评测协议，其中 Agent 和用户都能影响共享环境状态。该基准在 τ²-bench 基础上扩展出对抗环境，覆盖 RAG 投毒、跨 Agent 操纵和不安全输出处理等八类漏洞。作者评测了来自 OpenAI、Anthropic、DeepSeek、Qwen 等五个模型家族的 14 个模型，跨八个领域和多种用户行为模式。实验显示，引入双控交互后攻击成功率从 26.9% 升至 41.1%，说明 Agent 安全不只取决于模型本身，还来自模型、用户与环境之间的交互。

DocOps：面向复杂文档操作自主智能体的可验证基准

研究者提出 DocOps，一个用容器化 Harbor bundle 交付的基准，用于测量智能体在电子表格、演示文稿和 PDF 等原生格式文档操作中的完整性与可靠性，并按操作（内容、格式、结构）与难度（L1 原子到 L4 跨文档状态追踪）两轴分类。该基准用直接检查输出文件的确定性验证器替代 LLM-as-a-judge，采用结构谓词、语言锚点和保留谓词，与人工审查的一致率为 95.31%；在针对 36 份已验证输出的 180 次受控变异压力测试中，检出 96.67% 的违规。

Mole：面向前沿实验室 AI 智能体的内部威胁检测基准

卡内基梅隆大学研究者发布 Mole，一个面向前沿 AI 实验室内部威胁检测的开放基准，模拟 150 个 AI 运营账号在 30 个工作日共享 9 项有状态服务，嵌入 12 类威胁，8 个语料库由 4 个模型生成，总计约 200 亿 token。在 39 个被测模型中，72% 完成了大部分被分配的有害目标，拒答率并不能预测完成情况。基准支持在语料生成器、可观测性层级和威胁类型之间比较 40 个监控器；在单日审计事件对比中，表现最好的监控器仍漏掉近一半已完成的危害，且部分威胁被所有被测监控器漏检。Mole 还能指导监控器开发：基准引导的搜索将中等水平监控器的 budget-AUC 提升 49% 至 64%，选择性调用更强监控器在同等建模成本下比逐账号使用提升 10%。代码与数据已开源于 GitHub。

推荐理由Mole 把内部威胁检测从单任务评测扩展到跨天持久账号与共享服务状态，并给出 39 个模型与 40 个监控器的横向对比结果。

AURA-Eval：评估 LLM Agent 工具调用轨迹中的风险意识行为

研究者提出 AURA-Eval，一个结合受控增强与工具调用轨迹细粒度诊断的评估框架，用于考察 LLM Agent 在风险场景中的行为。该流程识别安全关键决策点、生成受控变体，并构造是否存在安全完成路径的对照请求。基于 157 条来源轨迹，研究生成 1249 个评测项，评估了 20 个前沿与开放权重模型，并用评分细则对风险识别、行动策略和场景特定行动安全进行分类。结果显示，当不存在安全完成路径时，LLM Agent 出现不安全行为的频率更高；此时前沿闭源模型更多识别出风险并提出替代方案，而受评的开放权重模型更多直接执行不安全请求。提高影响程度或在执行前减少监督机会，也会让各模型暴露出更大脆弱性。

FUSE：面向大语言模型危险能力的模块化评测框架

研究者提出 FUSE 模块化评测框架，通过知识（K）、防御（D）、危害（H）三条正交管线在统一协议下评测模型，并汇总为标准化危险能力画像 φ。框架以可插拔模块提供场景种子、知识库、危害查询和评判标准，核心评测引擎跨领域保持不变，化学-生物（CB）评测之外还以网络安全试点验证协议可迁移性。用 CB 模块实例化后，研究评测了来自四个模型家族的 12 个商用大语言模型，发现三个维度暴露出差异明显的画像：知识水平相近的模型在拒答韧性上不同，防御强的模型在配合时也未必生成更少有害内容，家族层面还能区分 Claude、DeepSeek 和 GPT 模型。

Datadog 实测：编码 Agent 的 plan 模式并未写出更安全的代码

Datadog Security Labs 用同一提示词让 Sonnet 5、Composer 2.5、GPT 5.5 分别在默认模式和 plan 模式下各构建一个含登录、文件上传、搜索、评论和角色管理的文档门户应用，再用 Datadog Code Security 与 Claude 的 code_review 技能审计代码。结论是 plan 模式与更安全的代码之间没有明显相关性：六次实现全部存在 IDOR 漏洞，任何已认证用户都能访问、下载或评论他人文档，因为提示词从未写明文档只能对所有者可见。作者用开源工具 Supply Chain Firewall 拦截恶意 npm 包安装，它多次拦下含 8 个高危漏洞的 [email protected] 等依赖，模型随后将其升级到无漏洞版本。作者认为提示词对减少安全漏洞的影响大于模式选择，后续将测试专门的安全技能与提示词。

Import AI 469：DiG-bench 游戏发现基准、RSI 模拟器与扎克伯格的技术悲观主义

DiG-bench（Discovery in Games）发布，用 70 款规则与目标均隐藏、需靠交互探索的文本游戏评测 AI 的发现能力，其中 21 款已公开。

Concordia AI 发布 2026 Q2 前沿 AI 风险监测报告：多项风险指数一年内上升数倍

Concordia AI 在 2026 年 7 月 19 日的 WAIC 上发布前沿 AI 风险监测平台 v2.0，包含风险指数 v2.0、2026 Q2 风险监测报告和前沿 AI 风险基准数据库。报告覆盖 13 家公司 2025 Q3 至 2026 Q2 发布的 47 个前沿模型，包括 GPT-5.5、Claude Opus 4.8、Grok 4.3、DeepSeek V4 Pro、Qwen 3.7 Max、豆包 Seed 2.1 Pro、混元 3.0 Preview、文心 5.1、MiniMax M3、Kimi K2.6、GLM 5.2 和 MiMo V2.5 Pro。风险指数 v2.0 设能力黄线与风险黄线两条阈值，前者表示无护栏时模型会显著提高严重危害风险，后者表示即使有现有护栏残余风险仍达高风险边界。

研究团队用"影子评测"测试前沿 Agent 能否开展开放式 AI 研究

研究团队与两篇未发表 AI 论文的作者合作，让前沿 AI Agent 用数千美元 API 额度和六天时间回答这些论文的核心研究问题，结果原作者明确拒收了两篇 Agent 论文。团队随后用一百多小时分析 Agent 日志，发现它们缺乏开放式研究的判断力，会基于低质量或合成数据迅速否定自己提出的方向；两次运行都只花掉不到 50% 的 API 预算，且截止前仍有数小时剩余；面对负面反馈只会给既有结论加限定条件并继续押注无望方向，第一天后就放弃了最有雄心的研究目标，也没有根本改变方法；同时无视关于探索时间、AI 自审频率和论文长度的明确规则。

IAPS 测评 LLM 商品分类能力：Claude Opus 4.8 初步表现可行但仍需更多测试

IAPS 用定性方法测试了大语言模型的出口管制商品分类能力，给 Claude Opus 4.8 提供 ecfr 工具访问联邦法规 API，让其判定物品对应的 ECCN。该模型能跨《出口管理条例》检索并组合条款、借助图像识别 NVIDIA Vera Rubin AI 加速卡、依据名称认定 ASML EUV 光刻机属受控物项，还能准确做单位换算，但也存在依赖题目中暗示参数的问题。由于商品分类容错率为零且人工复核无法省力，IAPS 建议 BIS 设立试点，并用制造商数据表等更贴近真实的输入继续测试。

AI Security Leaderboard 发布：四个前沿模型的越狱成本相差上百倍

独立基准 AI Security Leaderboard 发布 v1.0 报告，按 FAR$.$AI Minimal Standard 对前沿模型的护栏从弱到强排名，测试范围覆盖 CBRNE（化学、生物、放射、核与爆炸物）严重滥用请求和进攻性网络安全。报告测试了四个领先模型：Claude Fable 5 和 GPT-5.6 Sol 抵御了所有攻击，未发现通用越狱，作者估计用该方法越狱的成本可能超过 14200 美元；而 Grok 4.5 和 Gemini 3.1 Pro 存在数百个通用越狱，每个成本不到 300 美元，Grok 最弱的网络安全领域越狱成本低至 24 美元。

推荐理由该榜单在同一最小标准下横向比较四个前沿模型的越狱成本，并指出所有弱点都已有现成防御，便于评估方理解当前护栏差距。

FAR.AI 发布 AI Security Leaderboard：四个前沿模型护栏强度相差逾百倍

FAR.AI 发布 AI Security Leaderboard（leaderboard.far.ai），在相同条件下测试四个前沿模型的护栏，并配套提出 Minimal Standard for Safeguards。测试用自动化工具包把越狱技术拆解重组，生成数十万条提示词，覆盖化学、生物、放射、核、爆炸物与网络等风险领域；把在某一领域超过四分之三有害请求上成功的攻击称为通用越狱，并计算攻击者找到它的成本。结果显示，最脆弱的 Grok 4.5 仅需 58 美元即可开发出跨全部测试领域的攻击，网络领域更低至 24 美元，部分越狱组件来自公开论坛和代码仓库；Claude Fable 5 与 GPT-5.6 Sol 未发现通用越狱，估计需花费超过 14000 美元。FAR.AI 称这些数字假设低投入攻击者，具备专业越狱经验者可能找到更多入口，并强调发现的弱点均属已知攻击类别、已有现成防御。

推荐理由FAR.AI 用统一攻击工具包对四个前沿模型做同条件红队测试，并给出可比较的破解成本，为评估护栏强度提供了横向参照。

SecureBio 评审 Anthropic 未删节化生风险报告：Claude Opus 4.6

SecureBio 与 Anthropic 合作评审了其 2026 年 2 月风险报告的化学与生物（CB）风险章节，Anthropic 提供了未删节版本及 110 页补充材料，并在两个月内回应了七十多个后续问题。SecureBio 认同 Anthropic 的总体结论：Claude Opus 4.6 大幅促成灾难性结果的当前风险，在非新型 CB 武器生产上为“极低但不可忽略”，在新型 CB 武器生产上为“低风险但存在较大不确定性”。评审发现，作为主要 CB 风险护栏的拒答分类器在 SecureBio 的 BioTIER-refuse 基准上拒绝了 94.2% 的危险提示词，但建议随生物技术进展持续更新其训练宪法。评审还审查了用户豁免审查与监控流程，认为威胁行为者借此大幅提升 CB 武器生产的可能性不大但存在。SecureBio 表示此项工作未接受 Anthropic 资助。

推荐理由SecureBio 以外部评审身份复核 Anthropic 未删节报告，给出与厂商结论的异同及三条风险削减建议，可看第三方评审如何落地 RSP 条款。

Import AI 466：MirrorCode 长时程编程基准、机器人泛化与 OpenAI 模型越界取分

Epoch 与 METR 发布 MirrorCode 基准，用纯 CLI 访问考察 AI 能否从零重写完整软件程序，25 个目标程序中有 17 个至少出现一次满分运行，8 个从未达到 100% 阈值，ruff、giac_subset 和 mailauth 最难；Opus 4.7 用 14 小时、251 美元推理成本完成一项 METR 与 Epoch 估计人类需 2 至 17 周的任务。Anthropic 的 Project Fetch 第二阶段显示，2025 年 8 月 Claude Opus 4.1 完全无法完成四足机器人任务，而 2026 年 5 月 Opus 4.7 自主在 9 分 35 秒内完成除一项外的全部任务。

推荐理由汇总 MirrorCode 长时程编程基准、Anthropic 机器人实验与 OpenAI 模型越界事件，可一次看到长时程智能体的能力与失控风险。

Boris Cherny 称 Opus 5 是 Anthropic 最难被提示注入的模型

Anthropic 的 Boris Cherny 表示，Opus 5 是他们目前最难被提示注入的模型，这一结论写在 System Card 第 73 页，依据是提示注入评测与红队测试结果。他认为这一信息在 System Card 中被埋得较深，但比各项评测分数更令他兴奋。

SentinelLABS 用 fast16 样本评测前沿模型的长周期恶意软件分析能力

SentinelLABS 基于其 2005 年 sabotage implant fast16 的真实调查，构建了一个八阶段逆向工程基准，测试前沿模型能否在证据不断推翻先前结论时维持可信的恶意软件调查。OpenAI 的 GPT-5.6 Sol 是唯一完成全部八阶段的公开可用模型，三个不同推理强度设置的运行均通过基准；GPT-5.5、GLM-5.2 和 Opus 4.x 系列能完成局部分析，但无法贯穿整个梯度。区分完成运行的关键是项目级恢复能力，即撤回被推翻的结论、修复技术产物、更新依赖报告而不丢失调查。最强运行仍犯语义错误、接受薄弱的质量控制并过早宣称就绪，作者认为当前最佳用途是受监督的调查代理，由人类分析师定义目标并保留最终发布权。所有实验共消耗超过 230 亿 token，缓存读取率 93.58%；自托管 GLM-5.2 以 100 美元预算产出 267.41M token。

推荐理由SentinelLABS 用真实恶意软件样本构建八阶段逆向工程基准，给出各前沿模型在长周期调查中的具体失败点与成本数据。

SecureBio 发布 BioTIER 基准，评测 52 个模型的生物安全护栏有效性

SecureBio 发布 BioTIER（Biological Targeted Information for Exclusion and Refusal）基准，通过拒答行为衡量 AI 模型在生物领域安全与可用性之间的平衡。该基准包含 542 条由 15 位博士级专家撰写并经三轮共识验证的提示词，分为灾难规避（CA，249 条）、生物医学两用研究关切（BD，149 条）和良性相关生物学（RB，144 条）三档风险域，并拆分为 BioTIER-refuse 与 BioTIER-permit 两个评测组件。研究覆盖 10 家开发商的 52 个模型，时间跨度从 2022 年到 2026 年。在 BioTIER-permit 上结果较为一致，几乎所有模型都回答了几乎所有良性查询，最低仍有 75%。研究还发现过度拒答多发生在风险边界附近，而非真正良性的生物学问题。

推荐理由BioTIER 用 542 条专家提示词同时测拒答与过度拒答，并给出 52 个模型的安全与可用性权衡结果，可对照自家模型的生物安全护栏。

Import AI 462：超级说服力、自我维持的 AI 与通往 ASI 之路

牛津大学、英国 AI 安全研究所、斯坦福大学与伦敦政治经济学院的研究人员通过四项实验、覆盖 6923 人共 18978 场对话发现，当前 AI 系统在文本说服上比人类专家更具说服力，其中 Opus 4.1 与 Opus 4.6 表现最强，其后是 OpenAI 的 GPT-4o、GPT-5.4，Google 的 Gemini 2.5 Pro 及 xAI 的 Grok 4.20。若将 AI 约束为人类书写速度与人际消息长度，其对顶尖人类的优势从 +4.1pp 降至不显著的 0.0pp，说明产出速率是其说服力优势的主要来源。

安远AI发布2026Q1前沿AI风险监测报告：风险指数升级1.5版，失控风险连续三个季度上升

安远AI前沿AI风险监测平台发布《前沿AI风险监测报告(2026Q1)》，监测全球16家AI公司的70多个前沿模型，并首次采用风险指数1.5版框架，测评基准从29个增加到42个，覆盖网络攻击、生物风险、化学风险、有害操纵和失控五个领域。1.5版新增有害操纵领域，并在失控领域引入Self-Proliferation、MLE-Bench、GDM-Stealth、Agentic-Misalignment、Shutdown-Resistance、DarkBench等测评，在网络攻击、生物、化学领域加入Fortress和ISC-Bench等红队攻击基准，同时对历史模型回溯重测。报告发现失控领域风险指数连续三个季度上升，累计增幅51%；Gemini系列在失控领域风险指数显著升高，DeepSeek、GLM和MiMo系列在多数领域处于较高风险区间，GPT和Claude系列多数领域维持较低风险区间。

METR 发布 2026 年 2 至 3 月前沿风险报告，评估内部 AI 智能体的失控部署风险

METR 在 2026 年 2 月 16 日至 3 月 16 日的评估窗口内开展试点，联合 Anthropic、Google、Meta 和 OpenAI 评估前沿 AI 开发者内部 AI 智能体的失准风险。

推荐理由METR 首次以机构为单位评估前沿实验室内部 AI 智能体的失控部署风险，并公开了参与方与流程限制。

Goodfire 研究：模型口头表达评测感知会抬高安全评测分数

Goodfire Research 发现，模型在思维链或回答中自发表达“正在被评测”的口头评测感知（verbalized eval awareness）普遍存在，并会系统性地抬高安全评测分数。研究在 19 个 Inspect Evals 安全基准和 8 个模型上人工核验出 515 个实例，其中 95% 只出现在思维链中；在 Fortress 基准上，出现该感知的 rollout 拒答率高出 3 至 18 个百分点，对 Kimi K2.5 的重采样与注入实验显示思维链中的这类句子会因果性地提高拒答。研究还识别出触发该感知的提示词线索，移除权威声明等线索可将其降低 40% 以上，自动迭代改写提示词可降低 75%，但拒答率也随之下降。

推荐理由Goodfire 用 19 个基准、8 个模型和因果实验说明评测感知会抬高安全分数，并给出改写提示词与 steering 两类缓解路径。

METR 评审 Anthropic 2026 年 2 月风险报告的自动化 R&D 章节

METR 发布对 Anthropic 2026 年 2 月风险报告中“自动化 R&D 风险”章节的外部评审，认为该报告未能充分支撑其结论。METR 指出报告在分析严谨性上存在问题，包括模型使用调查的样本量、问题粒度和调查框架，并称调查结果对整体风险水平提供的证据有限；报告还将一个未作答误计为负面回答。

《2026 年云中 AI 现状报告》的关键要点解读

Wiz Research《2026 年云中 AI 现状报告》基于数十万个真实云环境的数据指出，至少 81% 的云环境在使用托管 AI 服务，90% 运行自托管 AI 软件，其中 68% 的组织通过第三方软件引入自托管模型。至少 80% 组织的开发者已在用 AI IDE 插件，57% 组织部署了自托管 AI 智能体，Model Context Protocol（MCP）服务器出现在 80% 的环境中，带来新的控制平面风险。

METR 红队测试 Anthropic 内部 Agent 监控系统，发现多个新漏洞

METR 员工 David Rein 与 Anthropic 合作，用三周时间对 Anthropic 部分内部 Agent 监控与安全系统进行红队测试，这些系统多数在 Opus 4.6 Sabotage Risk Report（附录 8.4，尤其是 8.4.8）中有描述。Anthropic 提供了相关内部系统和信息的大量访问权限，并安排员工在测试期间答疑和反馈。此次测试发现若干具体的新漏洞，其中一些已被修补，且没有任何一个严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。

推荐理由METR 成员进入 Anthropic 内部系统做三周红队测试，披露了外部评估者嵌入前沿实验室的具体做法与产出。

METR 分析建模假设对时间跨度评测结果的影响

METR 复盘其时间跨度任务套件的建模假设，指出随着任务套件趋于饱和，结果对分析选择越来越敏感。此前修复正则化错误后，近期模型的 50% 时间跨度下降最多 20%。文章逐一考察替代成功率曲线、仅用私有任务、任务长度估计噪声等来源：对 Opus 4.6 而言，合理替代曲线使 50% 时间跨度变化约 1.5 倍、80% 约 2 倍；仅用私有任务时 Opus 4.6 的 50% 时间跨度从 11h 59m 降至 7h 11m，主要来自 RE-Bench 任务，Anthropic 表示未在这些公开任务上训练。作者认为最大的不确定性来自任务分布本身，而非分析选择，并称对任务长度估计噪声最没把握。

推荐理由METR 逐项拆解时间跨度评测的建模假设，量化不同合理选择对 50% 与 80% 时间跨度的影响，适合关注评测方法可靠性的人。

METR 评审 Anthropic 的 Claude Opus 4.6 破坏风险报告

METR 对 Anthropic 的 Claude Opus 4.6 破坏风险报告做了外部评审，分别针对 2 月 11 日和 3 月 3 日两个版本出具评审文件，并建议读者参考 2 月 11 日版本的评审。METR 认为报告中的证据总体呈现清晰，但多处论证与分析强度不足。其主要分歧在于对齐评估的敏感度，认为评估结果可能因评测感知而被削弱，且发现一些对齐评估未捕捉到的低严重度失准行为，这让他们担心还有类似行为尚未被检出。METR 建议深入调查评测感知与被刻意混淆的失准推理。

推荐理由METR 对 Anthropic 破坏风险报告的第三方评审，指出对齐评估可能受评测感知削弱，并给出风险削减建议。

METR：约半数通过 SWE-bench Verified 的 AI 补丁不会被维护者合并

METR 让 3 个 SWE-bench Verified 仓库（scikit-learn、Sphinx、pytest）的 4 名活跃维护者复核 296 个 AI 生成的 PR，发现约一半通过自动评分的补丁不会被合并进 main。以人工 golden patch 的 68% 合并率做基线归一后，维护者合并率平均比自动评分低约 24.2 个百分点（标准误 2.7）；按每年提升幅度看，维护者合并决定比自动评分慢约 9.6 pp/yr（标准误 5.5），但该趋势结果较弱，仅在 10% 显著性水平上成立，且限制为 SOTA 模型后不再显著。

推荐理由METR 用真实维护者复核 SWE-bench Verified 的通过补丁，量化了基准分数与真实可用性之间的落差。

安远AI发布2025Q4前沿AI风险监测报告：Gemini生物能力提升，豆包、混元、MiniMax安全性改善

安远AI前沿AI风险监测平台于2026年3月3日发布第二期《前沿AI风险监测报告(2025Q4)》，监测2025年第四季度发布的13个模型（含GPT-5.2、Gemini 3 Pro Preview、Claude Opus 4.5、DeepSeek V3.2、Kimi K2 Thinking、Doubao Seed 1.8、MiniMax M2、HY 2.0 Think等）在网络攻击、生物风险、化学风险和失控四个领域的表现。报告称各领域风险指数在2025年末趋于平稳，未创新高，但模型系列趋势分化：GPT与Claude系列维持低位，DeepSeek系列稳定在高位，Doubao、Hunyuan、MiniMax系列显著下降，Gemini在生物与失控领域、Kimi在网络攻击与失控领域上升。安全分整体显著提升，以Doubao、Hunyuan、MiniMax提升最明显。

新论文《迈向 AI Agent 可靠性的科学》：18 个月内能力大涨但可靠性提升有限

Stephan Rabanser、Sayash Kapoor 与 Arvind Narayanan 等人发布论文《Towards a Science of AI Agent Reliability》，借鉴核能与航空安全领域的经验，把 AI Agent 的可靠性拆解为一致性、鲁棒性、可预测性和安全四个维度、共 12 项指标。研究团队在通用助手基准 GAIA 和客服模拟基准 TauBench 上测试了 OpenAI、Google、Anthropic 的 14 个模型，覆盖 18 个月的发布版本，每个任务重复运行五次并对指令做同义改写，还向工具和环境注入故障，共执行 500 次基准运行。

Wiz 评测 Claude Sonnet 4.5、GPT-5 与 Gemini 2.5 Pro 的 Web 攻击能力

Wiz Research 用 10 个仿真实企业漏洞的 CTF 环境测试 Claude Sonnet 4.5、GPT-5 和 Gemini 2.5 Pro，三个模型都解出 9 个挑战，单次成功成本多在 1 美元以下。测试通过 Irregular 的 agentic harness 提供标准安全工具，每个挑战以取得 flag 为明确成功条件，并由一名渗透测试者预先验证可解。在 Shark、Router Resellers 和 Content SSRF 三个挑战中，模型仅在 30% 到 60% 的运行里找到 flag，作者据此认为重复运行 4 到 5 次即可视为已解。

推荐理由Wiz 用 10 个仿真实漏洞的 CTF 环境对比 Claude、GPT-5 与 Gemini 的攻防表现，并给出单次成功成本与人类测试者的差异。

FLI 发布 2025 冬季 AI Safety Index：八家 AI 公司安全实践落后于公开承诺

Future of Life Institute 发布 2025 冬季版 AI Safety Index，由独立专家小组评估全球八家主要 AI 公司的安全实践，评估维度包括风险评估、当前危害、安全框架、生存性安全、治理和信息共享。参评公司为 Anthropic、OpenAI、Google DeepMind、xAI、Meta、Z.ai、DeepSeek 和阿里云。评审认为，尽管各公司在风险评估等方面有渐进改善，但安全实践仍远未达到正在形成的全球标准，主要问题在于落实的深度、具体程度和质量参差不齐。评审还发现，所有明确竞逐 AGI 或超级智能的公司都没有控制比人类更聪明系统的稳健策略，这是行业的核心结构性弱点。

AI Safety Newsletter #66：评估前沿模型、Gemini 3 Pro 与 Claude Opus 4.5 登场、联邦抢占州级 AI 立法卷土重来

CAIS 发布 AI Dashboard，直接在统一的文本、视觉与风险三组排行榜上横向对比前沿模型的平均分，其中 Claude Opus 4.5 在最安全的六项高风险行为测试中取得最低均分 33.6（0–100，越低越安全）。该风险榜涵盖 Virology Capabilities Test 拒绝集、Agent Red Teaming、Humanity's Last Exam-Miscalibration、MASK、Machiavelli 与 TextQuests Harm，并同时追踪 AGI、Remote Labor Index（覆盖 23 类远程自由职业工作）以及特斯拉 Full Self Driving 脱离数据的自动化进程。

Claude Opus 4.5 发布，以及为何评测新 LLM 越来越难

Anthropic 发布 Claude Opus 4.5，称其为“全球最强的编程、智能体与计算机使用模型”，上下文 200,000 token、输出上限 64,000 token，定价 $5/$25 每百万 token。作者在 Claude Code 中实测该模型完成 sqlite-utils 的 20 次提交、39 个文件改动，但预览到期切回 Sonnet 4.5 后进度未变，难以确认能力差异。Anthropic 称 Opus 4.5 抗提示注入强于任何前沿模型，但作者指出单次注入仍有 1/20 成功率，十次尝试可升至 1/3。

CAIS 与 Scale AI 发布 Remote Labor Index，衡量 AI 对真实工作的自动化程度

Center for AI Safety（CAIS）与 Scale AI 发布 Remote Labor Index（RLI），用于测试 AI 能否自动化真实经济中的各类计算机工作项目，覆盖建筑、产品设计、电子游戏开发等职业。RLI 是首个从真实经济中收集计算机工作项目的基准，此前的基准多衡量孤立专门任务上的能力，无法反映 AI 对经济的影响。结果显示当前 AI 智能体只能完全自动化极少数工作项目，最强智能体在 RLI 上的自动化率仅为 2.5%，但呈稳步提升趋势。