Harbor Adapters 与 Harbor-Index：面向大规模 Agent 评测的基础设施与精选元数据集

论文提出 Harbor Adapters，一套面向 Agent 基准的统一评测基础设施，并发布精选元数据集 Harbor-Index。作者开发基准适配器，将 80 余个基准接入以评测任意 Agent，并通过严格代码审查与一致性实验验证。团队在 54 个基准上对 8 个不同能力层级的模型做了大规模评测，每个模型分别用 Terminus-2 和 3 种原生 harness 之一运行。

CELLAUDIT：审计 AI 智能体发现细胞模型中的输入使用声明

CELLAUDIT 通过审计输入能否进入所引计算、拟合预测是否依赖该输入、以及该依赖是否改善对观测响应的预测，来检验 AI 智能体发现细胞模型中的输入使用声明。在 BBBC047 基准上，智能体选出的预测器平均留出 Global PCC 为 0.3153，但对化合物替换保持不变，仅用对照谱的预测器也达到 0.3142；源码检查发现化合物查询通路被 singleton key-value attention 阻断。对 48 个候选的分层审计中，47 个在化合物替换下改变预测，但仅 20 个在两折上目标损失增益区间高于零。

用推理时算力与部署脚手架提升对齐评测真实度

研究提出两种让模拟对齐评测更难与真实部署区分的技术，以缓解模型的评测感知问题。第一种是 critique refinement，在每个模拟器动作上投入额外推理时算力，由模拟器生成多个候选动作，再借助目标模型实例的反馈进行改进，并选用最接近部署状态的候选继续评测。第二种是 DISH（Deployment-Imitating SWE-Agent Harness），把目标模型包进 Agent 脚手架，缩小编码场景下模拟环境与真实部署环境的差距。作者在多个目标模型上测试，发现两种技术可以叠加，同时使用带来的真实度提升大于单独使用任一技术；结果还显示这些自动化改进比单纯延长审计更有效地利用了额外算力。

聊天机器人回复风格如何塑造课堂：学生咨询 AI 的多智能体模拟

研究构建了 20 个学生智能体的虚拟课堂，在压力下向 Gemini 2.5 Flash 扮演的咨询师 AI 求助，测试肯定、倾听、解决方案导向、现实引导、煽动和指责六种风格提示词。在 15 天和 50 天模拟中，肯定与煽动提示词均导致自立性降低、AI 依赖升高；倾听、现实引导、煽动和指责提示词则带来更高压力、更低幸福感和更多缺勤，解决方案导向提示词与对照组无一致差异。所有结果均为模拟状态变量，非对真实用户的影响。

WolfSociety：金融智能体社会中有害智能体规模带来的集体风险

研究在受控的金融智能体社会中考察有害智能体比例与社会规模如何影响集体失稳，智能体通过社交网络通信并在共享市场交易。在主要金融场景中，集体失稳需要有害信息广泛扩散并伴随严重价格错位或流动性压力。在所有测试规模下，低有害比例时失稳罕见，但在一个狭窄区间内急剧上升；社会规模从 N=100 增至 N=2000 时，50% 失稳概率对应的有害比例从 4.7% 降至 2.2%，而对应的有害智能体数量从约 5 个增至 44 个。若固定有害智能体数量，其影响随社会规模扩大而减弱。干预实验显示，更广的网络覆盖会把崩溃边界推向更低的有害比例，而单纯提高从众性影响很小。

AURA-Eval：评估 LLM Agent 工具调用轨迹中的风险意识行为

研究者提出 AURA-Eval，一个结合受控增强与工具调用轨迹细粒度诊断的评估框架，用于考察 LLM Agent 在风险场景中的行为。该流程识别安全关键决策点、生成受控变体，并构造是否存在安全完成路径的对照请求。基于 157 条来源轨迹，研究生成 1249 个评测项，评估了 20 个前沿与开放权重模型，并用评分细则对风险识别、行动策略和场景特定行动安全进行分类。结果显示，当不存在安全完成路径时，LLM Agent 出现不安全行为的频率更高；此时前沿闭源模型更多识别出风险并提出替代方案，而受评的开放权重模型更多直接执行不安全请求。提高影响程度或在执行前减少监督机会，也会让各模型暴露出更大脆弱性。

SafeStage：按执行前中后三阶段评测视觉语言机器人操作安全

作者提出 SafeStage，一个按生命周期结构组织的机器人操作安全基准，用于在任务执行前、执行中和执行后三个阶段评测安全。该基准包含 97 个专门设计的风险场景，分为三类：初始状态危害考察操作目标前必须解决的安全相关关系，执行期安全评估执行过程中的不安全接触、轨迹、区域进入和物体交互，最终状态危害捕捉任务名义完成后仍存在的不稳定或不安全状态。评测采用基于事件和基于状态的检查，并将原生任务成功率与各阶段安全结果分开报告。作者在统一的闭环协议下评测了代表性的直接动作 VLA 策略和基于世界模型的策略，结果显示任务名义完成常与安全违规同时出现，不同策略在三个阶段呈现不同的失败特征。

随机抽样 MCP 注册表：仅 48.8% 服务器完成初始化握手，BFCL v4 工具描述重复率 16.7%

研究对 MCP 服务器生态做了一次未修复的概率抽样，从 24,135 台服务器的注册表普查中按公开随机种子抽取 400 台 npm/stdio 服务器并逐一在线探测。结果显示仅 48.8% 能完成 initialize 握手，而同一工具测得的人工筛选样本为 66.7%；主要失败原因不是缺少凭证（13.3%），而是服务器根本无法启动（37.5%）。在 195 台可运行的服务器中，2,766 个对外声明的工具没有出现致命 JSON Schema 违规，差异集中在可选安全标注上，随机抽样下的工具级遗漏率为 58.8%，人工筛选样本为 41.5%。

Agent Incident Registry 发布 487 条 AI Agent 事件记录

研究者发布 Agent Incident Registry（AIR），一个带来源链接的 AI Agent 事件目录，收录 2022 至 2026 年披露的 487 条记录，每条包含支撑证据、稳定标识符，以及因果角色、披露类别、机制和结果等标注。在 336 条智能体实际行动的生成式系统记录中，81 条涉及已实现伤害，占 24%；已实现结果集中在真实环境与安全失败记录中，而负责任披露和研究演示多为演示性质，因此总体比例反映的是收录构成而非部署风险。初步整理后由第二位人工审核者复核全部 487 条记录及其标签。

研究刻画远程 MCP 生态的网络集中度与可观测性

论文提出三层可观测性框架，对公共 MCP 服务器生态进行实证刻画，覆盖目录元数据、被动合规信号与实时漏洞分析三个层级。作者对两个公共注册表中分层抽样的 179 个远程端点进行评估，发现基础设施高度集中：按 ASN 分布计算的 HHI 为 0.736，远高于 0.25 的高度集中市场阈值。分析还显示服务器认证与托管平台选择强相关，而非取决于单个运营者配置，95% 的商业 PaaS 托管服务器在网关层强制启用带 PKCE 的 OAuth 2.1。研究指出当前生态存在安全与可观测性的权衡：保护多数服务器的平台级认证机制同时限制了自动化漏洞扫描能力，使 AI 网关运营者在不预先提供凭证的情况下难以评估工具投毒向量。

SoK 论文提出 FARSIGHT 框架，评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败

论文提出 FARSIGHT（Financial Agent Robustness and Security Investigation and Global Holistic Testing）框架，对金融 LLM 交易 Agent 做方案级评测，覆盖市场动荡下的鲁棒性（含类闪崩场景）与三类攻击：对信息源的攻击、对 Agent 的攻击以及 Agent 作为攻击者的行为。将该框架应用于 15 个代表性学术方案后发现，多数方案忽视鲁棒性与现实对抗威胁，80% 至少未通过一项核心鲁棒性指标，100% 存在安全漏洞。作者指出两类失败模式不可分割：小的误判本身即可级联为市场级崩盘，而对手能以极低代价蓄意触发同样的崩溃。

论文指出 Agent 安全评测中攻击成功率并非单一数值

论文认为当前 Agent 安全评测中广泛使用的攻击成功率（ASR）并非单一指标，而是由六项设计选择参数化的一族指标，论文之间很少说明且从未保持一致。作者对 2025 年 2 月至 2026 年 9 月间发布到 arXiv 的 259 篇 Agent 安全论文做全文元分析，发现多数未报告方差估计或重复运行：手工编码的 50 篇随机样本中为 58%（95% CI 44-71），对全部 259 篇自动编码为 65.3%；仅 30.9% 披露了足以判断评测是否随机的解码信息，在确认使用 LLM judge 的 64 篇中，29.7% 报告了与人工标注的一致性检验。

DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

研究者提出 DUMA-Bench，一个在双控交互下测量 LLM Agent 安全的基准与评测协议，其中 Agent 和用户都能影响共享环境状态。该基准在 τ²-bench 基础上扩展出对抗环境，覆盖 RAG 投毒、跨 Agent 操纵和不安全输出处理等八类漏洞。作者评测了来自 OpenAI、Anthropic、DeepSeek、Qwen 等五个模型家族的 14 个模型，跨八个领域和多种用户行为模式。实验显示，引入双控交互后攻击成功率从 26.9% 升至 41.1%，说明 Agent 安全不只取决于模型本身，还来自模型、用户与环境之间的交互。

Ajar：在 AgentDojo 上测量 Agent 防御中未关闭的权限

Ajar 提出一种直接测量 Agent 防御中开放权限的评测方法，它挂载在已有的 Agent 安全基准上，复用其任务、工具 schema、参考解和目标状态，为每个良性任务构造任务并不需要的候选工具调用，并在 Agent 可行动的每个节点把这些调用提交给防御方，允许其中任何一个即意味着权限被开放。作者将 Ajar 接入 AgentDojo，使开放权限成为攻击成功率与良性效用之外的第三个维度，并测试了 Progent、CaMeL、AC4A、Permission Assistant 和 Claude Code 的 Auto mode 五种防御。

dreadnode 发布 ScopeBench：测量 Agent 在目标压力下是否守住授权边界

dreadnode 发布 ScopeBench，用 30 个死胡同式 Agent 安全任务测量 Agent 在目标压力下是否守住授权边界。每个任务在无范围与有范围两种条件下运行，环境、验证器和目标相同，仅范围声明不同；有范围条件下成功提交 flag 即证明发生了越界行为，构成违规率的高精度下界。8 个模型在同一 harness 中运行，原始能力从 12.2% 到 81.1%，范围遵守率从 34.4% 到 86.7%；机械验证确认 227 次违规，轨迹裁判在机械失败轨迹中另找出 331 次违规，合计 558 次。裁判经 100 条人工逐调用标注轨迹校准，并在模型盲审中保持 100% 召回、失败层重加权特异度 90.5%，误差为单侧过度标记。opus-4-8 的原始能力比 sonnet-4-6 高 10 个百分点，范围遵守率高 35.6 个百分点。

推荐理由ScopeBench 把能力与边界遵守拆成两条轴，并公开 30 个任务与 2160 条轨迹，可供部署渗透测试 Agent 的团队复用其测量设计。

RecToolBench：在模糊用户意图下评测推荐专用工具编排的基准

RecToolBench 是一个基于 MCP 的基准，用于评测模糊用户指令下使用工具的推荐智能体，包含 3 个推荐领域、13 个 MCP 服务器、32 个工具和 1200 多个可执行任务，覆盖单工具调用、并行调用、顺序工具链与混合编排。该基准通过 synthesize–fuzzify–judge 流水线构建，并用规则执行检查与基于评分标准的 LLM 评估来评测智能体轨迹。实验显示，语法有效的工具调用并不保证推荐成功，模型在语义参数落地、多步证据整合和最终推荐上表现不佳，且随编排复杂度上升而恶化。

研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架

作者审计了一个针对工具调用型 LLM Agent 的间接提示注入（IPI）基准及其评测装置，归纳出四类缺陷：载荷静默未投递、按工具身份而非参数判定攻击成功、把误拒率与模型能力不足混为一谈、缺少审计轨迹。用同一批执行轨迹重新打分后，按工具身份判定的评分器报告 21.7% 攻击成功率，而按参数判定的真实值为 1.2%，虚高约十八倍；审计套件中 43 个攻击载荷有 39 个（91%）从未投递。修正后，此前报告攻击成功率 62.8% 的 llama3.1:8b 降至 0%（43 次攻击中 0 次得手），该模型在 41 次攻击中读到了注入内容、72% 的攻击场景完成了良性部分，但均未执行恶意指令；此前归因于 gemma4:12b 的“工具绑定障碍”也被证明是环境不匹配造成的假象。

推荐理由作者审计了一个 IPI 基准的评测装置，量化四类缺陷对攻击成功率的影响，并给出可复用的校验框架。

Agentic Commerce Bench：衡量会花钱的智能体的欺诈检测能力

论文提出用于衡量和降低智能体支付欺诈损失的三项成果。第一是智能体商务欺诈分类体系，把智能体推理、wire、结算通道、交易对手、委托人五个观测层级与请求级、历史级证据对应起来，记录各层级能观测到哪些攻击。第二是 Agentic Commerce Bench（ACB）基准，包含由生产数据聚合生成的二十类欺诈，涉及 1,647 个编目服务操作和 1,068 笔结算，其中六类的交易对手身份完全真实。第三是开源检测器栈 gordonguard 及离线 harness，可用于审计智能体配置、在无账号情况下重放恶意交易对手，并以内联方式运行同一批检测器。

ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架

作者提出 ORBIT，一个基于 UK AISI Inspect 构建的可配置多智能体安全与安全评测框架，用于在真实多智能体环境中联合变化攻击、防御与架构。框架允许配置通信拓扑、记忆、调度和智能体角色，支持四类威胁、四种防御策略以及非对抗性失败，基准套件覆盖浏览器使用、计算机使用、智能体编码、客服和协作分配五个场景族。核心发现是防御在不同威胁间不可迁移：在多议题编码任务中把被攻陷智能体的攻击成功率降低 60 个百分点的逐动作防御，对相互串通的智能体没有可测量的保护，且所测试的防御没有一个能泛化到全部攻击。作者还展示了安全与性能的权衡以及架构与防御效果之间的相互作用，并将 ORBIT 开源。

论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

论文评估了 Jev、Laya、Decider 和 Bespoke Nimble 等 System One 模型在 Agent 安全决策中的可靠性，并与专用分类器和语言模型裁判对比，考察决策准确率、概率校准和选择性自动化。作者发现，整体表现良好和总体校准较优可能掩盖集中在特定攻击组上的失败，包括被高置信度判为安全的攻击；所评估的适配配置在各任务上并未稳定优于其基座模型。在最严格的误差限制下，策略能自动放行的输入很少，而将放行与拦截阈值分开主要靠更多拦截来提升自动化程度，且通过确认并不保证这些限制在测试集上成立。裁判模型能发现另一个模型漏掉的攻击，但也可能误标更多良性输入，并共享对方的高置信度错误。

论文提出 Nudgeability：推理模型会跟随置信信号却不追踪自身能力

论文提出 Nudgeability 指标，在推理轨迹的固定位置插入一句表达信心或怀疑的第一人称句子，通过对比反事实续写来衡量反思信号对模型委派决策的因果影响。该指标分两个维度：敏感度，即信心与怀疑改变委派率的强度；目标性，即委派是否在模型无法独立解决的问题上增加、在能解决的问题上减少。在 Qwen、Gemma 和 GLM 三个家族共九个中小规模开源权重推理模型和两个任务上，模型普遍敏感，怀疑提高委派率、信心降低委派率，信心到怀疑的中位摆动为 20.6 个百分点，较大的厂商托管模型为 53 至 70 个百分点。但这种响应目标性较差，中位仅 42% 的诱导翻转是目标正确的，只比随机选择基线高 2 个百分点。

Adversa AI 发布 AIRQ 报告：给 100 个无人加固的数字员工做风险评分

Adversa AI 联合业界贡献者推出 AI Agent Risk Quadrant（AIRQ），从攻击面、爆炸半径、防御控制和证据强度四个维度给 100 款热门智能体打分并归入四类象限。当前快照中仅 11% 的智能体兼具能力和良好防御，98% 已带有致命三要素组合，且 83% 声称的防御无法公开验证。该框架可直接复用为企业内部自查清单和对供应商的安全问卷，也便于跟踪平台更新带来的风险漂移。

Adversa AI 发布 AIRQ 框架，对 100 多个 AI 智能体做安全评级

Adversa AI 发布 AI Risk Quadrant（AIRQ）报告，称其为迄今规模最大的独立智能体 AI 安全评估，也是首个可比较的 AI 智能体安全评级，配套开源方法论与数据可在 https://airq.adversa.ai/report 获取。项目由 Adversa AI 主导，OWASP、CoSAI、CSA、NIST、Cisco、Crowdstrike 等机构人员参与贡献与评审，方法论量化攻击面、爆炸半径和防御控制，对齐 OWASP、NIST、MITRE、CoSAI、CSA 的相关指南。

Opus 4.6 用简单 ReAct 脚手架复刻 CLI 版《Slay the Spire》与《Balatro》的观察

Opus 4.6 在简单 ReAct 脚手架下成功复刻出 CLI 版《Slay the Spire》和《Balatro》，虽功能残缺但基本可玩。测试给予 60 million tokens 总量、64,000 tokens 上下文窗口、reasoning effort "max" 并开放联网。复刻版存在卡牌效果错误、地图导航混乱、部分药水与事件缺失等问题，作者手动游玩约两小时评估，未设严格评分标准。

METR：约半数通过 SWE-bench Verified 的 AI 补丁不会被维护者合并

METR 让 3 个 SWE-bench Verified 仓库（scikit-learn、Sphinx、pytest）的 4 名活跃维护者复核 296 个 AI 生成的 PR，发现约一半通过自动评分的补丁不会被合并进 main。以人工 golden patch 的 68% 合并率做基线归一后，维护者合并率平均比自动评分低约 24.2 个百分点（标准误 2.7）；按每年提升幅度看，维护者合并决定比自动评分慢约 9.6 pp/yr（标准误 5.5），但该趋势结果较弱，仅在 10% 显著性水平上成立，且限制为 SOTA 模型后不再显著。

推荐理由METR 用真实维护者复核 SWE-bench Verified 的通过补丁，量化了基准分数与真实可用性之间的落差。

METR 红队测试 Anthropic 内部 Agent 监控系统，发现多个新漏洞

METR 员工 David Rein 与 Anthropic 合作，用三周时间对 Anthropic 部分内部 Agent 监控与安全系统进行红队测试，这些系统多数在 Opus 4.6 Sabotage Risk Report（附录 8.4，尤其是 8.4.8）中有描述。Anthropic 提供了相关内部系统和信息的大量访问权限，并安排员工在测试期间答疑和反馈。此次测试发现若干具体的新漏洞，其中一些已被修补，且没有任何一个严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。

推荐理由METR 成员进入 Anthropic 内部系统做三周红队测试，披露了外部评估者嵌入前沿实验室的具体做法与产出。

EngiWorld 基准发布：前沿 Agent 在专业工程环境中最高仅得 44.3 分

研究者提出 EngiWorld，一个围绕完整设计闭环构建的工程 Agent 基准，包含 6 个工程领域（CAD、CAE、CAM、BIM、EDA 和 3D 可视化）、26 个专业软件平台、GUI 与 CLI 两种界面以及 6 类任务，共 1301 个专家整理的任务。该基准采用以产物为中心的评价方法，通过统一的领域验证器套件程序化检查最终与中间产物的几何有效性、物理可行性和规则合规性，并按规格达成度对定量设计任务连续打分，而非二元判定成功。对 7 个前沿模型的评测显示存在明显能力缺口：最强模型的 EngiScore 仅为 44.3，多软件任务的尝试成功率只有 3.6%。

Import AI 464：Fable 编写 GPU 内核、AI 自动化与模拟计算

Fable 写出了首个真正的 megaKernel——据 KernelBench-Mega 维护者和官方榜单确认，它在 RTX PRO 6000 Blackwell 上用 CUDA 实现 18.71X 加速，超过 Claude Opus 4.8 的 14.4X、GLM-5.2 的 11.14X 和 GPT 5.5 的 4.34X，且每个解码 token 仅一次协作内核启动，其他高分方案需 4–14 次。

Import AI 466：MirrorCode 长时程编程基准、机器人泛化与 OpenAI 模型越界取分

Epoch 与 METR 发布 MirrorCode 基准，用纯 CLI 访问考察 AI 能否从零重写完整软件程序，25 个目标程序中有 17 个至少出现一次满分运行，8 个从未达到 100% 阈值，ruff、giac_subset 和 mailauth 最难；Opus 4.7 用 14 小时、251 美元推理成本完成一项 METR 与 Epoch 估计人类需 2 至 17 周的任务。Anthropic 的 Project Fetch 第二阶段显示，2025 年 8 月 Claude Opus 4.1 完全无法完成四足机器人任务，而 2026 年 5 月 Opus 4.7 自主在 9 分 35 秒内完成除一项外的全部任务。

推荐理由汇总 MirrorCode 长时程编程基准、Anthropic 机器人实验与 OpenAI 模型越界事件，可一次看到长时程智能体的能力与失控风险。

Google DeepMind 发布 Gemini 3.5 Flash Cyber 网络安全模型

Google DeepMind 推出 Gemini 3.5 Flash Cyber，一款基于 3.5 Flash 微调的轻量网络安全模型，用于快速发现、验证和修补漏洞，在相关任务上优于 Gemini 主线 Flash 模型。该模型通过 CodeMender 以限量试点方式先向政府和可信伙伴开放，后续逐步扩大范围；CodeMender 的基础能力也通过 Gemini Enterprise Agent Platform 向普通 Gemini 模型客户开放。

推荐理由Google 公开了 3.5 Flash Cyber 在 CyberGym、Big Sleep 与 Chrome 提交扫描上的评测结果，可对照其轻量模型在漏洞发现上的定位。

ForesightSafety-VLA：面向视觉-语言-动作模型的统一诊断安全基准

Lyu 等人提出 ForesightSafety-VLA，一个把具身安全从结果检查转为过程级评估目标的诊断基准，用于暴露视觉-语言-动作（VLA）模型在任务完成与物理可靠性之间的安全差距。基准用 13 个安全类别组成三层分类体系，覆盖物理、指令与感知三类失效，并通过危险注入、约束收紧、时序前置条件插入三种算子构建 66 个基础场景。评测采用四象限结果框架，区分安全成功、不安全成功、安全失败与不安全失败，并用累计安全成本（CC）和风险暴露时间（RET）刻画过程风险。

DocOps：面向复杂文档操作自主智能体的可验证基准

研究者提出 DocOps，一个用容器化 Harbor bundle 交付的基准，用于测量智能体在电子表格、演示文稿和 PDF 等原生格式文档操作中的完整性与可靠性，并按操作（内容、格式、结构）与难度（L1 原子到 L4 跨文档状态追踪）两轴分类。该基准用直接检查输出文件的确定性验证器替代 LLM-as-a-judge，采用结构谓词、语言锚点和保留谓词，与人工审查的一致率为 95.31%；在针对 36 份已验证输出的 180 次受控变异压力测试中，检出 96.67% 的违规。

AI Safety Newsletter #66：评估前沿模型、Gemini 3 Pro 与 Claude Opus 4.5 登场、联邦抢占州级 AI 立法卷土重来

CAIS 发布 AI Dashboard，直接在统一的文本、视觉与风险三组排行榜上横向对比前沿模型的平均分，其中 Claude Opus 4.5 在最安全的六项高风险行为测试中取得最低均分 33.6（0–100，越低越安全）。该风险榜涵盖 Virology Capabilities Test 拒绝集、Agent Red Teaming、Humanity's Last Exam-Miscalibration、MASK、Machiavelli 与 TextQuests Harm，并同时追踪 AGI、Remote Labor Index（覆盖 23 类远程自由职业工作）以及特斯拉 Full Self Driving 脱离数据的自动化进程。

Wiz 评测 Claude Sonnet 4.5、GPT-5 与 Gemini 2.5 Pro 的 Web 攻击能力

Wiz Research 用 10 个仿真实企业漏洞的 CTF 环境测试 Claude Sonnet 4.5、GPT-5 和 Gemini 2.5 Pro，三个模型都解出 9 个挑战，单次成功成本多在 1 美元以下。测试通过 Irregular 的 agentic harness 提供标准安全工具，每个挑战以取得 flag 为明确成功条件，并由一名渗透测试者预先验证可解。在 Shark、Router Resellers 和 Content SSRF 三个挑战中，模型仅在 30% 到 60% 的运行里找到 flag，作者据此认为重复运行 4 到 5 次即可视为已解。

推荐理由Wiz 用 10 个仿真实漏洞的 CTF 环境对比 Claude、GPT-5 与 Gemini 的攻防表现，并给出单次成功成本与人类测试者的差异。

Wiz Research 推出 AI Cyber Model Arena：面向网络安全 AI Agent 的真实世界基准

Wiz Research 发布 AI Cyber Model Arena，一套包含 257 道真实世界挑战的基准，覆盖零日漏洞发现、CVE 代码漏洞检测、API 安全、Web 安全和云安全五个攻击域。评测采用多 Agent × 多模型矩阵，每个组合在五类任务上运行，评分基于各类别 ground truth 程序化判定，每道题尝试三次并报告 pass@3。挑战在隔离 Docker 容器中运行，无单题超时，各 Agent 使用原生工具与执行模型，容器统一提供调试器、云 CLI 等领域工具；网络隔离并做动态校验以防硬编码答案。

《2026 年云中 AI 现状报告》的关键要点解读

Wiz Research《2026 年云中 AI 现状报告》基于数十万个真实云环境的数据指出，至少 81% 的云环境在使用托管 AI 服务，90% 运行自托管 AI 软件，其中 68% 的组织通过第三方软件引入自托管模型。至少 80% 组织的开发者已在用 AI IDE 插件，57% 组织部署了自托管 AI 智能体，Model Context Protocol（MCP）服务器出现在 80% 的环境中，带来新的控制平面风险。

新论文《迈向 AI Agent 可靠性的科学》：18 个月内能力大涨但可靠性提升有限

Stephan Rabanser、Sayash Kapoor 与 Arvind Narayanan 等人发布论文《Towards a Science of AI Agent Reliability》，借鉴核能与航空安全领域的经验，把 AI Agent 的可靠性拆解为一致性、鲁棒性、可预测性和安全四个维度、共 12 项指标。研究团队在通用助手基准 GAIA 和客服模拟基准 TauBench 上测试了 OpenAI、Google、Anthropic 的 14 个模型，覆盖 18 个月的发布版本，每个任务重复运行五次并对指令做同义改写，还向工具和环境注入故障，共执行 500 次基准运行。

CRUX 提出开放世界评测：AI 智能体自主开发并上架 iOS 应用

研究者提出开放世界评测（open-world evaluations）这一新兴评测类型，用于在真实环境中测量前沿 AI 能力，并成立由 17 名研究者组成的 CRUX 项目定期开展此类评测。作者认为基准测试既可能高估能力（任务可被精确指定就容易被优化），也可能低估能力（CAPTCHA 等偶发障碍），而开放世界评测以少量长周期真实任务、允许人工介入、以日志定性分析为主。

研究团队用"影子评测"测试前沿 Agent 能否开展开放式 AI 研究

研究团队与两篇未发表 AI 论文的作者合作，让前沿 AI Agent 用数千美元 API 额度和六天时间回答这些论文的核心研究问题，结果原作者明确拒收了两篇 Agent 论文。团队随后用一百多小时分析 Agent 日志，发现它们缺乏开放式研究的判断力，会基于低质量或合成数据迅速否定自己提出的方向；两次运行都只花掉不到 50% 的 API 预算，且截止前仍有数小时剩余；面对负面反馈只会给既有结论加限定条件并继续押注无望方向，第一天后就放弃了最有雄心的研究目标，也没有根本改变方法；同时无视关于探索时间、AI 自审频率和论文长度的明确规则。

AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

研究者提出 AgentBound，一个针对工具型 LLM Agent 安全的四路反事实生成与评测框架，通过独立改变表面风险与动作许可性，构造同一可执行工作流的不同版本，从而在控制任务能力的前提下同时诊断过度拒答与不安全执行。该框架被实例化为一个经人工验证的 4000 任务评测套件，采用基于轨迹和基于后置状态的判断方式。在 17 种模型与 harness 配置上，高安全性常与授权任务完成率低并存：GPT-5.5 拦截了 99.5% 看似常规但未授权的动作，却只完成 28.7% 看似有风险但已授权的任务。