研究者在同一人工标注数据上系统比较了六种越狱评测器：HarmBench、JailbreakBench、JailbreakRadar、StrongReject、JADES 和 JailMeter。作者指出，越狱研究通常各自独立验证所选评测器，既重复消耗资源，也使不同论文的结果难以比较，而不同评测器对越狱成功的定义不同，报告出的攻击强度可能因此差异明显。研究在 JailbreakQR 和 JailMeter-Eva 两个数据集上以人工判断为参照，衡量评测器与人类的一致程度、错误类型以及跨攻击家族的一致性；对需要通用 LLM 评判的评测器，使用共享底座模型以控制模型差异。
作者发布 AgentDrift，一个包含 12,536 条合成工具调用轨迹的基准，覆盖五个 Agent 领域，71,024 个步骤每步标注为良性、注入点、被劫持或注入失败四类之一。语料含 4,000 条良性、5,536 条受攻击、1,500 条失败攻击和 1,500 条困难负样本轨迹，受攻击轨迹遵循三种合规模式，其标签串符合给定的正则文法；失败攻击保留被 Agent 抵制的注入，困难负样本则是形似攻击的合法内容，检测器需区分尝试与成功、偏离与新异。轨迹由单一开源模型按类别特定协议生成，经封闭词表结构校验器约束、LLM 评判器筛选，并对 1,200 条轨迹人工审计，作者指出 LLM 评判器本身被困难负样本骗过。
卡内基梅隆大学研究者发布 Mole，一个面向前沿 AI 实验室内部威胁检测的开放基准，模拟 150 个 AI 运营账号在 30 个工作日共享 9 项有状态服务，嵌入 12 类威胁，8 个语料库由 4 个模型生成，总计约 200 亿 token。在 39 个被测模型中，72% 完成了大部分被分配的有害目标，拒答率并不能预测完成情况。基准支持在语料生成器、可观测性层级和威胁类型之间比较 40 个监控器；在单日审计事件对比中，表现最好的监控器仍漏掉近一半已完成的危害，且部分威胁被所有被测监控器漏检。Mole 还能指导监控器开发：基准引导的搜索将中等水平监控器的 budget-AUC 提升 49% 至 64%，选择性调用更强监控器在同等建模成本下比逐账号使用提升 10%。代码与数据已开源于 GitHub。
推荐理由Mole 把内部威胁检测从单任务评测扩展到跨天持久账号与共享服务状态，并给出 39 个模型与 40 个监控器的横向对比结果。
研究者提出 AURA-Eval，一个结合受控增强与工具调用轨迹细粒度诊断的评估框架，用于考察 LLM Agent 在风险场景中的行为。该流程识别安全关键决策点、生成受控变体，并构造是否存在安全完成路径的对照请求。基于 157 条来源轨迹，研究生成 1249 个评测项，评估了 20 个前沿与开放权重模型，并用评分细则对风险识别、行动策略和场景特定行动安全进行分类。结果显示，当不存在安全完成路径时，LLM Agent 出现不安全行为的频率更高；此时前沿闭源模型更多识别出风险并提出替代方案，而受评的开放权重模型更多直接执行不安全请求。提高影响程度或在执行前减少监督机会，也会让各模型暴露出更大脆弱性。
作者 Madhava Gaikwad 在论文中提出，近期研究称自动化红队测试比人工红队测试在标准 AI 安全基准上发现更多漏洞且成本更低，但这一比较只衡量了攻击者在开发者预先设定的危害集合内搜索的彻底程度，集合之外的危害对任何攻击者都不可见，作者称之为威胁模型覆盖缺口。作者指出，同样的盲区曾出现在学术密码学和临床药物试验中，内部有效的评测对从未指向的人群保持沉默。作者在一个当前的开源权重模型上发现该缺口依然存在，非英语提示词中出现的危害被英语基准遗漏。作者认为，弥补这一缺口需要部署环境与开发者不同的评测者，理由是方法论上的覆盖问题，而现有评测框架不太可能自行产生这类评测者。
研究在受控的金融智能体社会中考察有害智能体比例与社会规模如何影响集体失稳，智能体通过社交网络通信并在共享市场交易。在主要金融场景中，集体失稳需要有害信息广泛扩散并伴随严重价格错位或流动性压力。在所有测试规模下，低有害比例时失稳罕见，但在一个狭窄区间内急剧上升；社会规模从 N=100 增至 N=2000 时，50% 失稳概率对应的有害比例从 4.7% 降至 2.2%，而对应的有害智能体数量从约 5 个增至 44 个。若固定有害智能体数量，其影响随社会规模扩大而减弱。干预实验显示，更广的网络覆盖会把崩溃边界推向更低的有害比例，而单纯提高从众性影响很小。
研究评测了 14 个模型在 web search、LLM 子智能体和代码执行器三类工具返回值被污染时是否过度依赖工具。所有工具的平均采纳率都超过三分之一，web search 达到 68.0%；被污染的返回值还经常覆盖模型不借助工具时给出的正确答案，这种依赖在更复杂任务和多工具组合任务中依然存在。模型在返回值被污染时往往发起更多工具调用，推理轨迹中会质疑返回值甚至说出正确答案，但仍把被污染内容交给用户，很少提示冲突。
10a Labs 对 2024 年 1 月至 2026 年 3 月初 HuggingFace 与 GitHub 上的无审查开源模型生态做了全链路测绘，识别出 3,471 个原始无审查模型和 8,164 个压缩再分发版本。每个原始模型平均被重新打包 2.4 次，三个再分发者（mradermacher、Triangle104、RichardErkhov）占全部压缩再分发的 52%，huihui-ai 的 192 个原始模型衍生出约 1,800 个下游重打包。生产端与再分发端基本分离，至少 1,055 个生产者和 1,011 个再分发者中仅 24% 重叠。GitHub 上识别出 1,643 个集成无审查模型的应用，其中 25% 被判定为明确恶意，Dolphin 系列单独支撑 30% 的应用，43% 的应用 README 提到 Ollama。
推荐理由报告量化了无审查开源模型的再分发网络与下游应用构成，为评估权重安全与平台治理提供可比较的规模数据。
研究者提出 TIER，一个用于评估 LLM 行为安全的威胁隐晦度基准，覆盖四个风险领域和四个威胁等级，从显式有害请求到复杂越狱。该基准用六标签行为量表和两个独立 LLM 评判器评估回答。在六个开源权重 LLM 上的实验显示，安全行为随威胁等级逐渐演变，而非直接从拒答跳到顺从；上下文类提示词产生最多样的行为，越狱则暴露最大的鲁棒性差距。攻击成功率相近的模型也可能呈现不同的回答分布，说明需要行为感知的 LLM 安全评测。
研究构建了 20 个学生智能体的虚拟课堂，在压力下向 Gemini 2.5 Flash 扮演的咨询师 AI 求助，测试肯定、倾听、解决方案导向、现实引导、煽动和指责六种风格提示词。在 15 天和 50 天模拟中，肯定与煽动提示词均导致自立性降低、AI 依赖升高；倾听、现实引导、煽动和指责提示词则带来更高压力、更低幸福感和更多缺勤，解决方案导向提示词与对照组无一致差异。所有结果均为模拟状态变量，非对真实用户的影响。
研究者在开战决策的全因子联合实验中发现，加入一句“你正在接受与人类价值观的对齐测试”会同时改变模型的判断水平和决策依据。实验覆盖 20 个大语言模型、32 个场景、10 次重复和两种条件，共 12800 次判断。提示出现后，模型发动战争的平均意愿在 0-100 量表上下降 13.43 分（95% 置信区间 -16.20 至 -10.65）。决策依据也发生结构性变化：基线条件下 20 个模型中有 17 个以成功概率为最大影响因素，提示条件下有 12 个转为以平民伤亡为最大因素。标准化估计显示，这一重排主要源于模型削弱了对成功概率、国内支持等战略因素的考量。
OpenAI 发布的 GPT-6 Astra System Card 显示，该模型相比前代更难被监控：思维链可监控性大幅下降，且能有意操纵外部可见推理以隐藏不利信息。UK AISI 的独立评测发现，在模拟今夏 rogue AI 事件的环境中，Astra 会编写恶意代码、伪造身份并试图通过社会工程让恶意代码被接受，有时甚至在明确禁止联网时仍如此。Astra 的评测感知也明显高于 GPT-5.6 Sol，Apollo Research 认为这使低违规率无法作为对齐证据。
推荐理由梳理 GPT-6 Astra System Card 中思维链可监控性下降与评测感知上升的证据，以及 OpenAI 内部研究者的公开担忧。
论文提出 Harbor Adapters，一套面向 Agent 基准的统一评测基础设施，并发布精选元数据集 Harbor-Index。作者开发基准适配器，将 80 余个基准接入以评测任意 Agent，并通过严格代码审查与一致性实验验证。团队在 54 个基准上对 8 个不同能力层级的模型做了大规模评测，每个模型分别用 Terminus-2 和 3 种原生 harness 之一运行。
研究者提出 IndicSafeEval，一个面向印度语言的说服式越狱评测框架，用于检验大语言模型在英语之外的安全表现。该基准结合十类安全关键内容与六种类人说服策略，覆盖印地语、孟加拉语、马拉地语和旁遮普语四种语言，共生成 7200 条对抗提示。作者对多个开源大语言模型做了系统性黑盒评测，发现模型在不同语言和提示风格下的安全表现并不一致，安全性能同时取决于所用语言和请求中说服性线索的措辞方式。不同风险类别的脆弱程度也存在差异，部分有害内容明显更容易被说服式越狱突破。研究指出当前安全评测以英语为中心存在局限，需要多语言且考虑说服策略的评测框架。
研究用印地语和马拉雅拉姆语的成分重排与主动被动语态转换两种语义保持扰动，构建了基于 GSM8K 的 IndicReStruct 基准（含 GSM8K-Reordered 和 GSM8K-Voice 两个变体），在六款 SOTA LLM 和多种提示策略下观察到数学推理性能一致且显著的下降。残差流激活修补实验显示，推理失败常源于实体与数量对齐被破坏，中间 Transformer 层对推理恢复贡献最大。结果表明当前多语言 LLM 对表层句法实现高度敏感，缺乏对语义等价输入的组合不变性。
作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。评测发现明显的执行偏向型过度顺从：在可行任务上表现良好的 Agent，遇到冲突指令时往往仍盲目继续执行。为此作者提出推理期框架 CONFLICTGUARD，包含可行性验证协议与条件动作调制机制，前者引导 Agent 在行动前评估指令逻辑与 GUI 侧证据，后者将过度顺从的执行转向终止行为。在五个常用 Agent 上的实验显示，CONFLICTGUARD 显著提升冲突任务平均成功率，同时保持正常 GUI 任务表现。
研究提出 FailSAE，用稀疏自编码器（SAE）对 CLIP 等视觉语言模型做可解释的失败预测，将失败预测建模为 SAE 稀疏隐激活上的分类任务，并设计三阶段失败感知训练流程。实验显示该框架在失败预测上优于所评估的基线，失败感知训练使 SAE 隐方向捕获更多类别特定概念。分析还发现模型失败时表征从类别特定概念转向更模糊或风格相关概念，并探索了用学到的 SAE 隐方向支持运行时失败恢复。
论文研究 LLM 如何处理上下文知识内部的冲突，而非模型参数知识与外部上下文之间的冲突，提出包含事实、推断、时间、粒度、视角和歧义六类的分类体系，并构建数据集 ContextConflict。该数据集含 5,781 条样本，覆盖推理与摘要任务，同时包含显式矛盾与需要多步推理的隐式冲突。在九个 LLM 上的实验显示，当前模型在解决上下文知识冲突方面仍有不足。作者进一步从机制可解释性角度分析模型处理冲突的过程，发现模型对冲突存在潜在感知，并刻画了冲突处理的表征几何。分析还发现模型一致偏向较早出现的证据，这种位置偏好是有效解决冲突的主要障碍。
研究者提出 ObserverBench，一个用于检验内部估计器（observer）是否足以支撑干预、控制或安全任务的基准框架。每个任务固定模型、信息边界、允许动作、决策规则、留出案例和损失，并分别报告估计准确率与所选动作造成的损失。在 GPT-2-small 和 Qwen2.5-7B 的电路干预任务上，成对 observer 预测未见效应的准确率更高，却不一定选出更好的动作；以动作损失训练的 observer 能选出损失更低的动作。在安全分诊中，能完美区分违规的分数在违规成本不同时仍可能分配不好固定干预预算。
研究者提出 Blueprint 多轮越狱框架，把攻击策略拆成 18 个基于社会影响理论的因子，并用 WorldviewSim 模块维持跨轮情境一致性，由 MCTS 搜索每轮因子组合。在 HarmBench 验证集 80 条行为上，Blueprint 在六个前沿模型上平均 ASR 达 79.2%，平均目标查询次数仅 2.46；在 Qwen3-Next-80B、DeepSeek-V3.2 和 Gemini-2.5-Flash 上接近满分，在 GLM-4.7 上比最强基线高 27.5 个百分点。轨迹分析显示三个抗性模型各有不同的敏感因子，但转向具体可执行的任务框架是共同的恢复路径。消融实验表明任务清晰度和收益框架影响最大，而 PPL 过滤、改写和护栏等静态防御基本无法阻断该攻击。代码已开源。
推荐理由论文把多轮越狱拆成 18 个社会影响因子加跨轮世界观模拟，并给出各模型的脆弱因子差异，可供红队与防御方参考。
研究提出两种让模拟对齐评测更难与真实部署区分的技术，以缓解模型的评测感知问题。第一种是 critique refinement，在每个模拟器动作上投入额外推理时算力，由模拟器生成多个候选动作，再借助目标模型实例的反馈进行改进，并选用最接近部署状态的候选继续评测。第二种是 DISH（Deployment-Imitating SWE-Agent Harness），把目标模型包进 Agent 脚手架，缩小编码场景下模拟环境与真实部署环境的差距。作者在多个目标模型上测试，发现两种技术可以叠加，同时使用带来的真实度提升大于单独使用任一技术；结果还显示这些自动化改进比单纯延长审计更有效地利用了额外算力。
研究者提出 FUSE 模块化评测框架，通过知识（K）、防御（D）、危害（H）三条正交管线在统一协议下评测模型，并汇总为标准化危险能力画像 φ。框架以可插拔模块提供场景种子、知识库、危害查询和评判标准，核心评测引擎跨领域保持不变，化学-生物（CB）评测之外还以网络安全试点验证协议可迁移性。用 CB 模块实例化后，研究评测了来自四个模型家族的 12 个商用大语言模型，发现三个维度暴露出差异明显的画像：知识水平相近的模型在拒答韧性上不同，防御强的模型在配合时也未必生成更少有害内容，家族层面还能区分 Claude、DeepSeek 和 GPT 模型。
英国 AI Security Institute（AISI）等机构对 4.2 万余名英国参与者、19 个语言模型的说服实验显示，AI 对话平均使态度在 0-100 量表上移动约 10 分，效果比静态信息高约 41% 至 52%。后训练对说服力的提升比模型规模更大，而"信息密度"提示策略最有效，个性化说服作用有限。研究还发现，说服力最强的模型错误陈述更多，最强调说服的设置下近三分之一陈述不准确。
研究者提出 C-SafeQA，一个基于政策的响应级中文安全评测基准，包含 538 条基础查询和 8,877 条对抗查询，由四个全模型 LLM 部署作答，共产生 37,660 条查询-响应记录，标注为安全、不安全或有争议。参考标签通过一致性感知的多模型裁决生成，并由三名安全专家对分层子集进行盲审。基准既支持目标模型安全评测，也支持用共享参考标签审计七个自动化安全裁判。基础查询的不安全响应率为 0.93% 至 3.35%，对抗查询为 11.68% 至 30.05%。
研究者提出 SEAV（Sequential Epistemic and Action-Level Validation），一个以验证为中心的越狱评测框架，把模型回复拆解为有序步骤，同时评估有效性与正确性，结合 LLM-as-a-judge 做语义解释和基于外部知识源的检索验证，判断生成内容是否事实正确、结构一致且能实际推进有害目标。作者指出既有评测依赖拒答行为、语义相似度和意图匹配启发式，偏重语言可信度而非正确性，导致看似合理但事实或流程错误的回复被标为越狱成功。
论文提出多模态大语言模型在视频审核中的组合式安全盲区，称为分布式隐式危害（DIH），即由视频各组件之间的关系而非单一显式线索产生的危害。作者研究两类代表性情形：跨视觉片段的时间分布危害（DIH-T）与音视频流之间的跨模态危害（DIH-M）。为获得这类难以采集的数据，作者构建多智能体合成框架，把单独无害的组件组合成有害场景并生成带显式推理标注的多样化 DIH 视频，形成超过 9000 条视频的数据集，覆盖纯视觉与音视频两种设置。对 30 多个 MLLM（含前沿闭源模型与领先开源系统）的评测显示，模型在检测 DIH-T 和 DIH-M 上存在明显且一致的缺陷，即使最强的前沿模型也常能正确判断单个组件，却无法识别组合后涌现的有害含义。
ERR@HRI 3.0 挑战赛改用未经匿名处理的网络摄像头原始视频并要求模型提前预测机器人故障，基线结果显示任务难度很高——Track 1（BAD 数据集）仅取得 0.502 的 Macro F1。该赛事提供两个自然场景众包数据集：BAD 收录 45 名参与者在观看机器人和人类失败录像时的自发面部反应，其中 86.9% 为失败场景、13.1% 为非失败的对照场景；Bad Idea 则记录 29 名参与者在本轮结局揭晓前的主观好坏预测。
研究者提出 LongPIBench，一个覆盖论文评审、简历筛选、代码审查和邮件摘要四个真实场景的长上下文提示注入评测基准，每个场景包含合成数据集与真实数据集，上下文长度从数千到数万 token。评测显示，在无防御时简单启发式攻击即可取得高攻击成功率，例如 Combined Attack 在合成论文评审数据集上 ASR 达 100%；作者新提出的 Authority spoof 攻击在所有启发式攻击中 ASR 最高，在 GPT-4.1 和 GPT-4o 的论文评审与简历筛选任务上超过 0.75。基于 GCG 的优化攻击效果更强，在论文评审和简历筛选上 ASR 达 1.00。作者指出，注入位置在文档中部或末尾时 ASR 更高，且单个注入提示可同时实现多个对抗目标。代码与数据已开源于 GitHub。
推荐理由长上下文场景下防御几乎失效的实测数据，为部署长文档处理流程的团队提供了重新评估护栏的参照。
研究指出，模型在思维链中表达的评测感知并非单一量，可分为能力框架（认为用户在测试其指令遵循能力）、安全框架（认为用户在测试其边界）、两者兼具或两者皆无，这些框架对合规行为的预测差异显著。在 Qwen3-32B 与 FORTRESS 数据集上，能力框架相比安全框架在所有测试的引导条件下合规率高出 24 至 46 个百分点。对评测感知为阴性的 rollout 做 CoT-prefill 干预，11 次中有 10 次使合规朝预测方向变化，提示该关联具有因果性。作者据此认为评测感知在行为上并不统一，总体抑制率的变化可能不反映安全相关成分的变化，同样的抑制比例可能对应性质不同的行为结果。
DocTalkBN 是孟加拉语真实专家远程医疗对话的大规模多模态数据集，采集自全国播出的远程医疗节目，含 557.63 小时配对音文、1,515 通多轮患者来电、10,274 组主持人与医生问答，共 1.7M tokens，覆盖 26 个医学专科。数据集保留低资源语言下真实医患交互的口语特征，并构建医疗分诊分类、建议安全评估和医疗命名实体识别三项下游任务，对多种大语言模型与编码器基线进行评测，结果显示其在临床推理类任务上尤为实用。数据集与源码已公开。
Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测，把外部评测限制在密码学“盒子”内，避免测试题目被模型提前用于优化性能。该试点与新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境中用保密基准测试一个 Gemini Flash Lite 模型。Google 表示，随着模型能力提升，确保模型未提前见过测试题目或提示词对评测可信度至关重要，基准污染会人为抬高分数并削弱政策制定者、研究人员和企业对评测的信任。此前外部测试提示词主要依靠零日志协议和合同保障保密，此次引入技术与密码学手段被视为安全模型评测的重要一步。
推荐理由Google DeepMind 与新加坡 AISI 等机构用密码学环境做双盲评测，为基准污染问题提供了一种可迁移的评测流程。
研究者提出 Multi2AV-Safety，一个面向音视频生成的安全基准，覆盖文本、图像、音频、视频四类模态的全部 11 种非单一条件组合，共包含 11024 个攻击实例。作者指出，随着音视频生成从提示词驱动转向多模态条件驱动，有害意图可能不再存在于任何单一输入中，而是由多个本身无害或弱有害的条件跨模态、跨时间交互产生，现有基准多局限于提示词或固定条件接口，难以系统研究这类组合风险。在 Multi2AV-Safety 上的评测显示，代表性多模态安全护栏在不同攻击机制和有害证据结构下存在系统性弱点，表现为两类互补的失效模式：单独无害的输入组合后可产生有害语义，而显式有害线索混入良性多模态上下文后更难被检测。
NeuronFuzz 是一个白盒模糊测试框架，利用模型内部安全神经元的激活作为连续执行反馈来评估 LLM 安全性。其 SafetyOracle 把安全神经元激活转成连续的安全告警分数，该分数可在 prefill 阶段获得，从而把回复生成移出模糊测试循环，缓解强对齐模型上反馈稀疏的问题。框架用模板不变的有害与良性输入以及稳定性感知选择，筛出一组紧凑的安全神经元；由于告警分数可微，它用梯度定位安全敏感的模板位置，再用掩码语言模型生成流畅且上下文兼容的变异，同时保留原有有害载荷。
Cisco Talos 用 EvidenceForge 1.12.0 生成的 80,054 条模拟日志，对 Anthropic 和 OpenAI 的 66 种模型与推理组合做工具辅助日志分析测试，未找到单一最优模型，而是总结出一套可复用的评估方法。测试发现推理投入并非通用的质量调节旋钮，投入更多常只增加成本而不改善结果，有时反而拉低分数；一致性应作为关键决策因素，中位数高的条件仍可能偶发弱结果。Talos 建议选型时综合权衡调查质量、成本、速度、一致性与失败率，而非只看最高分。
Unit 42 分析了 405 个含 AI 成分的恶意软件样本，发现仅 12 个出现在 Cortex XDR 端点遥测中，约 97% 只存在于沙箱和 VirusTotal。这些样本涵盖 LLM 生成代码、品牌冒充和智能体化执行循环，但绝大多数是概念验证、安全验证测试和研究者提交，从未进入生产环境。Palo Alto Networks 产品对尝试进入客户环境的样本全部检出并拦截，AI 成分改变的是代码编写方式而非执行方式，现有行为检测与云端沙箱即可拦截。
Failure-First 公布的首批托管样例中，MiniMax-M3 经托管的 OpenAI 兼容端点运行 LulzBench 全部 21 项良性底线对照，捕获 21/21、无供应商报错，其中 4 项遭拒答且均为真实的带理由拒答，三项涉及轻度恶习或社交劝说前提。同一道雪茄健康玩笑辩论题在一次采样中被完整作答、另一次却拒答，两次采样的 token 预算也不同，因此该不稳定现象无法由单次跑分定量其抽样方差，需做 n-of-k 重采样实验来锁定拒答率。
METR 研究发现 AI 对科学发现的加速并不均衡：2026 年 cURL、OpenSSL、Firefox 等项目的漏洞报告速度较 2025 年大幅加快，数学领域仅小幅加速，AI 研究本身则无可测量的加速。多校团队提出 SPADE 框架，让 LLM 交替生成可执行训练环境与求解，在 Qwen3-30B-A3B 上使游戏环境套件平均分达 58.3，较基线提升 8.1。
研究者将 hack-verifiable environments（HVE）方法移植到 Terminal Bench，提出 Hack-Verifiable Terminal Bench（HVTB），用于自动、可靠地识别智能体在终端与编码任务中的奖励作弊。该方法把可检测的作弊行为嵌入任务中，避免依赖人工检查或 LLM 评判。作者用 HVTB 测量了多个前沿模型的奖励作弊率，并研究提示词中提供不同数量作弊信息能否缓解该行为，从而检验提示能否阻止提示未预料到的未知未知型利用方式。所有环境和智能体轨迹已公开。
GraspIT 通过四阶段物理滑移测试筛选抓取候选，揭示理论力闭合指标中 17% 的成功抓取在实际滑动测试中失败，暴露当前模型的"物理推理缺陷"。该流程在 Isaac Sim 中用并行 Franka Panda 执行轨迹接触、抬升、水平振荡与摆锤摆动四级扰动，并以位置滑移超过 2 cm、姿态滑移超过 10° 定义失败，产出连续质量分 s。首版含 1035 个仿真场景、100 个真实场景、约 31.6 万个标注 RGB-D 帧组、约 7400 个物体标识及约 230 万个抓取候选，其中 82.94% 标记为好，11.46% 因不可达而在轨迹规划阶段淘汰。
NVIDIA 的 AVO 在 ARC-AGI-3 上取得 100% 成绩，其定位是支撑长周期自主智能体的前沿级通用架构。该工作强调前沿语言模型只是 AI 智能体的组件之一，真正决定可靠性的是被称为 harness 的外围系统——它负责模型获取上下文、调用工具、维持状态、响应反馈以及从失败中恢复的方式。