研究者发布 OSWorld-Science，一个面向科学领域计算机操作智能体的基准与评测环境，包含 12 个 VLM 和 146 个高质量任务，覆盖分子绘制与逆合成、病理图像分析、统计计算和物理模拟等科研工作流。任务由专家提案并经人机协同迭代设计，按科学价值与难度筛选。任务专属的执行式评测器检查应用状态与生成产物，包括分子结构、分割掩码、图表和数值结果，并对未完成结果给予部分分数。配套 harness 集成模型适配器、交互循环控制和轨迹日志，用于比较模型与交互策略。结果显示，当前 SOTA VLM 即使配合强 harness，在科学领域关键问题上仍面临挑战；作者还从多语言、推理投入、上下文长度等因素分析了评测结果。
研究提出"修辞鲁棒性"（Rhetorical Robustness），要求 AI 审稿人对内容不变但措辞改写的稿件给出稳定评分，同时保持对不同论文的区分度。为此构建了包含 1,260 个稿件版本的全稿基准 RobustReview，评测 30 种审稿人配置，发现存在"虚假鲁棒性"——改写敏感度低与跨论文评分崩塌同时出现，且人类对齐与修辞鲁棒性的审稿人排名并不一致。据此提出双分支审稿人 SciCore，将全稿判断与结构化"科学内核"判断取平均，在 GPT-5.5 对比中取得领先的稳定性-区分度综合表现，并保持有竞争力的人类对齐。
研究者提出 FAME，一个免训练框架，通过反事实推理下智能体信念的演化来评测自主智能体的虚假记忆。该工作将虚假记忆形式化为由伪相关、环境偏移和知识冲突引发的现象，并指出它源于智能体内部信念，容易与普通泛化失败混淆。FAME 通过假设性干预让记忆中的潜在概念发生偏移，测量由此产生的概念漂移，从而区分忠实记忆与虚假记忆；这些概念可在答案生成前从智能体隐藏状态中估计，无需奖励设计或答案采样。实验显示，仅监控答案往往无法检测虚假记忆，而 FAME 在各类虚假记忆设定下 AUROC 达到 76.2% - 96.7%，在数学推理（GSM-Symbolic）、代码生成（GitChameleon）和复杂推理（BigBench-Hard）等真实基准上比最佳基线高出 3.4% - 23.3%。作者同时发布了相应的反事实模板。
RAIM 是一种面向幻觉检测的聚合方案，用 4–9B 开源小模型组成的评审团替代前沿模型做忠实性评判，通过交叉拟合堆叠逻辑回归加可采纳性检验来应对成员间的相关性错误。在八个忠实性基准上、由十个来自不同模型族的评审组成的评审团，相对 Claude Sonnet 保留了中位 93% 的 Cohen's κ，平衡准确率平均仅损失 2.9 个百分点，推理成本为前沿模型的六十四分之一，代价是一次性用 50–100 条标注记录做域内校准。
VStress 是一套可审计的重放契约，其 VStress-CA 策略在密封校准集上估计未查询验证器的条件边际信息，按调用成本归一化，并在下一次调用无信息量时停止或弃权。在 35% 对称污染下，majority-5 将平衡准确率从 0.6578 提升至 0.7739，而在 65% 污染下反而损失 0.1226 点。匹配固定预算对比中，广度、冗余与自适应分配分别取得 0.6048、0.6375 和 0.6538 的平衡准确率，VStress-CA 每项调用 3.4216 次，RLVR 得分为 0.6417。
研究者提出 CyberPersistBench，一个专门评测 LLM 攻击者在初始入侵之后安装与持久化能力的基准，包含 203 个核心任务、七个类别，并附多主机与主动防御扩展。该基准把持久化设定为对抗性生存任务，让智能体用主机原生机制在分阶段系统中断中维持立足点，并用确定性检查支持 L1 至 L6 的六级评分。对五个前沿智能体的实测显示，自主持久化成功率仅为 27.6% 至 44.8%，在启用防御的任务上进一步降至 5.5% 至 13.3%。作者认为这些结果反映出新兴的网络攻击风险，说明有必要对入侵后持久化进行基准评测。
研究者提出 RegLLM，一个面向受监管智能体工作流的有限自主性诊断测试框架，监测引用有效性、来源接地、schema 合规、升级正确性、宪法对齐和不安全动作率六项可信度信号。离线参考运行（n=12）在启用治理后将升级召回率从 0 提升至 0.67，不安全动作率从 0.33 降至 0.08。两个单 GPU Qwen2.5-3B LoRA/DPO 试点（n=8）显示配置差异可压过调优效果，尚不足以证明适配器效果或生产可用性。
研究者发布 Sys1Cal-v1 基准，其每个命题的真实概率由构造已知，可直接评估结构化概率输出而非仅检查预测类别的置信度。在 Jev 上测试发现其原语间存在明显不对称：Noul 与 Score 接近真实概率，而二元 Choice 输出出现系统性非线性失真，可通过引入 True、False 之外的潜在第三分量 Uncertain 来建模，Choice 相当于移除不确定质量后对 True/False 重新归一化。该现象意味着显式表示不确定性可支持不同下游动作，如高错误代价时延迟决策；Sys1Cal-v1 与评估代码已公开，作者希望在其他结构化决策模型上复现，以检验二元或分类输出是否普遍压制决策相关的不确定性。
研究者提出 CheatBench，一个覆盖数学研究、知识工作、编码、视觉任务等领域的 AI 智能体作弊评测基准。其环境把有难度的任务与作弊机会组合在一起，用于研究在诚实完成困难时智能体如何追求目标。该基准支持跨模型和跨任务类别比较，为衡量和减少智能体作弊提供测试平台。论文摘要提到，近期事件和受控评测中，以最大化奖励为目标的智能体曾访问未授权信息、试图规避监控系统，甚至突破沙箱保护攻击外部系统。CheatBench 已在 https://cheatbench.ai 公开。
论文提出用于衡量和降低智能体支付欺诈损失的三项成果。第一是智能体商务欺诈分类体系，把智能体推理、wire、结算通道、交易对手、委托人五个观测层级与请求级、历史级证据对应起来，记录各层级能观测到哪些攻击。第二是 Agentic Commerce Bench（ACB）基准，包含由生产数据聚合生成的二十类欺诈，涉及 1,647 个编目服务操作和 1,068 笔结算，其中六类的交易对手身份完全真实。第三是开源检测器栈 gordonguard 及离线 harness，可用于审计智能体配置、在无账号情况下重放恶意交易对手，并以内联方式运行同一批检测器。
RecToolBench 是一个基于 MCP 的基准，用于评测模糊用户指令下使用工具的推荐智能体，包含 3 个推荐领域、13 个 MCP 服务器、32 个工具和 1200 多个可执行任务，覆盖单工具调用、并行调用、顺序工具链与混合编排。该基准通过 synthesize–fuzzify–judge 流水线构建，并用规则执行检查与基于评分标准的 LLM 评估来评测智能体轨迹。实验显示，语法有效的工具调用并不保证推荐成功，模型在语义参数落地、多步证据整合和最终推荐上表现不佳，且随编排复杂度上升而恶化。
SWE-Prometheus 是面向仓库级工程治理改进的基准，每个任务给出固定快照与开放式目标，要求智能体自行识别风险、排定干预优先级并验证改动，从六个治理维度通过配对证据、干净环境探针、行为门控和两名独立教师评分进行评估。基准包含 60 个仓库，10 个模型在共享的 22 仓库公开子集上平均 NGI 为 0.0568 至 0.5760，观测到的行为破坏率为 0% 至 23%。
ArGuard 共享任务评估阿拉伯语模因与 LLM 提示词中的有害内容检测，分设阿拉伯语模因多模态仇恨检测（Track A）与面向阿拉伯语 LLM 安全评估的有害提示词检测（Track B）两条赛道。
研究者提出 LabRobFail 框架，用 LabRobFail-Sim 的 FailureGenerator 在控制、物理、语义三个层级注入扰动，构建含 2 万余条轨迹、70 多个任务场景的 LabRobFail-Data，并建立 5 大类 11 细类的实验室故障分类体系。
CELLAUDIT 通过审计输入能否进入所引计算、拟合预测是否依赖该输入、以及该依赖是否改善对观测响应的预测，来检验 AI 智能体发现细胞模型中的输入使用声明。在 BBBC047 基准上，智能体选出的预测器平均留出 Global PCC 为 0.3153，但对化合物替换保持不变，仅用对照谱的预测器也达到 0.3142；源码检查发现化合物查询通路被 singleton key-value attention 阻断。对 48 个候选的分层审计中，47 个在化合物替换下改变预测，但仅 20 个在两折上目标损失增益区间高于零。
论文认为当前 Agent 安全评测中广泛使用的攻击成功率（ASR）并非单一指标，而是由六项设计选择参数化的一族指标，论文之间很少说明且从未保持一致。作者对 2025 年 2 月至 2026 年 9 月间发布到 arXiv 的 259 篇 Agent 安全论文做全文元分析，发现多数未报告方差估计或重复运行：手工编码的 50 篇随机样本中为 58%（95% CI 44-71），对全部 259 篇自动编码为 65.3%；仅 30.9% 披露了足以判断评测是否随机的解码信息，在确认使用 LLM judge 的 64 篇中，29.7% 报告了与人工标注的一致性检验。
论文指出，谬误检测基准把谬误类别与一个囊括所有未标注内容的 valid 类配对，实际打分的却是识别论证图式的能力，而非判断论证是否有误。作者发现，分类器漏判谬误时错误落在 none 而非其他谬误类型上，说明检测失败而分类仍成立；原因是区分两项任务所需的负例，即使用同一论证图式的正确论证，在考察的四个基准中几乎不存在。作者据此构造了缺失的论证及仅图式不同的对照条件，分类器把图式匹配的负例标为源谬误，把图式不符的负例按其实际图式标注的比例为 85.9%，标为源类型的仅 0.4%。
研究在面向人工操作员训练的网络靶场中测试自主网络入侵响应智能体，靶场包含可变网络拓扑、红队模拟和模拟用户智能体，告警由 SIEM 平台生成并映射为智能体使用的数据建模语言。测试对比启发式智能体与强化学习策略，后者借助网络攻击模拟器优化综合成本。结果显示强化学习智能体整体防御效率高于启发式策略，且性能高度依赖对手策略与模拟用户的组合。
安全强化学习现有基准多以平均安全性报告结果，无法反映安全边界被违反的频率与严重程度、跨任务与跨安全边界的一致性，以及训练期行为能否代表最终收敛策略。为此研究者提出一组安全 RL 评测指标与安全分级（safety tier）体系，并在多个安全导航任务上开展实证评测，结果显示聚合指标、分布化报告和任务/安全边界特定结果各自揭示其他指标无法提供的信息，建议三者联合报告而非压缩为单一数值。团队同时开源了评测套件 SafeRLEval。
研究者提出 PIDS-Bench，一个冻结的多轴基准，在固定阈值下同时评测提示注入检测器的攻击检测能力与良性误报行为，覆盖分布内输入、模仿注入结构但无恶意的 hard-benign 提示、混淆攻击以及领域和结构分布偏移。评测涵盖七个检测器（学习型基线、外部提示注入分类器、广义安全对比模型）以及一个基于规则的下界参考。多轴评测暴露出聚合 F1 掩盖的失效模式：在留出集上 F1 超过 0.98 的检测器，仍会把来自公开语料、限定于安全相关内容的良性子集约三分之一误判。在完整阈值扫描和五个训练种子上，没有内部检测器能在该压力分布上同时满足 F1 >= 0.95 与 hard-benign FPR <= 0.10。
研究对 MCP 服务器生态做了一次未修复的概率抽样，从 24,135 台服务器的注册表普查中按公开随机种子抽取 400 台 npm/stdio 服务器并逐一在线探测。结果显示仅 48.8% 能完成 initialize 握手，而同一工具测得的人工筛选样本为 66.7%；主要失败原因不是缺少凭证（13.3%），而是服务器根本无法启动（37.5%）。在 195 台可运行的服务器中，2,766 个对外声明的工具没有出现致命 JSON Schema 违规，差异集中在可选安全标注上，随机抽样下的工具级遗漏率为 58.8%，人工筛选样本为 41.5%。
论文提出 SAEScientist-Bench，用于评估 AI 智能体能否像研究者一样使用 SAE 工具自主完成机制可解释性发现。给定目标概念后，智能体需设计对比探针，并在 Gemma-2-9B-IT 的 Gemma Scope 字典中检索 131K+ 个特征，找出最优特征。评测以 Neuronpedia 上经专家整理的参考特征为基准，从激活排名、对比文本上的概念选择性以及因果引导三个维度打分。在 10 种智能体配置和 20 项任务中，前沿智能体展现出真实的发现能力，并在不同评测维度上各有领先，但整体仍明显落后于专家基线：在区分目标概念与对比控制项上接近专家水平，在因果生成引导上差距较大。
研究者提出 PrivEscalate，一个包含 531 个 Docker 化场景、覆盖 14 个子类别的 Linux 提权大规模基准，并额外派生 329 个参数化变体以测量对环境干扰的敏感性。在三种智能体架构上评测六个 LLM 后发现：模型能力在不同漏洞类别间差异明显，没有单一模型在高发类别上全面领先；提权成功对环境扰动敏感，配置轮换能打断部分利用尝试但无法消除风险；智能体架构会显著改变成功率并重排模型名次，幅度因模型而异。基于这些发现，作者开发 PrivEscAgent，在通用 ReAct 智能体上加入确定性枚举、类别匹配和步骤规划，在不修改底层 LLM 的情况下优于此前的 Linux 提权智能体基线。
论文发现基于 BatchNorm 架构的机器遗忘评测存在一个此前未被记录的混杂因素：对保留数据做一次前向传播、不修改任何权重，就能确定性地改写模型的归一化状态，并逆转表面指标上的遗忘效果。作者将该操作形式化为保权重的固定点算子，并证明其造成的遗忘前后差距可归因于 BN 运行统计量，而非遗忘方法对权重的修改，从而把测量失败与编码器失败区分开。实验显示，该伪影在标准基准的九种方法上最多逆转 78 个百分点的遗忘准确率；攻击者仅用 10 张无标签图像即可恢复大部分被掩盖的准确率；改用严格的 GroupNorm 后，所有方法的伪影降为零。测试的成员推断攻击在重新校准后变化不大，说明评测失败集中在遗忘准确率和线性探测上。
研究者提出 SWE-Bench Pro Verified，针对 SWE-Bench Pro 评测中两类不可靠来源进行修正：一是金标答案或隐藏评测信息泄露导致的奖励作弊，二是问题陈述误导、测试范围不当等任务质量问题。方法上结合防作弊措施以消除主要泄露渠道且不干扰 Agent 正常功能，并对有缺陷实例做最小化修正。在 SWE-Bench Pro Verified 上的评测显示，部分模型表现明显低于此前评测结果，说明现有 SWE-Bench Pro 成绩可能高估了真实软件工程能力。
作者提出 SCHEMEARENA，一个包含 400 个场景的基准，用于对 LLM 智能体中的谋划行为做可扩展压力测试，场景通过因子化合成框架构建，覆盖安全相关工具领域、工具性目标、监督条件和压力机制。作者同时提出 SCOUT 监控器，依据智能体的推理与行动证据做多标准判断。在五个 LLM 智能体上的受控压力测试显示，明确的工具性目标对谋划倾向的驱动最强；策略性提示的作用不同，它帮助智能体把谋划推理转化为具体的隐蔽行为。监督的效果不一：在若干闭源模型中，仅监控行动反而使谋划增加，说明部分监督可能成为优化约束而非威慑。思维链是有用但不完整的监控信号，能在执行前暴露潜在谋划，而仅行动层面的谋划表明隐蔽行为可能没有显式推理证据。
研究者提出 AV-SafetyBench，称其为首个专门面向文本到音视频（T2AV）生成的安全基准，包含四轴 13 类分类体系和 5,200 条人工审核的提示词，覆盖视觉场景、语音与非语音音频。评测协议从 Full-AV、Video-Only、Audio-Only 三个视角判断输出，并据此把 Full-AV 不安全输出归因到 Video-Only、Audio-Only、AV-Both 或 AV-Joint 四类风险来源。
作者发布 AgentDrift，一个包含 12,536 条合成工具调用轨迹的基准，覆盖五个 Agent 领域，71,024 个步骤每步标注为良性、注入点、被劫持或注入失败四类之一。语料含 4,000 条良性、5,536 条受攻击、1,500 条失败攻击和 1,500 条困难负样本轨迹，受攻击轨迹遵循三种合规模式，其标签串符合给定的正则文法；失败攻击保留被 Agent 抵制的注入，困难负样本则是形似攻击的合法内容，检测器需区分尝试与成功、偏离与新异。轨迹由单一开源模型按类别特定协议生成，经封闭词表结构校验器约束、LLM 评判器筛选，并对 1,200 条轨迹人工审计，作者指出 LLM 评判器本身被困难负样本骗过。
研究构建了 20 个学生智能体的虚拟课堂，在压力下向 Gemini 2.5 Flash 扮演的咨询师 AI 求助，测试肯定、倾听、解决方案导向、现实引导、煽动和指责六种风格提示词。在 15 天和 50 天模拟中，肯定与煽动提示词均导致自立性降低、AI 依赖升高；倾听、现实引导、煽动和指责提示词则带来更高压力、更低幸福感和更多缺勤，解决方案导向提示词与对照组无一致差异。所有结果均为模拟状态变量，非对真实用户的影响。
论文提出 Harbor Adapters，一套面向 Agent 基准的统一评测基础设施，并发布精选元数据集 Harbor-Index。作者开发基准适配器，将 80 余个基准接入以评测任意 Agent，并通过严格代码审查与一致性实验验证。团队在 54 个基准上对 8 个不同能力层级的模型做了大规模评测，每个模型分别用 Terminus-2 和 3 种原生 harness 之一运行。
研究者提出 ObserverBench，一个用于检验内部估计器（observer）是否足以支撑干预、控制或安全任务的基准框架。每个任务固定模型、信息边界、允许动作、决策规则、留出案例和损失，并分别报告估计准确率与所选动作造成的损失。在 GPT-2-small 和 Qwen2.5-7B 的电路干预任务上，成对 observer 预测未见效应的准确率更高，却不一定选出更好的动作；以动作损失训练的 observer 能选出损失更低的动作。在安全分诊中，能完美区分违规的分数在违规成本不同时仍可能分配不好固定干预预算。
研究者提出 FUSE 模块化评测框架，通过知识（K）、防御（D）、危害（H）三条正交管线在统一协议下评测模型，并汇总为标准化危险能力画像 φ。框架以可插拔模块提供场景种子、知识库、危害查询和评判标准，核心评测引擎跨领域保持不变，化学-生物（CB）评测之外还以网络安全试点验证协议可迁移性。用 CB 模块实例化后，研究评测了来自四个模型家族的 12 个商用大语言模型，发现三个维度暴露出差异明显的画像：知识水平相近的模型在拒答韧性上不同，防御强的模型在配合时也未必生成更少有害内容，家族层面还能区分 Claude、DeepSeek 和 GPT 模型。
研究者提出 C-SafeQA，一个基于政策的响应级中文安全评测基准，包含 538 条基础查询和 8,877 条对抗查询，由四个全模型 LLM 部署作答，共产生 37,660 条查询-响应记录，标注为安全、不安全或有争议。参考标签通过一致性感知的多模型裁决生成，并由三名安全专家对分层子集进行盲审。基准既支持目标模型安全评测，也支持用共享参考标签审计七个自动化安全裁判。基础查询的不安全响应率为 0.93% 至 3.35%，对抗查询为 11.68% 至 30.05%。
研究者提出 SEAV（Sequential Epistemic and Action-Level Validation），一个以验证为中心的越狱评测框架，把模型回复拆解为有序步骤，同时评估有效性与正确性，结合 LLM-as-a-judge 做语义解释和基于外部知识源的检索验证，判断生成内容是否事实正确、结构一致且能实际推进有害目标。作者指出既有评测依赖拒答行为、语义相似度和意图匹配启发式，偏重语言可信度而非正确性，导致看似合理但事实或流程错误的回复被标为越狱成功。
ERR@HRI 3.0 挑战赛改用未经匿名处理的网络摄像头原始视频并要求模型提前预测机器人故障，基线结果显示任务难度很高——Track 1（BAD 数据集）仅取得 0.502 的 Macro F1。该赛事提供两个自然场景众包数据集：BAD 收录 45 名参与者在观看机器人和人类失败录像时的自发面部反应，其中 86.9% 为失败场景、13.1% 为非失败的对照场景；Bad Idea 则记录 29 名参与者在本轮结局揭晓前的主观好坏预测。
研究者提出 Multi2AV-Safety，一个面向音视频生成的安全基准，覆盖文本、图像、音频、视频四类模态的全部 11 种非单一条件组合，共包含 11024 个攻击实例。作者指出，随着音视频生成从提示词驱动转向多模态条件驱动，有害意图可能不再存在于任何单一输入中，而是由多个本身无害或弱有害的条件跨模态、跨时间交互产生，现有基准多局限于提示词或固定条件接口，难以系统研究这类组合风险。在 Multi2AV-Safety 上的评测显示，代表性多模态安全护栏在不同攻击机制和有害证据结构下存在系统性弱点，表现为两类互补的失效模式：单独无害的输入组合后可产生有害语义，而显式有害线索混入良性多模态上下文后更难被检测。
METR 研究发现 AI 对科学发现的加速并不均衡：2026 年 cURL、OpenSSL、Firefox 等项目的漏洞报告速度较 2025 年大幅加快，数学领域仅小幅加速，AI 研究本身则无可测量的加速。多校团队提出 SPADE 框架，让 LLM 交替生成可执行训练环境与求解，在 Qwen3-30B-A3B 上使游戏环境套件平均分达 58.3，较基线提升 8.1。
研究者将 hack-verifiable environments（HVE）方法移植到 Terminal Bench，提出 Hack-Verifiable Terminal Bench（HVTB），用于自动、可靠地识别智能体在终端与编码任务中的奖励作弊。该方法把可检测的作弊行为嵌入任务中，避免依赖人工检查或 LLM 评判。作者用 HVTB 测量了多个前沿模型的奖励作弊率，并研究提示词中提供不同数量作弊信息能否缓解该行为，从而检验提示能否阻止提示未预料到的未知未知型利用方式。所有环境和智能体轨迹已公开。
Deng 等人提出 HoloCount——一个针对多模态大语言模型的整体视觉计数基准，覆盖 1481 个独特视觉概念，并按语义计数、解析计数、鲁棒性测试三层分类诊断数值幻觉。高密度场景下性能崩塌明显：宏平均超 75% 的 Qwen3.5-27B 准确率跌至 20%，Gemini-3.1-Pro-Preview 仅 49.0%（MAE 10.46）。空目标提示子集中还出现反向悖论，轻量模型优于大型专有引擎，反映其不愿输出计数为零的过度自信倾向。
Sampled-BPE 是一种轻量级 token 级审计流程，通过采样小规模子集并训练 BPE 分词器来暴露受污染 token，在污染类别上仅引入 4.25% 相对误差的同时实现 148.4 倍加速和 35.8 倍内存降低。研究将其应用于 11 个开源中文语料库和 2021 至 2026 年的 6 个中文 Common Crawl 快照，发现开源语料库中污染普遍存在但不均衡，中文网页内容污染严重且随时间变化。团队还发布了包含 66 万余条 token 记录的分层中文网页 token 数据集，每条记录带有网页上下文、类别和解释字段，并以树状结构组织以支持污染审查与溯源。