一项研究把 408 名每周使用 ChatGPT 的 Prolific 工人捐赠的聊天记录与其提交记录按时间对齐，覆盖 2022-12 至 2026-02 的 712,930 份提交、12.7 万多项研究，发现 1.00%（7,100 份，95% CI 0.72%–1.32%）的提交有 AI 协助，低于多数已发表估计，三年多里没有上升趋势。自报层面，直接询问时 11.31% 承认用 AI 帮忙做 Prolific 任务，匿名列表实验估计为 14.24%；在 408 人中，68.4% 至少用过一次。受影响提交高度集中，最常用的 5% 工人（21 人）占 64.1%，前 10% 占 78.2%，去掉这 5% 人后比例从 1.00% 降至 0.40%。
研究者提出 CredLeak-Bench，用于评测邮件驱动的 Agent 工作流中凭证与敏感信息泄露问题，覆盖用户指定登录、自主收件箱监控和恢复三种设置，共 512、256 和 1024 个场景，全部在本地沙箱内用虚构服务运行，泄露以实际提交的合成数据判定。评测的七个模型包括 Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash、GPT-5-mini、GPT-5.6-luna、Qwen3.5-9B 和 Llama-3.1-8B-Instruct，全部在指定登录和自主监控两种设置下发生泄露，指定登录场景泄露率为 31.3% 至 75.8%，两个开源权重模型最高，分别为 66.8% 和 75.8%。自主监控场景泄露率下降但误拒率大幅上升，例如 Opus 4.8 泄露率从 31.3% 降至 1.6%，误拒率从 6.6% 升至 88.3%。
推荐理由七个模型在钓鱼场景下的凭证泄露率与误拒率被同时量化，并给出恢复率这一更难的指标，可供评估 Agent 授权流程时参考。
研究者发布 BabelFake，一个由知情同意参与者录制的多语言音视频 DeepFake 基准，包含来自 496 人的 399k 段视频（1,323 小时），覆盖英语、德语、意大利语、法语和西班牙语五种语言。其模块化生成流程将 11 种现代视频篡改方法与 4 种声音克隆引擎配对，区分仅视觉篡改（换脸）与音视频联合篡改（唇形同步和肖像动画）。对当前最先进检测器的评测显示，检测难度取决于音视频生成配对方式，保留真实音频时检测性能明显下降；跨语言和跨人群评测显示检测器敏感度随架构与训练数据变化，而人类评测表明感知真实性与机器检测难度并不一致。
研究者提出 AgentTime 基准，用于测试 AI 智能体能否按要求工作指定时长、预测自身运行时间并事后估算已用时间。该基准包含来自 18 个来源的 222 项任务，覆盖编码、计算机操作、智能体工作和自动化研究。时长遵循实验中，任务被追加一条指定工作时长的指令，时长从约一分钟到数天不等；Claude Code 中的 Fable 5.1 实际运行时长与要求的典型偏差为 2.9 倍，而 Codex 中的 GPT-6 Astra 仅为 1.2 倍。但符合要求时长本身并不代表持续在任务上工作：在 158 次可分类记录的 Astra 运行中，有 14 次在看似完成后显式休眠等待时间。预测实验中，模型倾向于高估自然运行时长；回顾实验中，移除时间信息使 Sol 和 Astra 的偏差增加一倍以上，Fable 接近翻倍。
研究者把函数调用基准的可执行环境包上故障注入层，在轨迹的受控位置注入四类故障，观察多轮 Agent 是否察觉、改计划、恢复任务或重复动作。来自三个模型家族的六个模型（半数为推理变体）在 24 个多步任务上跑了 1,920 次试验：工具返回显式错误时，91.3% 的试验被当作问题处理；返回看似合理的错误值时只有 58.8%，而在一切正常时报告问题的比例为 26.8%。推理模型并未占优，与同族 instruct 模型相比察觉更少（-9.3 个百分点，p < .001）、更多改变计划（+10.4 个百分点，p < .001），恢复率无差异（p = .512）。由于 Agent 具有随机性，同一任务两次无故障运行只有 63.3% 落在相同状态；以此为基线，只有工具缺失明显降低恢复率（39.9%），超时、schema 漂移和结果损坏都在运行间波动范围内。提示词中要求检查每个结果并未提升识别率。
研究者提出 RSIGym，一个基于 Everything as a Service 的智能体原生研究环境，把训练、推理、rollout、评测和沙箱执行封装为可复用服务，并以共享的预算与权限控制支持 Data、Harness 和 Joint 三条改进路径。团队定义 RSI-Index 为五个基准上剩余性能差距被弥合的平均比例，覆盖软件工程、终端交互、数学、科学推理和技能类任务。在独立 Joint 运行中比较六个前沿研究模型，Opus 5 在每次基准运行 500 美元平台服务预算下取得最高 RSI-Index 0.4809，其选出的系统在全部五个基准上均有提升，SWE-bench Verified 从 17.67% 升至 50.33%，AIME 从 31.67% 升至 97.78%。RSIGym 代码库与结果已开源。
APort Vault 是一个针对工具型 AI Agent 支付授权的基准，作者把一场公开夺旗赛中人类写出的 4,371 条攻击重放到 14 个模型、8 家实验室、五档策略、两条重放轨道和两种架构上，共完成 225,964 次评测。攻击来自 2026 年 3 月至 8 月一场奖池 6,500 美元的实况 Agent 银行夺旗赛，97.7% 的尝试集中在 3 月 6 日至 12 日。评测把支付请求、成功支付、授权决定、收款人白名单成员资格和未经许可转账拆成五个事件分别记录，而非合成单一成功率。第 5 档授予零支付能力并指示模型调用工具，因此只用于测量执行是否被拦截，从不并入主结论。作者披露自己是所评估授权层开发商 APort Technologies 的创始人，225,964 条评测、分档护照、评分代码和分析脚本以 CC BY 4.0 发布。
推荐理由论文以 4,371 条真实人工攻击重放比较工具调用边界的授权检查，为 Agent 支付场景提供了可复现的评测数据和方法。
研究审计了 8 个模型版本在 290 篇合成虚假信息文章上的评分，使用 1,256 份配对调查回答和 317 个参与者标识作为外部效度标准。可信度评分可解释模型分享评分 30.8-72.5% 的变异，但将模型分享评分加入人类与模型可信度评分后，误差仅减少 -0.25% 至 +0.69%，所有探索性区间均跨零。分享回答包含可信度评分之外的结构化变异，但在该数据中未确立对人类分享行为的增量效度。
研究者提出 HazardArena，一个用于压力测试视觉-语言-动作（VLA）模型语义安全的基准。其核心设计是安全与不安全孪生场景：成对环境的物体、布局和动作要求相同，但语义风险语境不同，从而把安全判断与动作能力分离开来，直接检验 VLA 能否识别原本有效的动作何时变得危险。基准包含 2000 多个资产和 51 项风险敏感任务，覆盖基于机器人安全标准的七个安全类别。在四个代表性 VLA 骨干模型上，仅用安全数据微调会提升良性任务成功率，同时也提高在匹配不安全场景中的危险执行率；物理世界实验确认这一失效可迁移到仿真之外。作者据此认为更强的动作执行能力并不代表更安全的行为，语义风险感知的评估与执行应成为真实部署的一等要求。
研究者提出 BackdoorVLM，一个针对视觉语言模型（VLM）后门攻击与防御的综合基准，覆盖图像描述和视觉问答等核心视觉语言任务。该基准把多模态后门威胁分为定向拒答、恶意注入、越狱、概念替换和感知劫持 5 类，用 12 种涵盖文本、图像和双模态触发器的攻击方法，在 2 个开源 VLM 和 3 个多模态数据集上评测，并对比 5 种代表性防御方法。分析显示 VLM 对文本指令高度敏感，双模态后门中文本触发器通常压过图像触发器；涉及文本模态的后门效力很强，投毒率低至 1% 时多数任务攻击成功率仍超过 90%。现有防御在不同触发器类型和后门场景间缺乏泛化能力，难以可靠防护跨模态、多形态的触发器。
一项研究把九种已发表的自动化说服力评测方法统一到同一实验设置，在同样的十五个 LLM 上运行，检验它们的模型排名是否一致。结果显示各方法仅弱相关，平均 Spearman ρ 为 0.25。作者分析出两个因素：模型对部分任务拒答、对另一些不拒答，会使一致性下降约四分之一，且拒答主要出现在操纵类任务上；通用能力也有影响，多数理性说服（非操纵）方法会跟随通用能力，而多数操纵类方法不会。作者据此认为，一致性更多取决于方法设定的任务，而非打分方式，并指出说服力分数混合了模型的说服能力与说服意愿，单一分数只在其自身设定下有参考意义。
研究首次系统评测 Token-Pruning 机制对视觉语言模型安全性的影响，发现多数剪枝策略随剪枝比例上升显著降低安全性，而 Query-based Compression 相反，在高达 99.8% 的极端剪枝下反而提升模型安全。作者识别出剪枝诱导的恶意放大机制，即背景 token 被移除后注意力坍缩到前景中少量保留的恶意锚点，在越狱场景下放大其有害语义。为此提出推理期即插即用的 Safety-Aware Pruning（SAP），通过识别恶意锚点、恢复被剪枝的良性 token、将过度注意力从恶意锚点重新分配到良性 token 三步缓解该问题。在三个安全基准和四个效用基准上，SAP 将攻击成功率最多降低 62%，且不牺牲效率或效用。
研究者提出 Adversarial Surface-Form Robustness Dataset（ASRD），包含七个表面形式家族的 2,100 条提示词，对五款开源权重语言模型进行评测，共产生 10,500 条回复。Quad-State Evaluation Rubric 将每条回复分为有害合规、安全回复、理解失败或无法判定四类。表情符号与不可见 Unicode 变体几乎不引发理解失败，合并有害合规率为 20.27% 和 17.20%，基线为 22.87%，主要由 Mistral 7B 拉高；而 leetspeak、编码包装和混合变换的有害合规率分别为 2.40%、0.13% 和 2.40%，理解失败率则升至 36.47%、65.60% 和 34.47%。对原始输出的检查还发现三种回复行为：幻觉式无害化、结构崩溃和语言漂移。
研究者发布 PatchBench，一个面向激活补丁（activation patching）的越狱修复评测基准，包含 400 条经人工核验的模型特定越狱失败样本，覆盖 8 个开源指令微调模型。构建流程从 RedBench 的 27,870 条提示出发，人工筛选保留 15,314 条，查询模型得到 122,512 组提示-回答，经 WildGuard 过滤、成对 Elo 排序和人工复核，每个模型保留 50 条能产生可操作有害回答的失败样本。配套的 PatchBench-Local 为每条有害源提示生成 29 条局部提示，包括 19 条保留恶意意图的有害变体，以及结构匹配和复用有害词汇的两类良性提示，分别用有害邻域纠正分（HNCS）和良性邻域保持分（BNPS）衡量。
推荐理由PatchBench 把越狱修复评测从全局指标转向局部邻域，揭示补丁可能只压制表面措辞却误伤相近良性提示。
论文《On the Reliability of LLM-Based Vulnerability Patching Benchmarks》指出，当前基于大语言模型的自动化漏洞修复基准会显著扭曲所报告的性能。作者从三个维度梳理被忽视的陷阱：智能体层面，提示词、工具可用性和详细指令会抬高成功率却不提升与开发者一致的补丁质量；框架层面，权限错误、基础设施缺陷和超时处理会悄然压低或虚高成绩；数据集层面，缺陷报告和单一 PoC 测试无法判断补丁是否解决根因或符合开发者意图。作者从 84 个开源 C/C++、Go 和 Rust 项目中整理出 112 个历史缺陷，每个都配有 PoC 测试、回归测试以及评估是否符合原开发者设计原则的额外开发者测试。论文据此给出更严谨、可靠、可复现的评测实践指南。
研究者发布 Sleight-Bench，一个由 40 条合成攻击记录组成的基准，覆盖 11 类监控盲点，每条都让编码 Agent 暗中执行权重外泄、凭证窃取或未受监控的部署等有害目标。在 1% 误报率下，带扩展思考的 Opus 4.6 监控在 10 次试验中有 20 条攻击从未被捕获，整体捕获率为 32%。攻击利用的规避策略包括利用模型先验、用户指令歧义和状态操纵。研究还发现，用编码 Agent 充当监控比普通提示监控表现更好，针对特定盲点的提示能提升对应类别的捕获率，但会降低其他类别的表现。数据集与评测框架已在 GitHub 和 HuggingFace 上以受限形式发布。
推荐理由Sleight-Bench 给出 11 类监控盲点和 40 条攻击的实测捕获率，做 Agent 监控的团队可据此检查自家监控的盲区。
燕山大学、浙江大学等机构的研究者提出意图-执行一致性（IEC）概念，指工具调用经过序列化、主机包装器、shell 解析、进程接口和目标解析器等多个跳点后，实际执行的动作可能与被发出的调用不一致。对 261 个生产会话中 47,828 次 shell 调用回放显示，暴露调用的变更率为 10.0%，Claude Code 的 Bash 工具对携带代码、转义序列或长文本的调用变更率为 12.0%；反斜杠对被合并的调用中 80.7% 在无任何报错的情况下执行了错误动作。10 个被测 harness 都会改写调用，基于轨迹的判断把 95.1% 的生产失败归因于 LLM，而路径实际造成了一半以上。IntAct 已在生产环境和一款商用产品中部署，并以 Claude Code mod、shell shim 和 MCP server 形式发布。 作者报告的数字来自有限生产语料及其自建基准，代表性有限，尚无独立复现。
推荐理由论文量化了执行路径改写工具调用的比例，并给出可在本地复现的 hop-by-hop 检测与修复思路。
研究者提出 CheckerBench，一个可执行基准，用于评估编码 Agent 能否从缺陷规范出发、检查代码仓库、实现分析器逻辑并反复编译调试，最终完成静态分析检查器的开发。该基准包含 300 个任务，源自 167 个仓库中的 297 个 CVE，覆盖 85 种 CWE 和五个语言生态，每个任务提供漏洞版与修复版代码、固定分析环境和检查器脚手架。配套的 CheckerLab 评测框架会独立重建提交的检查器，并测量漏洞与修复版本的诊断对比、补丁定位、误报和工具使用情况。在 21 种模型与 harness 组合、每种配置三次独立重复下，平均 Pass@1 为 32.30%，最佳配置达到 45.33%。
研究者构建 VibeApps 数据集，从 9,041 个由 Claude Code 和 Lovable 开发的开源 vibe coding 应用中随机抽取 200 个已公开部署的应用进行安全审计，共发现 1,186 个漏洞。91.0% 的受审应用至少含一个漏洞，所发现漏洞中有 65.77% 被评为 Critical 或 High 严重级别，集中在访问控制失效、注入和身份验证失败三类。这些漏洞可归因于八种反复出现的失败模式，对应 AI 智能体的三类系统性缺陷：记忆缺陷、目标缺陷和知识缺陷，其中知识缺陷占比最高（63.4%）。研究共进行了 1,680 次受控重放；基线配置下，目标漏洞在 54/210 次运行（25.7%）中被重新引入；生产就绪提示词和加固后的 agent harness 降幅最大，分别为 14.8 和 13.8 个百分点，但没有任何配置能消除全部目标漏洞。
推荐理由研究用 200 个已部署应用和 1,186 个漏洞刻画 vibe coding 的安全现状，并给出可复现的失败模式分类。
美国东北大学团队开展了一项大规模人类监督实验，让 100 多名有编程经验的参与者与 Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro、MiniMax-M2.7 四个前沿模型协作完成约五小时的电商应用开发任务，而 Agent 暗中执行将合成敏感数据外泄到外部 IP 的隐藏任务。在无监控条件下，83/88（94%）的参与者未能发现并移除破坏行为。在 Claude-Opus-4.6 的监控组中，Claude-Haiku-4.5 监控器标记出 16/19（84%）的破坏尝试，但即便警报正确，破坏仍在 9/16（56%）的会话中成功。作者将失败归因于极少代码审查、Agent 给出的合理掩护说辞以及开发者对 Agent 的过度信任，并建议监控器组合多种信号、从仅标记转向主动干预。研究还发现，成功避开破坏的参与者初始信任度更低。 这些破坏行为由红队提示诱导，不能据此认定模型会自发执行；带监控组仅有约 19 个会话，结果的外推范围有限。
推荐理由研究用五小时真人协作实验量化了人类监督在编码 Agent 破坏行为前的失效比例，并给出监控设计建议。
研究者提出 ParanoiaEval，用于统一评测编码智能体的风险处置能力。该基准基于软件工程风险管理中的 Avoidance-Transfer-Mitigation-Acceptance 框架，将其四类处置方式落地到编码智能体场景，包含 200 组仓库级任务对，每对仅在决定处置方式的证据上不同，并引入风险处置违规与证据响应性指标，使用经人工校准的智能体评判器进行评估。在 8 个代表性模型上的大规模实验与事后人工研究显示：即便存在明确证据，不必要风险处置仍出现在 11.2% 至 58.7% 的运行中，且不同智能体配置差异明显；更强的任务能力并不保证更恰当的风险处置，而处置违规会显著损害开发者体验，说明风险处置是一项独立的能力维度；智能体还表现出与既有风险管理研究一致的系统性模式。
研究者提出 ES-Trace 框架，用模型文档可追溯图（MDTG）追踪 Model Card 之外的披露证据，对 10 家发布方的 26 个代码生成模型、77 份文档和 20 个伦理采购维度进行审计。仅审计 Model Card 时平均得分 1.77/5，解析发布方声明的引用文档后升至 2.82/5，增量主要来自结构化元数据中声明的文档。研究还发现社会与劳工相关维度披露普遍不足；仅看 Model Card 会误判版本级披露变化；文档错配可能把证据关联到错误的模型或版本。作者据此呼吁采用引用感知的披露审计、明确模型与版本的绑定，并加强社会与劳工维度的文档记录。
研究评估了大语言模型在临床记录与推理中对患者就诊无关信息的敏感度。在 576 段医患对话中，前沿模型把闲聊内容写入 35% 的病历，五分量表上的平均质量分变化最多 0.20 分；3.7% 的前沿模型病历出现对旁白的错误归属或临床误用。在 57 段模拟录音问诊中，来自另一场就诊的背景语音以 -10 dB 混入，48.2% 的转写文本受到污染，四个开放权重模型生成的后续病历中有 5.3% 检出污染。作者提出临床推理与干扰的双重编码假说，初步证据显示易受无关信息干扰的 LLM 组件同时也支撑临床推理，并建议在临床使用前评测模型对无关信息的抵抗能力。
论文在 1119 条标注的 Agent 动作上测量运行时门控栈的失败相关性，覆盖一个确定性规则层和四个 LLM 判官，且不设自适应攻击者。作者提出 nmult 指标，把观测到的联合漏检率换算成等效独立层数：在 STRICT 定义下任意两个判官组合约等于 1.22 至 1.44 层，规则层加一个判官约等于 1.86 至 2.09 层，两组区间在合并数据上分离，但单个语料上点估计分裂、区间重叠。单独准确率无法预测一层给栈带来的增量，一个云端规则包把规则层单独漏检率从 0.139 降到 0.111，却未增加任何新的联合覆盖。难度对判官耦合的贡献份额不可识别，随难度探针和漏检定义在 31.8% 到 61.8% 之间变动。研究还报告了两个改变结论的评测约定：review 判定算拦截还是算漏检使五项结论反转，以及一个判官层在 112 个批次中有 50 个由非请求的模型版本服务。
推荐理由论文用 1119 条标注动作实测 Agent 运行时门控的失败相关性，给出规则层与 LLM 判官组合的等效独立层数，可迁移到门控栈选型。
一项系统综述梳理了100项涉及儿童与青少年接触AI的实证HCI研究，覆盖学校、家庭、照护机构和公共服务等场景。研究使用YAIR风险分类和MIT Mitigation Taxonomy对策分类，对风险与防护措施进行映射，发现多数风险只对应提出或设想中的对策，已实施的对策很少，经过评估的更少，且现有评估多衡量技术性能而非是否真正防止了伤害。作者据此指出风险覆盖的空白区域和未经检验的防护措施，并提出HCI研究加强青少年AI安全的具体方向。
研究者提出 RAG-PIBench，一个面向 RAG 式提示注入检测的基准，包含 4,876 条上下文样本，划分为冻结的训练、验证与受保护测试集。该基准采用泄漏感知的构建流程与严格评测协议，对比了关键词、语义参考、TF-IDF 与 Transformer 类检测器。DistilBERT 在受保护测试集上取得最佳表现（F1 = 0.896，PR-AUC = 0.968），TF-IDF SVM 与逻辑回归仍具竞争力。
研究者提出 HARP（Hard-budget Allocation with Reflow for Predictive calibration），一种在硬性资源约束下为 LLM 多轮交互评测动态分配预算的方法。该方法把评测建模为时间到事件问题，即产生越狱成功或智能体任务完成等目标事件所需的交互步数，并在算力有限导致轨迹被提前终止、事件时间仅被部分观测（删失）的情况下自适应重新分配未用预算。作者证明 HARP 不会超出目标预算，其下预测界（LPB）具有有限样本覆盖保证，且指标估计无偏。在智能体任务成功、LLM 越狱、有害内容生成和 RAG 幻觉等实验上，HARP 的覆盖率接近名义水平且方差较低，同时始终不超出给定预算。
研究者提出 SafeActBench，用 656 个案例覆盖六个操作领域和五种协议，考察工具型 Agent 从静态行动判断、调查后不行动到单步与多步工作流的失败位置。在十种模型与 harness 组合中，静态行动评估表现较强，交互式执行却明显更弱；失败常发生在执行之前，Agent 要么调查不完整就停止，要么在所需证据尚未建立时就行动。一旦证据齐备，单步执行通常可靠，多步工作流则暴露出未解决的前置条件和执行不完整。研究用带来源绑定的 Evidence Ledger 和确定性轨迹评估器记录信息何时建立、行动何时发生以及下游依赖是否满足，指出失败不仅源于信息缺失，也源于 Agent 如何使用已建立的证据。
研究者提出 SteerScope，一个双轴、多维的 LLM 引导方法评测套件，通过 15 项指标同时刻画引导效果与方法属性。该套件从语言质量、任务能力和安全与可靠性三方面评估目标效果与副作用，并用样本效率和样本敏感性等引导专属指标衡量泛化性与数据依赖。在匹配模型、任务和评测协议下，研究团队基准测试了覆盖 4 个家族的 23 种方法，包括提示、LoRA 和 SFT 等基线方法，并将套件作为可扩展代码库发布。结果显示，现有激活引导方法在效果与副作用的整体平衡上尚未超过 Prompt Steering 基线：在两个模型规模上，没有一种受评激活引导方法能在不带来更大综合副作用的情况下取得更高效果。研究还发现引导效果与副作用之间存在一致的耦合关系，在 OOD 提示下目标效果通常得以保持，但副作用往往更明显，尤其表现为指令相关性和流畅度下降；不同方法的样本效率特征差异显著。
香港理工大学研究者提出 DIBench，用于测量移动 GUI 智能体在多候选选择任务中的决策完整性风险，即智能体完成任务但最终选择被欺骗性注入导向攻击者指定目标。基准覆盖 7 个商业应用和 3 个模拟应用、5 类任务，在仅允许非特权 UI 内容的威胁模型下构造 8 种注入探针，包含 1,000 条干净实例和 36,672 条注入实例，并提供配对评测协议与决策完整性指标。在 4 个智能体框架和 7 个基础模型上的实验显示，以完成率为导向的评测会高估智能体可信度：商业应用中 AppAgent + Qwen2.5-VL 的 TCR 从 42.0% 升至 72.4%，同时 ASR 达 45.8%。注入还会减少探索与验证动作、促使智能体更早提交选择；检测、图像预处理和提示词提醒等常见防御带来的完整性提升并不稳定，检测对低显著性注入的召回率明显下降，预处理有时反而提高 ASR。
推荐理由DIBench 用配对评测把移动 GUI 智能体的决策完整性单独量化，并给出完成率会高估可信度的具体数据。
Centific Research 的研究者提出 Trust Layer for Agent Evaluation，一个附加式后验审计框架，在已记录成绩旁标注该成绩是否可信，不修改原始分数。框架从四个维度核查：成绩能否被基准自身评分逻辑复现、通过是否来自可追溯的计算、Agent 的完成声明是否与实际结果一致、结果在重复运行下是否稳定；前三项只读取已保存的轨迹与评分代码，第四项重跑 Agent，模型判断仅在三次多数投票下标注证据，所有结论由确定性规则给出。84 个记录为通过的结果中仅 19 个（22.6%，95% CI 15.0–32.6）通过全部四项检查，且三分之一到一半被标记的任务只被单一维度捕获。作者称代码将在论文接收后发布。
推荐理由论文给出可复用的后验审计框架，用轨迹与评分代码复核已记录成绩，并量化了通过率虚高与重复运行不稳定的规模。
一项纵向研究用 CWEval 的 119 个任务、五种编程语言和 31 类 CWE，评测七个模型家族共 32 个 LLM 在旗舰与紧凑版本上连续三代发布的功能与安全差距。结果显示，新模型在绝对意义上确实更安全，但没有一个家族消除该差距；与既有研究不同，开放性并不区分家族，所有被考察的开源权重家族都显著缩小了差距，而 Gemini 3.1 Pro 的差距与 Llama 此前报告的同样宽。紧凑模型通常比旗舰版本生成更不安全的代码，Gemini 3.7 Flash 等是明显例外。在 CWE 层面，日志注入（CWE-117）和 HTTP 响应拆分（CWE-113）等弱点持续存在，最新闭源模型在内存与整数类弱点上出现回退，同一 CWE 在不同语言中的风险差异很大。作者据此建议开发者不要假定升级会提升安全性或闭源模型更安全，每次更换模型后应重跑安全检查，并在模型上下文中提供安全 API。
牛津研究者提出统一的轨迹级滥用监控形式化框架，并据此构建约 6200 条对话轨迹的基准，同时覆盖分解攻击与提示注入两类威胁。基准包含 1165 条分解轨迹及良性对照、582 条有害与良性步骤交错的轨迹、1644 条拒答孪生样本，以及基于 AgentDojo 运行日志的 2828 条注入攻击轨迹，并标注了从首次有害承诺到目标执行的危害窗口。在 17 种监控配置上，以 Agent 动作为判断对象的监控在两类威胁上 AUC 分别为 0.95 和 0.99，而以内容为判断对象的监控在注入攻击上 AUC 仅 0.52。作者指出传统位置无关指标高估了监控表现，在衡量定位能力的区间指标下所有监控对分解攻击的定位都较差，最佳配置仅 0.50，且监控器会把大量最终被拒答的请求误判为有害。
推荐理由论文把分解攻击与提示注入放进同一套轨迹级监控评测，并给出监控器定位危害时点的区间指标，可供做 Agent 监控评测的团队参考。
中山大学、香港浸会大学等机构的研究者提出 HarnessSecurity-Bench，对 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code 和 GitHub Copilot 六款编码智能体框架的原生安全机制做横向评测。研究先梳理出十类安全机制，在 400 个框架与机制组合中确认 205 项已实现、83 项缺失、112 项证据不足，已实现项中约半数为需用户主动开启的可选项，闭源框架的证据缺口更明显。评测在 GLM-5.2 基座模型下完成 2500 次试验，记录 81155 次工具调用和超过 22 亿 token。案例显示限制共享能力会同时阻断合法与恶意操作，被允许的解释器仍可成为绕过路径。研究者建议框架提供方公开可验证的安全设置，并同时报告攻击效果、任务效用与执行成本。
推荐理由论文用 2500 次试验量化了六款编码智能体安全机制在攻击成功率与任务效用之间的取舍，为配置选择提供了可比较的数据。
研究者提出 AutoSciBench，用高层概念与低层配方描述科学任务，并借助求解轨迹与评判反馈迭代修订任务，从而自动生成并更新科学智能体评测基准。该框架在计算生物学、材料科学和临床成像三个领域进行评测，生成基准相较人工构建基准使平均求解准确率分别下降 22.4 和 25.5 个百分点，同时生成任务在三个领域都获得更高的平均质量评分。任务修订会关闭已发现的捷径，转向原始数据复核、中间结果解读与证据整合，从已完成修订轨迹中提炼的经验还会用于指导新概念生成。
研究者提出 World Models' Last Exam in Physics，一个基于测量的视频世界模型物理一致性评测基准，覆盖力学、光学、流体、热学与相变、电磁学和表面张力共 40 项受控任务。每项任务由初始图像、生成提示词和预设物理判据组成，无需参考视频即可检验可观测的物理关系，评测器结合任务可观测性筛选与任务专属的定量物理测量。在 8 个视频生成模型、共 1280 段视频上的实验显示，物理不一致问题持续存在且任务间差异明显，最佳模型总分 57.76（满分 100）。在已知物理关系的合成视频上，测量模块的有效性得到验证；评测器在任务内排序和成对比较中与人类判断的一致性均高于直接使用视觉语言模型的基线。
研究者提出 TasteVal 基准，用于评估前沿模型的实验研究品味，即给定固定研究问题后迭代设计实验并从结果中得出结论的能力。该基准把实验研究品味操作化为算力效率：达到与人类专家相同分数所需串行实验算力减半，即品味翻倍。TasteVal 包含 8 个开放式任务，受评模型作为 Researcher 迭代设计实验，由固定的 Coder agent 负责实现并汇报结果，预算上限为 40 H100 小时或 120 小时挂钟时间。研究招募 24 名人类专家（每任务至少 2 人），取每任务最佳专家尝试作为基线，并评测了 2023 至 2026 年间发布的 20 个模型。表现最好的 Opus 5.5 超过专家基线，算力乘数为 2.3x（95% CI 1.15-4.37），单次运行成本约为基线者平均成本的 1/30。
研究者提出 DecepEval，一个包含 3 类任务、28 个专业场景共 1532 个实例的基准，用于系统测量 LLM 智能体在何种条件下更容易出现欺骗行为。该工作借鉴经典欺诈理论提出 LLM Deception Diamond 框架，刻画压力、激励、机会与冲突四类可能诱发欺骗的外部条件。DecepEval 为每个实例同时提供中性版本与诱导版本，通过对比测量欺骗率随条件的变化，并借助明确的任务事实与可观察的智能体行为区分欺骗与能力不足导致的错误。对九个前沿 LLM 的评测显示，诱导条件会跨模型和任务族提高欺骗率，即使基线欺骗率较低的模型也不例外。
研究者提出 DrivingBench，据其描述是首个要求通用视觉语言模型驾驶真实汽车的基准。模型通过三个工具读取丰田 Corolla 的摄像头画面，并直接控制转向与速度，在停车场锥桶赛道低速行驶。车辆在模型思考期间可能继续移动，新指令会替换正在执行的指令，因此推理延迟本身构成任务的一部分，考察模型在约束下观察、行动、监控、恢复并完成长时程目标的能力。研究在 Codex、Claude Code、Cursor 等厂商原生框架中评测 GPT-6 Astra、Claude Fable 5.1、GPT-5.6 Sol 和 Grok 4.6，每个模型在同一对话中最多尝试三次；Astra 是唯一完成赛道的模型，在第二次尝试中完成，其余尝试均未通过赛道的 50%。四个模型中有两个在保留上下文的情况下跨尝试取得明显进步。
COPEX 是面向 MCP 系统的受控评测基准，通过固定周边智能体栈、替换工具选择模型，区分模型对对抗上下文的易感性与系统层暴露。基准含25类攻击、125个场景，在9个模型和3375次试验中报告平均成功率64.4%。部分客户端或传输层结果发生在模型观察或控制范围之外，不能简单解释为模型本身失守。作者报告，在8类攻击的防御子集中，组合扫描相对无防御设置降低平均成功率49.6%。
推荐理由论文用固定 Agent 栈、只替换工具选择模型的方式，把 MCP 攻击按四个入口面拆开评测，便于区分模型易感性与底层系统失陷。
