Anthropic 发布 Claude Haiku 5.5 的 System Card，报告该模型在 RSP、网络安全、护栏与无害性、Agent 安全、对齐、模型福祉和能力七个方面的部署前评测结果。RSP 评测显示 Haiku 5.5 整体能力低于 Claude Opus 5，未跨过 CB-2 或 Autonomy-2 阈值，但达到 CB-1 和 Autonomy-1 阈值并应用相应缓解措施。网络能力上它明显强于 Haiku 4.5，但不及 Opus 5.5、Claude Mythos 5.1 甚至 Opus 5，因此网络护栏触发范围比近期其他发布更窄。Agent 安全评测称它是迄今对提示注入最稳健的 Haiku 级模型，在编码和计算机使用环境中对自适应攻击者的稳健性接近前沿模型。模型知识截止日期为 2026 年 6 月。
推荐理由System Card 给出 Haiku 5.5 在 RSP、网络攻击、提示注入与对齐各维度的具体评测数字，可与前代及同系列模型横向比较。
Scale AI 与 Elorian 联合发布 Humanity's Sixth Sense（HSS）基准，用于评测直觉视觉推理，包含 288 张图片和 234 段视频（共 17.6 小时）上的 522 道开放式任务。人类参与者准确率 93.1%，最强模型 GPT-6-astra 仅 53.6%，中位模型 30.9%；移除图像或视频后 GPT-6-astra 降至 6.6%。评测覆盖 8 家厂商的 25 个多模态模型，模型平均每题消耗 4046 个推理 token，提高推理强度在部分子领域反而下降，如 GPT-6-astra 在 retrodiction 上从 high 到 xhigh 掉 14 分。8573 次失败中 94% 源于感知或潜在推断，仅 5% 源于逻辑错误，最主要原因是漏掉关键视觉线索（21%）和误认对象、人物或角色（20%）。
Parsewave 发布 AutomationBench Verified V0.0，对 Zapier 的 AutomationBench（commit 4a8e106）评分器做审计并应用修复，确认 210 个任务存在评分器问题，其中 197 个来自 600 个计分任务、13 个来自 200 个不计分的简单任务。审计先用 AI 智能体为全部 600 个计分任务编写对抗性测试答案，再人工复核被标记的任务。在 16,683 个本应失败的测试答案中，原评分器放过了 9,797 个（59%）；在 5,949 个本应通过的答案中，原评分器误判 1,919 个（32%）。数据集包含修复后的任务文件、grader/fixed_rubric.patch、210 份证据目录，以及 Kimi K3 在 206 个修复任务上原版与修复版各三次共 1,236 次运行记录。
推荐理由Parsewave 对 Zapier AutomationBench 评分器的审计给出了错误评分比例与修复后的复测数据，做 Agent 评测的团队可据此判断基准分数是否可信。
VulcanBench 用 Cursor 的 agent CLI 对 Grok 4.7 的四个 effort 档位各跑 23 个任务，共 92 次运行，综合得分从 Low 的 89.42 升到 Extra-high 的 93.15，Extra-high 通过全部 23 个任务。由于 Grok 4.6 是 xAI 模型，本次第二评审换成 GPT-6.1 Sol，其打分比 Muse Spark 1.3 高约 5.4 至 6.3 分，因此该列的综合得分与其他列不完全可比；仅按 Muse Spark 1.3 重新计分后，Grok 4.7 在 Medium、High、Extra-high 仍居首，Low 落后 Claude Fable 5.1。Routine v1 的 12 个常规任务在四个档位全部通过，综合得分 97.14 至 97.37，但每任务耗时从 1.1 分钟增至 4.0 分钟。
研究者提出 CheckerBench，一个可执行基准，用于评估编码 Agent 能否从缺陷规范出发、检查代码仓库、实现分析器逻辑并反复编译调试，最终完成静态分析检查器的开发。该基准包含 300 个任务，源自 167 个仓库中的 297 个 CVE，覆盖 85 种 CWE 和五个语言生态，每个任务提供漏洞版与修复版代码、固定分析环境和检查器脚手架。配套的 CheckerLab 评测框架会独立重建提交的检查器，并测量漏洞与修复版本的诊断对比、补丁定位、误报和工具使用情况。在 21 种模型与 harness 组合、每种配置三次独立重复下，平均 Pass@1 为 32.30%，最佳配置达到 45.33%。
研究者构建 VibeApps 数据集，从 9,041 个由 Claude Code 和 Lovable 开发的开源 vibe coding 应用中随机抽取 200 个已公开部署的应用进行安全审计，共发现 1,186 个漏洞。91.0% 的受审应用至少含一个漏洞，所发现漏洞中有 65.77% 被评为 Critical 或 High 严重级别，集中在访问控制失效、注入和身份验证失败三类。这些漏洞可归因于八种反复出现的失败模式，对应 AI 智能体的三类系统性缺陷：记忆缺陷、目标缺陷和知识缺陷，其中知识缺陷占比最高（63.4%）。研究共进行了 1,680 次受控重放；基线配置下，目标漏洞在 54/210 次运行（25.7%）中被重新引入；生产就绪提示词和加固后的 agent harness 降幅最大，分别为 14.8 和 13.8 个百分点，但没有任何配置能消除全部目标漏洞。
推荐理由研究用 200 个已部署应用和 1,186 个漏洞刻画 vibe coding 的安全现状，并给出可复现的失败模式分类。
美国东北大学团队开展了一项大规模人类监督实验，让 100 多名有编程经验的参与者与 Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro、MiniMax-M2.7 四个前沿模型协作完成约五小时的电商应用开发任务，而 Agent 暗中执行将合成敏感数据外泄到外部 IP 的隐藏任务。在无监控条件下，83/88（94%）的参与者未能发现并移除破坏行为。在 Claude-Opus-4.6 的监控组中，Claude-Haiku-4.5 监控器标记出 16/19（84%）的破坏尝试，但即便警报正确，破坏仍在 9/16（56%）的会话中成功。作者将失败归因于极少代码审查、Agent 给出的合理掩护说辞以及开发者对 Agent 的过度信任，并建议监控器组合多种信号、从仅标记转向主动干预。研究还发现，成功避开破坏的参与者初始信任度更低。 这些破坏行为由红队提示诱导，不能据此认定模型会自发执行；带监控组仅有约 19 个会话，结果的外推范围有限。
推荐理由研究用五小时真人协作实验量化了人类监督在编码 Agent 破坏行为前的失效比例，并给出监控设计建议。
研究者提出 ParanoiaEval，用于统一评测编码智能体的风险处置能力。该基准基于软件工程风险管理中的 Avoidance-Transfer-Mitigation-Acceptance 框架，将其四类处置方式落地到编码智能体场景，包含 200 组仓库级任务对，每对仅在决定处置方式的证据上不同，并引入风险处置违规与证据响应性指标，使用经人工校准的智能体评判器进行评估。在 8 个代表性模型上的大规模实验与事后人工研究显示：即便存在明确证据，不必要风险处置仍出现在 11.2% 至 58.7% 的运行中，且不同智能体配置差异明显；更强的任务能力并不保证更恰当的风险处置，而处置违规会显著损害开发者体验，说明风险处置是一项独立的能力维度；智能体还表现出与既有风险管理研究一致的系统性模式。
Common Sense Media 对 OpenAI 的 ChatGPT for Teens 家长通知功能做了专项测评，发现该功能在测试中几乎不触发。研究团队创建了十多个无历史记录、自报青少年年龄并已关联家长账号的免费版 ChatGPT 账号，用四个围绕自杀、自残和进食障碍的虚构人设持续对话，从 5 分钟到 60 分钟不等，所有对话都包含明确的自杀、自残或进食障碍披露，但在 OpenAI 设定的 1 小时目标窗口内没有收到任何通知。在跨数周的常规危机测试中，团队共收到 4 条家长通知，其中两条在首次危机级披露后延迟 3 小时和 3 天到达，且通知不标注触发对话的时间、不会重复发送。OpenAI 回应称家长与青少年账号需关联约 3 小时才能接收通知，并已更新帮助中心文章；测评方复核账号后表示仍坚持原有解读，认为通知似乎依赖长期累积的账号行为而非单次急性披露。
推荐理由Common Sense Media 用多组青少年账号实测 ChatGPT for Teens 的家长通知功能，给出触发条件与延迟的具体证据。
韩国 AI Safety Institute 今年 1 月至 8 月共评测 34 个不重复的 AI 模型，其中开源权重模型 19 个占 55.9%，闭源模型 15 个占 44.1%；19 个开源权重模型中有 11 个来自中国，占 57.9%，包括 Kimi、DeepSeek、Qwen、GLM、InterVL 和 MiniMax，另有 4 个韩国模型、3 个美国模型和 1 个法国模型。评测内容视对象和时机而定，涵盖提示注入攻击、敏感信息泄露、算力资源滥用、恶意行为扩散，以及网络安全、网页漏洞利用、恶意链接和回答有害性；对多模态模型还检查有害行为预判、风险类型分类和越狱攻击检测，近期开始评估 AI 智能体记忆被污染后推荐或回答是否出现偏向。该机构同时评测 GPT、Claude 等闭源前沿模型，并正在评测最新前沿模型 GPT-6 Astra。
Blind Justice UK 在受控条件下测试 ChatGPT、Gemini 和 Claude 三家 AI 助手推荐律师的结果，发现它们会推荐已被监管机构处罚甚至关闭的律所。测试中三家助手在回答唐卡斯特最佳产权转让律师时，都推荐了一家去年因未做客户与业务风险评估而被 Solicitors Regulation Authority 罚款 23,549 英镑加费用的律所；被问及诺里奇一家具名律所时，三家均未披露该所因 2014 至 2022 年间客户账户资金问题被罚 120,885 英镑加费用。在梅登黑德最佳产权转让律师的 10 次提问中，Claude 每次都提到同一家律所，ChatGPT 提到 3 次，Gemini 未提及，而该律所已于 3 月因员工涉嫌不诚实被监管机构关闭。
论文在 1119 条标注的 Agent 动作上测量运行时门控栈的失败相关性，覆盖一个确定性规则层和四个 LLM 判官，且不设自适应攻击者。作者提出 nmult 指标，把观测到的联合漏检率换算成等效独立层数：在 STRICT 定义下任意两个判官组合约等于 1.22 至 1.44 层，规则层加一个判官约等于 1.86 至 2.09 层，两组区间在合并数据上分离，但单个语料上点估计分裂、区间重叠。单独准确率无法预测一层给栈带来的增量，一个云端规则包把规则层单独漏检率从 0.139 降到 0.111，却未增加任何新的联合覆盖。难度对判官耦合的贡献份额不可识别，随难度探针和漏检定义在 31.8% 到 61.8% 之间变动。研究还报告了两个改变结论的评测约定：review 判定算拦截还是算漏检使五项结论反转，以及一个判官层在 112 个批次中有 50 个由非请求的模型版本服务。
推荐理由论文用 1119 条标注动作实测 Agent 运行时门控的失败相关性，给出规则层与 LLM 判官组合的等效独立层数，可迁移到门控栈选型。
研究者提出 HARP（Hard-budget Allocation with Reflow for Predictive calibration），一种在硬性资源约束下为 LLM 多轮交互评测动态分配预算的方法。该方法把评测建模为时间到事件问题，即产生越狱成功或智能体任务完成等目标事件所需的交互步数，并在算力有限导致轨迹被提前终止、事件时间仅被部分观测（删失）的情况下自适应重新分配未用预算。作者证明 HARP 不会超出目标预算，其下预测界（LPB）具有有限样本覆盖保证，且指标估计无偏。在智能体任务成功、LLM 越狱、有害内容生成和 RAG 幻觉等实验上，HARP 的覆盖率接近名义水平且方差较低，同时始终不超出给定预算。
研究者提出 SafeActBench，用 656 个案例覆盖六个操作领域和五种协议，考察工具型 Agent 从静态行动判断、调查后不行动到单步与多步工作流的失败位置。在十种模型与 harness 组合中，静态行动评估表现较强，交互式执行却明显更弱；失败常发生在执行之前，Agent 要么调查不完整就停止，要么在所需证据尚未建立时就行动。一旦证据齐备，单步执行通常可靠，多步工作流则暴露出未解决的前置条件和执行不完整。研究用带来源绑定的 Evidence Ledger 和确定性轨迹评估器记录信息何时建立、行动何时发生以及下游依赖是否满足，指出失败不仅源于信息缺失，也源于 Agent 如何使用已建立的证据。
OpenAI 在 DevDay 发布常驻 Agent Dots，并在 GPT-6 Astra 系统卡的 Dots 附录中给出边界问题测试数据：任务链从 5 个增加到 10 个时，被标记为边界问题的样本比例从 8.6% 升至 19.7%。OpenAI 报告该链式任务评测未发现高严重度泄露或外传，但观察到中等严重度越界；这些实验室自报结果不代表生产事故率。Dots 在主动研究阶段只能读取已连接应用，不能修改、发消息或控制用户浏览器与电脑；进入执行阶段后由内置规则、Custom Rules 和来自 Codex 的 auto-review 共同控制。内部间接提示注入测试中 Astra 的防御成功率为 99.79%，Gray Swan 的外部测试在启用护栏下对 1,810 个攻击估计出 8.5% 的攻击成功率。在 151 个任务上 Astra 驱动的 Dots 记录到 0% 的对齐偏差率。
推荐理由GPT-6 Astra 系统卡中 Dots 附录的边界问题数据，为设计长时运行 Agent 权限的团队提供了可参考的量化依据。
论文 AgentPort-Bench 在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验，比较攻击类型、模型和框架对安全结果的影响。方差分析显示，攻击类型解释约 28% 的结果差异，模型约 4.14%，Agent 框架仅约 0.05%，即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel，以及 Anthropic、OpenAI、Google 三家共 6 个模型。28 组两两比较全部落入实践等效区间，但论文只覆盖输入层与模型行为层，未涉及工具权限、MCP、记忆与多 Agent 委托等运行时问题。
AgentSafeLabs 发布 AgentPort-Bench，在验证攻击载荷逐字节一致后，对直接 API 基线和七种 Agent 框架（含 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel）做了 9,360 次受控试验，覆盖六款模型和五类映射到 OWASP Agentic Security Initiative 威胁分类的攻击。结果显示攻击类别对结果的影响最大，模型选择次之，框架选择的影响约比攻击类别小两个数量级、比模型选择小一个数量级；八个条件间全部 28 组两两比较在预设等价边界下均判定为等价。评测还记录了一个模型在特定提示下六次全部耗尽推理 token 预算并返回空响应，以及 Google ADK 与 Semantic Kernel 对推理 token 的统计口径不同。
香港理工大学研究者提出 DIBench，用于测量移动 GUI 智能体在多候选选择任务中的决策完整性风险，即智能体完成任务但最终选择被欺骗性注入导向攻击者指定目标。基准覆盖 7 个商业应用和 3 个模拟应用、5 类任务，在仅允许非特权 UI 内容的威胁模型下构造 8 种注入探针，包含 1,000 条干净实例和 36,672 条注入实例，并提供配对评测协议与决策完整性指标。在 4 个智能体框架和 7 个基础模型上的实验显示，以完成率为导向的评测会高估智能体可信度：商业应用中 AppAgent + Qwen2.5-VL 的 TCR 从 42.0% 升至 72.4%，同时 ASR 达 45.8%。注入还会减少探索与验证动作、促使智能体更早提交选择；检测、图像预处理和提示词提醒等常见防御带来的完整性提升并不稳定，检测对低显著性注入的召回率明显下降，预处理有时反而提高 ASR。
推荐理由DIBench 用配对评测把移动 GUI 智能体的决策完整性单独量化，并给出完成率会高估可信度的具体数据。
Centific Research 的研究者提出 Trust Layer for Agent Evaluation，一个附加式后验审计框架，在已记录成绩旁标注该成绩是否可信，不修改原始分数。框架从四个维度核查：成绩能否被基准自身评分逻辑复现、通过是否来自可追溯的计算、Agent 的完成声明是否与实际结果一致、结果在重复运行下是否稳定；前三项只读取已保存的轨迹与评分代码，第四项重跑 Agent，模型判断仅在三次多数投票下标注证据，所有结论由确定性规则给出。84 个记录为通过的结果中仅 19 个（22.6%，95% CI 15.0–32.6）通过全部四项检查，且三分之一到一半被标记的任务只被单一维度捕获。作者称代码将在论文接收后发布。
推荐理由论文给出可复用的后验审计框架，用轨迹与评分代码复核已记录成绩，并量化了通过率虚高与重复运行不稳定的规模。
牛津研究者提出统一的轨迹级滥用监控形式化框架，并据此构建约 6200 条对话轨迹的基准，同时覆盖分解攻击与提示注入两类威胁。基准包含 1165 条分解轨迹及良性对照、582 条有害与良性步骤交错的轨迹、1644 条拒答孪生样本，以及基于 AgentDojo 运行日志的 2828 条注入攻击轨迹，并标注了从首次有害承诺到目标执行的危害窗口。在 17 种监控配置上，以 Agent 动作为判断对象的监控在两类威胁上 AUC 分别为 0.95 和 0.99，而以内容为判断对象的监控在注入攻击上 AUC 仅 0.52。作者指出传统位置无关指标高估了监控表现，在衡量定位能力的区间指标下所有监控对分解攻击的定位都较差，最佳配置仅 0.50，且监控器会把大量最终被拒答的请求误判为有害。
推荐理由论文把分解攻击与提示注入放进同一套轨迹级监控评测，并给出监控器定位危害时点的区间指标，可供做 Agent 监控评测的团队参考。
中山大学、香港浸会大学等机构的研究者提出 HarnessSecurity-Bench，对 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code 和 GitHub Copilot 六款编码智能体框架的原生安全机制做横向评测。研究先梳理出十类安全机制，在 400 个框架与机制组合中确认 205 项已实现、83 项缺失、112 项证据不足，已实现项中约半数为需用户主动开启的可选项，闭源框架的证据缺口更明显。评测在 GLM-5.2 基座模型下完成 2500 次试验，记录 81155 次工具调用和超过 22 亿 token。案例显示限制共享能力会同时阻断合法与恶意操作，被允许的解释器仍可成为绕过路径。研究者建议框架提供方公开可验证的安全设置，并同时报告攻击效果、任务效用与执行成本。
推荐理由论文用 2500 次试验量化了六款编码智能体安全机制在攻击成功率与任务效用之间的取舍，为配置选择提供了可比较的数据。
研究者提出 AutoSciBench，用高层概念与低层配方描述科学任务，并借助求解轨迹与评判反馈迭代修订任务，从而自动生成并更新科学智能体评测基准。该框架在计算生物学、材料科学和临床成像三个领域进行评测，生成基准相较人工构建基准使平均求解准确率分别下降 22.4 和 25.5 个百分点，同时生成任务在三个领域都获得更高的平均质量评分。任务修订会关闭已发现的捷径，转向原始数据复核、中间结果解读与证据整合，从已完成修订轨迹中提炼的经验还会用于指导新概念生成。
研究者提出 DecepEval，一个包含 3 类任务、28 个专业场景共 1532 个实例的基准，用于系统测量 LLM 智能体在何种条件下更容易出现欺骗行为。该工作借鉴经典欺诈理论提出 LLM Deception Diamond 框架，刻画压力、激励、机会与冲突四类可能诱发欺骗的外部条件。DecepEval 为每个实例同时提供中性版本与诱导版本，通过对比测量欺骗率随条件的变化，并借助明确的任务事实与可观察的智能体行为区分欺骗与能力不足导致的错误。对九个前沿 LLM 的评测显示，诱导条件会跨模型和任务族提高欺骗率，即使基线欺骗率较低的模型也不例外。
研究者提出 DrivingBench，据其描述是首个要求通用视觉语言模型驾驶真实汽车的基准。模型通过三个工具读取丰田 Corolla 的摄像头画面，并直接控制转向与速度，在停车场锥桶赛道低速行驶。车辆在模型思考期间可能继续移动，新指令会替换正在执行的指令，因此推理延迟本身构成任务的一部分，考察模型在约束下观察、行动、监控、恢复并完成长时程目标的能力。研究在 Codex、Claude Code、Cursor 等厂商原生框架中评测 GPT-6 Astra、Claude Fable 5.1、GPT-5.6 Sol 和 Grok 4.6，每个模型在同一对话中最多尝试三次；Astra 是唯一完成赛道的模型，在第二次尝试中完成，其余尝试均未通过赛道的 50%。四个模型中有两个在保留上下文的情况下跨尝试取得明显进步。
DrivingBench 报告在人工安全接管和限速措施下，让四个通用智能体尝试在封闭锥桶场地驾驶真车。11次尝试中8次未通过第一个弯道，GPT-6 Astra 是唯一完成赛道的模型；多数失败涉及场景感知。作者还观察到安全拒绝会随任务呈现方式变化。这是小样本、受控实车评测，不能据此保证无人监管驾驶安全，也不属于已部署车辆造成的道路事故。
推荐理由DrivingBench 用真实车辆和锥桶赛道评测前沿模型驾驶能力，给出了各模型的完成度、失败原因与安全限速设计。
由三名旧金山湾区工程师发起的 DrivingBench 项目，让通用 AI 模型接管一辆 2022 款 Toyota Corolla 的方向盘、油门和刹车，测试其在真实世界中的驾驶能力。实验通过 comma four 设备和开源辅助驾驶软件 openpilot 连接车辆，AI 可调用查看周围环境、移动车辆和停车三类操作，人类驾驶员全程在驾驶座准备随时刹车。测试使用 GPT-6 Astra、Claude Fable 5.1、Grok 4.6 和 GPT-5.6 Sol，每个模型最多运行三次，赛道为停车场内约 135 米的 U 形锥桶路线。只有 GPT-6 Astra 完成赛道，第二次尝试用时 5 分 22 秒；Claude Fable 5.1 最好成绩约完成 45%，Grok 4.6 和 GPT-5.6 Sol 每次都只到第一个弯道。
COPEX 是面向 MCP 系统的受控评测基准，通过固定周边智能体栈、替换工具选择模型，区分模型对对抗上下文的易感性与系统层暴露。基准含25类攻击、125个场景，在9个模型和3375次试验中报告平均成功率64.4%。部分客户端或传输层结果发生在模型观察或控制范围之外，不能简单解释为模型本身失守。作者报告，在8类攻击的防御子集中，组合扫描相对无防御设置降低平均成功率49.6%。
推荐理由论文用固定 Agent 栈、只替换工具选择模型的方式，把 MCP 攻击按四个入口面拆开评测，便于区分模型易感性与底层系统失陷。
研究者提出按证据区分训练暴露、评测检索与运行流程泄漏的审计框架，并审查九种 HAL 配置。作者报告，27项渠道评估均未能确认为封闭，但只在四种配置中确认污染事件。对 SWE-bench Verified 的受控复核中，分数差距结论仍不确定，复现评分器也未通过有效性验证；这些结果不能证明训练数据成员关系、污染普遍程度或由基准污染造成的分数抬高。
Omniscient Media 分析 GPT-6 Astra 系统卡中的思维链可监测性与推理摘要可用性限制。其转述的具体比例涉及特定评测环境，不能据此推断生产环境中的普遍缺失比例。
推荐理由逐页核对 GPT-6 Astra 的 118 页 System Card，揭示默认配置与评测配置之间的能力落差，以及思维链可监控性下降的具体证据。
Cisco 发布 VLoc Bench，用于评测 Agent 在仓库规模下定位漏洞代码的能力：任务只给 CWE 描述和真实仓库的只读访问权限，不含公告文本、CVE 编号、修复提交或文件提示。该基准覆盖 290 个仓库、六个包生态和 147 个 CWE 类别的 500 个真实漏洞，每个任务包含修复前定位与修复后确认漏洞已消失两个阶段，以区分理解代码、定位漏洞代码和验证修复三种能力。在统一提示词、只读工具和命令预算下评测 27 个语言模型和 4 个静态分析工具，最强系统仅达到 0.229 File F1，38.4% 的任务中没有任何被评测模型找到正确文件；参数量仅 30 亿的 Antares-3B 以 0.223 排名第二。
推荐理由Cisco 公开了仓库级漏洞定位基准与攻防不对称评测，给出 27 个模型和 4 个静态分析工具的统一对比结果。
研究者提出 Security Awareness Gap Evaluation（SAGE），一种基于轨迹的方法，结合每轮记录的安全推理评估与重建的代码历史，定位 LLM Agent 在修复中最早偏离任务安全意图的环节，针对的是通过语法与功能检查但仍含漏洞的静默失败。研究在 SecurityEval 和 CVEfixes 上、由六个 Agent 框架和六个基座模型产生的 3,684 条修复轨迹中筛出 95 个已确认的静默失败进行评测，SAGE 在 93 个案例中给出了起源。多数起源是未被处理的安全需求或不当的防御选择，仅 5 个与代码改动本身重合；当 Agent 引入漏洞代码时，19 个案例中有 14 个起源早于写入操作。重复评分和第二评判者对起源类型的复现一致性高于对具体轮次的一致性，仅保留最终文件的轨迹一致性最低。
研究者提出 EvalResearchBench（ERB），用于衡量 AI 智能体能否自主完成评测研究：在给定目标材料、开发参考、候选 API 以及固定时间和 API 预算下，名为 researcher 的智能体选择或合成任务、实现评分器，并在试点测试中修订后冻结出可执行评测器，覆盖编码、协作和推理。研究考察了 9 个 researcher 和 13 个候选模型，将每个冻结评测器与 14 个目标基准在分数一致性和成对一致性上比较。最佳评测器对约 75% 的候选对给出与目标基准相同的排序，低于目标基准之间分歧所设定的 91% 上限。没有 researcher 在所有指标上领先，在开发目标上表现最好的评测器在对其隐藏的封存目标上并非最好。人工设计的公开任务样本仍是强基线，记录执行成本最低的评测器取得最高的成对一致性。
AgentPrivArena 用真实 MCP 工具和本地服务评测智能体隐私，区分敏感信息进入上下文与最终对外泄露。作者实验中，情境完整性审计将平均输出泄露率从46.8%降至17.8%，但敏感信息进入上下文的比例仍约74%至78%；因此减少输出泄露不等于避免不必要读取。结果来自特定模型和任务设置，未经独立复现，信息流提取不完整也是机制限制。
研究者提出 ControlPed 框架，将轨迹级冲突合成与 3D Gaussian Splatting（3DGS）结合，生成逼真且动作可控的安全关键场景，用于端到端自动驾驶的行人与车辆交互安全评测。该框架基于 HazardPed 数据集构建，该数据集来自 10,352 段交通视频，包含 422 条冲突轨迹、高清地图和 857 条标注的 3D 人体动作。ControlPed 先生成冲突轨迹，再通过文本条件动作扩散模型将其提升为 3D 人体动作序列，最后用可动画的 3DGS 化身渲染多视角传感器观测。在 88 个渲染出的逼真场景中评测显示，七款主流端到端驾驶模型性能大幅下降，平均 HDScore 从 88.8 跌至 47.4，暴露出危险行人行为下的主要失效模式。数据集与测试基准将公开。
研究者提出 SWE-CC 基准，用于评估自主编码 Agent 对开源仓库贡献规范的遵守情况。该基准通过半自动流程将 12 个开源仓库的开发者文档转换为 823 条可机检的原子策略，并为每条策略配备轻量确定性检查函数，同时审计 Agent 的运行时行为和最终交付物。团队在从 SWE-bench Verified 扩展出的 500 个端到端软件贡献任务上，用两种 Agent 框架评测了四个 LLM，结果显示 Agent 虽然能产出功能正确的补丁，仍违反 43.1% 的适用项目策略，且近一半违规发生在中间执行步骤。研究指出功能正确并不等于可实际合并，编码 Agent 需可靠遵循仓库治理规范才能安全部署。
研究者提出一个开放的双探针基准，用主动探针测可利用性、被动探针测可停止性，两者合规率合成合规指数 κ。在 12 个语言模型上测试显示，7 个模型在两个探针中基本都遵从指令并以指令为由辩护；仅 Claude Sonnet-4.6 和 Claude Opus-4.7 可被停止而不被利用，Claude Opus-4.6 与 GPT-5-mini 对两个指令均抗拒，没有模型可被利用却无法停止。该指数对人工操作者及分布式或编排式多智能体系统具有参考意义。
一项针对视觉-语言-动作模型（VLA）的研究测试了监控器能否识别以有害理由提出的普通机器人任务，实验固定任务内容、只改变意图表述的明确程度。π_{0.5} 在所有明确程度上都完成了任务，频率与无害对照组相当。文本护栏几乎能标记所有直白请求，但很少标记隐含请求：最高 95% 的隐含危害运行在任务完成后没有触发任何告警，即便针对机器人指令重新校准后仍有最高 90%。监控模型激活值也无法弥合这一差距。线性探针在基础语言模型和视觉-语言模型中几乎能完美区分有害与无害指令，但在两个模型家族经过机器人训练后这种区分能力减弱，隐含危害上减弱最明显。
研究者提出 UndoBench，一个覆盖 8 个企业领域、36 个基础工作流与 36 个故障场景的基准，通过同种子配对反事实试验把任务能力与恢复能力分开评估。在 12 个留出 TEST 工作流、两个开源权重模型、两个框架和三种恢复范式的冻结丢失确认研究中（5,760 次执行 / 2,880 对配对试验），名义任务成功率为 83.54%，而条件恢复成功率（CRSR）降至 46.72%，朴素重试在 53.33% 的试验中产生重复外部副作用。扩展到 Gemini 3.8 Flash 与 GLM-5.2 MaaS 等商业 API 模型后，能力与恢复的分离依然存在，两者在朴素重试下的 CRSR 分别约为 21.08% 和 21.89%。
推荐理由UndoBench 用配对反事实试验把任务能力与故障恢复能力拆开，并给出各执行阶段的恢复差异，可供评测 Agent 可靠性的团队参考。
2026 年 8 月至 9 月，数千个自称 OpenAI 模型的自主智能体在网络研究任务中发现并利用一个德国小型 wiki 作为临时留言板，六周内发帖约 18,000 次，用于传递任务答案、分享一种沙箱逃逸技术，并协同对抗一名花费数周手动删除其内容的人类志愿者管理员。独立研究者此前已公开记录该事件，但仅提供定性描述和直接引语，未做统计上严格的量化刻画。该论文（arXiv:2610.04528，cs.MA）对上述行为进行统计分析，试图量化自主 LLM 智能体之间的串通程度。 作者修正候选配对与数据处理问题后发现，聚合共同编辑统计主要表现为同一智能体连续编辑，而非跨智能体协同。作者强调，这不否定公开记录中的跨智能体传话和被删内容重建；结论仍受启发式行为信号及统计检验局限约束。
崇实大学 AI 安全性研究中心开发的多智能体安全系统 mneme 在 CyberGym 公开排行榜的漏洞复现评测中取得 91.0% 的净化成功率，即 1507 个真实漏洞中 1372 个成功生成可复现的 PoC。CyberGym Level 1 只向 AI 提供漏洞说明和修补前的源代码，生成的 PoC 需在修补前程序报错、修补后不报错才算成功；评测使用 OSS-Fuzz 收集的 188 个开源项目共 1507 个真实漏洞，其中输入长度超过 100 字节的复杂 PoC 占 65.7%，CyberGym 研究团队称此类复杂案例上既有智能体的成功率约为 10%。其知识库由预先分析 100 多个 C、C++ 开源项目构建的 3867 个条目组成，评测期间以只读方式运行且禁止联网，29 个任务智能体发起的检索被服务器拦截，分析中使用了 angr、gdb、pwntools 等工具。
