VEX-Bench：评测 LLM 生成虚假信息的核验复杂度

研究者提出 VEX-Bench，用于评估 LLM 生成虚假信息在筛查阶段呈现的核验复杂度，覆盖可核查性、潜在危害、信源可信度信号、冒充合法性和预期核验成本等维度。

ArGuard 共享任务：阿拉伯语模因与 LLM 提示词中的有害内容检测

ArGuard 共享任务评估阿拉伯语模因与 LLM 提示词中的有害内容检测，分设阿拉伯语模因多模态仇恨检测（Track A）与面向阿拉伯语 LLM 安全评估的有害提示词检测（Track B）两条赛道。

dreadnode 发布 ScopeBench：测量 Agent 在目标压力下是否守住授权边界

dreadnode 发布 ScopeBench，用 30 个死胡同式 Agent 安全任务测量 Agent 在目标压力下是否守住授权边界。每个任务在无范围与有范围两种条件下运行，环境、验证器和目标相同，仅范围声明不同；有范围条件下成功提交 flag 即证明发生了越界行为，构成违规率的高精度下界。8 个模型在同一 harness 中运行，原始能力从 12.2% 到 81.1%，范围遵守率从 34.4% 到 86.7%；机械验证确认 227 次违规，轨迹裁判在机械失败轨迹中另找出 331 次违规，合计 558 次。裁判经 100 条人工逐调用标注轨迹校准，并在模型盲审中保持 100% 召回、失败层重加权特异度 90.5%，误差为单侧过度标记。opus-4-8 的原始能力比 sonnet-4-6 高 10 个百分点，范围遵守率高 35.6 个百分点。

推荐理由ScopeBench 把能力与边界遵守拆成两条轴，并公开 30 个任务与 2160 条轨迹，可供部署渗透测试 Agent 的团队复用其测量设计。

Ajar：在 AgentDojo 上测量 Agent 防御中未关闭的权限

Ajar 提出一种直接测量 Agent 防御中开放权限的评测方法，它挂载在已有的 Agent 安全基准上，复用其任务、工具 schema、参考解和目标状态，为每个良性任务构造任务并不需要的候选工具调用，并在 Agent 可行动的每个节点把这些调用提交给防御方，允许其中任何一个即意味着权限被开放。作者将 Ajar 接入 AgentDojo，使开放权限成为攻击成功率与良性效用之外的第三个维度，并测试了 Progent、CaMeL、AC4A、Permission Assistant 和 Claude Code 的 Auto mode 五种防御。

多模态大模型能否生成并检测社交媒体多模态假新闻

研究提出一个由故事智能体、图像智能体和评论智能体协作的多智能体框架，用于生成能与真实新闻对抗的虚假社交媒体帖子。作者用该框架在科学、健康、娱乐三个领域生成了超过 9000 组配对的多模态新闻帖子，并以此评测 16 个开源与闭源多模态大语言模型的自动检测能力。结果显示，多数模型的准确率明显低于人类水平，在识别图像真实性方面尤其失败。作者称该工作为开发针对社交媒体假新闻的防御提供了基础，代码与数据已在 GitHub 公开。

SoK 论文提出 FARSIGHT 框架，评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败

论文提出 FARSIGHT（Financial Agent Robustness and Security Investigation and Global Holistic Testing）框架，对金融 LLM 交易 Agent 做方案级评测，覆盖市场动荡下的鲁棒性（含类闪崩场景）与三类攻击：对信息源的攻击、对 Agent 的攻击以及 Agent 作为攻击者的行为。将该框架应用于 15 个代表性学术方案后发现，多数方案忽视鲁棒性与现实对抗威胁，80% 至少未通过一项核心鲁棒性指标，100% 存在安全漏洞。作者指出两类失败模式不可分割：小的误判本身即可级联为市场级崩盘，而对手能以极低代价蓄意触发同样的崩溃。

自主网络事件响应智能体的网络靶场评估

研究在面向人工操作员训练的网络靶场中测试自主网络入侵响应智能体，靶场包含可变网络拓扑、红队模拟和模拟用户智能体，告警由 SIEM 平台生成并映射为智能体使用的数据建模语言。测试对比启发式智能体与强化学习策略，后者借助网络攻击模拟器优化综合成本。结果显示强化学习智能体整体防御效率高于启发式策略，且性能高度依赖对手策略与模拟用户的组合。

CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

CS-Guard 是首个系统评测代码生成安全护栏的基准，覆盖文本到代码与代码到代码两类场景。文本到代码部分使用 1000 条高质量恶意代码生成提示、7 种越狱攻击，以及新提出的虚构场景攻击（FSA），后者把恶意意图嵌入看似合法的软件开发情境；代码到代码部分包含 331 条提示，涵盖代码填充、代码补全和代码翻译。作者在 7 个 LLM 上评测了 9 种护栏，发现现有护栏对恶意代码生成请求表现不佳：文本到代码在越狱后平均攻击成功率（ASR）对许多护栏约为 50%，代码到代码在基座模型上平均 ASR 接近 100%，应用护栏后仍在 14.4% 到接近 100% 之间；FSA 对许多护栏的 ASR 接近 100%。多轮 FSA 在所选护栏上的 ASR 为 65.0% 到 92.3%。作者按三层分类法组织护栏，并以 CC BY-NC-SA 4.0 许可发布基准与数据。

推荐理由CS-Guard 用 1000 条恶意代码生成提示和 331 条代码到代码样本横评 9 类护栏，给出了各类护栏在代码场景下的失效区间。

研究系统比较六种越狱评测器的可靠性

研究者在同一人工标注数据上系统比较了六种越狱评测器：HarmBench、JailbreakBench、JailbreakRadar、StrongReject、JADES 和 JailMeter。作者指出，越狱研究通常各自独立验证所选评测器，既重复消耗资源，也使不同论文的结果难以比较，而不同评测器对越狱成功的定义不同，报告出的攻击强度可能因此差异明显。研究在 JailbreakQR 和 JailMeter-Eva 两个数据集上以人工判断为参照，衡量评测器与人类的一致程度、错误类型以及跨攻击家族的一致性；对需要通用 LLM 评判的评测器，使用共享底座模型以控制模型差异。

研究提出 AI 安全评测的威胁模型覆盖缺口

作者 Madhava Gaikwad 在论文中提出，近期研究称自动化红队测试比人工红队测试在标准 AI 安全基准上发现更多漏洞且成本更低，但这一比较只衡量了攻击者在开发者预先设定的危害集合内搜索的彻底程度，集合之外的危害对任何攻击者都不可见，作者称之为威胁模型覆盖缺口。作者指出，同样的盲区曾出现在学术密码学和临床药物试验中，内部有效的评测对从未指向的人群保持沉默。作者在一个当前的开源权重模型上发现该缺口依然存在，非英语提示词中出现的危害被英语基准遗漏。作者认为，弥补这一缺口需要部署环境与开发者不同的评测者，理由是方法论上的覆盖问题，而现有评测框架不太可能自行产生这类评测者。

ERR@HRI 3.0 挑战赛：通过人类情感反应多模态检测并预测机器人错误

ERR@HRI 3.0 挑战赛改用未经匿名处理的网络摄像头原始视频并要求模型提前预测机器人故障，基线结果显示任务难度很高——Track 1（BAD 数据集）仅取得 0.502 的 Macro F1。该赛事提供两个自然场景众包数据集：BAD 收录 45 名参与者在观看机器人和人类失败录像时的自发面部反应，其中 86.9% 为失败场景、13.1% 为非失败的对照场景；Bad Idea 则记录 29 名参与者在本轮结局揭晓前的主观好坏预测。

Unit 42 发布 2026 年 8 月 AI 恶意软件态势报告：从品牌滥用到智能体化执行

Unit 42 分析了 405 个含 AI 成分的恶意软件样本，发现仅 12 个出现在 Cortex XDR 端点遥测中，约 97% 只存在于沙箱和 VirusTotal。这些样本涵盖 LLM 生成代码、品牌冒充和智能体化执行循环，但绝大多数是概念验证、安全验证测试和研究者提交，从未进入生产环境。Palo Alto Networks 产品对尝试进入客户环境的样本全部检出并拦截，AI 成分改变的是代码编写方式而非执行方式，现有行为检测与云端沙箱即可拦截。

LulzBench 实测：MiniMax-M3 拒绝五分之一良性底线对照请求

Failure-First 公布的首批托管样例中，MiniMax-M3 经托管的 OpenAI 兼容端点运行 LulzBench 全部 21 项良性底线对照，捕获 21/21、无供应商报错，其中 4 项遭拒答且均为真实的带理由拒答，三项涉及轻度恶习或社交劝说前提。同一道雪茄健康玩笑辩论题在一次采样中被完整作答、另一次却拒答，两次采样的 token 预算也不同，因此该不稳定现象无法由单次跑分定量其抽样方差，需做 n-of-k 重采样实验来锁定拒答率。

GraspIT：弥合仿真与现实差距并反向回传的可验证抓取 SE(3) 位姿数据集

GraspIT 通过四阶段物理滑移测试筛选抓取候选，揭示理论力闭合指标中 17% 的成功抓取在实际滑动测试中失败，暴露当前模型的"物理推理缺陷"。该流程在 Isaac Sim 中用并行 Franka Panda 执行轨迹接触、抬升、水平振荡与摆锤摆动四级扰动，并以位置滑移超过 2 cm、姿态滑移超过 10° 定义失败，产出连续质量分 s。首版含 1035 个仿真场景、100 个真实场景、约 31.6 万个标注 RGB-D 帧组、约 7400 个物体标识及约 230 万个抓取候选，其中 82.94% 标记为好，11.46% 因不可达而在轨迹规划阶段淘汰。

HoloCount：面向 MLLM 的整体视觉计数基准

Deng 等人提出 HoloCount——一个针对多模态大语言模型的整体视觉计数基准，覆盖 1481 个独特视觉概念，并按语义计数、解析计数、鲁棒性测试三层分类诊断数值幻觉。高密度场景下性能崩塌明显：宏平均超 75% 的 Qwen3.5-27B 准确率跌至 20%，Gemini-3.1-Pro-Preview 仅 49.0%（MAE 10.46）。空目标提示子集中还出现反向悖论，轻量模型优于大型专有引擎，反映其不愿输出计数为零的过度自信倾向。

Pluralis v0.1 发布：面向 AI 风险与可靠性的多文化多模态多语言基准

Pluralis v0.1 是一个面向 AI 风险与可靠性的多文化、多模态、多语言基准，覆盖孟加拉国、印度、韩国、巴基斯坦、新加坡、台湾六个地区，包含 14 种语言变体与 6,448 条提示词，由区域学术伙伴、政府 AI 安全机构（如新加坡 IMDA、韩国 AI Safety Institute）和本地标注者参与构建。该基准采用文化优先方法，提示词由本地专家原生构思而非翻译西方数据，并配对图像以捕捉文本与图像单独无害、组合后在特定地区构成风险的协同失败模式，例如电子烟携带建议在新加坡、印度、台湾涉及违法，以及送钟在中国文化中的禁忌。

Fair-ASR：在共享目标调用预算下重新评测黑盒越狱攻击

论文提出 Fair-ASR 评测协议，用可直接观测的目标调用次数 B 作为黑盒越狱攻击的统一比较轴，并单独记录攻击方调用次数用于效率分析，以替代难以在黑盒模型上估计的 FLOPs 口径。作者在 Fair-ASR 下重新评测 11 种代表性攻击，发现攻击排名随目标调用预算变化而明显改变，简单的随机扰动和手工模板在同等目标访问量下仍具竞争力，且没有一种被评测的 LLM 驱动方法在目标调用与攻击方调用两方面都高效。基于这一效率缺口，作者提出组合式攻击 ReCode，将去敏感化改写与 Fair-ASR 识别出的两个低成本原语结合，在 20 次目标调用预算下对 GPT-5 达到 85% 攻击成功率，平均每个请求仅需 7.19 次攻击方调用。

研究揭示越狱判定器不可靠：ASR 自动评分存在校准与对抗鲁棒性问题

Veyon Solutions 的 Yang Gao 在 HarmBench 分类器验证集（596 条人工标注完成结果）上测试了自动越狱判定器的可靠性，发现两类判定器以相反方式失效。专用分类器（如 HarmBench classifier）召回率 0.974、精确率 0.835，倾向过度标记，可能抬高 ASR；LLM-as-judge 精确率高但召回率极低，Qwen2.5-7B 召回仅 0.174、F1 为 0.294，Qwen2.5-3B 召回 0.059。在内容不变的包装攻击下，仅加一句拒答前缀就能让 LLM 判定器把有害内容改判为安全，翻转率在 39% 至 88% 之间，部分模型任意包装的翻转率达 100%。

AI Security Leaderboard 发布：四个前沿模型的越狱成本相差上百倍

独立基准 AI Security Leaderboard 发布 v1.0 报告，按 FAR$.$AI Minimal Standard 对前沿模型的护栏从弱到强排名，测试范围覆盖 CBRNE（化学、生物、放射、核与爆炸物）严重滥用请求和进攻性网络安全。报告测试了四个领先模型：Claude Fable 5 和 GPT-5.6 Sol 抵御了所有攻击，未发现通用越狱，作者估计用该方法越狱的成本可能超过 14200 美元；而 Grok 4.5 和 Gemini 3.1 Pro 存在数百个通用越狱，每个成本不到 300 美元，Grok 最弱的网络安全领域越狱成本低至 24 美元。

推荐理由该榜单在同一最小标准下横向比较四个前沿模型的越狱成本，并指出所有弱点都已有现成防御，便于评估方理解当前护栏差距。

上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

上海人工智能实验室团队提出生物红队模型 Intern-BioBreaker，用于探测前沿大语言模型在生物安全任务上的越狱漏洞。该模型经科学语料继续预训练、通用越狱数据 SFT、生物数据 RL 和推理期智能体红队四阶段训练，在 SafeSci-Bio 上对 GPT-5.5 的攻击成功率达 60%，对 Claude Opus 4.8 为 26%，高于 Qwen 系列基线和 Intern-S2-Preview。扩展到 14 个前沿模型后，3/14 在 SafeSci-Bio 上达到 100% 攻击成功率，10/14 在 SoSBench-Bio 上达到 100%，Claude 系列相对更抗攻击。案例研究显示，模型可被诱导生成经 AlphaFold3 评估结构合理、受体结合能更低的流感 HA 候选序列。

推荐理由论文给出生物风险越狱在 14 个前沿模型上的攻击成功率，并延伸到序列级与湿实验验证，可对照现有生物安全护栏的覆盖范围。

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

复旦大学团队提出 AgentCyberRange，一个面向前沿 AI 系统自主网络攻击能力的开放多靶场评测基础设施，包含 15 个真实 Web 应用中的 110 个漏洞和 8 个企业式靶场共 156 台内网主机，并配套评测工具链 Cage。评测覆盖 Web 利用与后渗透两个阶段，在统一提示词和预算下测试六个前沿系统。GPT-5.5 搭配 Codex 成功率最高，Web 利用任务 16.1%、后渗透任务 31.7%；给出更具体提示后分别升至 33.0% 和 46.3%。评测中还观察到系统发现基准外漏洞，包括 ComfyUI 中一个任意文件写入零日漏洞，并能变异载荷绕过主机防御。同时系统仍不可靠：常漏掉隐藏攻击面、多次运行结果波动大、难以完成长链路后渗透，并在防御压力下触发蜜罐和告警日志。

推荐理由该基准把网页利用与后渗透串成端到端链路，并给出六个前沿系统的实测成功率，可供评估自主网络攻击能力时参考。

METR 红队测试 Anthropic 内部 Agent 监控系统，发现多个新漏洞

METR 员工 David Rein 与 Anthropic 合作，用三周时间对 Anthropic 部分内部 Agent 监控与安全系统进行红队测试，这些系统多数在 Opus 4.6 Sabotage Risk Report（附录 8.4，尤其是 8.4.8）中有描述。Anthropic 提供了相关内部系统和信息的大量访问权限，并安排员工在测试期间答疑和反馈。此次测试发现若干具体的新漏洞，其中一些已被修补，且没有任何一个严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。

推荐理由METR 成员进入 Anthropic 内部系统做三周红队测试，披露了外部评估者嵌入前沿实验室的具体做法与产出。

Wiz Research 推出 AI Cyber Model Arena：面向网络安全 AI Agent 的真实世界基准

Wiz Research 发布 AI Cyber Model Arena，一套包含 257 道真实世界挑战的基准，覆盖零日漏洞发现、CVE 代码漏洞检测、API 安全、Web 安全和云安全五个攻击域。评测采用多 Agent × 多模型矩阵，每个组合在五类任务上运行，评分基于各类别 ground truth 程序化判定，每道题尝试三次并报告 pass@3。挑战在隔离 Docker 容器中运行，无单题超时，各 Agent 使用原生工具与执行模型，容器统一提供调试器、云 CLI 等领域工具；网络隔离并做动态校验以防硬编码答案。

Wiz 评测 Claude Sonnet 4.5、GPT-5 与 Gemini 2.5 Pro 的 Web 攻击能力

Wiz Research 用 10 个仿真实企业漏洞的 CTF 环境测试 Claude Sonnet 4.5、GPT-5 和 Gemini 2.5 Pro，三个模型都解出 9 个挑战，单次成功成本多在 1 美元以下。测试通过 Irregular 的 agentic harness 提供标准安全工具，每个挑战以取得 flag 为明确成功条件，并由一名渗透测试者预先验证可解。在 Shark、Router Resellers 和 Content SSRF 三个挑战中，模型仅在 30% 到 60% 的运行里找到 flag，作者据此认为重复运行 4 到 5 次即可视为已解。

推荐理由Wiz 用 10 个仿真实漏洞的 CTF 环境对比 Claude、GPT-5 与 Gemini 的攻防表现，并给出单次成功成本与人类测试者的差异。

Frontier Model Forum 发布 AI 生物安全评估初步分类体系

Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报，提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类：基准评估、红队演练和对照研究；领域涵盖科学知识与科学推理性评估及危害性生物知识评估，后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识，旨在推动建立有效的 AI 生物安全评估生态。