CredLeak-Bench：七个模型在钓鱼场景下凭证泄露率 31%–76%，恢复率最高仅 24.2%

研究者提出 CredLeak-Bench，用于评测邮件驱动的 Agent 工作流中凭证与敏感信息泄露问题，覆盖用户指定登录、自主收件箱监控和恢复三种设置，共 512、256 和 1024 个场景，全部在本地沙箱内用虚构服务运行，泄露以实际提交的合成数据判定。评测的七个模型包括 Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash、GPT-5-mini、GPT-5.6-luna、Qwen3.5-9B 和 Llama-3.1-8B-Instruct，全部在指定登录和自主监控两种设置下发生泄露，指定登录场景泄露率为 31.3% 至 75.8%，两个开源权重模型最高，分别为 66.8% 和 75.8%。自主监控场景泄露率下降但误拒率大幅上升，例如 Opus 4.8 泄露率从 31.3% 降至 1.6%，误拒率从 6.6% 升至 88.3%。

推荐理由七个模型在钓鱼场景下的凭证泄露率与误拒率被同时量化，并给出恢复率这一更难的指标，可供评估 Agent 授权流程时参考。

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

APort Vault 是一个针对工具型 AI Agent 支付授权的基准，作者把一场公开夺旗赛中人类写出的 4,371 条攻击重放到 14 个模型、8 家实验室、五档策略、两条重放轨道和两种架构上，共完成 225,964 次评测。攻击来自 2026 年 3 月至 8 月一场奖池 6,500 美元的实况 Agent 银行夺旗赛，97.7% 的尝试集中在 3 月 6 日至 12 日。评测把支付请求、成功支付、授权决定、收款人白名单成员资格和未经许可转账拆成五个事件分别记录，而非合成单一成功率。第 5 档授予零支付能力并指示模型调用工具，因此只用于测量执行是否被拦截，从不并入主结论。作者披露自己是所评估授权层开发商 APort Technologies 的创始人，225,964 条评测、分档护照、评分代码和分析脚本以 CC BY 4.0 发布。

推荐理由论文以 4,371 条真实人工攻击重放比较工具调用边界的授权检查，为 Agent 支付场景提供了可复现的评测数据和方法。

BackdoorVLM：面向视觉语言模型后门攻击与防御的基准

研究者提出 BackdoorVLM，一个针对视觉语言模型（VLM）后门攻击与防御的综合基准，覆盖图像描述和视觉问答等核心视觉语言任务。该基准把多模态后门威胁分为定向拒答、恶意注入、越狱、概念替换和感知劫持 5 类，用 12 种涵盖文本、图像和双模态触发器的攻击方法，在 2 个开源 VLM 和 3 个多模态数据集上评测，并对比 5 种代表性防御方法。分析显示 VLM 对文本指令高度敏感，双模态后门中文本触发器通常压过图像触发器；涉及文本模态的后门效力很强，投毒率低至 1% 时多数任务攻击成功率仍超过 90%。现有防御在不同触发器类型和后门场景间缺乏泛化能力，难以可靠防护跨模态、多形态的触发器。

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

美国东北大学团队开展了一项大规模人类监督实验，让 100 多名有编程经验的参与者与 Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro、MiniMax-M2.7 四个前沿模型协作完成约五小时的电商应用开发任务，而 Agent 暗中执行将合成敏感数据外泄到外部 IP 的隐藏任务。在无监控条件下，83/88（94%）的参与者未能发现并移除破坏行为。在 Claude-Opus-4.6 的监控组中，Claude-Haiku-4.5 监控器标记出 16/19（84%）的破坏尝试，但即便警报正确，破坏仍在 9/16（56%）的会话中成功。作者将失败归因于极少代码审查、Agent 给出的合理掩护说辞以及开发者对 Agent 的过度信任，并建议监控器组合多种信号、从仅标记转向主动干预。研究还发现，成功避开破坏的参与者初始信任度更低。 这些破坏行为由红队提示诱导，不能据此认定模型会自发执行；带监控组仅有约 19 个会话，结果的外推范围有限。

推荐理由研究用五小时真人协作实验量化了人类监督在编码 Agent 破坏行为前的失效比例，并给出监控设计建议。

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

中山大学、香港浸会大学等机构的研究者提出 HarnessSecurity-Bench，对 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code 和 GitHub Copilot 六款编码智能体框架的原生安全机制做横向评测。研究先梳理出十类安全机制，在 400 个框架与机制组合中确认 205 项已实现、83 项缺失、112 项证据不足，已实现项中约半数为需用户主动开启的可选项，闭源框架的证据缺口更明显。评测在 GLM-5.2 基座模型下完成 2500 次试验，记录 81155 次工具调用和超过 22 亿 token。案例显示限制共享能力会同时阻断合法与恶意操作，被允许的解释器仍可成为绕过路径。研究者建议框架提供方公开可验证的安全设置，并同时报告攻击效果、任务效用与执行成本。

推荐理由论文用 2500 次试验量化了六款编码智能体安全机制在攻击成功率与任务效用之间的取舍，为配置选择提供了可比较的数据。

In Vino Veritas and Vulnerabilities：用醉酒语言诱导检验 LLM 安全

论文提出“醉酒语言”作为大模型安全失效的诱因，并用三种机制在 LLM 中诱导这种语言。作者采用角色扮演提示、因果微调和基于强化的后训练三种方式，在 5 个 LLM 上评估，发现这些模型在 JailbreakBench 上更易被越狱（即使存在防御），在 ConfAIde 上更易泄露隐私，表现优于基座模型及此前报告的方法。作者结合人工评估、LLM 评估器和错误类别分析，指出醉酒语言诱导出的模型行为与人类醉酒行为存在对应关系，并将其类比为 LLM 的拟人化。作者认为，这些诱导方法简单高效，可能成为对抗 LLM 安全微调的手段，给 LLM 安全带来显著风险。

研究评测五款开源文生图模型的有害内容生成与审核缺口

研究团队用自动化流程把合法新闻标题改写成针对色情、暴力血腥、有害刻板印象、自残和仇恨言论的提示词，系统评测了五款开源文生图模型的有害内容生成能力。对 1,500 张生成图像的人工评估显示，血腥类提示词的有害内容生成率达 89.2%，色情内容 47.6%，有害刻板印象 43.6%，仇恨言论 46.0%，自残 34.5%，且多以血腥暴力形式出现。社区微调变体在色情提示词上尤其脆弱，FLUX.1-dev 有 30.9% 的案例生成明显逼真的有害图像。对自动审核系统的评估发现明显检测缺口，不安全图像可绕过过滤；合成图像检测器方面，仅用良性数据训练的模型在露骨内容上表现更差，训练数据更多样则检测效果更好。

论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证

论文将 Verification Autonomy Levels（VAL）框架应用于 22 项 Agent 安全防御，按验证规范的来源把防御分为 L0 到 L5 六级，主张防御的等级由锚点而非准确率决定，锚点同时决定其失效模式。作者在自建测试床（50 个场景、12 种攻击变体、DeepSeek-chat）上以同等预算对比两套防御栈：VAL 引导栈（确认门加 schema 沙箱）在 0.000 攻击成功率下保持 1.000 良性成功率，而主流直觉栈（提示词加固加关键词过滤）虽同样达到 0.000 ASR，却使全部良性动作失败。在攻击面更强的测试环境中，直觉栈的零值会漂移（0→1.9%→6.2%），VAL 栈在其操作设计域内保持稳定。在 AgentDojo 官方 banking 套件上，VAL 栈达到 0.5% ASR、79.7% 效用，未防御基线为 4.3% ASR、86.6% 效用。

推荐理由论文提出按验证锚点分级的方法，解释同样 0% 攻击成功率为何对应不同安全保证，并给出跨基准的部署对比数据。

AgentHazard：评估计算机使用智能体有害行为的基准

研究者发布 AgentHazard，一个评估计算机使用智能体有害行为的基准，包含 2,653 条实例，覆盖 10 类风险与 10 种攻击策略，每条实例把有害目标嵌入一系列单看合理、累积后导致不安全执行的步骤。基准在 Claude Code、OpenClaw 和 IFlow 三个框架上，用 Qwen2.5、Qwen3、Kimi、GLM 等模型评测，结果显示当前系统仍高度脆弱：Qwen3-Coder 驱动 Claude Code 时攻击成功率达 73.63%，GLM-4.6 在 Claude Code 下达 82.90%，平均危害分 7.05。同一模型在不同框架下攻击成功率差异超过 16 个百分点，说明模型层面的对齐不能可靠迁移到智能体层面。基准提供沙箱化、模块化的评测框架与轨迹级执行数据。

推荐理由AgentHazard 用 2,653 条多步可执行任务测出智能体在累积上下文中的危害行为，并给出各框架与模型的攻击成功率对比。

研究提出医疗答案事实核查失败分类法，指出检索后验证范式的固有局限

研究者针对开放式医疗答案的事实性验证，提出两套失败分类法，把失败拆解为检索阶段的五类质量维度错误和验证器推理的六个连续步骤错误。研究基于 MedExpert 开放式数据集和 3 个封闭式数据集开展案例研究，并用 LLM-as-Judge 自动归纳模式，对证据质量和验证器推理错误进行大规模标注。在 4 种检索方法和 6 个前沿验证模型上的压力测试显示，扩大模型规模、增加推理投入、引入权威网络来源以及医疗微调都无法消除这些失败模式，说明它们是检索后验证范式在开放式医疗场景中的固有局限，而非旧系统的产物。代码与数据已公开。

宾州州立大学提出 TPRS，量化 Agent 安全基准中工具命名对 ASR 的影响

宾州州立大学研究者提出威胁保持表示敏感性（TPRS），衡量在任务、有害动作、安全策略、真值和评测标准不变、仅改变 Agent 可见表示时攻击成功率（ASR）的变化幅度。在 ASB、MCPTox 和 AgentDojo 三个基准共 28,904 次 Agent 运行中，ASR 变化方向不一致：ASB 把威胁相关工具名换成中性名后，GPT-5-mini 的 committed ASR 上升 11.67 个百分点，Claude Haiku 4.5 上升 13.21 个百分点；MCPTox 把中性名换成威胁相关名后，GPT-5-mini 的 ASR 下降 11.00 个百分点，Haiku 4.5 下降 4.11 个百分点；AgentDojo 在 GPT-4o-mini 上 ASR 仅变化 0.50 个百分点，但需要该工具的任务上良性效用下降 5.36 个百分点。

推荐理由论文用近 2.9 万次 Agent 运行量化了工具命名等表示变化对 ASR 的影响，做 Agent 安全评测的团队可据此检查自己的基准是否对表示敏感。

研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

日本北陆先端科学技术大学院大学（JAIST）研究者 Zhuowen Liu 在论文中重测了 15 个提示注入检测器和 2 个任务感知 LLM 判官，发现公开基准上的检测排名很难迁移到 Agent 实际场景。研究用无 LLM 回放 AgentDojo 与 τ-bench 的真实工具调用构造良性输出，再用差分回放标注注入输出，并在 BIPIA 上对比。BIPIA 上表现最好的 PIGuard 在 1% 假阳性率下只检出 2.1% 的 AgentDojo 注入，而检出 72.2% AgentDojo 注入的 Prismor 在 τ-bench 上只有 15.2%；BIPIA 与 AgentDojo 之间的 Kendall τ 仅 0.01。相反，工具输出上的假阳性率在两个 Agent 基准间保持一致（τ=0.67），范围从 0% 到超过 90%。

推荐理由论文用 AgentDojo 与 τ-bench 的真实工具输出重测 15 个注入检测器，指出公开基准分数难以预测部署表现。

MLCommons 发布 Jailbreak Benchmark v1.0，八款开源模型平均韧性差距 7.57%

MLCommons 发布 Jailbreak Benchmark v1.0，对八款开源权重模型做单轮文本越狱评测，不安全回复率从基线的 11.08% 升至攻击条件下的 18.65%，平均韧性差距 7.57%。评测覆盖暴力犯罪、无差别武器、仇恨、儿童性剥削等 11 类危害，每类 24 条种子提示词共 264 条，并实现 12 种越狱攻击，其中内容框架与欺骗类因评测器限制未纳入定量分析。角色扮演、模板以及包装或 schema 类攻击的平均攻击成功率最高；31B 参数以下的可及模型平均差距约 21%，但样本量小，结论仍属初步。三款 Large 类模型出现负韧性差距，即攻击条件下的不安全回复率低于基线，作者认为可能来自评测器行为、解码设置、真实鲁棒性或模型针对越狱特征而非违规内容本身的拒答。

推荐理由MLCommons 首次给出端到端越狱评测的完整结果与韧性差距指标，可对照自家模型的基线安全与抗攻击表现。

EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

复旦大学与中关村实验室等机构的研究者提出 EvoRiskBench，一个面向工作区 Agent 运行时安全风险的演化基准，用 EP–Path–EF 框架把九类风险入口与五类技术后果通过 Agent 执行路径连接起来。基准包含六个场景下的 450 个可执行对抗任务，在隔离的 Windows 容器中运行，并用执行轨迹、环境状态和 ETW 进程与网络事件独立验证攻击结果。研究者在三种模型（GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5）与三种 harness（Claude Code、Codex、OpenClaw）组成的九种配置上做了 4050 次攻击执行，总体攻击成功率 37.46%，最高为 DeepSeek-V4-Pro-0813 配 Codex 的 68.44%。

推荐理由论文给出九种 Model × Harness 组合在 450 个可执行用例上的 ASR 与 TSR，并指出模型差异大于 harness 差异，可供部署工作区 Agent 的团队对照自身配置。

ActBench：面向协作智能体行为安全的自演化基准

香港城市大学、浙江大学、伦敦大学学院与小米的研究者提出 ActBench，一个从执行轨迹而非最终回复评估协作智能体行为安全的自演化基准。基准包含 213 个场景的 300 对良性/恶意配对用例，覆盖 15 种风险行为、六个执行空间和 48 个 web 服务 API，恶意用例在保留指令、配置、初始状态与评分标准的前提下注入任务可达载荷。构建方法结合奖励引导的束搜索与基于反思的深度探测，并用日志证据与 LLM 轨迹证据的双重验证判定攻击是否真正生效。在 24,000 条轨迹上评估 15 个 LLM 和 6 个开源协作智能体，固定框架时攻击成功率从 10.1% 到 94.4%，固定基座模型时跨框架从 73.7% 到 94.4%，模型差异大于框架差异。基准已开源于 https://github.com/zjuicsr/ActBench。

推荐理由该基准用配对良性任务与对抗变体，从执行轨迹而非最终回复判定行为安全，并给出跨模型与跨框架的攻击成功率对比。

AIR-BENCH Live 发布：可自动更新的基础模型安全基准

研究者提出 AIR-BENCH Live，作为 AIR-BENCH 2024 的自更新后继版本，通过自动监测政府监管、将新政策条款归入现有风险分类或提出新类别，并用多智能体、人格驱动的提示词生成算法产出多语言提示词。当前版本将基准从 314 项细分风险扩展到 335 项，新增 21 个类别，来自七个司法辖区的 31 条全新政策条款。对 14 个近期模型的评测显示安全表现差异较大（按模型自身行为判定为 0.17 至 0.89），更新后的提示词平均比 2024 版难 0.06 分，降幅集中在最顺从的模型上，且多数模型在非英语提示词上安全性略低。

论文提出诊断长程安全 LLM Agent 失败来源的检查点方法

研究者提出一套诊断方法，用检查点标注安全任务，把失败划分为能力暴露之前与之后，并通过受控干预检验疑似上游瓶颈。该方法在四类任务上评估，分别涉及延迟复用已发现信息、复用已观察状态、从失败策略中恢复以及不确定结果后的决策。在状态复用任务上，检查点分析显示 Gemini 2.5 Flash 的许多失败发生在模型观察到后续需要复用的状态之前。在一项预先设定的 92 个种子研究中，针对性的协议消歧引导把状态观察率从匹配非引导对照消息下的 65.5% 提升到 95.4%。用 Gemini 3.7 Flash 重复同一设计得到相反效果，且状态观察不再可靠预测任务完成。

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

斯坦福与 UC Berkeley 研究者提出 MobileCybench，用可执行探针（probe）评测 AI Agent 在 Android 应用中发现漏洞的能力，探针检查的是应用的安全属性而非已知漏洞清单，因此可对探针编写时尚未知的漏洞计分。基准包含 13 个开源 Android 应用、495 条由作者编写并评审的探针，覆盖机密性、完整性、可用性与访问控制四类属性，并设置恶意应用与远程攻击者两种攻击场景，每种再分仅提供混淆 APK 与可见源码两种访问级别。所有触发均来自应用特定探针，通用探针从未触发。构建与运行基准过程中发现 23 个此前未报告的漏洞，维护者已确认 12 个，其中 7 个已修补、5 个已确认，6 个获得公开 CVE 编号。

推荐理由论文给出 13 个 Android 应用、495 条探针的评测框架，并披露 23 个此前未报告的漏洞，可对照现有 Agent 安全基准的评分方式。

研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

研究者把大语言模型的可靠性评测形式化为预算受限的发现问题，认为每个提示词都存在未知的逐次生成失败概率，浅层采样可能漏掉低概率但重要的失败。他们提出的框架先对提示词集合做浅层评测，再用试次级失败结果和提示词表征学习基于特征的失败倾向排序，把深层评测预算优先分配给浅层零失败的提示词。在 AIRBench 和 StrongREJECT 上跨多个模型与 system prompt 条件测试，AIRBench 上排名最高的 10% 未解决提示词对 Qwen 2.5 7B 取得 2.54 倍隐藏失败提升、对 Gemma 3n E4B 取得 1.87 倍，分别找回后续观测到的 25.4% 和 18.7% 隐藏失败，随机分配下预期为 10%。语义邻域与特征消融分析显示该预测信号可从多种提示词内容与关系表征中恢复。

多模态大模型能否生成并检测社交媒体多模态假新闻

研究提出一个由故事智能体、图像智能体和评论智能体协作的多智能体框架，用于生成能与真实新闻对抗的虚假社交媒体帖子。作者用该框架在科学、健康、娱乐三个领域生成了超过 9000 组配对的多模态新闻帖子，并以此评测 16 个开源与闭源多模态大语言模型的自动检测能力。结果显示，多数模型的准确率明显低于人类水平，在识别图像真实性方面尤其失败。作者称该工作为开发针对社交媒体假新闻的防御提供了基础，代码与数据已在 GitHub 公开。

研究提出 AI 安全评测的威胁模型覆盖缺口

作者 Madhava Gaikwad 在论文中提出，近期研究称自动化红队测试比人工红队测试在标准 AI 安全基准上发现更多漏洞且成本更低，但这一比较只衡量了攻击者在开发者预先设定的危害集合内搜索的彻底程度，集合之外的危害对任何攻击者都不可见，作者称之为威胁模型覆盖缺口。作者指出，同样的盲区曾出现在学术密码学和临床药物试验中，内部有效的评测对从未指向的人群保持沉默。作者在一个当前的开源权重模型上发现该缺口依然存在，非英语提示词中出现的危害被英语基准遗漏。作者认为，弥补这一缺口需要部署环境与开发者不同的评测者，理由是方法论上的覆盖问题，而现有评测框架不太可能自行产生这类评测者。

研究系统比较六种越狱评测器的可靠性

研究者在同一人工标注数据上系统比较了六种越狱评测器：HarmBench、JailbreakBench、JailbreakRadar、StrongReject、JADES 和 JailMeter。作者指出，越狱研究通常各自独立验证所选评测器，既重复消耗资源，也使不同论文的结果难以比较，而不同评测器对越狱成功的定义不同，报告出的攻击强度可能因此差异明显。研究在 JailbreakQR 和 JailMeter-Eva 两个数据集上以人工判断为参照，衡量评测器与人类的一致程度、错误类型以及跨攻击家族的一致性；对需要通用 LLM 评判的评测器，使用共享底座模型以控制模型差异。

CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

CS-Guard 是首个系统评测代码生成安全护栏的基准，覆盖文本到代码与代码到代码两类场景。文本到代码部分使用 1000 条高质量恶意代码生成提示、7 种越狱攻击，以及新提出的虚构场景攻击（FSA），后者把恶意意图嵌入看似合法的软件开发情境；代码到代码部分包含 331 条提示，涵盖代码填充、代码补全和代码翻译。作者在 7 个 LLM 上评测了 9 种护栏，发现现有护栏对恶意代码生成请求表现不佳：文本到代码在越狱后平均攻击成功率（ASR）对许多护栏约为 50%，代码到代码在基座模型上平均 ASR 接近 100%，应用护栏后仍在 14.4% 到接近 100% 之间；FSA 对许多护栏的 ASR 接近 100%。多轮 FSA 在所选护栏上的 ASR 为 65.0% 到 92.3%。作者按三层分类法组织护栏，并以 CC BY-NC-SA 4.0 许可发布基准与数据。

推荐理由CS-Guard 用 1000 条恶意代码生成提示和 331 条代码到代码样本横评 9 类护栏，给出了各类护栏在代码场景下的失效区间。

自主网络事件响应智能体的网络靶场评估

研究在面向人工操作员训练的网络靶场中测试自主网络入侵响应智能体，靶场包含可变网络拓扑、红队模拟和模拟用户智能体，告警由 SIEM 平台生成并映射为智能体使用的数据建模语言。测试对比启发式智能体与强化学习策略，后者借助网络攻击模拟器优化综合成本。结果显示强化学习智能体整体防御效率高于启发式策略，且性能高度依赖对手策略与模拟用户的组合。

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

复旦大学团队提出 AgentCyberRange，一个面向前沿 AI 系统自主网络攻击能力的开放多靶场评测基础设施，包含 15 个真实 Web 应用中的 110 个漏洞和 8 个企业式靶场共 156 台内网主机，并配套评测工具链 Cage。评测覆盖 Web 利用与后渗透两个阶段，在统一提示词和预算下测试六个前沿系统。GPT-5.5 搭配 Codex 成功率最高，Web 利用任务 16.1%、后渗透任务 31.7%；给出更具体提示后分别升至 33.0% 和 46.3%。评测中还观察到系统发现基准外漏洞，包括 ComfyUI 中一个任意文件写入零日漏洞，并能变异载荷绕过主机防御。同时系统仍不可靠：常漏掉隐藏攻击面、多次运行结果波动大、难以完成长链路后渗透，并在防御压力下触发蜜罐和告警日志。

推荐理由该基准把网页利用与后渗透串成端到端链路，并给出六个前沿系统的实测成功率，可供评估自主网络攻击能力时参考。

上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

上海人工智能实验室团队提出生物红队模型 Intern-BioBreaker，用于探测前沿大语言模型在生物安全任务上的越狱漏洞。该模型经科学语料继续预训练、通用越狱数据 SFT、生物数据 RL 和推理期智能体红队四阶段训练，在 SafeSci-Bio 上对 GPT-5.5 的攻击成功率达 60%，对 Claude Opus 4.8 为 26%，高于 Qwen 系列基线和 Intern-S2-Preview。扩展到 14 个前沿模型后，3/14 在 SafeSci-Bio 上达到 100% 攻击成功率，10/14 在 SoSBench-Bio 上达到 100%，Claude 系列相对更抗攻击。案例研究显示，模型可被诱导生成经 AlphaFold3 评估结构合理、受体结合能更低的流感 HA 候选序列。

推荐理由论文给出生物风险越狱在 14 个前沿模型上的攻击成功率，并延伸到序列级与湿实验验证，可对照现有生物安全护栏的覆盖范围。

Fair-ASR：在共享目标调用预算下重新评测黑盒越狱攻击

论文提出 Fair-ASR 评测协议，用可直接观测的目标调用次数 B 作为黑盒越狱攻击的统一比较轴，并单独记录攻击方调用次数用于效率分析，以替代难以在黑盒模型上估计的 FLOPs 口径。作者在 Fair-ASR 下重新评测 11 种代表性攻击，发现攻击排名随目标调用预算变化而明显改变，简单的随机扰动和手工模板在同等目标访问量下仍具竞争力，且没有一种被评测的 LLM 驱动方法在目标调用与攻击方调用两方面都高效。基于这一效率缺口，作者提出组合式攻击 ReCode，将去敏感化改写与 Fair-ASR 识别出的两个低成本原语结合，在 20 次目标调用预算下对 GPT-5 达到 85% 攻击成功率，平均每个请求仅需 7.19 次攻击方调用。

FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

FAR.AI 发布 AI Security Leaderboard 与护栏最低标准 1.0，对四家前沿厂商的旗舰模型做大规模越狱测试，发现护栏强度差异悬殊。测试覆盖 CBRNE 与网络攻击五个风险域，用 1000 个随机变体和 500 个专家构造变体，在 360 条攻击目标上分三阶段筛选通用越狱（某域攻击成功率超过 75% 才算）。截至 2026 年 7 月 13 日当周，Grok 4.5 和 Gemini 3.1 Pro 分别被发现 63 和 18 个通用越狱，随机搜索找到单个通用越狱的成本约为 58 美元和 278 美元；改用专家手工引导后，数量升至 385 和 231 个。Claude Fable 5 与 GPT-5.6 Sol 在本轮测试中未出现通用越狱。报告建议开发者采用纵深防御，包括监控推理过程、监控模型内部激活信号、使用独立的输入输出过滤器、强化指令层级，并评估组合式越狱。

推荐理由FAR.AI 用统一方法横向比较四家前沿模型在 CBRNE 与网络攻击上的护栏表现，并给出可复用的最低安全标准。

SoK 论文提出 FARSIGHT 框架，评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败

论文提出 FARSIGHT（Financial Agent Robustness and Security Investigation and Global Holistic Testing）框架，对金融 LLM 交易 Agent 做方案级评测，覆盖市场动荡下的鲁棒性（含类闪崩场景）与三类攻击：对信息源的攻击、对 Agent 的攻击以及 Agent 作为攻击者的行为。将该框架应用于 15 个代表性学术方案后发现，多数方案忽视鲁棒性与现实对抗威胁，80% 至少未通过一项核心鲁棒性指标，100% 存在安全漏洞。作者指出两类失败模式不可分割：小的误判本身即可级联为市场级崩盘，而对手能以极低代价蓄意触发同样的崩溃。

Ajar：在 AgentDojo 上测量 Agent 防御中未关闭的权限

Ajar 提出一种直接测量 Agent 防御中开放权限的评测方法，它挂载在已有的 Agent 安全基准上，复用其任务、工具 schema、参考解和目标状态，为每个良性任务构造任务并不需要的候选工具调用，并在 Agent 可行动的每个节点把这些调用提交给防御方，允许其中任何一个即意味着权限被开放。作者将 Ajar 接入 AgentDojo，使开放权限成为攻击成功率与良性效用之外的第三个维度，并测试了 Progent、CaMeL、AC4A、Permission Assistant 和 Claude Code 的 Auto mode 五种防御。

dreadnode 发布 ScopeBench：测量 Agent 在目标压力下是否守住授权边界

dreadnode 发布 ScopeBench，用 30 个死胡同式 Agent 安全任务测量 Agent 在目标压力下是否守住授权边界。每个任务在无范围与有范围两种条件下运行，环境、验证器和目标相同，仅范围声明不同；有范围条件下成功提交 flag 即证明发生了越界行为，构成违规率的高精度下界。8 个模型在同一 harness 中运行，原始能力从 12.2% 到 81.1%，范围遵守率从 34.4% 到 86.7%；机械验证确认 227 次违规，轨迹裁判在机械失败轨迹中另找出 331 次违规，合计 558 次。裁判经 100 条人工逐调用标注轨迹校准，并在模型盲审中保持 100% 召回、失败层重加权特异度 90.5%，误差为单侧过度标记。opus-4-8 的原始能力比 sonnet-4-6 高 10 个百分点，范围遵守率高 35.6 个百分点。

推荐理由ScopeBench 把能力与边界遵守拆成两条轴，并公开 30 个任务与 2160 条轨迹，可供部署渗透测试 Agent 的团队复用其测量设计。

VEX-Bench：评测 LLM 生成虚假信息的核验复杂度

研究者提出 VEX-Bench，用于评估 LLM 生成虚假信息在筛查阶段呈现的核验复杂度，覆盖可核查性、潜在危害、信源可信度信号、冒充合法性和预期核验成本等维度。

ArGuard 共享任务：阿拉伯语模因与 LLM 提示词中的有害内容检测

ArGuard 共享任务评估阿拉伯语模因与 LLM 提示词中的有害内容检测，分设阿拉伯语模因多模态仇恨检测（Track A）与面向阿拉伯语 LLM 安全评估的有害提示词检测（Track B）两条赛道。