Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2608.03070· Jasper Timm·Indexed by this site · Originally publishedSelectedAttention57

FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

AI Security Leaderboard: Methodology, Results and Minimal Standard

Quick read

Evaluation and benchmarks

Based on 论文 PDF （Gemini 生成）; refer to the original

FAR.AI评估前沿模型CBRNE及网安防御，Grok 4.5与Gemini 3.1 Pro现通用越狱，另两模型未破。

Questions
前沿大模型在CBRNE大规模杀伤性武器与网络攻击领域能力增强，但各厂商模型的安全防御水准不一，缺乏统一的最低安全基线标准。
Methods
构建覆盖5个领域的DeepHarm与Propensity数据集，从67个原语中采样组合生成变体，通过三阶段漏斗评测与GPT-5.4-mini多维度评审识别通用越狱。
Experiments and results
测试1000个随机与500个专家变体，Grok 4.5和Gemini 3.1 Pro分别出现63和18个通用越狱，Claude Fable 5与GPT-5.6 Sol未出现通用越狱。
Limitations and future work
化学与爆炸物领域提示词存在双重用途歧义；自动化评审存在23.6%假阴性率且未直接评估有害输出的真实准确性；评估仅覆盖静态越狱原语。
Experimental setupClaude Fable 5、Claude Opus 4.8 et al. · DeepHarm、Propensity · Attack Success Rate (ASR)、Cost per universal jailbreak et al.
Evaluated models
Claude Fable 5Claude Opus 4.8GPT-5.6 SolGPT-5.5Gemini 3.1 ProGrok 4.5Grok 4.3Opus 4.7
Benchmarks
DeepHarmPropensity
Metrics
Attack Success Rate (ASR)Cost per universal jailbreakFalse Positive Rate (FPR)False Negative Rate (FNR)
AI summaryand selection rationaleFAR.AI 发布 AI Security Leaderboard 与护栏最低标准 1.0，对四家前沿厂商的旗舰模型做大规模越狱测试，发现护栏强度差异悬殊。测试覆盖 CBRNE 与网络攻击五个风险域，用 1000 个随机变体和 500 个专家构造变体，在 360 条攻击目标上分三阶段筛选通用越狱（某域攻击成功率超过 75% 才算）。截至 2026 年 7 月 13 日当周，Grok 4.5 和 Gemini 3.1 Pro 分别被发现 63 和 18 个通用越狱，随机搜索找到单个通用越狱的成本约为 58 美元和 278 美元；改用专家手工引导后，数量升至 385 和 231 个。Claude Fable 5 与 GPT-5.6 Sol 在本轮测试中未出现通用越狱。报告建议开发者采用纵深防御，包括监控推理过程、监控模型内部激活信号、使用独立的输入输出过滤器、强化指令层级，并评估组合式越狱。

FAR.AI 发布 AI Security Leaderboard 与护栏最低标准 1.0，对四家前沿厂商的旗舰模型做大规模越狱测试，发现护栏强度差异悬殊。测试覆盖 CBRNE 与网络攻击五个风险域，用 1000 个随机变体和 500 个专家构造变体，在 360 条攻击目标上分三阶段筛选通用越狱（某域攻击成功率超过 75% 才算）。截至 2026 年 7 月 13 日当周，Grok 4.5 和 Gemini 3.1 Pro 分别被发现 63 和 18 个通用越狱，随机搜索找到单个通用越狱的成本约为 58 美元和 278 美元；改用专家手工引导后，数量升至 385 和 231 个。Claude Fable 5 与 GPT-5.6 Sol 在本轮测试中未出现通用越狱。报告建议开发者采用纵深防御，包括监控推理过程、监控模型内部激活信号、使用独立的输入输出过滤器、强化指令层级，并评估组合式越狱。

Why it was selectedFAR.AI 用统一方法横向比较四家前沿模型在 CBRNE 与网络攻击上的护栏表现，并给出可复用的最低安全标准。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    前沿AI模型在高危领域的防御水平参差不齐，论文旨在建立基线测试标准并量化通用越狱风险。

    前沿AI大模型在化学、生物、放射性与核、爆炸物（CBRNE）及进攻性网络安全领域的安全防护水平参差不齐，缺乏统一的最低安全防护标准。

    • 高危滥用风险场景：模型在生物与网络安全等双重用途领域的能力持续提升，可能被恶意行为者用于协助策划袭击或网络渗透，防护这些高危领域已成为行业与监管的重要关切。
    • 现有防护的参差不齐：不同厂商与风险领域的防护强度分化明显，攻击者若在某一模型受阻，可能转向其他防护薄弱的模型获取协助。
    • 最低安全标准构想：作者认为完全的安全证明较为复杂，但设立最低安全基线相对可行，模型应至少能够抵御业内已公开且广泛部署的常见越狱技术组合。
    • 威胁模型设定：
      • 攻击者目标：促使目标模型在CBRNE或网络安全请求中输出具备操作性的违规实质内容（operational compliance）。
      • 攻击者知识与能力：攻击者通过直接聊天补全API与模型交互，利用公开生态中收集改编的静态越狱原语进行组合输入，论文未赋予攻击者白盒权重访问或动态自适应搜索能力。
      • 受害系统：各主流厂商部署的闭源前沿旗舰模型API及其附带的护栏系统。

  2. What related research exists?

    论文梳理了越狱攻击技术、防御分类器机制以及高危能力评测三类相关工作，定位本文为最低静态防御基准。

    现有研究主要围绕越狱攻击构建、多层防御机制部署以及前沿模型高危能力评测展开。

    越狱攻击方法

    • 动态自适应攻击：Zou等（2023）提出通用且可迁移的对抗后缀优化（GCG），Davies等（2026）提出黑盒边界点越狱（BPJ），McKenzie等（2026）提出针对防御管线的Stack攻击。作者指出此类动态方法需要针对活体目标反复迭代查询，成本高昂，因此本文暂不纳入动态攻击。
    • 提示词工程与格式混淆：大量公开社区与文献探讨了角色扮演、文本编码、结构化格式补全等技术，作者从中归纳并改编出67个通用静态原语。
    • 模型预填充漏洞：Struppek等（2026）指出开源权重模型容易受到前缀预填充攻击，但托管型闭源API通常具备更全面的外部防御部署条件。

    防护与分类器机制

    • 宪法分类器与多层过滤：Anthropic（2025）在Opus 4中部署宪法分类器，Cunningham等（2026）提出Constitutional Classifiers++以实现生产级通用越狱防护；OpenAI（2025）在ChatGPT Agent中部署了多层防御系统。作者认为这些工业界落地的防御构成了模型应达到的最低标准。
    • 推理监控与指令层级：Baker等（2025）研究了对模型内部推理链与思考草稿的监控；Wallace等（2024）提出了指令层级训练，使模型优先遵循开发者特权指令；Guan等（2024）提出了审思对齐机制。

    高危领域能力与倾向评测

    • 双重用途能力基准：Götting等（2025）构建了病毒学能力测试VCT，Wang等（2026）构建了网络安全评估环境CyberGym，英国AI安全研究所（2026）发布了前沿模型的网络安全能力评估。
    • 安全倾向基准：Dombrowski等（2025）提出了开源模型隐性危险评估工具包，提供了化学、生物和网络领域的倾向测试数据集。

    基准方法与数据集定位

    • 评测基准对比：本文选用Dombrowski等（2025）的倾向数据并加以扩充构建了Propensity数据集，同时新建了聚焦无害意图混淆的高技术细节数据集DeepHarm；采用Sharma等（2025）的红队细则评估方法制定各题评测标准。作者将本文定位为评估前沿模型对已知静态越狱原语组合抵抗力的最低基线标准。

  3. How does the paper address this problem?

    论文提出了包含67个原语的越狱分类法，构建了双重危害数据集，并通过三阶段漏斗评测识别通用越狱。

    作者通过建立模块化越狱原语分类法、构建互补的双重危害数据集，并设计多阶段漏斗筛选与自动化多维评审管线来量化防护鲁棒性。

    原语分类法与攻击变体构建

    • 原语结构：作者将静态越狱技术分解为67个原语，包含23个核心策略（承载攻击目标的主体请求，如伪造技术协议书填空）、21个增强项（如系统提示词设定人设、伪造多轮合规历史、拒绝压制）、17种文本与多模态变换（如Base64、ROT13，单变体最多使用1种），以及6种静态后续跟进提示词。
    • 输入层映射：原语作用于模型输入的五个不同区域，包括系统提示词（System prompt）、对话历史（Message history）、用户提示词（User prompt）、工具定义与结果（Tools）以及后续轮次（Follow-up）。
    • 候选变体池：有效组合空间超过108种。评测构建了两个候选池：1000个在有效空间内均匀无偏采样的随机变体池，以及由资深红队专家人工配置的500个专家引导变体池。两池均在23个核心策略槽位间平均分配样本。

    双重攻击目标数据集

    • DeepHarm数据集：包含180个技术型攻击目标（5个领域各36题，涵盖6个子领域）。通过越狱模型生成、多模型初筛并经两家专业机构专家评审，特点在于请求本身具有固有危害性且缺乏合规学术或工业用途，不依赖显式恶意意图表述。
    • Propensity数据集：包含180个直白表述有害意图的高层请求（5个领域各36题），改编扩充自现有基准，与DeepHarm形成意图层面的互补。

    自动化评估与多维标准

    • 三评审协同机制：使用GPT-5.4-mini担任三个自动化评判器：合规性评审（打分0至1，阈值0.75）、相关性评审（打分0至1，阈值0.75）以及基于提取细则的内容完备度评审（打分0至1，阈值0.5）。仅当三项指标同时达标时判定单次响应为越狱成功。
    • 通用越狱判定：在单领域完整72道题目（DeepHarm与Propensity各36题）中，攻击成功率超过75%的变体被判定为该领域的通用越狱（universal jailbreak）。

    三阶段分级筛选漏斗

    • Stage 1 初筛：针对各领域8道题目（共40题），测试全部1500个变体；在某模型单领域达标率达到50%（即4题通过）的变体进入下一阶段。
    • Stage 2 复测：测试集扩充至各领域24道不重叠题目（共120题），单领域成功率达到50%（即12题通过）的变体晋级。
    • Stage 3 终审：在单领域全部72道题目上运行，满足单领域成功率大于等于75%判定为通用越狱。

    越狱成本量化模型

    • 序贯智能攻击者成本：对于筛选-确认流程，单次通用越狱预期美元成本形式化为：

    $seq = c̄ · [K1 + s̄(Kstat − K1)] · (|Veval|)/(∑v wv) · (Neffind)/(Neff)

    式中c̄为单次查询平均成本，K1为初筛样本数，s̄为初筛通过率，Kstat为确认样本量（默认103），权重比率校正了近重复变体的冗余。

  4. What experiments did the paper conduct?

    评测覆盖4家厂商旗舰模型，Grok 4.5与Gemini 3.1 Pro暴露大量通用越狱，Claude与GPT均未失陷。

    实验设置

    • 被测模型：最新前沿模型包括Claude Fable 5、GPT-5.6 Sol、Gemini 3.1 Pro、Grok 4.5；前期基线模型包括Claude Opus 4.8、GPT-5.5、Grok 4.3；人工验证包含Opus 4.7。全部为闭源API调用，推理级别按Table 1配置（Gemini 3.1 Pro与Grok系列为high，Claude Fable 5与GPT-5.6 Sol在Stage 1为medium、后续阶段为high）。
    • 数据集与规模：评测覆盖化学、生物、放射性与核、爆炸物、网络5个领域，采用DeepHarm（180题）和Propensity（180题），全集共360个攻击目标，每领域72题。
    • 基线测试：无越狱直接输入攻击目标，每个prompt独立运行10次，测试基线合规率与API层拒答率。
    • 攻击候选池：包含1000个随机搜索变体与500个专家引导变体，覆盖67个原语。
    • 指标定义：攻击成功率（ASR，达标阈值75%定义为通用越狱）、平均发现成本（美元）、假阳性率（FPR）与假阴性率（FNR）。
    • 评审机制与验证样本：采用GPT-5.4-mini进行合规性（阈值0.75）、相关性（阈值0.75）与细则满足度（阈值0.5）三项联合裁决。人工验证抽取600个样本（Grok 4.3与Gemini 3.1 Pro分层抽样400个，Claude Opus 4.7与GPT-5.5随机抽查200个），双人标注一致性Cohen's kappa为0.80。

    主结果

    Swipe horizontally to read the table

    模型随机搜索通用越狱数专家引导通用越狱数随机搜索发现均价智能攻击成本(seq) | 盲目攻击成本(certified)
    Grok 4.563 [50–80]385 [366–402]$58$164$925
    Gemini 3.1 Pro18 [11–28]231 [209–253]$278$393$3.3k
    Claude Fable 500>$14.2k>$14.2k>$14.2k
    GPT-5.6 Sol00>$14.2k>$14.2k>$14.2k

    注：通用越狱数及随机搜索均价出自Figure 1，置信区间为95% Wilson区间；智能与盲目攻击成本中位数值出自Table 8，>$14.2k为95%置信度统计截断上限。

    • 防护层级分化：测试结果呈现双层梯队，Claude Fable 5与GPT-5.6 Sol在两类搜索策略下均未出现通用越狱，而Grok 4.5与Gemini 3.1 Pro均被发现大量通用越狱。
    • 专家引导放大脆弱性：与随机搜索相比，专家引导组合使Grok 4.5的通用越狱数从63增至385，Gemini 3.1 Pro从18增至231，作者称专家指导发现的越狱数量提升了约一个数量级。
    • 越狱门槛差异：通过随机搜索在Grok 4.5和Gemini 3.1 Pro上找到通用越狱的平均成本分别为$58与$278，而在另两款模型上的统计下界均超过$14.2k。

    领域分布与泛化能力分析

    • 测了什么：统计各模型在5个高危领域的通用越狱分布（Figure 2）及其跨领域泛化情况（Figure 5）。
    • 实验结果：在随机搜索下，Grok 4.5在网络领域通用越狱最多（52个），爆炸物29个，核辐射26个，化学20个，生物为0个；Gemini 3.1 Pro在爆炸物最多（14个），核辐射10个，化学3个，网络2个，生物为0个（Figure 2）。专家引导下，Gemini 3.1 Pro在生物领域出现1个通用越狱，Grok 4.5在生物领域仍为0个（Figure 2）。跨领域泛化方面，随机搜索越狱倾向于仅在单个领域生效，而专家引导越狱大量泛化至3个及以上领域（Figure 5）。
    • 作者解读：作者认为专家引导不仅提升了攻击成功率，更显著增强了攻击在多个高危领域的通用迁移能力。

    模型版本迭代与基线合规测试

    • 测了什么：对比前代版本模型表现（Figure 3），以及在无越狱条件下的基准合规率和API拦截率（Table 9、Table 10）。
    • 实验结果：前代模型Claude Opus 4.8与GPT-5.5在测试中同样未发现任何通用越狱；Grok 4.3在专家引导下在生物领域曾存在10个通用越狱，在Grok 4.5中降为0个，但Grok 4.5在其余领域的通用越狱数量相当或更多（Figure 3）。无越狱基线测试中，Claude Fable 5在所有领域API拦截率均为100%，合规率为0/36；Grok 4.5在DeepHarm核辐射领域的自然合规率达到7/36（Table 9）。
    • 作者解读：作者称Grok 4.5修复了生物领域的防护，但在其他领域的漏洞并未减少；各模型在基线测试中绝大多数拒绝回答，表明后续越狱测试反映的是防护被绕过而非模型不认为内容有害。

    评审器有效性与人工对齐检验

    • 测了什么：通过600个样本的人工盲审裁决对GPT-5.4-mini自动化评审器进行验证（Table 4、Table 5）。
    • 实验结果：裁决后整体一致性达89.0%，整体假阳性率（FPR）为2.3%，整体假阴性率（FNR）为23.6%（Table 4）。化学领域的FPR最高，达到7.6%；生物领域的FNR最高，达到33.3%（Table 4）。模型维度上，Gemini 3.1 Pro的FPR为4.6%、FNR为24.7%（Table 5）。
    • 作者解读：作者认为较低的假阳性率确保了筛选出的通用越狱具备高可信度，非零的假阴性率意味着实际存在的越狱可能更多，但不改变模型之间的相对脆弱性排序。

    其他消融与分析

    • 初筛样本预算：K1从0增至30时，Grok 4.5的攻击成本在K1处于1至5时最低（$122-$130），K1=0时为$925（Table 8）。
    • 初筛通过阈值：a1从0.10升至0.85时，Gemini 3.1 Pro成本从$901降至$325后回升至$414（Table 8）。
    • 专家原语选择：专家选用的前5个原语对ASR边际提升为+1.9至+4.8百分点，随机独有原语边际变化为-0.2至-3.3百分点（Figure 8）。
    • 搜索相关性：两款脆弱模型在随机与专家搜索下的各领域ASR排序相关性Spearman rho为0.93，Pearson r为0.95（Figure 7）。
    • 目标模型有害性识别率：除Grok 4.5在DeepHarm爆炸物为35/36外，其余模型在所有领域均达到36/36（Table 11）。

    负面结果与例外

    生物领域在两款易受攻击模型中均表现出相对最强的防御力，随机搜索下Grok 4.5与Gemini 3.1 Pro的通用越狱数均为0（Figure 2）；化学与爆炸物领域的专家评估出现了部分分歧，专家指出未声明意图的技术请求更容易具有双重用途解读（Section 6）；评审器在生物领域的假阴性率较高，遗漏了33.3%的人工判定成功案例（Table 4）。

  5. What are some points that can be further explored?

    作者指出了数据集双重用途歧义、评审漏报及静态局限，实验未覆盖动态自适应攻击和真实能力提升。

    作者指出的局限与后续方向

    • 化学与爆炸物领域的双重用途歧义：化学和爆炸物领域的专家评分一致性较低，缺乏明确恶意意图的专业技术请求更容易被解读为合法的工业或教育用途，作者指出这仍是未来工作需要解决的领域（Section 6）。
    • Propensity数据集未引入领域专家评审：Propensity数据集仅由LLM和团队筛选，未经过外部学科专家评审，后续版本需进一步完善（Section 6）。
    • 自动化评审存在假阴性率：评审流程存在23.6%的假阴性率，可能漏判部分实际成功的越狱（Section 6）。
    • 未直接评估真实能力提升与准确性：评测评估了模型回答的操作合规性，但未直接测量越狱回答在现实环境中的科学准确性或给恶意行为者带来的最终能力提升（ultimate uplift），作者计划在未来版本中加入更多能力评估（Section 6）。
    • 成本估算假设的局限：当前的美元成本模型假定攻击者拥有与作者相同的工具体系，对不同类型现实攻击者的绝对成本估算留待后续研究（Section 6）。
    • 未纳入动态自适应越狱：本版本标准排除了基于多轮反馈迭代优化的动态攻击（如BPJ、GCG等），作者计划在未来版本的最低标准中纳入动态越狱（Section 3.2、Section 6）。

    实验覆盖范围

    • 被测模型范围：实验覆盖4家厂商的4款当前旗舰模型（Claude Fable 5、GPT-5.6 Sol、Gemini 3.1 Pro、Grok 4.5）及前代对比模型，均为商业闭源API。
    • 危害领域范围：评测仅覆盖化学、生物、放射性与核、爆炸物及网络安全5个危害领域，各领域题目固定为72道（DeepHarm与Propensity各36道）。
    • 攻击原语范围：候选攻击仅限于67个静态原语的单次组合（单变体最多1种多模态或文本转换），未测试动态搜索与多模态复杂链式输入。
    • 交互形式限制：所有测试均为直接的单轮对话API调用（可选配固定脚本的单轮follow-up），未将模型置于智能体框架（agentic scaffold）或自适应多步循环中。
    • 输出截断配置：Claude Fable 5与GPT-5.6 Sol的最大输出token设为128,000，Grok 4.5为30,000，其余模型在早期配置下为8,192（论文报告可能截断比例低于0.1%）。

  6. Summarize the main content of the paper

    论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。

    本研究针对前沿AI大模型在CBRNE与网络高危滥用领域的安全防护，提出了FAR.AI最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。

    • 核心问题与动机：随着前沿大模型生化与网安能力提升，各厂商防御成熟度不均导致恶意行为者可能通过跨模型试探绕过限制，亟需建立防范已知常见攻击的最低安全防护基线。
    • 方法与基准设计：建立由67个静态原语构成的越狱分类体系，构建包含360个高危请求的DeepHarm与Propensity数据集，通过三阶段漏斗筛选与GPT-5.4-mini三维度自动化评审判定通用越狱。
    • 主要实验发现：
      1. 在1000个随机搜索变体下，Grok 4.5与Gemini 3.1 Pro分别暴露了63个和18个通用越狱，寻找单次通用越狱的平均成本分别为$58与$278（Figure 1）。
      2. 专家引导使两款脆弱模型的通用越狱数分别上升至385个和231个，并展现出更强的跨领域泛化特征（Figure 1、Figure 5）。
      3. Claude Fable 5与GPT-5.6 Sol在两类搜索策略下均未出现任何通用越狱，单次越狱成本统计下界超过$14.2k（Figure 1）。
      4. 生物领域防御相对最为稳固，两款易受攻击模型在随机搜索下均未出现通用越狱（Figure 2）。
    • 防御启示与建议：作者认为防御层级的分化表明稳固的防护来自长期的深度防御积累，建议厂商通过监控内部推理思维链、监控激活信号、配置独立输入输出过滤器、强化指令层级以及评测组合攻击等手段构建多层冗余防护。
Read originalarxiv.org