JailbreakSkill：用可复用可演化技能扩展自动化红队

现有自动化红队方法缺乏统一、模块化且可执行的攻击表示，导致攻击经验难以跨模型和跨任务系统性沉淀、复用与持续演化。

• 场景与重要性：大语言模型在安全关键场景中广泛部署，部署前红队测试必不可少；随着目标模型防护增强，单轮攻击成功率下降，促使红队方法转向多轮自适应工作流。
• 现有方法的不足：提示词层面的优化通常绑定于特定行为；基于记忆的方法仅检索提示词或模板指导生成，无法作为独立可执行方法运行；动态工作流将攻击逻辑与特定的编排代码和提示词格式高度耦合，难以单独调用、修改或扩展。
• 核心设想：将自主智能体中可复用的程序性能力抽象（如 SKILL.md）引入安全测试，将提示词改写、失败诊断与演化封装为模块化技能，并将未解决的失败轨迹转化为新技能。
• 论文的解决方案：提出 JailbreakSkill 框架，解耦攻击程序逻辑与外部工作流，通过两阶段流程实现基于风险条件的技能选择与失败驱动的技能演化。
• 威胁模型：
  • 攻击者目标：在固定的目标模型查询预算与技能演化预算下，诱导目标模型生成违反安全规范的内容，使 GPT-4o 裁判打分达到满分 5 分，最大化攻击成功率 ASR。
  • 攻击者知识：采用黑盒（black-box）设定，攻击者无法访问目标模型的参数权重、梯度或内部表征，仅能向目标模型发送提示词。
  • 攻击者能力：攻击者仅通过文本接口向目标模型发送查询，并接收文本回复；攻击侧可使用辅助模型执行改写生成与失败轨迹分析。
  • 受害系统：具有安全防护的开源与闭源前沿大语言模型（如 GPT-5.4、Claude Sonnet 4.6 等）。

论文在相关研究中主要讨论了以下两组工作，并单独设定了基线方法：

• 大语言模型越狱与自动化红队：

  • 早期攻击依赖角色扮演与 DAN 风格提示词（Shen et al., 2024），以及 ASCII 艺术（Jiang et al., 2024）、摩斯密码（Yuan et al., 2024）和低资源语言翻译（Yong et al., 2023）等表面变换。
  • 优化与搜索方法中，GCG（Zou et al., 2023）及其变体（Jia et al., 2024; Zhao et al., 2024）基于梯度优化对抗后缀；黑盒方法利用树搜索（Liu et al., 2024, 2025; Mehrotra et al., 2024）或模型驱动细化（Chao et al., 2025; Wen et al., 2026）。
  • 智能体框架中，RedAgent（Xu et al., 2024）利用策略抽象与记忆指导攻击生成；MemoAttack（Zhang et al., 2026b）组织生命周期管理的技能结构化记忆；AutoRedTeamer（Zhou et al., 2026）持续发现并整合新攻击向量；AutoRISE（Gautam et al., 2026）演化端到端攻击程序。作者称 JailbreakSkill 与这组工作最相近，但围绕共享智能体技能库组织运行时攻击执行与局部方法演化。

• 结构化智能体技能：

  • 技能概念从分层强化学习中的时间扩展动作（Sutton et al., 1999; Bacon et al., 2017）拓展到大模型智能体中基于语言和代码的程序（Ahn et al., 2022; Liang et al., 2023; Wang et al., 2023; Li et al., 2026a; Zhang et al., 2026a）。
  • 近期生态将能力封装为便携文件（如 Anthropic, 2025b 的 SKILL.md 格式）；SkillsBench（Li et al., 2026c）与 SkillFlow（Zhang et al., 2026c）分别评估技能跨任务实用性及发现与维护机制；相关工作亦涉及智能体技能攻击与有害技能风险（Duan et al., 2026; Jiang et al., 2026）。

• 基线方法与基准：

  • 对比基线包括 PAIR（Chao et al., 2025）、AutoDAN-Turbo（Liu et al., 2025）、TAP（Mehrotra et al., 2024）与 ReNeLLM（Ding et al., 2024），均在 OpenRT（Wang et al., 2026）框架下以统一协议实现。
  • 评测基准采用 AdvBench（Zou et al., 2023）、HarmBench（Mazeika et al., 2024）及 JailbreakBench 原版子集 JBB-Original（Chao et al., 2024）。

• 与已有工作的区别：作者指出，已有方法多演化单一庞大的端到端攻击程序，或将策略写死在工作流编排中；JailbreakSkill 维护相互独立可寻址的技能工件，将改写、失败分析与演化通过统一接口解耦，使攻击方法可即插即用，并通过失败经验增量沉淀可复用的攻击规程。

JailbreakSkill 将红队攻击知识表示为模块化、可执行且可演化的技能库，解耦攻击程序逻辑与外部工作流，通过两阶段流程实现技能的自适应选择与失败驱动演化。

最终攻击成功率定义为在预算步数内至少有一次攻击尝试使裁判得分达到或超过阈值 tau 的样本比例： ASR := 1/N ∑_i=1^N 𝕀[max_{1 ≤ t ≤ Ti} z_i,t ≥ τ] 其中 z_i,t 为裁判得分，tau 为成功阈值（评分为 5 分）。

技能表示与初始技能库构建

• 统一技能工件：每个技能以 SKILL.md 文件为核心，包含元数据、触发条件、适用场景与操作指南，并配有统一 JSON 输入输出接口的执行脚本 run.py。
• 三种功能类型：改写技能（rewrite skills）负责生成对抗样本，失败分析技能（failure-analysis skills）负责诊断失败模式，演化技能（evolution skills）负责细化、组合或发现改写规程。
• 初始技能库：从文献、代码库与网络资源中归纳出 16 个初始改写技能，覆盖编码与扰动（如 Base64、字符扰动、Emoji 插入、多语言混合等）、代码与结构补全（如代码补全、EquaCode、表格填充）、上下文与情境重构（如历史、假设、角色扮演、虚构空间等）。
• 执行模式分类：技能分为确定性模板（deterministic-template，纯代码拼接不消耗模型推理）与 LLM 改写（LLM-rewrite，调用执行模型 Qwen2.5-7B-Instruct 生成改写）两种模式。

Stage 1：基于风险条件 UCB 的技能路由

• 顺序扫描与早停：依次处理有害提示词，对每个样本按技能库顺序或优先级尝试技能，一旦目标模型响应被判定为成功则提前停止该样本的测试。
• 连续信号探索权衡：使用风险类别条件化的 UCB 分数对未尝试技能排序：

UCB_j,r = z̄_j,r + β √((log N_r)/(n_j,r)) 该公式利用连续裁判得分均值进行利用，并以超参数 beta（设为 0.45）调节未探索技能的探索增益。

• 状态记录：每轮尝试后更新技能记忆 M；若在 Stage 1 预算 B1（设为 10）内未成功，则将样本及其完整失败轨迹存入失败记忆 F。

Stage 2：失败驱动的跨类别技能演化

• 类别归纳诊断：将 Stage 1 未解决的样本按风险类别分组，调用失败分析技能（由 Claude Sonnet 4.5 担任）在维度上提炼共性拒绝模式：Refusal Triggered（触发拒绝）、Semantic Drift（语义漂移）、Insufficient Context（上下文不足）。
• 三类演化操作：根据诊断结果，演化模块执行细化（Refine，修订现有技能并保留原模式）、组合（Combine，整合两种技能机制）或发现（Discover，创建全新改写逻辑）。
• 格式生成约束：演化生成器将新技能严格约束为 LLM 改写、确定性模板或混合模式（Hybrid，先轻度语义改写再嵌入结构化模板）。

演化技能的验证与注册机制

• 残差池验证：候选新技能实例化后，仅在当前类别的未解决样本残差池中进行测试。
• 接受与入库标准：若候选技能能够成功攻破至少一个此前未解决的样本，则判定为有效并正式加入技能库，供后续类别与其他任务复用；被攻破的样本移出失败记忆。
• 预算控制：每个类别最多生成 20 个演化技能，单样本累计总目标查询预算上限设为 30 次。

实验设置

• 被测模型：评测覆盖 8 个大语言模型，包括开源模型 GLM 5.2、DeepSeek-V4-Pro Preview、Llama-3.3-70B-Instruct、MAGIC-14B，以及闭源模型 GPT-4.1、GPT-5.4、Gemini 3.1 Pro Preview、Claude Sonnet 4.6。Stage 2 演化评测针对其中 5 个模型展开。
• 攻击侧配置：智能体规划、失败分析与技能演化使用 Claude Sonnet 4.5；LLM 改写技能执行器统一使用 Qwen2.5-7B-Instruct。
• 数据集：AdvBench（520 条有害指令）、HarmBench（400 条有害行为），迁移测试额外使用 JailbreakBench 的 55 条原始提示词（JBB-Original）。
• 基线方法：黑盒越狱基线 PAIR、TAP、ReNeLLM、AutoDAN-Turbo，均基于 OpenRT 框架复现。
• 评测指标：攻击成功率（ASR，GPT-4o 打分达 5 分为成功）、有害性得分（HS，基于 StrongREJECT 规则映射至 0 到 1 分）、平均目标查询次数（AQC）。
• 预算设置：Stage 1 每样本最多 10 次目标模型调用；Stage 2 及基线全流程每样本最多 30 次目标模型调用，单次命中成功即早停。

主结果

下表展示 Stage 2 演化后各攻击方法在 AdvBench 上的 ASR@30（据 Table 3）：

Swipe horizontally to read the table

• 针对强防护模型的突破：作者指出，在 GPT-5.4 上，JailbreakSkill 的 ASR@30 达到 62.5%，相比 Stage 1 的 13.9% 提升了 48.6 个百分点，高于 TAP 的 28.5%。
• 全基准平均表现：在五类模型上，JailbreakSkill 在 AdvBench 和 HarmBench 上的宏平均 ASR@30 分别达 74.2% 和 67.9%（Table 3），跨两基准均值为 71.1%，高于 TAP 的 63.1%。
• 有害性程度：JailbreakSkill 在 10 个模型-基准设置中的 9 个上取得了最高的有害性评分（Table 3），AdvBench 和 HarmBench 平均 Harm 分别为 0.856 和 0.756，高于基线最高均值 0.773 和 0.554。

初始技能效果与互补覆盖分析（RQ1）

• 测了什么：将 16 个初始技能各自在 8 个模型上单独执行 1 次查询（ASR@1），并统计不同技能攻破样本的交并分布（Figure 3）。
• 结果：EquaCode 取得最高的跨模型宏平均 ASR@1（42.1%），但对 AdvBench 上的 Claude Sonnet 4.6 为 0.0%；16 个技能并集覆盖率达到 72.6%，比单项表现最高的单一技能（54.0%）高出 18.6 个百分点；在 HarmBench 和 AdvBench 上，平均每个模型分别有 10.8 个和 7.1 个技能各自独家攻破了其他技能未解决的样本。
• 作者的解读：单一技能无法普遍适用，技能化表示的核心价值在于保留多样的互补机制以便后续调度。

Stage 1 预算受限下的攻击性能与查询效率（RQ2）

• 测了什么：在单样本最多 10 次调用限制下，评估 Stage 1 UCB 路由的 ASR@10 与 AQC，并对比均匀随机顺序调用的消融（Table 1, Table 2）。
• 结果：JailbreakSkill (UCB) 取得 72.0%（AdvBench）和 68.1%（HarmBench）的宏平均 ASR@10，以及 4.14 与 4.63 的平均查询次数 AQC；随机路由消融使 ASR@10 分别降为 63.9% 和 60.7%，AQC 分别增加到 5.98 和 6.24。
• 作者的解读：基于风险类别的 UCB 排序提供了有效的轻量级启发式，能在有限预算下优先调用高潜力技能。

演化技能的跨模型与跨基准迁移能力（RQ4）

• 测了什么：选取 Stage 2 演化出的 7 个高覆盖技能，不加修改地迁移测试于未见过的保留样本、未参与演化的目标模型（DeepSeek-V4-Pro、GLM 5.2）及新基准 JBB-Original（Table 4）。
• 结果：在源基准保留集上，7 个技能在 DeepSeek-V4-Pro 上的平均 ASR 达 40.6%，高于其在源模型上的 36.2%；在 JBB-Original 上，rewrite-antipattern-v7 在三个测试模型上维持 38.2%–63.6% 的 ASR，而 rewrite-implicit-v5 在 GLM 5.2 上降至 0.0% ASR（危害分 0.018）。
• 作者的解读：部分演化技能捕获了通用规程并展现跨模型迁移性，但迁移程度高度依赖具体的技能机制。

其他消融与分析

• 辅助调用开销：Stage 1 辅助改写与裁判调用分别为 3.08 次和 4.00 次/样本，Stage 2 分析与演化摊销后各增加 0.23 次/样本（Table 10）。
• 残差验证命中率：在 GPT-5.4 欺诈/盗窃未解决集合上，rewrite-jsonschema-v1 恢复率为 6.3%（7/111），细化为 rewrite-jsonschema-v2 后恢复率升至 26.7%（28/105）（附录 E）。
• 连续失败回退规则：连续两次 evolve-discover 未带来分数提升时，强制切换为 evolve-refine 或 evolve-combine（附录 A.2）。
• 负面结果与例外：在 AdvBench 针对 Claude Sonnet 4.6 时，Stage 2 的 ASR@30 为 51.4%，低于 TAP 的 78.1% 与 AutoDAN-Turbo 的 57.5%（Table 3）。
• 指标解耦例外：在 GLM 5.2 上，rewrite-research-v2 取得 0.744 的高危害分，但 ASR 仅为 3.0%，作者分析称该模型在分析类框架下能给出具体细节但避免了直接满足有害指令（第 12 页）。

作者指出的局限与后续方向

论文未专门讨论局限。

实验覆盖范围

• 目标模型覆盖：评测覆盖了 8 个主流大语言模型（GLM 5.2、DeepSeek-V4-Pro Preview、Llama-3.3-70B-Instruct、MAGIC-14B、GPT-4.1、GPT-5.4、Gemini 3.1 Pro Preview、Claude Sonnet 4.6），其中 Stage 2 演化实验针对 5 个模型展开（Section 5.1）。
• 任务形式与模态：所有实验均针对单轮纯文本提示词越狱任务，论文未包含多轮交互式对话或多模态输入的攻击测试（Section 3, Section 5.1）。
• 攻击辅助模型绑定：智能体推理、失败分析与技能演化固定使用 Claude Sonnet 4.5，LLM 改写执行器固定使用 Qwen2.5-7B-Instruct，裁判模型固定使用 GPT-4o（Section 5.1, Section 5.2）。
• 基准数据集规模：攻击评测基于 AdvBench（520 条指令）和 HarmBench（400 条指令），跨基准迁移评测基于 JailbreakBench 的 55 条原始指令（Section 5.1）。
• 防御机制评测：实验对比了 4 种黑盒基线方法，除 ReNeLLM 包含 Qwen3Guard 安全过滤外，未包含对特定护栏防御系统的评估（Section 5.1, 附录 C.2）。

• 核心定位：论文提出了 JailbreakSkill，这是一个将自动化红队攻击方法表示为可复用且持续演化的智能体技能的黑盒越狱框架。
• 解决的问题：传统红队方法往往将改写逻辑与具体工作流或提示词深度绑定，无法独立调用与修改，且历史攻击失败的经验难以转化为可复用的独立攻击能力。
• 方法设计：将攻击能力划分为改写、失败分析与演化三类标准化技能；Stage 1 利用基于风险类别的 UCB 算法在有限查询预算内自适应调用初始技能并早停；Stage 2 聚合未解决的失败轨迹，通过失败分析技能诊断模式，驱动细化、组合或发现生成新技能，并经残差池验证后入库。
• 关键定量结果：在 AdvBench 和 HarmBench 上，Stage 1 UCB 调度取得 72.0% 与 68.1% 的宏平均 ASR@10，平均查询次数为 4.14 与 4.63 次（Table 1, Table 2）；Stage 2 演化使五类模型的宏平均 ASR 提升至 74.2% 与 67.9%，其中对 GPT-5.4 在 AdvBench 上的 ASR@30 提升至 62.5%（Table 3）；演化出的部分技能在未见模型 DeepSeek-V4-Pro 上取得 40.6% 的平均 ASR（Table 4）。
• 作者结论与启示：作者认为自动化红队应当从重复搜索孤立的对抗提示词，转向维护和积累可跨任务与跨模型复用的模块化攻击技能库。