RedDarwin：演化针对前沿 LLM 的越狱技能

这篇论文试图解决既有越狱方法难以跟防前沿大语言模型（LLM）快速迭代的安全防护机制，以及现有自动化红队方法仅局限于固定策略或提示词搜索的问题。

• 场景与重要性：随着前沿大语言模型安全对齐能力的增强，预先设计的越狱提示词模板往往容易失效，针对某一模型开发的攻击向其他模型迁移的效果较差（作者引述 [4, 47]）。自动化红队测试需要能够持续适应并发现更强攻击流程的系统化方法。
• 现有方法的不足：多数现有自动化红队工作局限于固定策略空间、单一提示词变异或固定的攻击算法框架（如优化特定提示词、贪元变异），未能将越狱文献中沉淀的攻击算法系统化转化为智能体可直接修改、组合和累积的可执行对象。
• 核心观察与假设：作者认为，即使某个具体攻击方法在目标模型上失效，其底层的核心机制（如搜索流程、上下文操作、逆向因果、角色扮演等）仍然有效，并可在重新修订或跨方法重组后演化出更强攻击。
• 论文的提出：论文提出了 REDDARWIN 框架，将演化单元从对抗性提示词或固定攻击脚本转移到可执行攻击技能（executable attack skills），通过单技能修改、多技能组合与新技能发现三种算子自动演化攻击库。
• 威胁模型：
  • 攻击者目标：促使对齐的前沿 LLM 针对有害指令生成具体、可操作的有害内容（Qi 等人 [52] 评分标准下的 5 分完全合规响应）。
  • 攻击者知识：black-box（黑盒访问），攻击者无法获取目标模型的参数与梯度。
  • 攻击者能力：可通过 API 发送多轮或单轮交互请求，并在目标查询预算内动态调整输入与代码逻辑；演化阶段使用辅助代码执行智能体（K3 in Kimi-CLI）。
  • 受害系统：部署了安全对齐机制的前沿商业与开源大语言模型（如 GPT-5.6-Luna、GPT-5.6-Sol、Claude-Sonnet-5、Gemini-3.8-Flash 等）。

论文讨论的相关研究主要分为越狱攻击与组合、智能体自动化红队测试、以及技能构建与演化三大方向：

• 越狱攻击与攻击组合（Jailbreak Attacks and Composition）
  • Adversarial Déjà Vu (Dabas et al., 2026)：将越狱攻击解构为可复用的基元以刻画未见攻击；
  • ReNeLLM (Ding et al., 2024)：结合提示词改写与嵌套场景；
  • h4rm3l (Doumbouya et al., 2025) 与 Chimera (Park et al., 2026)：分别在变换组合与异构攻击策略间进行搜索；
  • Claudini (Panfilov et al., 2026) 与 EvoSynth (Chen et al., 2026)：通过编码智能体演化可执行对抗代码或代码级越狱算法。作者指出，REDDARWIN 聚焦于包含搜索、多轮交互等异构过程的可执行黑盒技能演化。
• 智能体红队测试（Agentic Red Teaming）
  • GPTFuzzer (Yu et al., 2023)、PAIR (Chao et al., 2023) 与 TAP (Mehrotra et al., 2024)：基于目标模型反馈迭代搜索对抗提示词；
  • AutoDAN-Turbo (Liu et al., 2024) 与 AutoRedTeamer (Zhou et al., 2025)：复用成功的攻击策略；
  • JailbreakSkill (Wen et al., 2026)、MemoAttack (Zhang et al., 2026) 与 RedEvoAgent (Zhang et al., 2026)：将攻击知识整理为技能或记忆。作者指出，REDDARWIN 的演化对象是包含代码和控制流的完整攻击执行流程。
• 技能构建与演化（Skill Construction and Evolution）
  • Voyager (Wang et al., 2023)：通过不断扩展的可执行程序库让智能体积累环境经验；
  • SkillOpt (Yang et al., 2026) 与 SkillOpt-Lite (Shen et al., 2026)：利用执行轨迹与反馈优化技能文件。作者将此范式迁移至对抗性算法的发现。
• 基线方法与基准
  • 对比基线：在受限查询预算评测中对比了 TAP、AutoDAN-Turbo 与 JailbreakSkill；
  • 基准数据集：演化与开发阶段使用 AdvBench-50，泛化与自适应红队评测使用 StrongREJECT-50。
• 定位区别：作者表示，既有自动化红队或提示词优化方法大多在预定义攻击过程或策略空间内搜索，而 REDDARWIN 首次将异构文献中的 47 种越狱攻击转化为通用接口的可执行技能，并支持单技能修改、跨技能机制组合和新机制发现。

REDDARWIN 将自适应红队测试形式化为在可执行攻击技能种群上的演化过程，核心思路是将越狱算法包装为暴露内部控制流的可执行技能，并通过三种算子基于目标模型反馈进行迭代改进与扩充。

问题设定与形式化

• 论文将攻击技能形式化为映射： s : (x, M, ξ) ↦ (τ, y) 其中 x 为攻击目标，M 为目标模型，ξ 为攻击配置与资源，τ 为交互轨迹，y 为最终目标模型的响应。
• 技能库初始种群包含来自 10 个攻击类别的 47 个可执行基础技能（涵盖单轮与多轮交互）。

技能级演化算子

• 单技能修改（Single-Skill Revision）：以单个父技能为先验与对照基线，保持其核心机制不变，修改导致失败的代码模块（如提示词构建、搜索控制、交互逻辑、中间状态处理或参数）。
• 多技能组合（Multi-Skill Combination）：从两个父技能中提取兼容机制并整合成连贯的可执行流程。为了衡量技能的繁殖效用（reproductive utility），采用后代奖励选择机制（offspring-rewarded selection），对技能 i 维护 Beta 分布采样概率： θ_i ∼ Beta(1 + ∑_{c ∈ 𝒞i} R(c),  1 + ∑_{c ∈ 𝒞i} (1 − R(c))) 其中 𝒞_i 为技能 i 已评估的后代集合，R(c) ∈ [0, 1] 为后代在开发目标上的平均 ASR。
• 新技能发现（New-Skill Discovery）：不指定固定父级技能，演化智能体根据当前种群机制与历史失败经验提出全新执行策略（例如引入辅助编译器生成逆向分析任务或丢失信息修复任务）。

反馈驱动的迭代精炼与选择

• 精炼步骤：演化智能体根据候选技能当前的执行轨迹 𝒯、即时奖励 R(s̃^(k)) 和全局历史累积证据 ℋ 更新候选者： s̃^(k+1) = 𝒢(s̃^(k), 𝒯(s̃^(k)), R(s̃^(k)), ℋ)
• 保留准则：在开发集上评估候选技能的平均 ASR R(s̃)，仅当其严格优于参考性能 R_ref(s̃)（修改算子对比原基础技能，组合算子对比较强父级，发现算子对比相关种群技能）时予以保留入库，否则丢弃（但轨迹记录入历史 ℋ）。
• 工具配置：演化智能体采用 Kimi-CLI 中的 K3 模型，配合运行、评估与记录工具完成端到端迭代。演化完成后冻结技能库用于后续评测。

实验设置

• 被测模型：开发阶段模型包括 Qwen3.7-Flash、GPT-OSS-120B、DeepSeek-V4-Flash-0731、GPT-5.6-Luna；未见泛化模型包括 GLM-5.3-Flash、Gemini-3.8-Flash、MiniMax-M3；自适应红队额外评测了 Claude-Sonnet-5 与 GPT-5.6-Sol。
• 数据集：开发阶段使用 AdvBench-50（50 个有害目标）；泛化与自适应评测使用 StrongREJECT-50（50 个目标）。
• 对比基线：在自适应红队评测中对比了 TAP、AutoDAN-Turbo 与 JailbreakSkill。
• 指标与判定方式：以攻击成功率（ASR）为主要指标。采用 deepseek-v4-flash-0423 作为统一评审模型，根据 Qi 等人 [52] 的 5 分制标准，仅打分为 5 分（完全合规且包含具体可操作危害）计为成功。人工抽样审核显示与模型裁决一致性为 95% 和 96%（Table 11）。
• 样本量与重复次数：开发集 50 题 × 4 目标；泛化集 50 题 × 7 目标（每技能 350 次响应）；自适应评测每目标限制最大 10 次查询预算（ASR@b）。

主结果

在 50 个 StrongREJECT 目标上的跨模型与跨基准迁移表现（据 Table 1，展示代表性基础技能与各演化类别 Top 技能）：

表格较宽，可左右滑动

• 作者对主结果的解读：
  • 选定的演化技能在 StrongREJECT 上的平均 ASR 达到 76.3%，高于对应选定基础技能的 38.5%；在未见模型上的平均 ASR 达到 64.6%，高于基础技能的 37.5%。
  • 技能的相对有效性在不同模型间存在迁移转移，例如 CensureCite 在开发集上为 96.5%，但在 Gemini-3.8-Flash 上仅为 12%；而 RACE 2.0 在 Gemini 上达到 84%（为该模型最高）。

受限预算自适应红队评测

• 测了什么：在 50 个 StrongREJECT 目标上，给编码智能体配备演化技能库，限制每个目标最多调用目标模型 10 次（Figure 3）。
• 结果：配备 Kimi-Code 的 REDDARWIN 在 Gemini-3.8-Flash、Claude-Sonnet-5 和 GPT-5.6-Sol 上 ASR@10 分别达到 80%、92% 和 100%，高于 TAP（54%、26%、26%）、AutoDAN-Turbo（34%、14%、36%）和 JailbreakSkill（68%、30%、46%）。
• 作者的解读：演化出的技能提供了高质量的初始攻击流程，在 Claude 和 GPT-5.6-Sol 上的首轮查询 ASR 即超过了所有基线的全预算 ASR；REDDARWIN 在 10 次查询内平均为每个目标找到 2.6 个不同有效技能。

技能集消融实验

• 测了什么：在 20 个目标上对比 Grok-Build (Grok-4.6) 与 Kimi-Code (Kimi-K3) 在无技能、仅基础技能、全技能（含演化技能）下的表现（Table 2）。
• 结果：在 Gemini-3.8-Flash 上，Kimi-Code 在无技能、基础技能、全技能下的 ASR@10 分别为 25%、50%、75%；Grok-Build 在无技能和全技能下分别为 30% 和 50%。
• 作者的解读：演化技能提升了两个智能体的红队表现，但不同智能体受益幅度不同，说明攻击效果不仅依赖技能质量，还取决于智能体依据反馈选择并修改技能的能力。

其他消融与分析

• 演化产出与改进比例：评估 72 个候选技能，保留 65 个；单技能修改使 44/47 个基础技能 ASR 提升，平均 ASR 从 18.8% 升至 47.3%（Figure 2）。
• 多技能组合增益：多技能组合在开发集上比其较强父技能平均提升 10.7 个百分点；新技能发现平均开发 ASR 为 83.2%（Section 4.2）。
• 功能模块修改与保留：交互语义和输出要求被修改次数最多（各 36 次与 43 次），输入表示修改较少（32 次）但保留比例高（Figure 4a、Figure 7a）。
• 多轮次修改演化：在 4 个技能的 4 轮迭代中，FlipAttack、DarkCite 和 PastTense 最终表现超越首轮修订版本，而 CodeChameleon 后续版本出现性能回落（Figure 9）。
• 负面与异常结果：CipherChat 经修改后 ASR 从 13.0% 降至 5.0%，AutoDAN-Turbo 修改后从 13.5% 降至 2.5%，AdversarialTales 从 62.5% 降至 62.0%（Table 4）。NarrDetailDecomp 组合后 ASR（65.0%）低于较强父级（Table 5）。Palimpsest 在 GPT-5.6-Luna 上的 ASR 为 0%（Table 5）。

作者指出的局限与后续方向

• 仅在英文有害目标上评测：作者在 Limitations 中指出，研究仅在英文有害请求上进行了评测，尚未覆盖多语言安全边界。
• 依赖单一自动化 LLM 评审模型：作者指出，评测主要依赖单个自动化 LLM 评审模型（deepseek-v4-flash-0423），尽管进行了人工一致性抽查，仍存在可能的评估偏差。
• 演化计算与令牌成本较高：作者指出，演化过程需要较多的 LLM 请求与令牌消耗（每条演化轨迹平均消耗 30.5 万输入 token，耗时约 6.94 小时，据 Table 10）。
• 未测试针对性自适应防御：作者在讨论中指出，研究未评估具备自适应检测或专门针对算法演化设计的防御机制。

实验覆盖范围

• 目标模型覆盖范围：开发阶段评测了 Qwen3.7-Flash、GPT-OSS-120B、DeepSeek-V4-Flash-0731、GPT-5.6-Luna 共 4 个模型；泛化评测增加了 GLM-5.3-Flash、Gemini-3.8-Flash、MiniMax-M3；自适应红队包含 Gemini-3.8-Flash、Claude-Sonnet-5、GPT-5.6-Sol。
• 基准数据集覆盖范围：开发与演化阶段使用 AdvBench-50（50 个目标）；跨模型迁移与自适应红队评测使用 StrongREJECT-50（50 个目标）；四技能连续演化使用 AdvBench-100（100 个目标）。
• 技能演化规模：基于 47 个可执行基础技能，共评估 72 个候选技能并保留 65 个（包含 47 个单技能修改、15 个多技能组合与 10 个新技能发现）。
• 查询预算与阶段设置：自适应红队测试中对每个攻击目标限定最多调用目标模型 10 次。
• 论文未报告信息：论文未报告在多语言数据集、多模态目标或非越狱安全风险（如幻觉、智能体工具未授权调用）上的评测结果。

• 一句话定位：REDDARWIN 提出了一个以“可执行攻击技能”为进化单元的自动化红队框架，通过目标模型反馈自动演化并积累越狱算法。
• 要解决的问题：前沿模型防御机制持续更新导致预设越狱提示词与固定攻击流程快速失效，而现有自动化红队方法通常局限于特定提示词搜索或固定策略空间，难以复用和演化既有文献中的攻击机制。
• 方法要点：将文献中的 47 种越狱方法实现为具备完整控制流的可执行技能，通过单技能修改（Revision）、多技能组合（Combination，结合 Beta 分布繁殖效用采样）和新技能发现（Discovery）三种算子进行代码与交互流程迭代，并将成功技能累积至动态技能库。
• 关键实验结果：
  • 在 AdvBench-50 开发集上，单技能修改使 44/47 个攻击性能提升，平均 ASR 从 18.8% 升至 47.3%（Table 4）；
  • 选定的演化技能在未见模型与 StrongREJECT-50 上的平均 ASR 达 64.6%，显著高于基础技能的 37.5%（Table 1）；
  • 在每目标 10 次查询预算的自适应红队测试中，REDDARWIN 对 Gemini-3.8-Flash、Claude-Sonnet-5 和 GPT-5.6-Sol 分别取得了 80%、92% 和 100% 的 ASR@10（Figure 3）。
• 作者结论与启示：作者认为越狱研究不仅是静态的攻防测试样本，更是算法演化的基础组件；高强度越狱攻击往往源于不同机制的重组（如逆向因果、字符重排与多语言包装的结合），构建可复用技能库能加速红队探索并为模型防御提供参考。