AgenticRed：演化用于红队测试的智能体系统

自动红队仍依赖人工指定的智能体工作流；作者称这带来人类偏见，并让更广设计空间的探索变得昂贵。

• 场景： 作者称LLM已进入医疗、教育、金融和内容审核，安全与对齐是核心挑战。自动红队用计算发现对抗提示；主流做法常通过多智能体工作流组织攻击策略。
• 不足： 作者称文本反馈方法缺少细粒度定量信号时ASR可能偏低；RL在强对齐目标上奖励稀疏，在较弱目标上易过拟合、迁移差。手工设计工作流昂贵、费时且有偏。
• 做法： 作者把开发红队系统视为系统设计问题，用上下文学习加进化算法搜索工作流，而不是在固定结构内优化攻击策略。
• 方法： 提出AgenticRed：从红队档案出发，元智能体逐代生成候选系统，按适应度保留最适者，并积累失败与成功攻击记忆。作者称这是首个把自动红队表述为智能体系统设计问题的框架。
• 威胁模型：
  • 目标： 给定恶意意图I，找到提示p，使目标LLM T的回应被裁判J判为成功。本文只讨论以越狱为核心的红队。
  • 接口： 进化阶段查询本地开源目标的回应，temperature设为0，并可查询裁判及其对数概率。论文称JS-Guided AdvReasoning是black-box实现，不需要白盒logits。
  • 搜索对象： 单轮、查询无关的智能体工作流代码，不是为单条意图单独优化的提示。
  • 受害模型： 进化目标为Llama-2-7B、Llama-3-8B、Qwen3-8B。闭源模型未参与进化，只做不再调参的迁移评测。

反馈驱动的自动红队

• 文本反馈： TAP（Mehrotra et al., 2024）、PAP（Zeng et al., 2024）、AutoDAN-turbo（Liu et al., 2025b）主要用文本反馈或引导。作者称它们能利用语言模型的文本与推理，但缺少细粒度定量信息时ASR可能偏低。
• 数值与RL： Jailbreak-R1（Guo et al., 2025）、RL-Hammer（Wen et al., 2025）用数值奖励直接优化越狱模型。作者称强对齐目标上奖励稀疏，弱目标上策略易过拟合，且难迁到更稳健的目标。
• 推理加数值： PAIR（Chao et al., 2025）和树结构搜索（Sabbaghi et al., 2025）把推理与数值反馈结合起来。作者称它们仍是人工设计的智能体工作流。

智能体系统优化

• 结构化框架： 自反思（Madaan et al., 2023）、多角色辩论（Du et al., 2023）、角色分配（Xu et al., 2025）用于长程任务。
• 工作流搜索： Meta Agent Search（Hu et al., 2025）把工作流写成代码，用不断增长的经验列表迭代搜索。后续工作改用图表示、MCTS或直接偏好优化来提高搜索效率。作者称这些方法在数学和代码等推理任务上有效。
• 本文把该范式扩到红队，并针对缺少目标回应与裁判反馈的问题改档案和接口。

进化式安全攻击

• EvoSynth（Chen et al., 2025）针对多轮攻击，进化的是查询特定的攻击程序。
• Claudini（Panfilov et al., 2026）把AutoResearch用于红队，优化GCG式离散后缀以降低token-forcing损失。
• 作者对比称，AgenticRed做的是单轮、查询无关的攻击工作流，以便跨基准泛化，并产生更多样的攻击风格。

基线与数据

• 基线方法： 文中对比Self-Refine、AdvReasoning、AutoDAN-Turbo、PAIR、UJA；StrongREJECT对比还有TAP、PAP-top5。Table 2的AutoDAN-Turbo、PAIR、ActorAttack、Jailbroken、X-Teaming数字取自Wang et al. (2026)，不是作者在该表中重跑的结果。
• 基准： HarmBench Standard、AdvBench、ClearHarm；裁判侧使用HarmBench分类器与StrongREJECT。

作者把本文定位为：不在预定义结构里优化攻击策略，而用进化选择和跨代知识搜索红队系统本身。

AgenticRed在Meta Agent Search上改成红队专用进化流程：元智能体根据档案编写新系统，小子集上选最适者，再用跨代攻击记忆指导下一代。

问题设定

红队系统A把意图I映成提示p；若同时给出目标短语，则为p=A(I, target(I))。裁判J把回应和意图映到成功或失败。效果用攻击成功率衡量：

ASR(A,T,J,D)=𝔼_{I∼ D}[J(T(A(I)),I)]

即数据集上裁判判成功的期望。作者要的是能对给定目标LLM和裁判快速找到有效A的框架。智能体系统指多次调用LLM、协调角色或工具并带记忆的流程，不是单条提示。

档案与JS-Guided

档案不用通用推理工作流，而用能读取目标回应和裁判反馈的红队组件。初始两项是Self-Refine（Reflexion）和作者构造的JudgeScore-Guided Adversarial Reasoning。后者借用Adversarial Reasoning的Proposer and Verifier：迭代排序并精炼交给攻击模型的reasoning string。原方法要用白盒目标的logits；JS-Guided改为black-box，用裁判模型首token的logit，附录B.2进一步写成裁判输出失败标记的对数概率，作为反向奖励，并减少迭代。作者给出三点理由：能用回应和裁判信号、覆盖多种模块与辅助函数、不同工作流的适应度差别大。

进化选择与跨代记忆

元智能体是GPT-5-2025-08-07。每代采样M次得到子代；实现中M=3，最多10代。选择规则是

A_n+1∈argmax_{A∈ Cn}ASR(A,T,J,d)

即只把初始子集d上ASR最高的系统送入更全评测并写入档案。实现中d为训练集随机抽取的16个意图-目标对；入档前再在50对上计算最终适应度。部署时才出现的格式或长度错误会回传作自我修正。算法写有上限k，正文未给k的数值。

跨代知识存在FailedPromptMemory和SucceedPromptMemory。新攻击前检查失败记忆以避免重复；多样性搜索时，用候选成功攻击与已有成功攻击的语义距离评估。

搜索接口

作者称直接套用Meta Agent Search提升很小，部分因为没有与目标和裁判交互的接口（Appendix D.1）。因此提供结构化指导和两个辅助函数：以temperature 0查询目标，使同一提示的回应可复现；查询裁判是否充分回应意图，并返回对数概率。成功即可返回，从而给出可验证的稠密信号。附录F给出元智能体与裁判提示词，此处不摘录其中的约束。

进化时的三种设置

HarmBench Standard划分为训练与验证，进化只用训练集。三种组合是：Mixtral-8x7B攻击Llama-2-7B、Mixtral-8x7B攻击Llama-3-8B、Qwen3-8B攻击Qwen3-8B，最后一种为避免攻击者与目标能力不匹配。裁判是HarmBench-Llama-2-13b-cls。附录A给出伪代码。

实验设置

• 目标： 进化阶段为本地Llama-2-7B、Llama-3-8B（结果叙述亦称Llama-3-8B-Instruct）、Qwen3-8B。迁移目标见Table 2：GPT-3.5-Turbo、GPT-4o、GPT-5.1、GPT-5.2、Sonnet 3.5、Haiku 4.5、DeepSeek-R1、DeepSeek-V3.2、Qwen3-Max。正文把后两者写作Claude Sonnet-3.5、Claude Haiku-4.5。
• 攻击侧： 元智能体为GPT-5-2025-08-07。攻击者LLM为Mixtral-8x7B或Qwen3-8B。消融另用Vicuna-13b-v1.5作攻击者、DeepSeek-R1作元智能体。Qwen3-8B与DeepSeek-R1也出现在被测目标中。
• 数据与流程： HarmBench Standard分训练/验证；进化只用训练集。每代3个候选，初评16对，最适者再评50对，共10代。进化后另评AdvBench、ClearHarm和留出HarmBench验证集。论文未给这些基准的总样本数。
• 基线： Table 1为Self-Refine、AdvReasoning、AutoDAN-Turbo、PAIR、UJA。StrongREJECT另有TAP、PAP-top5。Table 2基线数字取自Wang et al. (2026)。
• 指标与裁判： 主指标为ASR。HarmBench裁判为HarmBench-Llama-2-13b-cls。StrongREJECT由gpt-4o-mini按附录F.2的拒绝项和1–5说服力、具体性评分，表中报告的是judge score。人工为200对、5人、多数票。
• 重复： 附录B.1写进化后评测重复3个随机种子，报告中位ASR、95%置信区间和queries-per-success。Table 1的ASR未列出区间；StrongREJECT给出±。

主结果

据Table 1a，HarmBench ASR（%）：

| 目标 | AgenticRed | Self-Refine | AdvReasoning | AutoDAN-Turbo | PAIR | | Llama-2-7B | 96 | 4 | 60 | 36 | 未报告 | | Llama-3-8B | 98 | 14 | 88 | 62 | 75 | | Qwen3-8B | 100 | 58 | 80 | 83 | 47 |

• UJA在Llama-3-8B为72、Qwen3-8B为63，Llama-2-7B未报告。Table 1a中AgenticRed在三个目标上都高于同表已报告基线。
• 作者称Llama-2-7B上六代内超过JS-Guided AdvReasoning 46%、超过AdvReasoning 36%；Llama-3-8B-Instruct四代内到98%，Qwen3-8B两代内到100%。JS-Guided的单独ASR未列入Table 1。
• 作者称ASR饱和后，逐代queries-per-success下降，并将其归因于跨代知识。正文未给出开源目标的具体查询次数。

闭源迁移与查询开销

• Table 2的AgenticRed攻击表现为：GPT-3.5-Turbo 100、GPT-4o 100、GPT-5.1 100、GPT-5.2 88、Sonnet 3.5 60、Haiku 4.5 48、DeepSeek-R1 100、DeepSeek-V3.2 100、Qwen3-Max 96。表注写这些系统原为Llama2-7B或Qwen3-8B设计，不再调参。表未写明每个单元格来自哪一套系统。
• 正文写Claude Sonnet-3.5为60%、Claude Haiku-4.5为44%。Haiku的44%与Table 2的48不一致。Figure 9中Qwen3系统的Haiku 4.5为44/53，Llama2系统为48/736；Llama2一列与Table 2的AgenticRed列数值相同，论文未写明二者是否同一条件。
• Table 2并非处处高于所引基线：Sonnet 3.5上AgenticRed为60，X-Teaming为67.9，ActorAttack为66.5。Figure 9平均ASR/QpS为Qwen3系统69.7/48.7、Llama2系统84.6/323.7。作者称前者更query-efficient；图注把QpS标成time，未再定义单位。

裁判、其他基准与多样性

• StrongREJECT（Table 1b）：AgenticRed为0.58±0.0059、0.59±0.0082、0.85±0.0079（Llama-2-7B、Llama-3-8B、Qwen3-8B）。AutoDAN-Turbo为0.12、0.23，Qwen3-8B未报告。作者称相对AutoDAN-Turbo在Llama-2-7B高300%、在Llama-3-8B高157%。
• 人工评估随机抽200对，其中裁判判成功151、失败49，5人多数票。Table 1c：Precision 0.9139、Recall 0.9324、Specificity 0.7500、F1 0.9231、Accuracy 0.8850。作者称这支持所得提示不是奖励投机产物；论文未解释specificity低于precision。
• 作者称Figure 3中，按HarmBench进化的系统在AdvBench和ClearHarm上保持100% ASR；该句未逐模型列出。多样性搜索把成功提示到SucceedPromptMemory中k近邻的平均距离当作新颖性。作者称成功攻击在嵌入空间逐渐铺开，累计平均成对余弦距离单调上升；k和距离数值未给出。

其他消融与分析

• 每代只留1个候选（Mixtral→Llama-2-7B）：最佳分低6%（Figure 6a，Appendix C）。
• 去掉JS-Guided的退化档案：第二代之后不再提升（Figure 6b）；论文未给该曲线ASR。
• 朴素Meta Agent Search打Llama-2-7B：档案Self-Refine为6；GPT-3.5搜出的三代为2、2、0（Table 3）。
• Mixtral→Llama-2-7B的10代：attack templates 10次、refusal suppression 8次、genetic operators 10次（Section 6）。
• 换Vicuna-13b-v1.5或把元智能体换成DeepSeek-R1：论文未报告具体ASR（Figure 5）。作者称弱攻击者仍高于基线，但未达到更强攻击者的ASR；DeepSeek-R1作元智能体时达不到其SOTA表现。
• 作者称适应度最高的系统不只是重组档案，还用了reward shaping、prefix injection、对抗提示翻译和拒绝抑制，并把精英选择、crossover、mutation写进系统（Figure 4）。附录H给代码示例，附录E给攻击示例；此处不复述提示或禁用短语。作者称Figure 8a中生成程序与人工档案分开，且两个开源目标下的程序彼此分开；各代程序总体相似度仍高。

作者指出的局限与后续方向

• 攻防共同进化： 作者写目标模型不是静态的，安全团队会持续修补漏洞，形成红队与防御的共同进化。未来可让攻击与防御同时进化（Section 6）。
• mode collapse： 作者称设计空间探索出现mode collapse。元智能体受既有红队文献训练，跨代倾向收敛到相似设计，从而限制更广设计空间、妨碍发现新攻击。Mixtral攻击Llama2-7B的10代中，attack templates出现10次、refusal suppression 8次、genetic operators 10次。作者称需要应对该现象（Section 6）。附录D.2用嵌入相似度作了量化。
• 更广的自进化算法： 作者希望把更复杂的自进化算法用于AI安全，并称这类方法需要边界清楚的任务、成熟接口和可验证奖励，而AgenticRed提供的正是这一框架（Section 6）。

实验覆盖范围

• 进化有三种攻击者-目标组合，各10代、每代3个候选；初评16对、终评50对。进化后评测重复3个随机种子，并报告中位ASR与95% CI（Appendix B.1）。另有攻击者、元智能体、初始档案和选择机制消融（Figure 5、Figure 6）。
• 开源目标为Llama-2-7B、Llama-3-8B、Qwen3-8B。Table 2的迁移目标为GPT-3.5-Turbo、GPT-4o、GPT-5.1、GPT-5.2、Sonnet 3.5、Haiku 4.5、DeepSeek-R1、DeepSeek-V3.2、Qwen3-Max。该表基线数字取自Wang et al. (2026)。
• 主裁判为HarmBench-Llama-2-13b-cls；StrongREJECT使用gpt-4o-mini。人工评估为200对、5名标注者、多数票（Appendix B.3，Table 1c）。
• 搜索与主实验针对单轮、查询无关工作流。Related Work把EvoSynth写成多轮、查询特定的程序进化，把Claudini写成GCG式后缀优化。
• 论文未报告多样性近邻数k、自我修正上限k的数值，以及HarmBench、AdvBench、ClearHarm的总样本数。Figure 9给出专有模型的ASR/QpS；正文未给出开源目标queries-per-success的具体数字。

AgenticRed把自动红队从固定流程里改提示，改成进化智能体系统本身。

• 问题： 作者称手工工作流有人类偏见，且难以便宜地探索设计空间。任务是对恶意意图诱导被裁判判成功的回应，范围限于单轮越狱式红队。
• 方法： 档案含Self-Refine和black-box的JS-Guided AdvReasoning。GPT-5元智能体每代写3个系统，用16对上的ASR选择，50对确认后入档，并把失败与成功提示传给下一代，共10代。目标以temperature 0查询，裁判提供对数概率。
• 开源结果： Table 1的HarmBench ASR为96%（Llama-2-7B）、98%（Llama-3-8B）、100%（Qwen3-8B），高于同表已报告基线。StrongREJECT为0.58±0.0059、0.59±0.0082、0.85±0.0079。人工F1为0.9231（200对）。
• 迁移： 系统为Llama-2-7B或Qwen3-8B设计后不再调参。Table 2对GPT-5.1、DeepSeek-R1、DeepSeek-V3.2为100，GPT-5.2为88，Sonnet 3.5为60，Haiku 4.5为48。Sonnet上低于同表X-Teaming的67.9。Figure 9中两套系统的平均ASR/QpS为69.7/48.7与84.6/323.7。
• 作者结论： 作者称进化搜索可作为随模型更新而扩展的安全监督，同时认为人类给出的初始档案和接口仍然重要，并指出mode collapse和攻防共同进化是后续问题。