REPRO：用于自动化 LLM 红队测试的反思式进化提示词优化器

1. 01这篇论文试图解决什么问题？

   纯黑盒单轮下，用算法结构而非强辅助模型自动搜索越狱提示词。

   如何在纯黑盒、无逐模型手工模板、单张消费级 GPU 的条件下，自动搜索能绕过 LLM 安全护栏的对抗提示词。

   • 部署场景：作者称 LLM 已进入客服、诊断、代码生成和教育等软件流水线；虽经 RLHF 与 constitutional AI，对抗提示词仍能引出有害内容。作者认为手工红队跟不上威胁变化，部署前需要可自动、可复现的安全测试。
   • 现有不足：作者称模板匹配挡不住上下文感知防御，梯度法不能用于专有 API。Andriushchenko 等要 logprob 和逐模型模板；引言写大约 10,000 次目标查询/行为，后文写最多 10,000 次。PAIR、TAP 无种群多样性；其他方法或要特权访问，或依赖更强辅助模型。
   • 设计设想：优化智能应来自算法结构，而非辅助模型能力，使流水线只需量化开源模型加单张消费级 GPU。
   • 本文提出：REPRO（Reflective Evolutionary Prompt Optimization）。作者称语义交叉，以及由结构化失败分析提供信息的 Thompson Sampling，是先前工作所没有的；并写成攻击成功、跨环境迁移（XFER）、可检测性与长度上的双层多目标问题。本文实验只行使攻击成功。
   • 威胁模型：
     • 目标：绕过安全护栏，引出有害内容。
     • 知识：pure black-box，只看文本输出，无梯度、无 logprob。
     • 能力：单轮；攻击者提交攻击支架，由反思模型变异与重组。作者把 Crescendo 等多轮攻击和间接提示注入放在该范围之外。
     • 受害系统与判定：对齐后的目标 LLM（本地或生产 API）。裁判把拼接后的输出标为 harmful 或拒绝；搜索在裁判接受时停止，故 ASR 表示迭代预算内是否搜到，不是固定预算成功率。

   收起这一问

2. 02有哪些相关研究？

   相关工作分软件测试、越狱、提示词优化和框架对照；基线数字均转录自原文。

   论文按四组讨论相关工作；实验基线的数字均转录自原文，不是作者重跑。

   软件测试中的 LLM 安全

   • 测试综述：Wang 等（2024）把对抗鲁棒性评测列为开放问题；Chen 等（2025）综述代码语言模型的攻防。Jiang 等（2024）、Sun 等（2026）讨论 LLM 辅助模糊测试。
   • 防御与作者先前工作：Zhang 等（2025）的 JailGuard 用 TAP 作基线攻击。作者称 REPRO 提供进攻性测试生成，发现的攻击可作防御回归语料。作者把自己先前的 faithfulness 红队工作视为可复现测试生成，并据此做通用框架。

   越狱攻击

   • 白盒与灰盒：GCG（Zou 等，2023）在开放权重目标上 ASR 80%–95%，要梯度。AutoDAN（Liu 等，2024）报告 72%–98%，要梯度。自适应随机搜索（Andriushchenko 等，2025）被作者称为原始效果上的当前水平，ASR 100%，但要 logprob、逐模型模板，每个行为最多 10,000 次查询。
   • 黑盒迭代：PAIR（Chao 等，2023）与 TAP（Mehrotra 等，2023）。作者称二者对 Vicuna、GPT-3.5 有效，TAP 对 GPT-4/GPT-4-Turbo 报告超过 80%，但对 Llama-2-Chat、Claude 下降（见 Table 1）；二者只优化 ASR，无种群多样性。
   • 种群与技巧库：GPTFUZZER 75%–88%。AutoDAN-Turbo 在个别 HarmBench 目标上最高 97.6%；作者称其策略库最接近贝叶斯选策略，但无多父代交叉和结构化失败分析。KDA 在 HarmBench 的 Vicuna、Mistral 上最高 100%；DAGR 最高 99.33%。AmpleGCG 在白盒训练后报告向闭源模型的迁移，作者称这促使把 XFER 设为一等目标。MasterKey 关注跨聊天机器人迁移，但没有多目标优化。Wei 等的六类失败模式被用作策略族组织原则；若干已发表技巧被收进变异库，而不是单独基线。Crescendo 与间接提示注入被放在单轮范围之外。

   提示词优化与并发框架

   • 有用性优化：DSPy/MIPROv2（Khattab 等，2024）用贝叶斯优化选指令；GEPA（Agrawal 等，2025）用自然语言反思和 Pareto 选择。作者称二者针对有用性目标。
   • OpenRT：Wang 等（2026）集成 37 种攻击、评测 20 个前沿模型；EvoSynth 在 18/20 个模型上 ASR 100%。作者称 OpenRT 编排已有方法，REPRO 自行发现单轮攻击，且两边模型集不同，直接比较不可行。

   基线与定位

   • 基线方法：PAIR、TAP、PAP、Adaptive RS；JailbreakBench 与 HarmBench 表还列入原文中的 GCG、AutoDAN、AutoDAN-Turbo、KDA、DAGR、Human、JB-Chat。基准：AdvBench（50）、JBB-Behaviors（100）、HarmBench（200 条 standard behaviors）。
   • 作者定位：Table 1 中作者称 REPRO 是该对照里唯一同时具备纯黑盒、带交叉的种群搜索、贝叶斯策略选择和多目标准则的条目。作者称继承种群搜索、Pareto 和反思，换成对抗目标，并加入语义交叉、Thompson Sampling 和拒绝分类反馈；在所汇编比较中，未见另一单轮黑盒方法在相当广的模型集上报告一致的 100%。

   收起这一问

3. 03论文如何解决这个问题？

   REPRO以种群进化、语义交叉和Thompson Sampling做纯黑盒单轮搜索。

   REPRO 把红队写成闭环测试生成：目标回复经单独裁判充当测试神谕，失败信息再驱动进化式提示词搜索。默认反思模型是 Mistral-7B（EXL3，4 bpw）；GPT-4.1、GPT-5-nano、Qwen3-235B、Gemini-2.5-Pro 改用 Mistral-3.1-Small（EXL3，4 bpw）。

   问题设定与形式化

   给定目标 M、有害行为集 T 和部署环境集 E。攻击成功指示为 σ(x,t,e)=I[J(M(x ⊕ t ⊕ e))=harmful]，即裁判 J 把按序拼接的系统提示、攻击支架和任务的输出标为有害。

   • 四个目标：ASR 取环境上的 max 再对任务平均；XFER 是全部任务–环境对的成功比例；可检测性是对抗标记词计数；长度是 token 数。前两个最大化，后两个最小化。Pareto 集是不被其他提示支配的提示。
   • 三种环境：空系统提示、最短助手指令、严格安全准则。实验只用提供者默认的一种环境，此时 XFER 退化为 ASR。作者称多环境评测有实现，但留待以后。

   进化循环

   从单一种子出发，反思模型以温度 0.9 自举出规模 N 的初始种群；逐行为默认 N=24，多行为覆盖用 N=18。每一代七步：全体评估、更新策略与上下文示例统计、epsilon-Pareto 选父代、按策略变异、语义交叉、自我精炼、带精英的种群选择。停滞管理可重启或早停。作者称算法提供结构化反馈，反思模型只做文本变换。

   失败分析与策略选择

   失败时把拒绝分成六类：Ethical、Safety、Capability、Deflection、Hard refusal、Confusion。每类对应排序后的对策，并记录该行为已试策略及成败比；Table 2 给出映射。顽固行为定义为至少 3 次尝试后失败率高于 0.7，再改用未耗尽的策略族。作者在方法节预先写明：100 代预算的消融没有为该组件分离出可测的 ASR 收益，故将其标为设计贡献，经验贡献未量化。

   • 策略库：由文献中的 37 条手工策略长到 58 条、14 个语义族，其中 21 条由反思模型按失败分析合成，并跨运行保留。成功定义为 ASR 或 XFER 超过 0.5，用以更新 Beta 后验。
   • 混合抽样：权重为 w_s=αp̂_s(1+c̄_s)+β r_s+γ√(log N_total/N_s)，即历史成功率、与当前失败分析的关键词 Jaccard，以及 UCB 探索项。默认权重 (0.4, 0.4, 0.2)。变异提示只放入混合分最高的 K=8 条，相关度低于 0.3 的排除。

   生成、交叉与探索控制

   • 父代与交叉：父代选择用 ε=0.05、前沿至少 3、最多 6；结束时 ε=0.03。前沿不足时按 ASR、XFER、负可检测性、负长度做词典序补齐。语义交叉对 2–3 个父代做适应度加权抽样，由反思模型合并互补技术；只有一个父代时做自我交叉。
   • 评估前过滤：自我批判（温度 0.3）返回 keep、refine 或 reject，再分支扩展，使每代恰好 N 个候选打到目标。精英数 E=3，作者称这使迄今最佳 ASR 跨代不下降。近失败另有连续软分，适应度加成上限 0.1（附录 B）。
   • 停滞与缓存：多样性用句向量平均成对余弦距离调节变异率和子代数；另有 15 个结构种子，重启时 25% 新种子来自这些模板。停滞窗口按 ASR 取 20/15/10，重启最多 3 次。成功样本进入摊销缓存；新运行最多用其中 8 个作为初始候选。Table 3 的默认值来自工程调试，作者称未做网格搜索。

   双层表述与查询代价

   上层最大化种群 Pareto 前沿的超体积，下层在任务禁表之外选策略。作者把精英单调性、Thompson Sampling 的次线性遗憾，以及算子覆盖下的 Pareto 逼近写成设计性质，并写明后两者的经典假设在非平稳、动作空间增长时并不严格成立。最坏目标评估次数为代数×N×任务数×环境数。逐行为模式下，初始种群花 N 次目标查询，之后每代 N−E 次；反思模型的变异和精炼不计入目标查询。

   收起这一问

4. 04论文做了哪些实验？

   作者称协议下36个目标单轮ASR均为100%，中位查询24次；基线未重跑。

   作者在直到成功的纯黑盒协议下，把三基准、36 个目标的 ASR 都记为 100%，并同时报告查询、消融和裁判校验。

   实验设置

   • 目标模型：36 个、11 族（Table 4、11）：Llama-2-7B/70B（Table 11 写 Llama-2-7B-Chat、Llama-2-70B-Chat）、Llama-3.1-8B/70B/405B、Llama-3.3-70B；Qwen-2.5-7B、Qwen3-8B、Qwen3-235B；GPT-3.5-Turbo、GPT-4o-mini、GPT-4o、GPT-4.1、GPT-5-nano；Claude-3-Haiku、Claude-3.5-Sonnet；Gemini-2.0-Flash、Gemini-2.5-Flash、Gemini-2.5-Pro；Grok-2-1212、Grok-3-Mini、Grok-4.1；Gemma-2-9B、Gemma-3-4B；Phi-3-Mini、Phi-4；Mistral-7B-v0.3、Mixtral-8x7B、Mistral-3.1-Small；DeepSeek-V3、DeepSeek-R1-Distill-8B（Table 10 作 DS-R1-8B，Table 11 作 DeepSeek-R1-8B）；以及 Vicuna-13B、OpenChat-3.5、Starling-7B、Kimi-K2、GLM-4.5-Air。本地模型为 EXL3 4 bit，API 为全精度。
   • 反思模型与裁判：默认 Mistral-7B（EXL3，4 bpw）；四个最大前沿目标用 Mistral-3.1-Small。优化与所报 ASR 都用 Qwen3-8B，接受即停。交叉验证另用 GPT-4 与 Mistral-Small-3.1-24B-Instruct。
   • 基准：AdvBench 50 条；JailbreakBench 100 条、10 类；HarmBench 200 条 standard behaviors。消融为分层 JBB-50，seed 42。
   • 基线：PAIR、TAP、PAP、Adaptive RS，以及各原文表中的 GCG、AutoDAN、AutoDAN-Turbo、KDA、DAGR、Human、JB-Chat。全部转录，作者未重跑。PAIR 被作者写为大约每行为 20 次查询，Adaptive RS 最多 10,000 次；REPRO 跑到成功或迭代上限。
   • 协议：ASR 为引出有害回复的行为比例，附 Wilson 95% 区间。实验使用提供者默认环境。逐行为 N=24，多行为覆盖 N=18。策略库与摊销缓存跨运行累积，故 36 个目标不是独立重复；消融关闭缓存并重置策略权重。中位行为在第 0 代结束，最长观察到 266 代；消融固定 100 代。
   • 重判范围：JBB、HarmBench 用各基准评估提示重判已被 Qwen3 接受的攻击，得到 100%。作者写明未使用 JailbreakBench 指定的 Llama-3-70B，也未使用 HarmBench 分类器，且不能据此给出独立于搜索的假发现率。

   主结果

   表格较宽，可左右滑动

   目标	基准	REPRO	PAIR	其他转录	Adaptive RS
   Llama-2-7B	AdvBench	100%	4%	TAP 0%；DAGR 90.96%	100%
   Vicuna-13B	AdvBench	100%	72%	TAP 100%	100%
   GPT-3.5	AdvBench	100%	44%	PAP 86%	100%
   GPT-4o（基线为 GPT-4）	AdvBench	100%	39%	PAP 88%	100%
   Llama-2-7B	JBB	100%	0%	GCG 3%	90%
   GPT-4o（基线 GPT-4-0125-Preview）	JBB	100%	34%	GCG 转移 4%	78%
   Llama-2-7B	HarmBench	100%	7.5%	DAGR 91.83%	未报告
   GPT-4o（基线 GPT-4 0613）	HarmBench	100%	38.5%	AutoDAN-Turbo 87.8%	未报告

   据 Table 8、9、10。REPRO 在 AdvBench 为 50/50，JBB 为 100/100，HarmBench 为 200/200。

   • 作者称 100% 表示预算内每个行为都被回路内裁判接受，不是固定查询预算下的成功率，也不是与转录基线的对照排名。Wilson 区间被作者解释为行为集抽样不确定性：AdvBench [92.9, 100.0]，JBB [96.3, 100.0]，HarmBench [98.1, 100.0]。
   • 作者写明基线的裁判、预算和模型版本不同。Table 10 还注：HarmBench 的 Vicuna 基线行是 Vicuna-7B，REPRO 为 Vicuna-13B；KDA 的 GPT-3.5/GPT-4 用 Turbo 1106，HarmBench 基线用 0613。
   • 论文中 REPRO 的 ASR 没有低于 100% 的主表条目，故上表未按“最差 REPRO”另选。省略行在 Table 11 的 AdvBench-50 上同样为 100%（50/50）。HarmBench 上 Mistral-7B 的 KDA 为 100%、DAGR 为 99.33%、REPRO 为 100%；作者称一致 100% 指的是全部已评目标，不是每个单目标都只有 REPRO 到达 100%。

   目标查询代价

   • Table 12 覆盖保留日志的 211 条行为、5 个目标，不是 ASR 表背后的全部运行。总体均值 161.1、中位 24、最小 16、最大 5589，最长 266 代。作者称部分早期运行种群为 16，故最小查询可为 16；默认初始种群成功则恰好为 24。
   • gpt-4o-mini 在 AdvBench-50 子集（N=27）中位 24、均值 231.1、最大 5589；在 JBB-50（N=50）中位 66、均值 410.8、最大 2103。grok-3-mini（N=20）均为 24 次、最多 1 代。grok-4-1-fast（N=24）中位 24、最大 465。
   • 作者称过半行为由初始种群解决，并称相对灰盒最多 10,000 次，中位大约 417 倍、最坏大约 1.8 倍。作者同时写明多数运行由缓存热启动，冷启动未报告。

   组件消融

   • JBB-50、最多 100 代、缓存关闭、seed 42 一次；目标为 GPT-4o-mini 与 Llama-3.3-70B-Instruct；反思模型 Mistral-7B，裁判 Qwen3-8B（Table 14）。
   • 完整 REPRO：GPT-4o-mini 100%（50/50，Wilson [92.9, 100.0]，中位 3 代），Llama-3.3-70B 98%（49/50，[89.5, 99.6]，中位 3 代）。作者称 98% 来自 100 代上限，主实验不设该上限时该目标为 100%。去掉语义交叉两边均为 90%；去掉贝叶斯选策略为 88% 与 90%。作者给出的 bootstrap ΔASR 区间在这四组不含 0。去掉失败分析：GPT 仍 100%，Llama 94%，两边区间含 0。去掉精英：GPT 90%（区间不含 0），Llama 94%（含 0）。
   • Bonferroni 校正后（α/4=0.0125）没有单项 McNemar 达到作者所设阈值。作者称 n=50 时该检验功效为 0，检出观察到的差异约需 93–140 条行为。Cochran’s Q：GPT-4o-mini 为 16.57、p=0.002；Llama 为 4.87、p=0.30。作者称失败分析在该预算下没有可测的 ASR 收益，并在 GPT-4o-mini 上使收敛更晚（log-rank χ²=4.53，p=0.033，校正后 p=0.133）。

   多行为覆盖与裁判校验

   • 一个共享攻击在同一 50 条 AdvBench 上优化并评估（Table 13）。Llama-3.1-8B、Qwen-3-8B、GPT-4o-mini 均为 100%（50/50，Wilson [92.9, 100.0]），迭代 193、26、89。作者称相差 7 倍，并将其归于家族间安全训练差异；同时写明这不是留出行为上的泛化，避免称为 universal。
   • 365 条分层回复（AdvBench 查询池 165、JBB 消融 200，seed 42，层内 70/30）：三方原始一致 80%，Fleiss’ κ=0.72；Qwen3-8B 对 GPT-4、Mistral-24B 的 Cohen’s κ 为 0.67、0.81（Table 5）。不一致时 GPT-4 更宽松的有 54/60，Mistral-24B 为 23/32（Table 6）。作者称换这两名裁判会抬高而非降低所报 ASR。
   • grok-4-1-fast（n=33）三方一致 61%，κ=0.37–0.46，作者称是校验中噪声最大的一片。gpt-4o-mini 的 AdvBench 切片（n=33）对两名替代裁判 κ 均为 0.93；其 JBB 切片（n=200）上 Qwen3-8B 对 GPT-4 的 κ=0.58（Table 7）。

   其他消融与分析

   • 反思模型：Mistral-7B 与 Mistral-3.1-Small（24B）在完整 AdvBench-50 上均为 100%；跨家族反思模型未做。
   • Figure 3：作者称各配置初期斜率相近，差别主要在渐近上限；消融停在 88%–94%，完整配置到 98%–100%。文本未保留逐点坐标。
   • 以失败记为第 101 代后，作者称全部比较的 Cliff’s δ 绝对值不超过 0.16。
   • Table 15 按成功后代数量给 11 族排策略；作者称这是描述性观察，不是对训练过程的因果主张，且未保留可算绝对成功率的原始计数。
   • 作者称族内跨版本迁移只是定性观察，未系统测量。Table 16 与 Figure 4 给出短攻击和一条 DeepSeek-R1-Distill-Llama-8B 响应对，此处不复述载荷。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出裁判在搜索回路内、基线预算未对齐，多目标与冷启动尚未评估。

   作者把回路内裁判、未对齐的转录基线和未评估的多目标写成主要限制。

   作者指出的局限与后续方向

   • 回路内裁判：ASR 由引导搜索的同一 Qwen3-8B 产生，接受即停，误接受会记入结果且不再复查。作者把独立于搜索的金标准事后假发现率，以及同一抽样上的人工标注，称为最高价值扩展（§5.2、§5.4）。
   • 基线未重跑：PAIR、TAP、PAP、Adaptive RS、AutoDAN-Turbo、KDA、DAGR 的数字来自原文，裁判、模型版本和查询预算不同。作者把同裁判、对齐预算的重跑和 ASR–预算曲线列为未来工作（§4.1.2、§5.2）。
   • 未评估的目标：只行使 ASR；论文没有 Pareto 前沿、超体积、可检测性或长度结果。作者把 §3.1 的三环境协议称为下一步实验（§1.2、§5.2）。
   • 跨运行状态与日志：策略库和缓存跨运行累积，冷启动未报告。查询日志只覆盖 211 条行为、5 个目标，中位 24 次只在该子集上计算（§4.1.5、§5.2）。
   • 范围与代价：当前实现优化单轮，不探索 Crescendo 一类多轮。标准 API 之外的输入分类器和 JailGuard 一类检测未测；作者称所报 ASR 相对多层系统应读作上界。作者在 Limitations 中把最坏 5,589 次查询和反思模型的持续推理列为计算代价（§5.2）。
   • 其他明确后续项：英文文本之外的多语言、多模态和领域部署未测；ASR 不区分危害严重度；消融为一次运行，作者建议更多种子且 n≥93；超参敏感性、基准原评分器复现和人工标注留待以后。§6.1 称多轮扩展正在进行，针对防御部署的评测也已开始，并用发现的攻击做对抗微调、扩展到图文越狱被列为方向（§4.4、§5.4、§6.1）。

   实验覆盖范围

   • 被测目标为 Table 4 与 Table 11 的 36 个模型、11 族；基准为 AdvBench 50、JailbreakBench 100、HarmBench 200；协议为单轮，实验使用提供者默认环境。
   • 反思模型实验为 Mistral-7B，以及四个前沿目标上的 Mistral-3.1-Small。主结果裁判为 Qwen3-8B；交叉验证为 365 条回复，来自 5 个目标。
   • 消融为 JBB-50、GPT-4o-mini 与 Llama-3.3-70B-Instruct、100 代上限、seed 42 一次、缓存关闭；去掉的组件为失败分析、语义交叉、贝叶斯选策略、精英保留。
   • 查询代价表为 211 条行为、5 个目标。多行为覆盖为 3 个目标、同一 50 条 AdvBench，优化集与评估集相同。
   • 作者写明多轮攻击与间接提示注入处于单轮威胁模型之外，未作直接比较。XFER、可检测性和长度有实现；论文未报告这三项的测量结果。

   收起这一问

6. 06总结一下论文的主要内容

   REPRO用7B反思模型做纯黑盒进化红队；协议内已评目标ASR为100%，作者将其视为覆盖目录。

   REPRO 是面向 LLM 软件系统的纯黑盒、单轮自动红队优化器，默认反思模型是 4 bit 的 Mistral-7B。

   • 问题：对齐模型仍会被对抗提示词绕过。梯度法、要 logprob 的随机搜索和逐行为迭代方法，或不能用于生产 API，或要手工模板和高查询量。
   • 方法：种群进化加上多父代语义交叉、按六类拒绝路由的失败分析，以及 Thompson Sampling 策略选择。形式化目标含 ASR、XFER、可检测性和长度；实验只跑 ASR，且回路内 Qwen3-8B 接受即停。
   • 覆盖：作者报告 AdvBench（50/50）、JailbreakBench（100/100）、HarmBench（200/200）上，36 个目标的协议内 ASR 均为 100%。Wilson 区间下限分别为 92.9%、96.3%、98.1%。Table 11 的 AdvBench 条目同为 100%。
   • 代价与消融：211 条行为、5 个目标上中位目标查询 24 次，最大 5589 次（Table 12）。JBB-50 上去掉语义交叉或贝叶斯选策略后，ASR 为 88% 或 90%（Table 14）。失败分析在 100 代预算下没有被单独测出的 ASR 收益。365 条回复上三裁判 Fleiss’ κ=0.72，且作者称 Qwen3-8B 不是更宽松的一方。
   • 作者的结论：作者称算法结构可以在无 logit、无逐模型模板时，把搜索推到该协议的天花板，并把结果当作覆盖目录，而不是与转录基线的排名。作者同时写明：裁判在回路内，基线预算未对齐，多目标与冷启动未评估；这些数字应读作直到成功协议下的裁判参照结果。

   收起这一问

相关论文