Fair-ASR：在共享目标调用预算下重新评测黑盒越狱攻击

如何在共同的目标调用预算下公平比较黑盒越狱，并缩小目标调用与攻击者调用两侧的效率差距。

• 场景与重要性：作者认为 LLM 已广泛部署并面临越来越多的越狱，比较哪种攻击更有效是安全评测的核心问题。多数工作只报 ASR，忽略获得该 ASR 所用预算；作者称 ASR 对评测设置尤其是攻击预算高度敏感（D’Angelo, 2025; Xu et al., 2026）。
• 现有做法的不足：不等预算下的终点 ASR 会把攻击效果和目标访问量混在一起，Figure 1(a) 示意排名可能在同一预算下反转。把目标、攻击者、评审和梯度成本折成单一 FLOPs（Ehghaghi et al., 2026; Wang et al., 2026a）虽能量化总计算，但资源不可互换，等量 FLOPs 对应的目标暴露可以差很多，且闭源目标的推理 FLOPs 通常不可得。
• 核心观察：目标调用是所有黑盒越狱的公共轴，可直接计数，且受配额、速率限制和滥用检测约束。简单随机扰动与手工模板在相等目标访问下仍有竞争力；作者称所评 LLM 驱动方法没有一种在目标调用和攻击者调用两侧都高效。
• 本文提出：Fair-ASR，在共享目标调用预算 B 下重评 11 种黑盒越狱，并单独跟踪攻击者调用。据此提出组合攻击 ReCode：单次脱敏改写，加上无攻击者调用的随机扰动和结构化代码式嵌套。
• 威胁模型：
  • 目标：对有害请求诱导目标模型给出满足有害意图的回复；成功由评审 G(x_i, y) 判为 1。
  • 知识：black-box，仅通过输入输出访问，不需要参数、梯度或内部状态。
  • 能力：每个请求最多 B 次目标调用；可用历史回复构造后续提示词；攻击者模型与辅助评审的调用不计入 B。
  • 受害系统：开源权重与闭源 API 上的对齐 LLM；一次独立生成计一次目标调用，含批量返回中的各条回复。

论文把相关工作分成黑盒攻击族，以及评测、缩放与预算核算两条线。

黑盒越狱攻击

• 手工模板：CodeAttack（Ren et al., 2024）、CipherChat（Yuan et al., 2024）、DeepInception（Li et al., 2023）使用固定变换或场景。
• 随机采样：BoN（Hughes et al., 2026）反复采样提示词变体，效果随尝试次数上升。
• LLM 驱动搜索：PAIR（Chao et al., 2025）、TAP（Mehrotra et al., 2024）、ReNeLLM（Ding et al., 2024）、AutoDAN-Turbo（Liu et al., 2025）、Rainbow Teaming（Samvelyan et al., 2024）用攻击者模型搜索，同时消耗目标与攻击者调用。Wen et al. (2026) 还在请求间复用演化中的攻击技能。作者称这些方法通常在各自的预算、搜索和辅助调用设定下评测，报告的 ASR 难以跨论文比较。

评测、缩放与预算核算

• 标准化基准：JailbreakBench、HarmBench、Jailbreak Foundry（Chao et al., 2024; Mazeika et al., 2024; Fang et al., 2026）提高可复现性。Xu et al. (2026) 的 SoK 认为单靠 ASR 不够，并提出更多评测维度。作者称统一数据集和评审并不等于拉平攻击资源（D’Angelo, 2025; Zhang et al., 2026）。
• 预算缩放：BoN 显示增加采样变体可提高 ASR；SABER 用 Best-of-N 风险估计建模这一缩放（Hughes et al., 2026; Feng et al., 2026）。
• FLOPs 核算：Wang et al. (2026a) 与 Ehghaghi et al. (2026) 把攻击者、目标和评审推理成本合成统一 FLOPs。作者称这会把操作约束不同的资源折在一起，且闭源目标的精确推理 FLOPs 通常不可得；既有预算分析或限于某一范式，或以计算为中心。

基线方法包括 DeepInception、CipherChat、CodeAttack、BoN、PAIR、TAP、ReNeLLM、AutoDAN（Liu et al., 2024）、GPTFuzzer（Yu et al., 2023）、AutoDAN-Turbo、Rainbow Teaming。基准为 HarmBench 的 200 条标准文本行为，以及 JailbreakBench 的 100 条有害请求。

作者把本文定位为：在共享目标调用预算下比较多种黑盒越狱，而不是范式专用或只按 FLOPs 核算。

Fair-ASR 把目标调用次数作为可比的主预算，单独记录攻击者调用；ReCode 用一次脱敏改写接上两种不调用攻击者模型的变换，使每次尝试固定为一次攻击者调用加一次目标调用。

问题设定与形式化

• 主预算：数据集 D 含 n 条有害请求。每条最多 B 次目标调用。第 b 次构造对抗提示词 p_{i,b}，目标 T 生成 y_{i,b}=T(p_{i,b})。独立生成各计一次，含同一批量请求中的多条回复。
• 成功与早停：评审 G(x_i, y) 取 0 或 1。s_i(B) 为预算内各次判定的最大值。首次成功即停，否则用满 B 次。
• 为何用目标调用：它对手工模板、随机重采样和 LLM 驱动攻击都必需；目标访问受配额、速率限制和滥用检测约束；闭源场景下可直接计数，而 FLOPs 往往只能间接估计。攻击者调用作为辅助资源，不折成单一标量。

指标

• ASR@B：预算内成功请求所占比例。对每个 b 计算即得 ASR–预算曲线。手工模板有 K 个固定模板，温度 0 各评一次；B≥K 时 ASR 在 K 处饱和，故报告 ASR@K，且不报 ATC。
• ATC_B：成功则记首次成功的调用序号，失败则记 B，再对请求取平均。作者称更低表示在该预算下更早成功。
• HS@B：用 StrongREJECT 量表，由 GPT-4o 得到 r_i(B)∈[0,1]，涵盖拒绝、具体性和说服力。成功时取首次成功回复，否则取最后一次查询的回复，再对请求平均。

ReCode

• 与 ReNeLLM 的差别：作者称 ReNeLLM 用仅看提示词的有害性门控，未通过就重写，并可能调用额外评审，从而在一次目标查询前产生多次攻击者调用。ReCode 去掉该重试环，直接做单次改写。
• 三步组合：1. 从脱敏策略中随机抽一条做改写，计 1 次攻击者调用；2. 字符级随机扰动，不计攻击者调用；3. 嵌入结构化代码式嵌套，不计攻击者调用，再做 1 次目标调用。因此同一预算下 AAC 等于 ATC。Figure 4 列出的改写策略名包括 literary rewrite、benign softening、neutral substitution、objective substitution；嵌套使用 5 个手工模板。附录 C.1 与附录 E 给出实现与提示词，附录 D 给流程示例。
• 消融变体：去掉改写后把原请求直接嵌入五个代码式模板；去掉嵌套；去掉字符级扰动；恢复 ReNeLLM 式门控与重写重试。

实现与成功判定

• 攻击配置：LLM 驱动方法的攻击者模型主实验为 Qwen2.5-7B-Instruct，温度 0.7。目标模型温度 0.0。ReNeLLM 的提示词过滤器为 Qwen3Guard，max_rewrite_attempts=10。PAIR 的 max_iterations=100；TAP 为 root_nodes=3、branching_factor=3、width=10、max_iterations=10。BoN 为 num_candidates=10、sigma=0.4、min_completion_words=50。完整超参见附录 Table A.1、A.2。
• 记账：拒绝、被拦截、失败生成，以及预热或探索生成都计入目标调用。攻击者模型与辅助评审单独记录。实现改编自 OpenRT 与 TAP、BoN 的官方仓库，保留各自搜索与停止逻辑。
• 两种评审：Fair-ASR 重评用 LlamaGuard4。ReCode 实验用 GPT-4o 按 X-Teaming 量表，仅 5 分计成功，并用 StrongREJECT 计算 HS。非推理目标每次最多 1,024 个输出 token；可推理目标用接口暴露的最高推理力度、最多 3,072 token；评审最多看可见回复的前 1,024 token。

实验设置

• 目标模型：Fair-ASR 主评测为 Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、gpt-oss-20b、gpt-oss-120b、GPT-4o（gpt-4o-2024-08-06），B=100。ReCode 另加 GPT-5（gpt-5-2025-08-07）、Gemini-3.1-Pro、Claude-Sonnet-4.6，B=20。
• 攻击者模型：LLM 驱动攻击主用 Qwen2.5-7B-Instruct；附录 B.1 换为 Mistral-7B-Instruct-v0.3。手工模板与 BoN 无攻击者模型。
• 数据：HarmBench 200 条标准文本行为；JailbreakBench 100 条有害请求。平均为五模型的无权宏平均。
• 攻击：手工模板 DeepInception（K=8）、CipherChat（K=5）、CodeAttack（K=8）；随机采样 BoN；LLM 驱动 PAIR、TAP、ReNeLLM、AutoDAN、GPTFuzzer、AutoDAN-Turbo、Rainbow Teaming。
• 指标与评审：ASR@B、ATC_B、HS@B，以及达到阈值 ρ 的最小目标调用与对应 AAC。主表由 LlamaGuard4 判定；ReCode 的 ASR 由 GPT-4o 按 X-Teaming 仅 5 分计成功，HS 用 StrongREJECT。
• 生成：目标温度 0；攻击者温度 0.7。论文未报告独立重复次数。附录 B.4 用请求级 bootstrap 评估曲线稳定性。

主结果

Table 1 为 HarmBench、LlamaGuard4、手工模板报 ASR@K（不报 ATC），其余报 ASR@100 与 ATC100。

Swipe horizontally to read the table

方法	Llama3.1-8B ASR/ATC	Llama3.1-70B	gpt-oss-20b	gpt-oss-120b	GPT-4o	平均
CodeAttack (8)	95.5 / –	96.0 / –	89.5 / –	83.5 / –	89.0 / –	90.7 / –
BoN	96.0 / 27.4	93.0 / 23.0	92.0 / 37.2	71.0 / 60.9	54.5 / 64.2	81.3 / 42.5
TAP	91.5 / 16.2	94.5 / 10.9	58.0 / 61.2	22.5 / 85.7	85.0 / 27.5	70.3 / 40.3
Rainbow Teaming	96.0 / 17.9	98.0 / 16.2	72.5 / 47.0	0.0 / 100.0	63.0 / 63.0	65.9 / 48.8
ReNeLLM	99.0 / 2.5	99.5 / 2.7	99.5 / 3.2	97.0 / 7.1	98.5 / 3.8	98.7 / 3.9
AutoDAN	29.5 / 77.6	37.5 / 68.4	31.0 / 80.3	11.0 / 93.0	29.5 / 82.6	27.7 / 80.4

表中未列入 CipherChat（平均 ASR@K 88.5%）、DeepInception（24.1%）、GPTFuzzer（43.7% / 62.4）、PAIR（60.8% / 47.8）、AutoDAN-Turbo（61.7% / 51.2），数字均出自 Table 1。

• 预算改变排名：作者称 Figure 2(a) 中 Llama-3.1-8B-Instruct 上 B=5 时 TAP 为 60.5%、BoN 为 43.5%；B=100 时 BoN 96.0%、TAP 91.5%。ReNeLLM 在数次调用内饱和，TAP、PAIR、AutoDAN-Turbo 上升更慢。Figure 2 还标注 CodeAttack 单模板 ASR@1：Llama-3.1-8B 为 62%，gpt-oss-120b 为 22%。
• 简单原语仍有竞争力：作者称 BoN 平均终点 ASR 81.3%、ATC 42.5，且不需要攻击者调用，高于除 ReNeLLM 外的各 LLM 驱动攻击。CodeAttack 平均 ASR@K 为 90.7%。作者称 AutoDAN-Turbo 在 gpt-oss 上明显更差，并推测高度一致的拒绝回复可能限制其依赖回复的策略检索。
• 两侧效率不可兼得：作者称在所评 LLM 驱动方法中，没有一种在所有阈值和两个资源维度上都最优。ReNeLLM 平均 ASR@100 最高（98.7%）、ATC 最低（3.9），但其目标调用效率伴随高改写成本。

多资源帕累托

• 测了什么：Figure 3 在 Llama-3.1-8B-Instruct、JailbreakBench、攻击者 Qwen2.5-7B-Instruct、评审 LlamaGuard4 上，对 ρ∈{0.3, 0.6, 0.9}、Bmax=100 画 LLM 驱动攻击的目标调用与平均攻击者调用帕累托前沿。帕累托支配按 Miettinen (1999)：两维都不更多，且至少一维严格更少。
• 结果：作者称 100 次目标调用内，6 种攻击达到 60% ASR，3 种达到 90%。ReNeLLM 通常以更少目标调用、更多攻击者调用到达各阈值；PAIR 与 Rainbow Teaming 目标调用更多、攻击者调用明显更少。前沿随 ρ 变化。对应数值在附录 B.3。
• 作者解读：ReNeLLM 的目标调用效率来自高改写成本，因其仅看提示词的有害性门控可能在查询目标前反复调用攻击者模型（Figure 4）。

ReCode 与消融

Table 2 为 JailbreakBench、B=20、攻击者 Qwen2.5-7B-Instruct、GPT-4o 判定的 ASR@20 与 AAC。“–”表示无攻击者模型。

Swipe horizontally to read the table

方法	gpt-oss-20b	gpt-oss-120b	GPT-5	Gemini-3.1-Pro	Claude-Sonnet-4.6	平均
ReNeLLM	96 / 10.21	83 / 12.24	31 / 26.02	54 / 18.71	21 / 26.25	57.0 / 18.69
TAP	60 / 47.92	31 / 59.63	50 / 45.03	12 / 46.40	43 / 48.81	39.2 / 49.56
ReCode	96 / 3.02	98 / 3.03	85 / 7.19	80 / 7.51	46 / 14.26	81.0 / 7.00
ReCode w/ Gate	94 / 11.79	95 / 9.24	82 / 18.63	77 / 19.76	40 / 35.64	77.6 / 19.01

• 闭源迁移：作者称改写对闭源迁移关键。去掉改写后，GPT-5、Gemini-3.1-Pro、Claude-Sonnet-4.6 的 ASR 分别为 5%、12%、4%。在 GPT-5 上，ReCode 相对 ReNeLLM 从 31% 到 85%，AAC 从 26.02 到 7.19，且该 AAC 同时是 ATC。Gemini-3.1-Pro 从 54% 到 80%，AAC 与 ATC 均为 7.51。
• 组件与门控：作者称在 GPT-5 与 Gemini-3.1-Pro 上去掉扰动或嵌套都会降低 ASR。Claude-Sonnet-4.6 相反：去掉嵌套后 ASR 从 46% 升至 57%，作者认为它对可识别的代码式越狱结构更敏感。去掉门控后平均 ASR 从 77.6% 到 81.0%，AAC 从 19.01 到 7.00。GPT-5 上门控变体为 82% 与 18.63 次。
• HS：Table 3 在三个闭源模型、JailbreakBench 上报告 HS@20。ReCode 平均 0.662，对应作者所称平均 ASR@20 为 70.3%。GPT-5 上 ReCode 的 ASR 与 HS 为 85% 与 0.781；Gemini-3.1-Pro 的 HS 为 0.743。Claude-Sonnet-4.6 上去掉嵌套后 ASR 与 HS 都更高（HS 从 0.463 到 0.603）。CodeAttack、BoN 在这三模型上的平均 HS 为 0.102 与 0.120。

其他消融与分析

• 换攻击者（JailbreakBench，附录 B.1）：Qwen 换成 Mistral-7B-Instruct-v0.3 后，各 LLM 驱动方法宏平均 ASR 变化最多 10.8 个百分点；PAIR 从 54.4% 到 62.6%，AutoDAN-Turbo 从 60.6% 到 67.0%，Rainbow Teaming 从 77.2% 到 66.4%。
• HarmBench 上的 AutoDAN：平均 ASR 从 27.7% 升至 49.0%；其余六种 LLM 驱动方法变化至多 5.1 个百分点。
• 同为 Mistral、换数据集：ReNeLLM 从 99.4% 到 99.7%，CodeAttack 保持 91.2% 与 90.7%。七种中五种变化至多 4.2 个百分点；AutoDAN、GPTFuzzer 在 HarmBench 上分别高 12.2 与 8.0 个百分点。
• JailbreakBench + Qwen（Table B.1）：ReNeLLM 平均 ASR@100 为 99.4%、ATC 4.5；CodeAttack 平均 ASR@K 91.2%；Rainbow Teaming 在 gpt-oss-120b 上为 47.0%（Table 1 的 HarmBench 上为 0.0%）。
• 低预算对照（Table 2）：B=20 时 CodeAttack 平均 ASR 43.4%（GPT-5 为 33%），BoN 平均 18.0%（GPT-5 为 7%）；ReCode w/o Perturbation 平均 73.6% / AAC 8.50，w/o Nesting 为 65.0% / 10.26。
• 负面与例外：Rainbow Teaming 在 HarmBench、gpt-oss-120b 上 ASR@100 为 0.0、ATC 100.0。DeepInception 在 Llama-3.1-70B 上 ASR@K 仅 3.5%（HarmBench）与 4.0%（JailbreakBench）。Claude 上去掉嵌套反而提高 ASR 与 HS。

作者指出的局限与后续方向

• 成本维度不完整：第 5 节写明，目标调用可观察且适用范围广，但不涵盖 token 用量、API 定价，以及手工模板的开发成本。
• 尚未覆盖多轮：同一节写明 Fair-ASR 尚未覆盖 multi-turn 设定。
• 后续方向：作者写 Future work 将纳入互补的成本度量，并相应扩展该协议。

实验覆盖范围

• 重评范围：11 种黑盒攻击，三类为手工模板、BoN、LLM 驱动；HarmBench 200 条与 JailbreakBench 100 条；主预算 B=100，评审为 LlamaGuard4（第 4.1 节、Table 1、Table B.1）。
• 目标与攻击者：主结果覆盖 Llama 3.1 的 8B 与 70B、gpt-oss 的 20b 与 120b、GPT-4o。攻击者为主实验 Qwen2.5-7B-Instruct，附录 B.1 换为 Mistral-7B-Instruct-v0.3，超参、评审、预算与停止准则不变。
• ReCode：B=20，数据集为 JailbreakBench；目标含上述开源模型中的 gpt-oss-20b/120b，以及 GPT-5、Gemini-3.1-Pro、Claude-Sonnet-4.6；ASR 由 GPT-4o 按 X-Teaming 仅 5 分计成功，HS 用 StrongREJECT（Table 2、Table 3）。
• 帕累托与曲线：Figure 3 只报告 Llama-3.1-8B-Instruct 上 LLM 驱动攻击、ρ 为 0.3/0.6/0.9 的前沿。完整 ASR–预算曲线在附录 B.2，ReCode 曲线在附录 C.2，Claude 的敏感性在附录 C.3。
• 论文未报告：独立重复次数；Figure 3 以外模型的完整帕累托数值在正文只指向附录 B.3。请求级 bootstrap 区间在附录 B.4，正文未给出区间数字。

Fair-ASR 用共享的目标调用预算重评黑盒越狱，并据此构造在目标调用与攻击者调用两侧都更省的 ReCode。

• 问题：只报终点 ASR 会把效果和目标访问量混在一起；FLOPs 对闭源目标难估计，且把约束不同的资源折成一个标量。作者把目标调用作为可直接观察、对各类黑盒攻击都通用的主预算。
• 协议：每条有害请求最多 B 次目标生成，首次成功即停。报告 ASR@B、ASR–预算曲线和 ATC；攻击者调用另计。HS 用 StrongREJECT，由 GPT-4o 打分。手工模板只报 ASR@K。
• 重评：HarmBench 上、LlamaGuard4、B=100 时，ReNeLLM 五模型平均 ASR@100 为 98.7%、ATC 3.9；CodeAttack 平均 ASR@K 为 90.7%；BoN 为 81.3% / ATC 42.5，且无攻击者调用。Llama-3.1-8B 上 B=5 时 TAP 60.5% 高于 BoN 43.5%，B=100 时 BoN 96.0% 高于 TAP 91.5%。作者称所评 LLM 驱动方法没有一种在两侧调用上都最优。
• ReCode：一次脱敏改写，再加字符级扰动和五个代码式嵌套之一，故每次尝试 AAC 等于 ATC。JailbreakBench、B=20、GPT-4o 判定下，GPT-5 上 ASR 85%、AAC 7.19；五模型平均 81.0% / 7.00，对比 ReNeLLM 的 57.0% / 18.69。三闭源模型平均 HS@20 为 0.662。Claude-Sonnet-4.6 上去掉嵌套后 ASR 从 46% 升至 57%。
• 作者的结论：排名依赖所选预算，简单原语在相等目标访问下仍有竞争力。第 5 节称目标调用不计 token、API 价格和模板人工成本，协议也尚未覆盖多轮，后续将加入互补成本并扩展协议。