BOSS：以广度优先后缀搜索改进 GCG 越狱优化

现有 GCG 类方法用平均对抗损失和单条贪心深搜索优化 suffix，既偏重易越狱行为，又可能错过更好的 suffix。

• 场景：作者称大模型虽有安全对齐和内容审核，仍会被特制输入诱导去遵循有害指令；基于优化的越狱因效果和可迁移性受到关注。
• 现有不足：平均 source loss 在行为已经能被越狱后仍可能非零，易行为继续占优化，难行为关注不足。作者称当前 source loss 最低的 suffix 不一定通向最好的最终 suffix，并用 Figure 1 说明最终 suffix 会偏离搜索中可达损失更低的 suffix。
• 假设：作者认为在固定预算下，更深的贪心搜索会错过 suffix 空间里有希望的区域，更广的探索可能更有效。
• 本文做法：提出即插即用框架 BOSS（Breadth-Oriented Suffix Search）和尾部聚焦对抗损失（Tail-Focused Adversarial Loss, TFAL），保留局部 GCG 式更新，改终端 suffix 的保留、选择和续搜。
• 威胁模型：
  • 目标：诱导模型遵循有害指令。源侧匹配预定的肯定式回复前缀；目标模型上的成功由 HarmBench 分类器的 ASR 判定。
  • 知识：white-box source model 上优化，再迁移到未见 target model。作者在 Limitations 中称这是 standard GCG-based transfer setting。
  • 能力：优化一条对抗 suffix，用源模型梯度做离散 token 替换；其他已评估候选默认不获得续搜预算。
  • 反馈边界：target model 只在最终 suffix 选定后评测，不作为优化反馈。实验源模型为 Llama-2-7B-Chat 或 Yi-1.5-9B-Chat。

离散 suffix 越狱

• Wallace et al. (2019)：用梯度引导的离散 token 搜索，为 NLP 模型构造 universal adversarial triggers。
• GCG（Zou et al., 2023）：在对齐后的 LLM 上，于有害 prompt 后附加对抗 suffix，用源模型梯度推向肯定式目标回复。
• 后续 suffix 方法：I-GCG 改目标模板、坐标更新和初始化（Jia et al., 2025）；AmpleGCG 用成功的 GCG suffix 训练生成器（Liao and Sun, 2024）；DSN 在源模型优化中加入拒答抑制（Zhou et al., 2025）；GJO 去掉多余的回复模式和 token 尾部约束（Yang et al., 2025）；SlotGCG 研究对抗 token 插入位置（Jeong et al., 2026）。作者称这些工作主要改目标、初始化、生成或放置，本文与之正交。

搜索轨迹与预算分配

• 多假设与试验分配：beam search 保留多个假设（Wiseman and Rush, 2016）；随机搜索（Bergstra and Bengio, 2012）和贝叶斯优化（Snoek et al., 2012）把评估分到多次试验。
• 按部分评估倾斜预算：best-arm identification、successive halving、Hyperband、ASHA 和 population-based training（Audibert et al., 2010; Karnin et al., 2013; Jamieson and Talwalkar, 2016; Li et al., 2018, 2020, 2019）。作者称它们启发了跨候选分配预算，但不直接处理梯度引导离散优化产出的终端对抗 suffix。
• 多起点越狱：Andriushchenko et al. (2025) 的 multi-start 与 random-search 越狱引入更多初始状态。作者对比称，BOSS 把预算分配放在源模型 suffix 优化内部：短轨迹、源侧诊断选父节点、续搜，再在目标评测前选定最终 suffix。

基线与基准

• 基线方法：GCG、I-GCG、GJO。I-GCG 使用多样目标模板、自动多坐标更新和 easy-to-hard 初始化；GJO 从优化目标中去掉多余的回复模式和 token 尾部约束。
• 基准/数据集：HarmBench（Mazeika et al., 2024）。跟随 Yang et al. (2025)，在 20 条行为的训练子集上优化，在标准 200 条测试集上评测。

作者把 BOSS 定位为即插即用的搜索框架：保留局部 GCG 式优化器，改变多条短轨迹终端 suffix 如何被保留、选择和续搜。

BOSS 不替换局部 GCG 式更新，而是把固定更新预算从一条长贪心轨迹改成多条短轨迹，再用源侧诊断决定续搜对象和最终 suffix。过程分三步：短运行形成初始终端集，选父节点续搜，再从合并终端集选出用于目标评测的 suffix（Figure 2）。

问题设定

• 在 white-box source model Ms 上优化一条长度 L 的 suffix，训练行为集为 Xtr，token 来自词表 V。提示由构造函数 Φ(x, z) 组成。
• 每个行为的源侧损失是肯定式回复前缀在 Ms 下的负对数似然；source loss 是该损失在 Xtr 上的平均。
• 作者称越狱优化是生成式目标匹配：行为已经能被越狱时，目标序列损失仍可能非零，平均目标会让易行为继续占用优化。
• 附录 A 给出评测模板：对抗提示放在行为问题之前，后接固定的目标回复前缀；附录给出了完整模板。优化和 suffix 选择只用源模型信号。

基优化器与初始池

• 每步对每个坐标和每个候选 token 用一阶近似估计 source loss 下降，取 top-κ 作为替换集。梯度只提议替换。
• 按坐标分布 qt 采样坐标，在对应替换集上均匀抽取 token，组成大小为 B 的候选集，再用完整 source loss 选出下一步 incumbent。
• 一次运行的 incumbent 序列称为轨迹，固定步数后的 suffix 称为终端 suffix。基优化器只延续一个 incumbent，其他候选不进入终端集。
• 初始池由 N 次独立的 T1 步运行组成，各次随机性来自候选采样。

父 suffix 选择

• 行为覆盖率是训练行为中逐行为损失不超过阈值 τc 的比例。可行集要求覆盖率不低于该终端集最大值减去容差 δc。
• TFAL 只平均难尾部：L_hard(z)=1/(|H_qh(z)|)∑_{x∈ Hqh(z)}ℓ_s(x,z)，即损失最高的 ⌈qh|Xtr|⌉ 个行为上的平均 source loss。
• 在当前终端集内对 source loss 和 TFAL 做 min-max 归一化。可行 suffix 按 S_A(z)=λ_sL̄_src,A(z)+λ_hL̄_hard,A(z) 排序，父集取分数最低的 K 个。
• 若过覆盖率门槛的不足 K 个，则保留全部可行 suffix，再用同一分数从集合外补满。

续搜、最终选择与默认参数

• 每个父 suffix 再跑 T2 步。在初始池与续搜结果的并集上重算同一套诊断，最终 suffix 是可行集中分数最低者。Algorithm 1 汇总该过程。
• 返回固定 suffix 后才查询目标模型。论文未把目标模型损失写入选择分数。
• 后缀长度 20，总更新 500，B=128。默认 N=10、T1=30、K=4、T2=50。附录 B：κ=256，qh=0.5，λs=0.45，λh=0.20。
• 论文未给出 τc、δc 的数值，也未给出 qt 的具体分布。初始 suffix 沿用基优化器，BOSS 未另定初始化。

实验设置

• 数据：HarmBench。在 20 条行为的训练子集上优化 suffix，在标准 200 条测试集上评测。
• 模型：源模型为 Llama-2-7B-Chat 与 Yi-1.5-9B-Chat。目标含 Qwen2-7B-Instruct、Vicuna-7B-v1.5、Yi-1.5-9B-Chat、Gemma-7B-It、Mistral-7B-Instruct，以及 Gemini-2.5-Flash-Lite、GPT-3.5-Turbo-0125。Table 1 与 Table 4 将后两者写作 Gemini-2.5-flash、GPT-3.5-turbo。
• 基线与变体：GCG、I-GCG、GJO。Base 为原优化器。w/ parents、w/ final 只在父选择或只在最终选择使用覆盖率、标准 source loss 和 TFAL，另一处仍用平均 source loss；w/ BOSS 两处都用。
• 指标与评审：主指标为 ASR，分 S-ASR 与 T-ASR。评审器为 HarmBench-Llama-2-13B-cls。论文未说明分类阈值。另报生成回复与 HarmBench target responses 的 BERTScore-F1，以及得到最终 suffix 的墙钟时间。
• 预算与硬件：后缀长 20，总更新 500，B=128；默认 N=10、T1=30、K=4、T2=50。NVIDIA RTX 3090，64 GB 内存。
• 重复：每组 3 个随机种子，报告均值和样本标准差。Table 4 写明其标准差为占位、需手工填写，下文不引用这些 ±。

主结果

据 Table 1，suffix 在 Llama-2-7B-Chat 上优化。格子为 Base→w/ BOSS 的 ASR 均值（%）。首行是 S-ASR，其余是 T-ASR。

表格较宽，可左右滑动

模型	GCG	I-GCG	GJO
Llama-2-7B-Chat（源）	43.7→78.7	29.8→66.8	64.3→82.7
Qwen2-7B-Instruct	72.2→86.0	43.0→80.0	80.2→88.5
Vicuna-7B-v1.5	73.8→75.0	74.8→84.3	78.5→85.2
Yi-1.5-9B-Chat	49.8→82.2	51.5→81.7	66.3→87.5
Gemma-7B-It	5.8→7.2	7.3→26.8	13.2→23.5
Mistral-7B-Instruct	79.0→93.2	90.5→90.2	68.8→92.3
Gemini-2.5-flash	44.8→56.7	43.2→46.7	41.7→54.2
GPT-3.5-turbo	43.3→80.5	71.8→82.2	63.2→83.5

• 作者称 BOSS 提升了多数模型上的效果。Target Model Avg.：GCG 52.5→69.7，I-GCG 52.7→69.3，GJO 59.1→71.6（均为 w/ BOSS，Table 1）。
• 表内例外：I-GCG 在 Mistral-7B-Instruct 上 Base 为 90.5、BOSS 为 90.2。Gemma-7B-It 加 BOSS 后仍为 7.2、26.8、23.5。
• 作者以 GJO、Yi-1.5-9B-Chat 为例：w/ parents 59.2、w/ final 73.3、BOSS 87.5，认为增益来自父选择和最终选择都用覆盖率与 TFAL，而不是只用损失。三种方法的平均 T-ASR 也是完整 BOSS 高于两个部分变体。

换源模型

• Table 4 以 Yi-1.5-9B-Chat 为源，比较 Base 与 +Ours；正文称 +Ours 为 BOSS。源模型 ASR：GCG 70.5→81.0，I-GCG 23.5→78.5，GJO 71.5→72.5。
• 平均 T-ASR：GCG 43.1→63.4，I-GCG 28.1→59.8，GJO 46.2→60.0。作者认为这套保留、续搜和最终选择不绑在单一源模型上。
• 作为目标的 Llama-2-7B-Chat 仍是各目标中最低：GCG 6.5→17.0，I-GCG 2.5→4.0，GJO 2.5→3.0。各目标均值的方向都是上升。该表标准差为占位。

搜索宽度与耗时

• Figure 3 在总更新预算固定为 500 时改变初始轨迹数 N，取值为 1、5、10、15、20，并相应调整续搜预算。图注称粗红星线是平均 T-ASR。正文未列出各 N 的 ASR。
• 作者称多条初始轨迹相对 N=1 通常提高平均 T-ASR，但增益不随 N 单调，三种基线上常在 N=10 附近达到峰值，因此默认 N=10。作者认为过宽会稀释续搜预算或引入较弱终端 suffix。
• Figure 4 与正文给出 Llama-2-7B-Chat 上得到最终 suffix 的墙钟时间：GCG 471→195 分钟，I-GCG 410→172 分钟，GJO 340→166 分钟。作者称减少超过一半，并把原因归于先短轨迹、再只续搜选中的父节点，总更新预算不增加。论文未报告 Yi 源上的耗时。

目标回复一致性

• Table 2 报 BERTScore-F1，源为 Llama-2-7B-Chat。平均分：GCG 62.33→67.72，I-GCG 62.13→68.51，GJO 66.22→66.67。
• 升幅较大的格子包括 I-GCG 的 Qwen2-7B-Instruct（53.78→72.94）和 GCG 的 GPT-3.5-turbo（38.60→52.16）。下降包括 GCG 的 Gemma-7B-It（53.82→52.15）和 GJO 的 Qwen2-7B-Instruct（69.38→61.95）；GJO 的 Gemini-2.5-flash 为 51.12→51.11。
• 作者认为 BOSS 不只提高攻击成功，也使迁移回复更接近预定目标回复；GCG 与 I-GCG 的提升更大，GJO 平均增益较小，因其基线已经更接近目标回复。Table 3 对同一行为给出经删节摘录。作者称基线 GCG 的迁移不稳定，有拒绝也有部分跟随，BOSS 更一致地保持目标回复模式，并称这与 Table 2 相符。

其他消融与分析

• Table 1 平均 T-ASR：w/ parents、w/ final、w/ BOSS 依次为 GCG 57.0、66.6、69.7；I-GCG 57.9、65.2、69.3；GJO 64.1、68.7、71.6。
• w/ parents 低于 Base 的格子包括 GCG 的 Vicuna 71.5 对 73.8，I-GCG 的 Qwen2 40.8±30.9 对 43.0±2.3、Mistral 85.8 对 90.5，GJO 的 Qwen2 74.2 对 80.2、Yi 59.2 对 66.3、Gemma 4.7 对 13.2。论文未逐格解释。
• GJO 源模型上 w/ final 的 S-ASR 为 62.8，低于 Base 的 64.3；完整 BOSS 为 82.7。
• Figure 1 纵轴为 Target Model Avg. ASR（%），横轴为 GCG、I-GCG、GJO，图例为 Final suffix 与 Best evaluated suffix。图中文字含 69.4、61.9、59.1、56.8、52.5、52.7；其中 52.5、52.7、59.1 与 Table 1 Base 的平均 T-ASR 相同。纯文本无法再核对每根柱对应哪一项图例。
• 附录 B 给出 κ、qh、λs、λh，没有对应消融表。论文未报告目标模型查询次数。

作者指出的局限与后续方向

• 诊断来源：选择父 suffix 和最终 suffix 主要依赖源侧诊断，即 source loss、TFAL 和行为覆盖率（Limitations）。
• 迁移设定：方法遵循 standard GCG-based transfer setting，在白盒源模型上优化，再迁移到未见目标（Limitations）。
• 不确定性：作者称实验显示 ASR 有提升，但可迁移性仍然不确定（Limitations）。
• 失效条件：当源与目标在架构、训练数据、对齐过程或拒答行为上差异很大时，源侧诊断可能无法预测目标模型效果（Limitations）。
• 后续方向：后续可以加入显式可迁移性目标，同时避免 target-test leakage（Limitations）。

实验覆盖范围

• 源模型为 Llama-2-7B-Chat（Table 1）和 Yi-1.5-9B-Chat（Table 4）；目标为实验设置中的 5 个开源模型与 2 个闭源模型，源模型本身另报 S-ASR。
• 基线为 GCG、I-GCG、GJO，并含 w/ parents 与 w/ final。数据为 HarmBench 训练 20 条、测试 200 条；评审器为 HarmBench-Llama-2-13B-cls；每组 3 个种子。
• 默认 N=10、T1=30、K=4、T2=50，总更新 500。Figure 3 在总预算 500 下比较 N=1、5、10、15、20；正文未列出各 N 的 ASR。
• 另报 BERTScore-F1（Table 2）、Llama-2-7B-Chat 上的墙钟时间（Figure 4），以及 Table 3 中一条行为的删节摘录。
• 论文未报告 τc、δc 的取值和分类器阈值；Table 4 注明标准差为占位。论文未报告目标模型查询次数。

BOSS 是插在 GCG 类离散 suffix 优化上的搜索框架：局部梯度更新不变，变的是固定预算花在深度还是广度。

• 问题：作者认为平均对抗损失会让已经能匹配目标前缀、但损失仍非零的易行为继续占预算；一条贪心轨迹上当前 source loss 最低的 suffix，也不一定通向最好的终端 suffix。
• 做法：先跑多条短轨迹并保留终端 suffix，用行为覆盖率作门槛，再用标准 source loss 与 TFAL 的加权分数选父节点续搜，最后在合并终端集上用同一诊断选出固定 suffix，然后才查询目标模型。
• 主结果：HarmBench、源为 Llama-2-7B-Chat、3 个种子的均值下，GCG、I-GCG、GJO 的平均 T-ASR 从 52.5%、52.7%、59.1% 到 69.7%、69.3%、71.6%（Table 1）。Gemma-7B-It 上 GCG+BOSS 为 7.2%。I-GCG 在 Mistral-7B-Instruct 上从 90.5% 到 90.2%。
• 其他结果：源换为 Yi-1.5-9B-Chat 时，三种方法的平均 T-ASR 从 43.1%、28.1%、46.2% 到 63.4%、59.8%、60.0%（Table 4 均值；该表标准差为占位）。Llama-2-7B-Chat 上的搜索时间从 471、410、340 分钟到 195、172、166 分钟（Figure 4）。平均 BERTScore-F1 上升，但 GJO 的 Qwen2-7B-Instruct 从 69.38 到 61.95（Table 2）。
• 作者结论：作者认为宽的 suffix 探索和源侧诊断是可迁移越狱优化可用的设计；同时称可迁移性仍不确定，源与目标差异大时，源侧诊断可能预测不准。