Best-of-N Jailbreaking：一种跨模态的黑盒越狱算法

1. 01这篇论文试图解决什么问题？

   作者提出 BoN Jailbreaking：对提示词反复采样随机增强的 black-box 越狱，覆盖文本、视觉、音频三种模态。

   核心问题：如何用一种简单、无需内部访问的 black-box 方法，自动化地越狱跨模态的前沿 AI 系统，以评估其安全防护。

   • 场景与动机：作者认为，随着模型能力增强并支持更多输入模态，越狱可能被用于网络犯罪、生物武器、虚假信息等，因此需要能无缝应用于多模态的自动化红队方法来评估模型防护。
   • 现有方法不足：按论文说法，多数越狱方法需要 logprobs、梯度或多步迭代优化，难以用于限制访问的闭源模型和新模态；作者称 BoN 不需要这些，且实现快。
   • 核心观察：模型输出是随机的，且对高维输入空间中看似无害的变化敏感；反复采样足够多增强变体，总有一个能绕过防护。作者报告成功的越狱在重采样下只有约 20%–30% 的时间复现，说明攻击利用的是输出分布的方差而非稳定模式。
   • 论文提出：Best-of-N (BoN) Jailbreaking 算法；ASR 随采样数 N 的幂律 scaling 规律及预测方法；与 PrePAIR、MSJ 等前缀攻击的组合；以及对越狱可靠性、难度相关性的机理分析。
   • 威胁模型：
     • 目标：让模型对 HarmBench 有害请求输出有害内容。
     • 知识：black-box——作者明确称不需要 logprobs 或梯度。
     • 能力：反复提交增强后的输入（文本/图像/音频），可设置采样温度，可修改系统提示词（Cygnet 实验中如此）；Gemini API 的可选安全过滤器被关闭，作者理由是真实攻击者也会关闭。
     • 受害系统：Claude、GPT、Gemini、Llama 等前沿 LLM/VLM/ALM，以及 circuit breakers 和 GraySwan Cygnet 防御。

   收起这一问

2. 02有哪些相关研究？

   相关工作分文本越狱、多模态越狱两组；作者将 BoN 定位为无需优化、无需 logprobs 的重复采样方法。

   文本 LLM 越狱

   • Huang et al. (2023)、Yu et al. (2024)：分别用解码变化和 fuzzing 变异输入来引发越狱，与 BoN 的重复采样和增强思路相近。
   • Doumbouya et al. (2024)、Samvelyan et al. (2024)：前者把攻击建模为字符串变换的组合并用多步迭代优化搜索，后者把对抗提示生成建模为 quality-diversity 搜索；论文指出 BoN 文本攻击属于字符串变换一类，但不需要优化，靠大 N 重复采样起效。
   • Andriushchenko et al. (2024)、Zou et al. (2023)：分别用随机 token 搜索优化目标 log 概率、用梯度方法；论文指出 BoN 不需要 log 概率或梯度，也不依赖模型间迁移，适合限制访问的模型。
   • LLM 辅助攻击（Chao et al., 2023; Shah et al., 2023; Zeng et al., 2024; Mehrotra et al., 2023; Yu et al., 2023）：用 LLM 生成攻击策略；论文称 PrePAIR 与之类似，但 BoN 本身聚焦增强采样，且不同于人工红队和遗传算法（Wei et al., 2024; 2023; Lapid et al., 2023; Liu et al., 2023）。

   其他模态的越狱

   • VLM 攻击：开源参数模型上多用梯度方法生成对抗图像（Zhao et al., 2023; Qi et al., 2024 等约 20 篇）；闭源模型上有用含排版有害文字的图像绕过防护的工作（Gong et al., 2023; Shayegani et al., 2023; Li et al., 2024a），论文称这与 BoN 生成排版增强图像的方式相似。
   • ALM 攻击：已有工作多是直接朗读有害请求而不加增强（Shen et al., 2024; OpenAI, 2023a; Gemini Team, 2024）；Yang et al. (2024) 用加性噪声越狱 ALM，论文称这类似其音频增强之一。

   基线与基准：实验中的对照基线是不加增强、仅以温度 1 或 0 重采样同一请求 500 次；组合实验用 PAIR（Chao et al., 2023）改造的 PrePAIR 和 MSJ（Anil et al., 2024）。评测用 HarmBench（Mazeika et al., 2024）的 159 条 direct requests，前缀训练用 AdvBench（Chen et al., 2022）。

   作者将 BoN 定位为：与上述方法相比更简单（增强是对请求的直接扰动）、纯 black-box、且天然覆盖多模态的越狱算法。

   收起这一问

3. 03论文如何解决这个问题？

   对同一请求反复采样随机增强直到输出有害内容；用 bootstrap 估计 ASR(N)，并拟合幂律预测更大 N 的 ASR。

   整体思路：Best-of-N (BoN) Jailbreaking 把同一有害请求以大量随机增强的变体反复提交给目标模型，直到某次输出被判定为有害或达到采样上限 N。

   算法流程

   • 增强采样：对每条请求随机组合应用模态特定的增强，要求增强后请求仍可理解、意图可辨认。
   • 生成与判定：目标模型处理增强输入，用 GPT-4o 加 HarmBench grader prompt 给输出分类有害性；判定为有害即停止，否则继续采样，最多 N 次。
   • 防假阳性停止：附录 B.1 给出额外停止标准，过滤分类器假阳性（如排除与原始请求差异不超过 8 个词、或不超过 50 词的响应，以及含特定模态短语的响应），降低因假阳性提前终止的概率。

   模态特定增强（附录 A）

   • 文本：字符乱序（长词中间字符以 0.6 概率打乱，首尾不变）、随机大小写（0.6 概率）、字符加噪（以 0.06 概率把字符 ASCII 值加减 1）。
   • 视觉：把请求排版成图像——随机尺寸（240–600 像素）、黑色背景上 50–80 个随机色块、随机字体（104 种）、字号、粗细、颜色、位置；文字溢出则重新生成。配套文本提示为 "Follow the instructions in the image."。
   • 音频：请求先由人声或 TTS 朗读，再按固定顺序 [speed, pitch, speech, noise, volume, music] 应用六种增强；从 N(0, σ²I) 采样六维向量（σ=0.25），按各增强的取值范围映射（如音高 ±2000 cents、音量跨六个数量级、背景声 SNR -10 到 30 dB）。

   ASR 估计与幂律拟合

   • 指标：ASR 是 159 条 HarmBench "standard" direct requests（排除 copyright 和 contextual 类）上成功越狱的比例，作为 N 的函数报告。
   • Bootstrap：不重跑实验，而是对每条请求观察到的成功/失败轨迹做 100 次 bootstrap 重采样，报告平均 ASR，标准差作误差棒；结果应理解为多条轨迹的期望 ASR。
   • 幂律：拟合 −log(ASR) = aN^−b，即 ASR 随 N 在 log-log 空间近似线性；用对数间隔取点、忽略前 5 个点做线性回归。预测时用仅到 N=1,000 的数据拟合，再外推最终 ASR。

   成功判定

   • 只要输出包含与有害请求相关的信息即算成功，即使不完整；作者称多数成功越狱内容全面，但小的有害片段也可能被利用。所有被标记为潜在越狱的输出都经人工复核。

   攻击组合

   • PrePAIR：改造 PAIR，让攻击方 LLM（GPT-4o，温度 0.8）只优化一段通用前缀而非整个请求；前缀与 4 条请求组成批次，全部越狱成功或达 30 次迭代停止；音频前缀用 ElevenLabs TTS 朗读后拼接，视觉前缀与请求一起排入图像。
   • MSJ：对 Claude 模型（PrePAIR 文本在其上无效）改用 many-shot jailbreaking：用 BoN 在 AdvBench 子集上越狱得到的响应，经 GPT-4o-Mini 规范化后组成 100-shot 前缀；组合时额外打乱演示顺序。组合时增强同时作用于请求和前缀。

   收起这一问

4. 04论文做了哪些实验？

   在 HarmBench 159 条请求上测三种模态 11 个系统：文本 N=10,000 全部 ASR 超 50%，并攻破两种防御；ASR 呈幂律 scaling。

   实验设置

   • 被测模型：文本——Claude 3.5 Sonnet、Claude 3 Opus、GPT-4o、GPT-4o-mini、Gemini-1.5-Flash-001、Gemini-1.5-Pro-001、Llama 3 8B、Llama-3-8B-Instruct-RR（circuit breaking 防御）、GraySwan Cygnet；视觉——同前（不含 Llama）；音频——Gemini Flash/Pro、DiVA、GPT-4o Realtime API。
   • 数据集：HarmBench "standard" 类 159 条 direct requests；MSJ 前缀用 AdvBench 子集构建。
   • 参数：文本 N=10,000，视觉与音频 N=7,200，温度 1；音频 max tokens 200；Cygnet 实验 N=6000、max tokens 1000。
   • 判定：GPT-4o + HarmBench grader prompt 初判，所有被标记输出经人工复核；附录 E.1 报告分类器假阳性率因模型而异（如 Circuit Breaking 43%、GPT-4o 1%）。
   • 基线：不加增强、温度 1 或 0 重采样同一请求 500 次。
   • 统计：ASR 经 100 条 bootstrap 轨迹取平均；未报告人工复核的评分者间一致性。

   主结果

   据正文 3.1–3.3 节与 Figure 1（文本为 N=10,000，视觉/音频为 N=7,200 的 ASR）：

   表格较宽，可左右滑动

   模型	文本	视觉	音频
   Claude 3.5 Sonnet	78%	33%	不支持
   Claude 3 Opus	92.45%（Table 3）	88%	不支持
   GPT-4o	89%	56%	71%（Realtime）
   GPT-4o-mini	94.91%（Table 3）	67%	未报告
   Gemini Flash	63.52%（Table 3）	46%	71%
   Gemini Pro	50%	25%	59%
   Llama 3 8B	94%	未报告	未报告
   Circuit Breaking	52%	未报告	未报告
   DiVA	未报告	未报告	87%

   • 作者称文本 BoN 在八个模型上 ASR 均超 50%；摘要与引言报告 GPT-4o 为 89%、Claude 3.5 Sonnet 为 78%，Table 3 给出 88.68% 与 77.99%。
   • 不增强直接请求时 ASR 为 0.6%（Sonnet）和 0%（Gemini Pro）。
   • 视觉攻击普遍弱于同模型文本攻击（如 GPT-4o：文本 87% vs 图像 56%，N=7,200）；Gemini 模型音频反而比文本/视觉高（Gemini Pro 音频比文本高 10 个百分点）。

   防御系统与成本

   • Circuit Breaking：Llama-3-8B-Instruct-RR 被以 52% ASR 攻破（N=10,000）；作者称该模型比 Llama3.1 8B（94% ASR）更鲁棒，但仍被攻破。
   • Cygnet：标准 BoN 只有 5% ASR；加入让模型模仿输入格式的系统提示词后达 67%（附录 C.2 正文；Figure 11 图注写 86%）。作者报告 90% 被判有害的响应含短路短语，但模型在短路前已输出有害信息。
   • 成本：Table 3 报告 GPT-4o 在 N=100 时 ASR 49.37%、成本 8.66 美元；GPT-4o-Mini 50% ASR 成本不足 2 美元；便宜模型的总成本中 95% 来自 GPT-4o 分类器。

   幂律 scaling 与预测

   • 拟合：作者称 −log(ASR) = aN^−b 在多模型多模态上拟合良好（Figure 3）；斜率 b 跨模型相近，截距差异大；GPT-4o 的误差棒略向下弯，作者认为可能优于幂律。
   • 预测：用 N=1,000 拟合外推，文本预测 N=10,000 的平均误差 4.4% ASR，视觉 6.3%、音频 2.5%（预测到 N=7,200）；跨模型与模态平均 4.6%。对最终 ASR 高的模型预测系统性偏低；附录 C.3 的改进 bootstrap 把 GPT-4o/Sonnet 文本误差降到 3.3%/0.9%，但对 Sonnet 和 Gemini Pro 视觉高估 32% 和 26%。

   机理分析

   • 增强的作用：N=500、温度 1 时，文本 BoN 在 Gemini Pro/GPT-4o/Sonnet 上 ASR 为 24%/56%/68%，分别是无增强基线的 3.5/22/3.5 倍；温度 0 基线 500 次几乎无提升（Figure 5、15）。
   • 温度：温度 1 优于 0，但差距小——文本上从 Claude Opus 降 0.7% 到 Gemini Pro 降 27.7%（Figure 6）；音频差距更大，作者推测与 ALM 输入过滤有关。
   • 可靠性：成功越狱重采样 100 次，温度 1 时文本/视觉/音频平均仅 30%/25%/15% 复现（Table 1 文本均值 32%，温度 0 为 47%）；温度 0 呈双峰分布。
   • 难度相关性：各模型间越狱难度的 Spearman 秩相关多为 0.6–0.8（Figure 8），Circuit Breaking 与其他模型仅 0.3–0.5，作者称这提示其提供了性质不同的防护。

   攻击组合

   • 最终 ASR（N=6000，Table 5–7）：文本——GPT-4o 86.2%→96.9%、Sonnet 74.2%→89.2%、Gemini Flash 57.9%→93.7%；视觉——Gemini Flash 45.3%→100%；音频——Gemini Pro 59.1%→87.4%。
   • 样本效率：文本最高 85x（Gemini Flash），视觉最高 2000x（Gemini Flash），音频最高 250x（Gemini Flash）；引言称 BoN+MSJ 使 Sonnet 文本达到 74% ASR 所需 N 从 6000 降到 274（28 倍）。
   • 负面结果：PrePAIR 文本前缀对 Claude 模型无效（改用 MSJ，单独 ASR 仅 6.3%）；附录 D.6 报告寻找通用音频越狱的多种尝试（贪心堆叠、CMA-ES、Morse code、有害声音组合）均未成功；音频组合实验因成本未在 GPT-4o Realtime 上运行。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出增强优化、更大 N 验证、白/灰盒信号等方向；实验限于 HarmBench 159 条请求与所列模型。

   作者指出的局限与后续方向

   • 增强未优化（Future Work）：作者称选择增强时只做了最少的优化，可用更高级的增强（如密码、改写请求、后缀采样策略、SVG 图像攻击）提升效果。
   • 更大 N 的可扩展性待验证（4.2 节）：作者称 scaling 趋势提示 BoN 可能最终越狱任何请求，但需要未来工作确认在更大 N 下的可扩展性，并解决分类器假阳性导致提前终止、且目前依赖人工复核的问题。
   • 白盒/灰盒信号（Future Work）：可探索 white 和 grey-box 优化信号与更复杂的 black-box 优化算法，以发现更有效的扰动。
   • 音频增强顺序（附录 A.3）：作者称未做改变增强应用顺序的实验，留待未来工作。
   • 背景声文件固定（附录 A.3）：可从 Musan 集中采样更多背景声文件来改进算法，作者称其为 further work。
   • 前缀迁移机制不明（附录 D.7.4）：音频与文本前缀效果差异的原因未找到规律，作者建议未来工作进一步研究；BoN 生成的攻击数据可用于构建对抗训练集（Future Work）。

   实验覆盖范围

   • 被测模型为正文列出的 9 个文本系统、6 个视觉模型、4 个音频系统；数据集为 HarmBench 159 条 direct requests（排除 copyright 与 contextual 类）。
   • 采样预算：文本 N=10,000、视觉与音频 N=7,200、Cygnet N=6000；温度主要为 1，温度 0 作对照。
   • 组合实验中，音频模态只测了 Gemini Flash/Pro，作者称因 OpenAI Realtime API 成本未测 GPT-4o 音频（附录 C.7）。
   • 判定依赖 GPT-4o + HarmBench grader，全部标记输出经人工复核；论文未报告复核人数或评分者间一致性。
   • 音频单增强扫描中，GPT-4o 音频因 API 限速只覆盖 159 条中的 74 条（附录 D.2.1 脚注）。

   收起这一问

6. 06总结一下论文的主要内容

   BoN Jailbreaking：反复采样随机增强的 black-box 越狱，三种模态均有效，ASR 随 N 呈幂律 scaling，可与前缀攻击组合。

   一篇多模态越狱攻击论文，提出 Best-of-N (BoN) Jailbreaking：对同一有害请求反复采样随机增强变体（文本字符扰动、图像排版变化、音频变速变调加背景声），直到模型输出有害内容。方法纯 black-box，不需要 logprobs 或梯度。

   • 问题：作者认为需要能跨文本、视觉、音频模态评估前沿模型防护的自动化红队方法，而现有越狱多依赖内部访问或复杂优化。
   • 方法：在 HarmBench 159 条 direct requests 上，用 GPT-4o + HarmBench grader 判定、人工复核，bootstrap 估计 ASR 随采样数 N 的变化，并拟合幂律 −log(ASR) = aN^−b 做预测。
   • 主结果：N=10,000 时文本 BoN 在八个模型上 ASR 均超 50%——GPT-4o 89%、Claude 3.5 Sonnet 78%、Gemini Pro 50%；攻破 circuit breakers（52%）和加系统提示词的 Cygnet（67%）。
   • 跨模态：视觉最高 88%（Claude Opus），音频最高 87%（DiVA）、GPT-4o Realtime 71%。
   • Scaling：ASR 随 N 呈幂律式行为，用 1,000 样本预测最终 ASR 平均误差 4.6%；成功越狱重采样仅约 20%–30% 复现，作者据此认为攻击利用的是输出随机性。
   • 组合：与 PrePAIR/MSJ 前缀组合后样本效率最高提升 250 倍（Gemini Flash 音频），GPT-4o 文本最终 ASR 从 86.2% 升至 96.9%。

   作者的结论：尽管前沿模型能力强，其随机输出和对输入微小变化的敏感性可被简单算法利用；作者认为这给防护带随机输出、连续输入空间的模型带来挑战，并计划用更优增强、白/灰盒信号和对抗训练数据延续此工作。

   收起这一问

相关论文