研究提出 Best-of-N 越狱的物理势垒模型，挑战攻击成功率幂律规律

Best-of-N 越狱的成功率被当成 N 的幂律来拟合，但指数为何取该值、失败从何而来并不清楚，且 (N, M) 两预算与温度 T 几乎未被一起研究。

• 场景：Best-of-N（BoN）越狱（Hughes et al., 2024）反复扰动被拒绝的不安全提示并采样补全。作者称攻击成功率（ASR）随尝试次数呈幂律增长，有时被报告为在大 N 交叉到指数增长（Halder et al., 2026）。指数和交叉预算是防御者关心的抗性估计，通常靠在对抗基准上拟合曲线得到。
• 现有不足：作者认为曲线拟合无法解释指数取值和失败来源，并把多种随机性混在一起。据作者所知，Hughes et al. (2024) 消融显示多次生成 M 并未提高攻击效率之后，没有工作研究完整 (N, M) 攻击面及其温度依赖。
• 核心观察：作者假设一条微观物理定律可以复现 BoN 的全部现象。每条提示有基线安全水平，每次增强对应一个随机、热激活的势垒；四个可解释的数即可决定整张 (N, M) 面。模型预言 ASR 并不遵循干净幂律，与 Hughes et al. (2024)、Feng et al. (2026) 的既有结论直接矛盾；指数交叉被作者视为有限对抗数据集的伪迹。
• 本文提出：物理陷阱模型（physical trap model）。生成从安全盆地出发，越狱意味着到达不安全盆地；两盆地只经熵瓶颈相通，瓶颈处有安全超平面和能量势垒。增强选择该势能的鞍点，每次补全是越过固定鞍点的独立 Arrhenius 尝试（Figure 1）。作者称四个参数可从 N≤100 外推到 N=10^4，把五个模型塌缩到同一标度函数，并由拟合温度预测其他温度的 ASR。
• 威胁模型：
  • 目标：让对齐模型对不安全提示给出越狱（不安全）补全；成功由外部评审的伤害概率超过 0.5 判定。
  • 知识与增强：BoN 可在不了解模型内部的情况下攻击 black-box 模型。本文大多数实验使用 white-box 增强核，即输入 embedding 上的高斯噪声；附录表明，只要每次增强独立同分布，模型与核的选择无关。
  • 预算：对每条提示抽 N 次增强，每次增强抽 M 个温度为 T 的补全。M=1 时退化为通常的 ASR@N。
  • 不适用：GCG、AutoDAN、PAIR 等迭代攻击不被该框架描述。

• Best-of-N jailbreaking：Hughes et al. (2024) 提出 BoN，可在不了解内部的情况下攻击 black-box 模型，并报告 ASR 随 N 呈幂律；其消融认为多次生成 M 并未提高攻击效率。Feng et al. (2026) 与 Halder et al. (2026) 在基准上做与模型无关的曲线拟合：前者看到幂律，后者在足够大的 N 看到幂律交叉为指数增长。作者称此后没有工作研究完整 (N, M) 面及温度依赖。
• 幂律来源：Hutter (2021)、Schaeffer et al. (2025)、Levi (2025; 2026)、Kazdan et al. (2025) 说明，对随机的单次成败率取平均会得到幂律或缓变幂律。最接近本文的是 Feng et al. (2026)：假设每条提示的单次成功率服从 Beta 分布，其左尾给出 N 上的精确幂律，并把 ASR@N 从约一百个样本外推到一千。作者指出两者的 Beta 不在同一层：Feng 的 Beta 描述单次率在提示之间的变化；本文的 Beta 来自微观模型，描述固定提示在增强之间的 pb,a（式 (18)），只塑造 M 通道。N 通道由跨提示的对数正态（Eb 近似高斯，式 (9)）决定，其左尾衰减快于任何幂，因此指数缓慢变化（式 (14)），而不是 Feng 的固定指数。
• 玻璃系统与表示：Bouchaud (1992)、Derrida (1981) 用指数分布深度的陷阱描述玻璃中的激活动力学；Hänggi et al. (1990) 给出熵垒与能量垒结合的 Arrhenius 逃逸。Halder et al. (2026) 也用玻璃动力学解释 BoN，但作者指出两点不同：他们只描述单一预算，本文分开 (N, M) 且两通道指数不同；他们把生成 token 当作自由度，能量景观定义在 token 空间。残差流的近似线性（Park et al., 2024; Zou et al., 2023b）以及安全可由单一超平面分开（Arditi et al., 2024; Wollschläger et al., 2025）被作者用作物理图像的动机。对齐目标来自 Rafailov et al. (2023) 的 DPO 与 Ouyang et al. (2022) 的 RLHF。
• 基线方法与基准：主实验在 AdvBench（Zou et al., 2023a）前 400 条有害提示上做 BoNM。外推对比的基线是文献中的幂律拟合，以及 Feng et al. (2026) 的 Beta 拟合。增强核引用 embedding 空间攻击（Schwinn et al., 2024; Geisler et al., 2024）及相关平滑工作（Robey et al., 2025; Cohen et al., 2019）。评审为 Granite-Guardian-3.0-2B（Padhi et al., 2024），对照为 HarmBench-13B（Mazeika et al., 2024）。

作者把本文定位为：用四个数描述整张 (N, M) 面及其显式温度依赖，从而解释为何多数工作偏向 M⋆=1，同时认为更省计算的攻击可以出现在 M⋆>1；并认为 ASR 不是干净幂律，指数交叉只是拟合所用数据集有限大小的伪迹。

作者用一个只有四个自由参数 (μα, σα, μβ, σβ) 的微观 Ansatz 描述整张 (N, M) 攻击面，并由此推出标度函数、缓变指数和温度变换。

问题设定与形式化

• 单次成功率：对提示 b 与增强 a，

p_b,a=min(1, e^{−α_b−η_b,a/T}) αb 为该提示的熵瓶颈，ηb,a 为该增强的能量鞍高，T 为生成温度。αb∼N(μα, σα²)，ηb,a∼Exp[βb]，且 log βb∼N(μβ, σβ²)。βb 只依赖提示、对所有增强保持不变。

• 群体攻击面：给定 b，有效越狱频率 Rb(M)=−log⟨(1−pb,a)^M⟩η。单次增强的存活概率为 Qb(M)，N 次后存活为 Qb(M)^N。ASR@(N/M)=1−⟨e^{−N Rb(M)}⟩b，即至少一次成功。M=1 时即通常的 ASR@N。
• 大势垒近似：作者关心大 N，行为由最难提示（αb≫1）主导；BoN 常用 M∼O(1)，从而 M e^{−αb}≪1。超几何函数化简后，log Rb(M)≃log M−Eb，其中有效提示势垒 Eb=−log⟨pb,a⟩a=αb−log(βb T)+log(1+βb T)。αb 为高斯、βb 为对数正态，故 Eb 近似高斯，均值 μE、方差 σE²。

标度、指数与最优预算

• 攻击失败率：AFR@(N/M)≡1−ASR 在鞍点近似下写成 AFR≃f_{σE}(NM) e^{−μE}。标度函数 fγ(z) 由 Lambert 函数 W0 给出（附录 A 从式 (10) 推导式 (12)）。z→+∞ 的渐近不是干净幂律，而是 fγ(z)∝z^{−νeff}，有效指数

νeff=−d log fγ / d log z ≃ (1/γ²) log z 随 z 缓慢漂移，没有平台。小预算另有闭式：AFR≃1−(NM) e^{−μE+σE²/2}，不能把式 (12) 直接取小 z，因为 fγ 本身来自大 N 鞍点近似。

• 式 (11) 的适用范围：N 与 M 对 ASR 的贡献在 M≪e^{μα} 时相同；M∼e^{μα} 时再增加尝试收益递减。若补全比增强便宜，攻击者应取 M⋆∼e^{μα}，精确 M⋆ 是附录 B 的隐式方程；若增强更便宜，则没有理由超过 M⋆=1。附录 B 还写：补全与增强同价或更贵时 M⋆=1 最优，因为 Rb(M)/M 非增。
• 防御读法：式 (6) 是势垒分布的 Laplace 变换，任意预算由 α∼log N 的极端高势垒提示主导。作者认为“又高又窄”（μE≫1 且 σE≪1）并不总是最好：Figure 6 显示更大的 σE 在大 z 更安全、在小 z 更弱。保持 σE≫1 是用另一个极值过程对抗 BoN，代价是牺牲少量易到达的低势垒。

分布假设从何而来

• 基线安全：对齐（Rafailov et al., 2023; Ouyang et al., 2022）提高“安全”相对“不安全”补全的对数几率，形成熵瓶颈。作者假设模型以基线熵垒 αb 拒绝提示 b 的不安全补全，且 α 在数据集上为高斯。
• 线性与鞍点：残差流近似线性，故单一超平面分开安全与不安全补全。超平面内的能量景观被假设极端崎岖，极小值指数分布（Bouchaud, 1992; Derrida, 1981）；每次增强抽取一个高度 ηb,a。温度 T 下越过鞍点的概率即上面的 Arrhenius 形式（Hänggi et al., 1990）。
• 残差中的对应物：离散文本 b 映射到 Qwen2.5-3B-Instruct 第 30/36 层最后 token 的残差 rb∈R^{dmodel}（附录 D）。作者事后从残差流回读模型要素，细节在实验一节。

从样本估计四个数

• 经验率：每条补全由外部评审打分，伤害概率超过 0.5 记为不安全。p̂b,a 是该增强 M 次补全中被判越狱的比例。
• 软壁 MLE：pb,a 在固定 b 上的分布为 Prob[pb,a|b]=βb T e^{βb T αb} p^{βb T−1}，上支撑为 e^{−αb}。直接用支撑边缘估计很噪，故用 Beta 分布 p̂∼B(β̂b T, ĉb) 对 k̂b,a∼Binomial(M, p) 做最大似然，再用式 (20) 回收 α̂b。从未被越狱的提示无定义，在 Table 1 中被丢弃。
• 拟合质量：作者称在 400 条提示上，M≤300 时 log Qb(M) 的典型误差为 0.17，支持 η 的指数分布是该数据集上的可用近似。不确定性为对提示做 cluster bootstrap（2000 次重采样）的 ±1 标准差。BoN 核噪声幅度选成使中位越狱率落在 1–5%。

温度结构与成功判定

• 谁随 T 动：只有鞍点穿越是热的。αb 与 βb=1/Tg 不应随 T 移动。由 T=1 的数据预言新温度的公式是 pb,a(T′)=e^{−αb(1−1/T′)} pb,a(1)^{1/T′}（式 (21)），熵垒留在 1/T 之外。纯 Arrhenius 则把 αb+ηb,a 全部除以 T。
• 判定：主文全部数字由 Granite-Guardian-3.0-2B 评分。附录用同一批生成换 HarmBench 分类器重标，检验分布族是否依赖评审。增强在实验中为 embedding 高斯噪声或字符级噪声；附录 F 要求核独立同分布地作用于每一次增强。

实验设置

• 模型：Qwen2.5-7B（base）、Llama-3.1-8B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9B-it。作者称覆盖 Qwen、Llama、Gemma 三族、3B 到 9B 的开源模型。
• 数据与网格：每模型在 AdvBench 前 400 条有害提示上做 BoNM。主结果来自 N=100、M=300 网格；另有独立的 N=10^4、M=1 攻击以探测大 N。噪声方差 σ 选成使各模型平均越狱率在 1–5%（Table 1 注写的是中位越狱率 1–5%）。
• 评审：Granite-Guardian-3.0-2B；HarmBench-13B（附录写 HarmBench-Llama-2-13b-cls）作对照。伤害概率超过 0.5 视为不安全。
• 温度实验：在 100 条提示上、沿用 T=1 网格的增强种子，于五个温度重跑网格。外推拟合窗口为 N≤100、M≤30，检验 N∼10^4 与 M∼300。
• 几何探针：在 Qwen2.5-3B-Instruct 第 30/36 层最后 token 残差上做线性读出。安全向量由评审称为不安全与安全的补全残差对比、归一后再对全部 b、a 平均得到。
• 参数不确定性：Table 1 为 T=1、式 (20) 估计；±1 标准差来自对提示的 cluster bootstrap（2000 次）。从未越狱的提示被丢弃。

主结果

Table 1 在 T=1 给出五模型四参数及有效势垒（从未越狱的提示已丢弃）：

Swipe horizontally to read the table

模型	μα	σα	μβ	σβ	μE	σE
Qwen2.5-7B (base)	0.57±0.03	0.27±0.03	+1.99±0.09	0.85±0.05	0.73±0.03	0.33±0.04
Llama-3.1-8B-Instruct	0.39±0.10	0.93±0.11	−1.29±0.15	1.33±0.11	2.05±0.15	1.36±0.11
Qwen2.5-3B-Instruct	1.83±0.03	0.65±0.03	−0.88±0.03	0.52±0.02	3.08±0.03	0.58±0.02
Qwen2.5-7B-Instruct	2.10±0.06	1.30±0.05	−1.97±0.05	1.07±0.04	4.27±0.08	1.65±0.06
Gemma-2-9B-it	2.59±0.06	0.60±0.04	+1.07±0.08	0.75±0.06	2.93±0.06	0.62±0.03

• 作者对 Table 1 的解读：base 模型几乎没有势垒，其中位增强大约一半时候被越狱。同一模型的 instruct 版本把 μα 提高约四倍、σα 提高约五倍，故熵垒来自训练或微调而不是架构。对齐还把 μβ 从 +1.99 移到 −0.9 或 −2.0。两个 Qwen-Instruct 中，7B 既更安全（μα 更高）又更不易受 BoNM 影响（μβ 更低）。Gemma 偏向“熵防御”（α 通道），Llama 完全经由“能量防御”（β 通道）。
• 分布形态：Figure 2 中，跨提示的 αb 近似高斯、βb 近似对数正态；标准化后两个 instruct 模型的原始分布虽不同，但不能与 N(0,1) 区分。作者称正态与对数正态族是普遍的，只有矩随模型变化。
• 残差几何：Figure 3(a) 中，沿单一监督安全读出的平均投影把补全分成安全与不安全两区，held-out AUC=0.89。Figure 3(b) 用增强提示最后 token 的中心化残差线性预测 log pb,a−⟨log pb,a⟩a，held-out R²=0.69，投影展宽与 βb 的 Spearman 相关为 −0.59。Figure 3(c) 把恢复的 η̂b,a 与推过同一估计器的指数假设比较，DKS=0.069。

外推、温度与标度塌缩

• 四参数对八百参数：在 N, M≤100 网格上，只用四个群体参数的 ASR 预测 MAE 为 0.031；每条提示单独做 Beta 拟合（作者称 800 个参数）的 MAE 为 0.034。作者据此认为这四个数是模型属性，不依赖具体提示与增强。
• 外推：在 N≤100、M≤30 上拟合后，Figure 4(a) 外推到 N∼10^4。作者称幂律外推明显偏离；相对 Feng et al. (2026)，3B 上两者相同，7B 上本文更准。Figure 4(b) 外推到 M∼300。Figure 4(c) 用 100×300 网格与 10^4×1 网格两种方式测有效势垒 −log⟨pb,a⟩a，相关 r=0.85（3B）与 0.96（7B）。
• 温度：Figure 5(c) 中 μα、μβ 对 T 平坦，以 T 为单位的鞍高遵循 1/T。式 (21) 用 T=1 拟合的 αb 预言新温度，相对纯 Arrhenius 在全部四个未见温度上把误差降低 3.7 到 7.5 倍；作者称纯 Arrhenius 在两个方向都夸大了温度效应。Figure 6：按 z=(NM)e^{−μE} 作图时，小 M 闭式在大 z、较大 M 处开始偏离；改用与 M 无关的形式后，所有列出的 M（1、2、4、8、16、64）在大 z 仍贴标度曲线。作者称 Qwen7B-Instruct 与 Llama（σE∼1.5）相对 Qwen3B-Instruct、Qwen7B-base 与 Gemma（σE∼0.5）分开。

幂律漂移与伪指数交叉

• 局部指数：把 Table 1 的四个数外推到单独的 N=10^4、M=1 攻击。Figure 7 中，群体定律直到 N∼10^3 都贴合测量，之后数据转向指数衰减。测量的 νeff(N) 跟随理论漂移：从 N=2 时的 0.1 到 N∼10^2–10^3 时超过 2，没有平台。作者称这直接与 BoN 的固定幂律解释矛盾。
• 有限数据集：P 条提示的群体平均是 P 个指数之和。超过 Nres=1/minb⟨pb,a⟩a 后，连数据集里最难的提示也被越狱，存活由这一条主导，衰减为纯指数 (1−⟨p⟩a)^N/P。Figure 7(b) 中 νeff 从约 2 升到约 10^2。Figure 7(c) 在 P 条最容易提示的嵌套子集上，加入更难提示把 Nres 从 18 移到 111，弯曲随之后移。对 400 条 AdvBench，Nres 对 Qwen-3B-Instruct 约为 10^2，对 Qwen-7B-Instruct 约为 2×10^3。
• 估计细节：Figure 7 对每条提示抽 G=10^4 次增强，其中 H 次被越狱（含从未越狱的提示）。预算 N 的存活用组合数之比估计：随机 N 子集中不含任何已越狱增强的比例。

其他消融与分析

• 字符核 vs embedding 核（附录 F，同一模型、同一 100 条提示）：字符 σ=0.25 的中位率 0.012，μα=2.33±0.12，μE=4.28±0.13；embedding σ=0.048 的中位率 0.054，μα=1.68±0.06，μE=3.02±0.05；embedding σ=0.030 的中位率 0.007，μα=2.60±0.17，μE=4.91±0.14。中位率接近时（0.012 与 0.007）四参数在噪声内大体一致。字符核下标准化 αb 的 KS p=0.94，log βb 的 KS p=0.95；在 N≤100、M≤50 上重建 ASR 面的 MAE=0.019。
• 评审对照（附录 G，Qwen2.5-3B-Instruct 同一批 400×100×300 即 1.2×10^7 条补全）：Granite 的逐补全成功率 0.044、μα=1.83、μE=3.08、从未越狱 0 条；HarmBench 为 0.003、4.66、6.43、2 条。μE 相差 3.35。两评审下 αb 仍为高斯、log βb 仍为对数正态；更严的评审把 σα 从 0.65 扩到 1.04、σβ 从 0.52 扩到 0.77。
• 删失：作者称在 N∼10^4 时大多数提示可分辨，但最安全模型上仍须丢掉若干从未越狱的提示，使参数偏向“更软”。附录 C 用模型自身抽出的合成数据走同一流水线，两种偏差符号相反，μα 的净移动是向上几个十分之一，而不是向下；作者称结果只准确到几个十分之一，与报告的误差条同量级。
• M 通道宽度（附录 A，Qwen2.5-3B-Instruct）：测量的 σR(M) 从 M=1 的 0.55 到 M=64 的 0.54，几乎不随 M 变，故塌缩时宽度固定为 σE。

作者指出的局限与后续方向

• 模型规模（Ethics Statement, Limitations）：研究限于中等规模的 open-weight 模型。在前沿模型上复现超出计算能力，也违反专有模型的服务条款。
• 对抗数据集大小（同一节）：多数拟合实际上受限于相对较小的对抗提示数据集（400 条）。更准确的大 N 行为需要更大的对抗数据集。
• 单一数据集（同一节）：只用了一个数据集；扩展到其他数据集会改进主张的普遍性。
• 删失偏差（同一节）：攻击预算 N∼10^4 能分辨大多数提示，但最安全的模型仍须丢掉若干从未越狱的提示，使参数看起来更“软”。附录 C 测得两种偏差符号相反，μα 净移动为向上几个十分之一。分辨被删失的提示需要更大攻击预算，超出计算能力。结果只准确到几个十分之一，与误差条同量级。
• 评审与语言（同一节）：依赖 LLM 作为有害行为评审，没有人工对照。作者用了不止一个 LLM 评审，并称结果不依赖某一个评审；同时写明自动评审已知会不一致（Souly et al., 2024; Ran et al., 2025）。只研究了英文，没有理由认为其他语言表现相同，某些语言可能更容易越狱。
• 对齐映射（Section 5）：不同对齐方案似乎对应不同防御类型。Llama 与 Gemma 用了相反的配方：离线 DPO 相对 on-policy RL。对齐训练如何映射到这四个参数超出本文范围，但是值得做的后续。Reproducibility Statement 写明代码与逐提示拟合参数将会发布。

实验覆盖范围

• 被测生成模型为 Qwen2.5-7B（base）、Llama-3.1-8B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9B-it，主网格为 AdvBench 前 400 条、N=100、M=300，另有 N=10^4、M=1（Section 4，Table 1）。
• 温度扫描为五个温度、100 条提示，增强种子与 T=1 网格相同；外推拟合窗口为 N≤100、M≤30（Section 4.1，Figure 5）。
• 残差探针做在 Qwen2.5-3B-Instruct 第 30/36 层；主文评分全部来自 Granite-Guardian-3.0-2B，HarmBench 重标的是同一批 3B 生成（Section 4，附录 G）。
• 字符级噪声与 embedding 高斯噪声的对照在同一模型、同一 100 条提示上进行（附录 F，Table 4）。论文写明 GCG、AutoDAN、PAIR 等迭代攻击不由该框架描述（Section 2）。
• 论文报告了 cluster bootstrap 次数（Table 1 为 2000，Table 4 为 1000）以及 MLE 在 400 条提示、M≤300 上 log Qb(M) 的典型误差 0.17；论文未报告人工与自动评审的一致性数值。

Biroli 用一个玻璃陷阱式的微观模型，把 Best-of-N 越狱写成熵瓶颈加能量鞍点，并用四个数描述 (N, M) 攻击面及温度依赖。

• 问题：BoN 的 ASR 常被拟合成 N 的幂律，大 N 有时被报告成指数交叉。指数和交叉预算被当作抗性，但拟合不解释指数来源，也把多种随机性混在一起。完整 (N, M) 面和温度 T 此前几乎没被一起测量。
• 方法：pb,a=min(1, e^{−αb−ηb,a/T})。αb 在提示间为高斯，ηb,a 对固定提示为指数分布，其速率 βb 为对数正态。大势垒下，失败率由标度函数 fσE(NM) 决定，有效指数随 log z 漂移，而不是常数。只有鞍点随 1/T 缩放，熵垒不随温度动。
• 主结果：Table 1 中，Qwen2.5-7B base 的 μE=0.73±0.03，其 instruct 版为 4.27±0.08；Gemma 的 μα 最高（2.59±0.06）但 μβ 为正（+1.07），Llama 的 μα 最低（0.39±0.10）而 σE 达 1.36。四参数在 N,M≤100 上的 MAE 为 0.031，与逐提示 Beta 拟合的 0.034 相当，并能从 N≤100 外推到 N∼10^4（Figure 4）。五个模型的 AFR 按 z=(NM)e^{−μE} 塌缩（Figure 6）。
• 几何与温度：Qwen2.5-3B-Instruct 残差上，安全方向 held-out AUC=0.89，从增强提示预测对数越狱率的 held-out R²=0.69，恢复鞍高相对指数假设的 DKS=0.069（Figure 3）。式 (21) 相对纯 Arrhenius 在四个未见温度上把误差降低 3.7–7.5 倍。
• 作者的结论：ASR 没有固定幂律指数；Figure 7 里 N∼10^3 之后的指数衰减是 400 条数据集的分辨率伪迹，Qwen-7B-Instruct 的 Nres≈2×10^3。防御上，大 σE 在大预算更难被极值攻击打穿，但会留下易攻破的低势垒。若补全比增强便宜，计算最优的 M 可以大于 1。不同对齐配方对应熵防御或能量防御，映射本身留作后续。