Statistical estimation of adversarial risk of large language models under Best-of-N sampling

单次或低预算越狱评测会低估 Best-of-N 采样下的对抗风险。

• 场景：作者认为，LLM 部署在安全失败会带来社会与运行后果的系统中，但多数安全基准只做单次或低预算查询，默认攻击者不能反复探测。
• 不足：作者称攻击者可并行发出数千次尝试，直到出现一次有害响应。Hughes 等（2024）观察到 ASR 随采样上升，但没有在无法穷尽评测时外推大预算 ASR 的统计框架。
• 观察：作者认为缩放速度由各查询单次成功概率的分布决定，可用 Bernoulli 的共轭先验 Beta 表示。Figure 2 中，ASR@1 更高的攻击在更大 N 上并不保持领先。
• 方法：提出 SABER（scaling-aware Best-of-N estimation of risk），用小预算拟合该分布并外推 ASR@N。作者计划在发表后发布代码与评测脚本。
• 威胁设定：
  • 目标：使评审把受害模型对有害查询的响应判为越狱，即 s=1。
  • 能力：Best-of-N。可做 N 次并行尝试；出现一次成功或预算耗尽即停。论文写实际攻击者可自动化大规模并行采样。
  • 知识：论文未用 white-box 或 black-box 定义该估计问题。实验同时使用开源与闭源受害模型。
  • 系统与判定：受害系统是模型 V，连同攻击器 A 与评审 J。ASR@N 是 K 条查询上、N 次尝试按 OR 聚合后的期望成功率。作者为简化表述，假设每次尝试独立抽取整条 A–V–J 流程。

论文没有单独的 Related Work。引言、预备知识与实验设置里讨论的工作如下。

Best-of-N 与重复采样

• Hughes 等（2024）：Best-of-N Jailbreaking。字符级或表面形式扰动下，ASR 随采样数上升；log(−log(ASR@N)) 对 log N 近似线性，斜率随 (A, V, J) 变化且事先未知。论文指出它主要展示重复采样有效，未给出大预算外推框架；其曲线拟合即本文 SABER-Fit 的来源。
• He and Lab（2025）：讨论 LLM 推理的非确定性。作者据此说明，固定对抗提示后多次采样受害响应，或重复采样评审，也可出现越狱，因此把每次尝试写成独立抽取整条流程。

评测与风险基准

• Mazeika 等（2024）HarmBench：标准化自动红队评测。本文使用其查询子集，以及 HarmBench Classifier 与 LLM Classifier 两种评审。
• Akiri 等（2025）：被引用以支持单次或低预算评测会系统低估真实风险。论文未展开其方法。

成功率估计

• Chen 等（2021）：在代码生成中用 1−(1−θ̂)^N 估计 Pass@N，与 ASR@N 同形；另有组合估计器，要求 n≥N。作者称后者因此不适用于目标 N 远大于测量预算 n 的情形。

• Shah 等（2025）：经验分析采用与朴素基线相同的形式。Hughes 等（2024）也用首次成功轨迹的近似估计 ASR@N，作者称朴素基线与之匹配。

• Sun 等（2025）、Guo 等（2025）：ADV-LLM 与 Jailbreak-R1。论文把它们作为实验中的攻击器，未单独批评。

• 基线方法：式(15) 的 naive 估计。用小预算的 θ̂i=ki/n 计算 1−(1−θ̂i)^N，再对查询平均。

• 基准：HarmBench（Mazeika 等，2024）。标准功能类，去掉 copyright 与 contextual 后 159 条。

作者把本文定位为：缩放轮廓是对抗风险的必要部分，直接评测大 N 往往过贵；SABER 用 Beta 混合给出解析缩放律，从小预算预测 ASR@N。

SABER 把 Best-of-N 越狱看成查询间成功概率不同的 Bernoulli 试验，用小预算拟合 Beta 参数，再外推大 N 的 ASR。Figure 1 分为收集、拟合、预测三步。

问题设定

• 给定有害查询 q：攻击器采样对抗提示，受害模型生成响应，评审给出 s∈{0,1}。数据集 QH 有 K 条查询。
• 不带后缀的 ASR 指 ASR@1。ASR@N 是每条查询 N 次尝试按 OR 聚合后，再对查询取期望。
• 一次尝试视为成功概率 θ 未知的 Bernoulli。共轭先验为 θ~Beta(α,β)；看到 k 次成功、n 次试验后，后验仍为 Beta。对 θ 积分得到 Beta–Binomial 边际。

缩放律

• 假设 3.2：对固定 (A, V, J) 与 QH，各查询的 Sample-ASR θi 来自 Beta(α,β)；给定 θi 后，尝试为 i.i.d. Bernoulli。作者称这来自共轭性，并在附录 C.2.1 做拟合检验。
• 在该假设下，N→∞ 时 ASR@N ≃ 1−(Γ(α+β))/(Γ(β))N^−α。α 控制随 N 放大的速度，Gamma 比是首项常数。作者称放大速度由样本级脆弱性分布的左尾决定。
• 该式是渐近结果。作者引用 Spiegel（1999），称 Stirling 型近似在 N≥5～10 已较准确。作者称常见流程常有 α<1、β<2，此时 N≥20 时式(8)误差小于约 1%。小 N 或 β 更大时，把 N 换成 N+β+(α−1)/2；作者称 α<1、β<4 且 N≥5 时，校正误差小于约 0.1%。后文大 N 推导主要用未校正的式(8)。
• (α,β) 属于所选 QH 与指定流程，不是普适常数。附录另给不可破解查询的尖峰–平板先验，以及在线流量中有害提示概率为 ph 的公式；实验节未报告这两类扩展的数值。

分布估计

• 两阶段做法先算 θ̂i=ki/n，再对 {θ̂i} 拟合 Beta。作者称 n 小时把 θ̂i 当无噪声观测会失准。
• 主估计是一步 Beta–Binomial 对数似然，用 L-BFGS-B 或 Newton 类约束优化求 (α̂, β̂)。预算不均时，把 n 换成查询专属 ni。
• 附录给出 MLE 的渐近协方差：Var(α̂)、Var(β̂) 随 K 按 1/K 下降。Figure 3 用合成数据，K=159、真值 α=0.4、β=4；作者称 n=10 已明显好于 n=5，n=50 的密度与 n=1000 几乎不可区分。

三种 ASR@N 估计器

• SABER-Plugin：把 (α̂, β̂) 代入缩放律。异质预算被吸收进参数。N≤20 时可用小 N 校正。
• SABER-Anchored：若已有 ASR@n，用 1−(1−ASR@n)(n/N)^α̂ 消掉含 β 的常数，并吸收真实 θ 分布相对 Beta 的偏差。均匀预算下，收集数据时自然得到 ASR@n；否则可用 ASR@1。作者称该变体在多数情形最好，主结果默认用它。
• SABER-Fit：不显式估 (α, β)，直接拟合小预算曲线。作者称这来自 Hughes 等（2024）。N 大且 ASR 接近 1 时，定理 3.3 与 −log ASR@N≈a N^{−b} 等价，a、b 分别对应 Gamma 比与 α。
• 朴素基线对每条查询用 1−(1−θ̂i)^N，再对 K 条平均。
• 区间：附录用观测信息矩阵近似 (α̂, β̂) 的协方差。锚定估计只随 α 单调变化，可用 α 的 Wald 区间端点按式(14)变换。实验未报告该区间的覆盖率。

实验设置

• 受害模型：Llama-3.1-8B-Instruct 与 GPT-4.1-mini。无额外系统提示，temperature=1；最大新 token 分别为 300 与 500。
• 攻击器：Text-augmentation（换字母、大小写和 ASCII 扰动，词打乱概率 0.4）；ADV-LLM 的 advllm llama3（在 Llama-3-8B-Instruct 上训练，生成后缀；max tokens=90，temperature=0.6，top_p=0.9）；Jailbreak-R1（temperature=1.0）。
• 评审：HarmBench Classifier（cais/HarmBench-Llama-2-13b-cls，temperature=0）与 LLM Classifier（GPT-4.1-mini，temperature=0）。附录 C.1.4 给出提示词模板。
• 数据与真值：HarmBench 文本 320 条中取标准功能类，排除 copyright 与 contextual，K=159。每条查询独立采样 10000 次，作为 N≤1000 的 ground truth；小预算观测从中无放回抽取。
• 基线与指标：式(15) 的 naive 基线。报告 ASR@N、绝对误差 |Δ|、ΔErr 与 MAE。除非另述，4.2.1 使用 SABER-Anchored。Table 1 为 5 次独立运行的均值±标准差。
• 默认设置：主结果是均匀预算，每条查询尝试次数同为 n。

主结果

据 Table 1，n=100，预测 ASR@1000。预测列为 5 次运行均值。表中省略 Instruct 后缀的写法，附录写明为 Llama-3.1-8B-Instruct。

Swipe horizontally to read the table

攻击器 / 受害模型 / 评审	GT	Baseline	SABER	|Δ|SABER
ADV-LLM / GPT-4.1-mini / HarmBench	75.16	63.40	74.28	0.88
ADV-LLM / Llama-3.1-8B / HarmBench	100.00	100.00	100.00	0.00
Text Aug. / GPT-4.1-mini / HarmBench	92.62	77.23	89.44	3.18
Text Aug. / GPT-4.1-mini / LLM	88.59	67.04	82.54	6.05
Text Aug. / Llama-3.1-8B / LLM	87.99	65.41	88.88	0.89
Jailbreak-R1 / Llama-3.1-8B / LLM	92.71	73.33	90.61	2.10
12组 MAE	未报告	12.04	1.66	未报告

• 末行相对误差下降为 86.2%，与摘要一致。引言另写 n=100 时 MAE 为 1.25、误差下降 89.6%，与 Table 1 不同；这里以 Table 1 为准。
• 作者称差距在 ASR@1000 高但未饱和时更大。表中 |Δ|SABER 最大的一行是 Text Augmentation、GPT-4.1-mini、LLM Classifier，且估计低于真值。高估出现在 Text Augmentation、Llama-3.1-8B、LLM Classifier 一行。省略行的 |Δ|SABER 为 2.14、0.50、1.15、0.50、2.29，分别对应 ADV-LLM/GPT/LLM、ADV-LLM/Llama/LLM、Text Aug./Llama/HarmBench、Jailbreak-R1/GPT/LLM、Jailbreak-R1/Llama/HarmBench。
• 作者称 Figure 4 中锚定估计的 MAE 始终比基线低 4–6 倍。Figure 2 上，对 GPT-4.1-mini、HarmBench、HarmBench Classifier，Augmentation 的 ASR@1 低于 ADV-LLM，但在 N=15 超过它；论文未给出该图曲线端点数值。

预算尺度与变体

• 测了什么：Figure 4 改变测量预算 n 与目标 N，并比较三种 SABER。
• 结果：固定 N=1000，n 从 50 到 200，基线 MAE 从 14.1 到 5.5，锚定估计从 2.3 到 1.3。固定 n=100，N 从 500 到 1000，基线从 7.8 到 9.4，锚定估计为 1.7 与 1.8。
• 作者解读：增大 n 会降低两种方法的误差；外推到更大 N 更难；n 更小、N 更大时相对收益更大。作者称 Anchored 在 Figure 4(c) 的设置上优于 Plugin 与 Fit。

小 N 与校正

• 测了什么：Table 2 用很小的 n 预测 N=20 与 N=50，对象是已出现早期饱和的两组三元组。
• 结果：Jailbreak-R1、GPT-4.1-mini、HarmBench Classifier，n=10 预测 ASR@50，SABER 的 |Δ| 为 0.25，基线为 22.73；作者称基线大约是前者的 90 倍。同一组 ASR@20 的 |Δ|SABER 为 0.65。ADV-LLM、Llama-3.1-8B-Instruct、LLM Classifier，N=50、n=10 时 SABER 为 98.23，高于真值 96.4。
• 校正：Figure 5 中，小 N 校正再降低全部三元组的平均 MAE：n=10、N=20 为 0.6%，n=20、N=50 为 0.1%。作者称 n、N 增大后，校正的增量变小。

不均预算与可见数据

• 不均预算：ni 在 1 到 2n 上均匀抽取。Figure 6(a) 在 n=100、N=1000 标注：均匀时基线 9.4、锚定 1.8；不均时基线 12.2、锚定 1.9。作者称不均会提高 MAE。
• 变体切换：Figure 6(b) 中，n=50、N=200 时 Plugin 的 MAE 比 Anchored 低 0.8；大 N 情形高 0.2，图中对应 n=100、N=1000。Table 3 用 Plugin，受害模型为 GPT-4.1-mini，n=50、N=200：HarmBench Classifier 下 ΔErr 为 9.59、15.04、7.32；LLM Classifier 下为 8.87、14.12、12.64。作者称误差至少少 7.32%。
• 子样本：作者称 K 从 159 到 80，MAE 从 1.7 到 2.1，K=40 时为 2.9。Figure 6(c) 标注的 SABER MAE 为 2.9、2.2、1.8（K=40、80、159），基线为 10.0、9.4、9.4，与正文数字不完全相同。

其他消融与分析

• Table 4：τ=95%、n=200，三组预测 N95% 为 465.9（真值 484）、381.5（320）、196.9（223）。
• Table 5：12 组中 9 组在 α=0.05 通过（75.0%）。Fail 为 ADV-LLM/Llama/LLM Classifier（Fisher p=0.007）与 Jailbreak-R1/Llama/HarmBench（p<0.001）；Marginal 为 Text Aug./GPT/LLM（Fisher p=0.032）。作者称未通过组的 MAE 仍有竞争力，并指向 Table 1。
• 作者称通过组的 α̂ 为 0.15 到 1.44。Table 5 的 β̂ 从 0.44 到 16.16；Text-augmentation 与 Jailbreak-R1 的 β̂ 大于 2，超出正文所说的常见区域 β<2。
• 附录 Figure 10：合成数据总预算 nK=10000、真值 (0.4, 4)，α̂ 的标准差约在 n=10 最小，β̂ 约在 n=5。作者称总预算约 8000 时，n=10（因而 K 约 800）在所测分配中 MAE 最好；K 被限制在 159 时，则把剩余预算用于更大的 n。
• 附录 Figure 7–9：作者称标准差随 K 按 K 的倒数下降；n 很大时，再增大 n 的降幅慢于增大 K。K 小时闭式方差与 Monte Carlo 有差异，作者称此时渐近正态不再准确。
• Table 6 的总预算列与 n×K 对不齐，这里不引用该表逐格 MAE。

作者指出的局限与后续方向

• 二值评审：分析把 s 收成 {0,1}。作者称实际评审可能返回分数或多类严重度，并提出改用 categorical 似然与 Dirichlet 先验（Section D）。
• 任务范围：经验评测集中在一个文本越狱基准 HarmBench。作者称所选攻击器覆盖三类范式，但不必然是最先进的（Section D）。
• 模型范围：作者称因预算未评测最贵的前沿安全对齐模型，并举 GPT-5.2 为例（Section D）。
• 后续评测：作者计划在多模态越狱、更大数据集（如 AdvBench）以及更广的攻击器与受害模型上测试 SABER（Section D）。
• 系统性偏差：作者称剩余误差更多来自低估 ASR@N，而不是高估；后续可查来源，并做仍保持外推性质的校正（Section D）。

实验覆盖范围

• 受害模型为 Llama-3.1-8B-Instruct 与 GPT-4.1-mini；攻击器为 Text-augmentation、advllm llama3 与 Jailbreak-R1；评审为 HarmBench Classifier，以及由 GPT-4.1-mini 实现的 LLM Classifier（Section 4.1、附录 C.1）。
• 评测集为 HarmBench 标准功能类、排除 copyright 与 contextual 后的 159 条。每条 10000 次采样作为 N≤1000 的真值，预测为 5 次运行的均值（Section 4.1、附录 C.1.5）。
• 主表为均匀 n=100 预测 ASR@1000。另报告 N 为 20 与 50 的小预算预测、ni 在 1 到 2n 上均匀抽取的不均预算、K 为 40、80、159 的子样本，以及 τ=95%、n=200 的所需预算（Section 4.2、Table 2–4、Figure 6）。
• 12 个 (A, V, J) 做了 Beta 假设的后验预测检验与卡方检验（Table 5）。附录用合成 Beta–Binomial 检查方差与预算分配，例子真值为 α=0.4、β=4。
• 论文给出锚定与 Plugin 估计的置信区间做法（Section 3.4），未报告这些区间在越狱实验中的覆盖率。不可破解样本与在线良性提示的公式在附录 B.1.2–B.1.3，实验节未报告对应数值。

SABER 用小预算测量预测 LLM 在 Best-of-N 采样下的越狱风险。

• 问题：单次或低预算 ASR 对应的是尝试次数很少的攻击者。作者认为可并行反复探测时，风险会随预算放大，而且 ASR@1 的排序不必在所有 N 上保持。
• 方法：把每条有害查询的单次成功概率建成 Beta(α,β)，用 n 次尝试的 Beta–Binomial 极大似然估计参数。大 N 下，未成功概率约按 N 的 −α 次方下降。主估计器锚定在已观测的 ASR@n 上，只依赖 α̂ 外推，从而避开 β̂。
• 主结果：HarmBench 的 159 条查询、3 个攻击器、2 个受害模型、2 个评审，共 12 组。n=100 预测 ASR@1000 时，Table 1 的锚定 MAE 为 1.66，朴素基线为 12.04，相对误差下降 86.2%。引言中的 1.25 与 89.6% 与该表不一致。
• 其他数值：表中最大的 |Δ|SABER 为 6.05，出现在 Text-augmentation、GPT-4.1-mini、LLM Classifier，且低于真值。Jailbreak-R1 对 GPT-4.1-mini、HarmBench Classifier，n=10 预测 ASR@50 的绝对误差为 0.25，基线为 22.73。12 组里 9 组通过 α=0.05 的 Beta 拟合检验。
• 作者结论：单次评测下看起来稳健的模型，在并行对抗压力下仍可能快速、非线性地放大风险；攻击排序依赖采样预算。作者认为越狱风险的测量应超出 ASR@1，并计划在发表后发布代码与评测脚本。