大语言模型越狱攻击的系统性扩展分析

核心问题：越狱攻击的成功如何随攻击者投入的算力（compute）变化，能否像语言模型 scaling law 那样被刻画和跨方法比较。

• 场景与动机：作者指出，语言建模中性能与算力、数据、参数的关系已有成熟 scaling law，但越狱的 ASR 或评审分数是否服从类似规律尚不清楚；初步实验显示攻击成功随投入先升后平。
• 现有分析的不足：作者认为已有"攻击 scaling"分析要么难以映射到实际越狱威胁模型（如假设直接控制内部激活、评测合成目标），要么只覆盖攻击设计的一小片（如特定黑盒对抗设定或集成式协议）。
• 可比性障碍：各迭代式攻击对"一步"的定义不同（梯度更新、LLM 改写轮、种群一代、随机采样各算一步），原始迭代次数不可比，作者据此采用统一的 FLOPs 算力轴。
• 论文的做法：把四种代表性攻击范式（基于优化、自我精炼改写、采样选择、遗传优化）放到共享 FLOPs 轴上，拟合饱和指数曲线，比较效率、隐蔽性（stealthiness）与目标类别差异。
• 威胁模型（prompt-only，Section 3.1）：
  • 目标：构造输入提示词，使受害模型产出既违反安全策略又实质回应恶意目标 g 的输出。
  • 知识：分 black-box（仅查询访问，观察采样输出）与 white-box（可访问参数或等价梯度/logit 信号）；评测中仅 GCG 为 white-box，PAIR、BoN、AutoDAN 为 black-box。
  • 能力：控制初始对抗提示词、攻击流程及超参数、可选的辅助攻击模型；不修改受害模型权重与解码超参数。
  • 受害系统：带固定系统提示词的安全对齐 LLM。

越狱与自动红队方法

• 基于优化的越狱：GCG（Zou et al., 2023）做对抗后缀搜索；Basani and Zhang (2025) 做黑盒后缀生成。
• 迭代式黑盒精炼：PAIR（Chao et al., 2024b）由攻击者 LLM 驱动改写；TAP（Mehrotra et al., 2024）扩展为树搜索；Yang et al. (2025b) 称多轮越狱大多可归约为重复采样。
• 采样与进化搜索：best-of-n（Hughes et al., 2024）靠大量采样选最优；AutoDAN（Liu et al., 2024）及后续工作用遗传算法、强化学习或变分推断提升效率或多样性。

评测与判定方式

• 基准：HarmBench（Mazeika et al., 2024）与 JailbreakBench（Chao et al., 2024a）提供标准化评测；本文评测集混合 AdvBench-Harmful Behavior、HarmBench、ClearHarm 各约三分之一共 200 个目标。
• 成功判定：早期用目标字符串匹配（Zou et al., 2023），近期基准转向 LLM 语义评审以减少误判；本文沿用这一路线，以 GPT-5 评审分数为主指标。

对抗行为的 scaling law

• 经典 scaling law：Hestness et al. (2017)、Kaplan et al. (2020)、Hoffmann et al. (2022) 刻画性能与算力/数据/参数的关系；本文借用其"性能—资源"关系来比较攻击家族。
• 攻击侧 scaling：Liu et al. (2025) 分析黑盒对抗攻击随模型集成规模的变化；Panfilov et al. (2026) 研究红队成功随攻击者模型能力的变化；Fort (2023) 发现可控输出长度随攻击者控制的 token 数线性增长。论文指出 Fort (2023) 假设直接访问激活且评测非自然 token 序列，不构成实际越狱威胁模型。

本文定位：作者称与上述工作不同，本文面向自然语言输入的实际越狱提示词，在统一 FLOPs 轴上系统比较四种攻击范式、多个模型家族与尺寸以及多个危害类别。

整体思路：将每种越狱攻击视为 compute-bounded 的优化过程，用总 FLOPs 作为统一资源轴，测量评审分数随算力的轨迹，并用饱和指数模型拟合、比较。框架无单独命名，核心是把攻击、模型、数据集三元组映射到一条 scaling 曲线。

问题形式化

• scaling 曲线：对每个 (攻击 A, 模型 fθ, 数据集 D) 和预算 B，定义 S_A,θ,D(B) = ASR(A, f_θ, D; B)，即该预算下的平均评审分数；另跟踪 relevance 分数作为内容相似度的补充。
• 效率度量：定义达到阈值 τ 所需算力 B(τ) = min{B : S(B) ≥ τ}，用于跨攻击比较。

数据与类别

• 评测集：混合 AdvBench-Harmful Behavior、HarmBench、ClearHarm 三个公开基准，各约三分之一，共 n = 200 个目标；固定 200 是为平衡覆盖与总算力成本。
• 目标类别：每个目标标注为 harmful_instruction、malicious_creation、misinformation、offensive 四类之一，用基于关键词的规则分类器按优先级匹配（关键词表在附录 A.5）。

攻击与模型

• 四种攻击：GCG（梯度离散优化，后缀包在借自 Andriushchenko et al. (2025) 的固定模板里）、PAIR（攻击者 LLM 迭代改写）、BoN（采样选最优）、AutoDAN（遗传算法）。
• 模型：主比较用 Llama-3.1-8B-Instruct；家族内尺寸 scaling 用 Qwen3 的 1.7B/4B/8B（non-thinking）；跨家族比较在约 4B 档加入 Gemma-3-4B 与 Llama-3.2-3B-Instruct。不含 reasoning/thinking 变体，作者称其行为更不稳定、不利于稳定的算力 scaling 比较。

指标

• 成功：GPT-5 评审输出 [1,10] 的 red-team 分数，同时考察是否违反安全策略、是否实质回应恶意意图；主指标 ASR 为评测集上的平均分（评审提示词在附录 A.1）。另有 [0,10] 的 relevance 分数，只测语义相似度、不判违规（附录 A.2）。
• 算力：计入受害模型的前向与反向传播及辅助攻击模型的前向调用，按输入/输出 token 长度折算 FLOPs。
• 隐蔽性：用 GPT-2 困惑度，按评测日志中的最小/最大困惑度归一化为 [0,1] 的 stealth 分数，困惑度越低越"隐蔽"。

曲线拟合与机理分析

• 拟合形式：ASR(B) = a + b (1 − e^−cB)，a 为起点、a+b 为渐近上限、c 控制逼近速率；用非线性最小二乘在 FLOPs 对齐的点上拟合。
• 效率统计量：闭式导出 B50 = ln 2/c 与 B95 = −ln(0.05)/c，表示达到可提升空间 50%/95% 所需算力。
• 机理分析：把 PAIR 的改写映射到优化视角，在 GCG 的目标损失 L(x) = −log p_θ(y^⋆ ∣ x) 下做同状态单步对比：从 PAIR 轨迹上的同一状态 xt 出发，比较 PAIR 实际一步与 GCG 建议一步的损失变化、步长和方向一致性；另设目标匹配（goal-matched）PAIR 变体排除目标不一致的解释。

实验设置

• 被测模型：Llama-3.1-8B-Instruct（主比较）；Qwen3-1.7B/4B/8B（家族内尺寸）；Gemma-3-4B、Llama-3.2-3B-Instruct（约 4B 档跨家族）。
• 数据集：200 个目标的混合集，AdvBench-Harmful Behavior、HarmBench、ClearHarm 各约三分之一；按规则分为四类目标。
• 攻击方法：GCG、PAIR、BoN、AutoDAN；GCG 为 white-box，其余为 black-box。
• 指标与评审：GPT-5 评审的 red-team 分数（[1,10]，主指标）与 relevance 分数（[0,10]）；GPT-2 困惑度归一化的 stealth 分数；算力以累计 TFLOPs 计。
• 预算网格：每个 (攻击, 模型, 划分) 在一系列从低到饱和的算力预算上评测，主图窗口为 0–20K TFLOPs；论文未报告每个预算点的重复次数。

主结果

Llama-3.1-8B-Instruct 上 Eq. (7) 的拟合参数（据 Table 1；a 起点，a+b 上限，B50/B95 单位 TFLOPs）：

表格较宽，可左右滑动

攻击	red-team a	red-team a+b	B50	B95	relevance a+b
GCG	3.19	5.16	3221	13923	1.46
BoN	3.79	8.83	1322	5715	5.38
PAIR	9.11	9.80	1391	6012	3.86
AutoDAN	7.17	8.92	2848	12307	3.00

• 作者称四种攻击都呈先快后平的饱和形态，被饱和指数模型较好拟合（R² 为 0.804–0.997）。
• 作者称 PAIR 起点最高、上限最高且饱和快，GCG 上限低且增长慢；relevance 分数下排序变化，BoN 上限反超 PAIR，作者认为这与 BoN 只做表层扰动、保留原语义有关。
• 作者指出 relevance 上限普遍低于 red-team 上限，说明被判违规的回应常未实质回应攻击目标。

机理分析：PAIR 为何比 GCG 高效（Section 5.3）

• 目标匹配消融：让 PAIR 的攻击者 LLM 改为诱导精确目标串 y*，其渐近上限仍为 8.60，高于 GCG 的 5.16；作者据此认为效率差距不能只由目标不一致解释。
• 同状态单步对比：从同一提示词状态出发，标准 GCG 单步的步长远小于 PAIR，损失下降量很小；把 GCG 改为每步改 30 个 token 使步长相当后，GCG 建议步的方向性改进几乎全为正（即损失上升），两者更新方向的余弦相似度接近零或为负（Table 2）。
• 作者的解读：PAIR 的优势主要来自在提示词空间中更可靠地找到有效更新方向，且在较大步长下仍保持方向有效。

隐蔽性与目标类别

• ASR–stealth 操作点（Figure 3）：作者称 PAIR 位于高成功、高隐蔽区域；AutoDAN 高隐蔽但成功较低；BoN 高成功但隐蔽性较低；GCG 因后缀包在固定模板内困惑度被拉低，原始后缀（GCG(orig)）隐蔽性差得多。
• 目标类别（Figure 4，GCG 按类别分解，窗口至 200K TFLOPs）：各类别不仅绝对分数不同，边际收益也不同，并出现饱和与偶尔非单调的区段；作者称 misinformation 通常最容易被诱导、起点更高，并认为这可能与安全训练更多硬化显性有害指令有关。

其他消融与分析

• 家族内尺寸（Table 3a，PAIR on Qwen3）：三个尺寸上限集中在 9.80–9.95；4B 饱和最快（B50 = 930），1.7B 最慢（B50 = 1093）。
• 跨家族（Table 3b，PAIR，约 4B 档）：Gemma-3-4B 与 Qwen3-4B 上限为 9.93 与 9.80，Llama-3.2-3B 仅 7.26，起点 1.40，B50 = 4303，B95 = 18595 超出评测窗口。
• 作者结论：家族内尺寸主要影响起点与逼近速率，跨家族差异可同时移动起点与上限。

作者指出的局限与后续方向

• FLOPs 归一化只是近似（Section 6）：依赖 token 计数和模型相关常数，不捕捉延迟、速率限制、防御方监控成本等部署约束，攻击的绝对有效性随场景变化。
• 结果依赖评测方式（Section 6）：使用 LLM 评审和特定 rubric，可能引入评审偏差和对提示词措辞的敏感性；作者认为跨评审模型和人工审计子集的验证仍重要。
• 覆盖范围有限（Section 6）：200 个目标的混合集、以英文为主的单轮提示词设定、固定的模型与攻击家族，未必反映多语言行为、更长的多轮协议、工具增强的智能体或其他系统提示词。
• 后续方向一：多轴参数化（Section 6）：把 ASR(B) 扩展为随模型、攻击、任务、语言、协议变化的 ASR(B; model, attack, task, language, protocol)，用层级模型让 (a, b, c) 随模型家族/尺寸、目标属性、系统提示词变化，支持部分池化与不确定性估计。
• 后续方向二：多目标 scaling（Section 6）：联合建模攻击成功与可检测性、效用损失等实用性指标，使算力增加刻画出可预测的权衡而非单纯更高的 ASR。

实验覆盖范围

• 被测模型共 6 个：Llama-3.1-8B-Instruct、Qwen3-1.7B/4B/8B、Gemma-3-4B、Llama-3.2-3B-Instruct；主跨攻击比较只在 Llama-3.1-8B-Instruct 上做（Section 4.3）。
• 攻击覆盖 GCG、PAIR、BoN、AutoDAN 四种；评测集为 200 个目标、三个基准各约三分之一（Section 4.1、4.2）。
• 成功判定只用 GPT-5 评审（red-team 与 relevance 两个分数），隐蔽性只用 GPT-2 困惑度；论文未报告评审与人工判定的一致性实验。
• 论文未报告每个预算点的重复次数、PAIR 所用辅助攻击模型的具体型号，以及各攻击的内部超参数细节。
• 论文明确不纳入 reasoning/thinking 模式的模型变体，理由是作者称其行为更不稳定、协议敏感（Section 4.3）。

一篇关于越狱攻击 scaling 行为的系统分析：作者把攻击视为算力受限的优化过程，回答"越狱成功如何随攻击算力变化、不同范式可否比较"的问题。

• 问题：各攻击对"一步"定义不同导致迭代次数不可比，且已有攻击 scaling 分析要么威胁模型不实际、要么覆盖面窄。
• 方法：在共享 FLOPs 轴上测量 GPT-5 评审的 red-team 分数（主指标 ASR）、relevance 分数和 GPT-2 困惑度隐蔽分数，用饱和指数模型拟合并导出 B50/B95 效率统计量；评测集为 200 个目标（三个基准各约三分之一）。
• 主结果：Llama-3.1-8B-Instruct 上，PAIR 的 red-team 拟合上限 9.80、起点 9.11，GCG 上限仅 5.16（Table 1）；目标匹配后 PAIR 上限仍为 8.60，同状态对比显示其更新方向更有效（Table 2）。
• 其他发现：作者称 PAIR 占据高成功、高隐蔽的操作点；Qwen3 三个尺寸上限集中在 9.80–9.95，而跨家族时 Llama-3.2-3B 上限只有 7.26；misinformation 类目标通常最容易被诱导。
• 作者结论：单一预算下的 ASR 快照不能很好刻画越狱风险，报告算力归一的 scaling 曲线能更好地指导红队与防御优先级；作者同时承认 FLOPs 只是近似、结果依赖评审、覆盖范围有限。