探究大语言模型基于深度的动态推理中的越狱脆弱性

1. 01这篇论文试图解决什么问题？

   深度动态推理各出口对越狱稳健性的影响，此前未被考察。

   深度动态推理在不同出口上是否改变越狱稳健性，此前没有被考察。

   • 场景：作者称工业环境，以及边缘或云端部署，受计算和延迟约束。动态推理让一个模型在推理时权衡计算与精度，而不必为每个预算单独准备模型。作者聚焦深度而非宽度，因为去掉整层更贴近 GPU 的顺序执行。
   • 现有不足：对齐之后，对抗提示仍可绕过拒绝并引出有害回答。作者称优化式攻击用梯度或输出概率搜索提示，且此前只在标准全深度推理上被研究。
   • 核心选择：作者采用 Balcony。骨干冻结，原对齐模型不被修改，因此各出口稳健性的变化可归因于动态推理机制，而不是基座退化。
   • 本文工作：在 Balcony-LLaMA2-7B 与 Balcony-LLaMA3-8B 上，对出口 15、18、21 和全模型施加 GCG，在 HarmBench 与 AdvBench 上比较成功率与损失，并检查六个选择题基准的效用。作者称这是首次全面调查。
   • 攻击设定：
     • 目标：提高模型以预定义肯定续写开头的概率，从而遵从有害请求。
     • 访问：用目标模型的 token 级梯度挑选替换，贪心降低目标序列的负对数似然。论文未使用 white-box 等术语。
     • 可控制的输入：接在有害查询后的对抗后缀，并在各出口分别优化。Figure 2 是流程示意，示例提示不复述。
     • 受害系统：冻结的 32 层 LLaMA2-7B 与 LLaMA3-8B，Balcony 出口在第 15、18、21 层，并与全深度比较。

   收起这一问

2. 02有哪些相关研究？

   越狱工作分token级与prompt级；作者选Balcony是为了不改基座。

   论文把相关工作分成越狱攻击和动态推理；选用 Balcony，是为了在不改基座参数的前提下比较出口。

   越狱攻击

   • token 级：Zou et al. (2023) 的 GCG、Zhu et al. (2023) 的 AutoDAN、Sadasivan et al. (2024) 的快速攻击、Hayase et al. (2024) 的查询式生成，直接搜索离散 token，常用梯度、启发式或查询过程来找抑制拒绝的后缀。
   • prompt 级：Wei et al. (2023) 讨论安全训练为何失败；Shen et al. (2024) 刻画野外越狱提示；Sabbaghi et al. (2025) 与 Panfilov et al. (2026) 用 LLM 智能体迭代提出、评估并精炼攻击提示。论文只作描述，没有逐篇批评。
   • 与本文的关系：引言称这些攻击只针对标准全深度推理。论文没有把其中某一篇单独列为方法缺陷。

   动态推理

   • 早期编码器：Xin et al. (2020) 的 DeeBERT、Hou et al. (2020) 的 DynaBERT 在较小编码器上做提前退出或自适应宽度/深度。论文称它们依赖特定架构和专门训练，难以直接用于现代大模型。
   • 宽度与路由：Kudugunta et al. (2023) 的 MatFormer 沿宽度做嵌套子模型；Cai et al. (2024, 2025) 的 Flextron 与 LLaMAFlex 把嵌套结构和按输入的路由结合起来。
   • 深度弹性：Huang et al. (2024) 的 SortedLLaMA、Elhoushi et al. (2024) 的 LayerSkip 用专门训练支持不同层数推理。论文称这类方法会修改或重训基座，可能改变行为或降低原全模型表现。Jamialahmadi et al. (2025) 的 Balcony 冻结预训练模型，只训练中间层上的轻量出口。

   对照与基准

   • 对照：论文没有把其他攻击列为基线。对照是同一冻结骨干上的不同出口，包括全部 32 层；攻击使用 Zou et al. (2023) 的 GCG。
   • 基准：越狱用 HarmBench（Mazeika et al., 2024）和 AdvBench（Zou et al., 2023）。效用用 HellaSwag、ARC-C、ARC-E、WinoGrande、PIQA、MMLU，经 lm-eval-harness 评测。

   作者把本文定位为考察深度动态推理对越狱稳健性的影响，并选用 Balcony，以便把出口间差异归因于动态推理机制，而不是基座参数被改动。

   收起这一问

3. 03论文如何解决这个问题？

   在冻结的Balcony出口上跑GCG，比较各深度的损失、ASR和效用。

   作者不提出新攻击，而是在冻结骨干的 Balcony 各出口上运行 GCG，比较同一套权重下的攻击损失、成功率和效用。

   深度动态推理：Balcony

   • 结构：基座有 L 层，选定出口集合 S。出口 k 把隐藏状态变成可预测的表示。论文写 H^e_k=g_k(H_k;Θ_k)，即一个额外 transformer block 加归一化，只有 Θ_k 可训练，再送入与基座相同的语言模型头。
   • 训练：基座冻结，用自蒸馏让出口分布对齐全模型。两套模型都在 Cosmopedia V2 上做 KL 自蒸馏，沿用原 Balcony 设置：31.5B token、batch 256、30K 步、序列长度 4,096、峰值学习率 5×10^−4、cosine 调度（Table 1）。
   • 本文配置：两套模型都是 32 层，出口为 {15, 18, 21}。LLaMA2-7B 非嵌入参数 6.5B、预训练 2T token；LLaMA3-8B 为 6.9B、15T。Balcony 训练量分别写为预训练的 1.5% 与 0.2%。作者称训练数据和目标一致，因此稳健性差异来自出口配置和骨干，而不是 Balcony 训练流程不同。

   攻击：GCG

   • 目标：在有害查询 q 后加后缀 s，提高肯定性目标序列 y⋆ 的概率。论文将目标写成 L_GCG(s)=−log p_θ(y^⋆∣ q⊕ s)，即该续写的负对数似然，并在词表中对长度为 K 的后缀做离散最小化。
   • 搜索：论文称直接离散优化不可行，故用 token 级梯度找替换，再贪心更新部分位置。实验采用 Zou et al. 的攻击配置，优化 150 步。正文未给出实验所用的 K、候选数或肯定性目标句。
   • 接到出口上：同一输入在第 15、18、21 层出口和全模型上计算损失（Figure 2），从而在同一套冻结权重里比较深度。

   成功判定与效用

   • ASR：每个基准 50 个有害行为。ASR 是 HarmBench judge 分数高于 0.5 的行为比例，并同时报告攻击达到的平均最终交叉熵损失。Figure 3 纵轴为 Top-1 Attack Success Rate；论文未说明它与上述定义还有无差别。
   • 效用：六个选择题基准，用 lm-eval-harness。HellaSwag、ARC、PIQA 用 acc_norm，WinoGrande 与 MMLU 用 acc。条件为干净输入，以及把该出口最强 GCG 后缀接到每道题。论文未定义“最强”如何挑选。

   分析角度

   作者依次看各深度的 ASR、GCG 收敛与最终损失、干净与对抗输入下的效用，以及深度、可优化性、效用和越狱成功的关系。论文未做内部表示干预。

   收起这一问

4. 04论文做了哪些实验？

   全深度ASR最高；LLaMA3的exit-15为4%与2%，全深度为28%。

   实验设置

   • 模型：Balcony-LLaMA2-7B 与 Balcony-LLaMA3-8B；基座为预训练 LLaMA2-7B、LLaMA3-8B，各 32 层。评测出口为 exit-15、exit-18、exit-21 与 Full（32）。
   • 越狱数据：HarmBench 与 AdvBench，各取 50 个有害行为。论文未写两个基准的总规模。
   • 攻击：GCG，采用 Zou et al. 的配置，150 步。论文未报告重复次数，也未在正文重述后缀长度。
   • 判定：HarmBench judge 分数高于 0.5 计为成功，并报告平均最终交叉熵损失。论文未说明 judge 的具体模型。
   • 效用：HellaSwag、ARC-C、ARC-E、WinoGrande、PIQA、MMLU；指标如 Section 4。条件为无攻击，以及附加各出口最强 GCG 后缀。
   • 训练：两模型同为 Cosmopedia V2 上的 KL 自蒸馏（Table 1）。论文没有其他攻击或防御基线。

   主结果

   全模型 ASR 最高，但两套骨干随深度变化的幅度不同（Section 4.1，Figure 3）。斜线顺序按正文：HarmBench/AdvBench。

   模型与出口	HarmBench ASR	AdvBench ASR
   Balcony-LLaMA2-7B exit-15	36%	46%
   Balcony-LLaMA2-7B full	44%	54%
   Balcony-LLaMA3-8B exit-15	4%	2%
   Balcony-LLaMA3-8B exit-18	12%	0%
   Balcony-LLaMA3-8B exit-21	12%	12%
   Balcony-LLaMA3-8B full	28%	28%

   LLaMA2 的 exit-18、exit-21 正文没有逐项数字；Figure 3 的文本列可能错位，故不填。

   • 作者解读：作者称更后的层更脆弱。LLaMA2 从最浅出口到全模型只温和上升，作者认为其脆弱性分布在各深度，对抗后缀对早出口也有效。
   • LLaMA3：作者称脆弱性几乎集中在后层，提前退出的保护强于 LLaMA2。AdvBench 的 exit-18 低于 exit-15，不是严格逐层上升；作者仍称经中间出口后，全模型出现跳跃。
   • 引言口径：引言写 LLaMA3 从全深度 28% 到最浅出口 0–4%，LLaMA2 各出口为 36%–44%。后者与 Figure 1 的 HarmBench 端点一致；表中 LLaMA2 的 AdvBench 端点不在该区间。0–4% 与表中 exit-15 的两列也不完全相同。

   攻击优化

   • 测了什么：四个出口、两个模型、两个基准上，GCG 损失随 150 步的轨迹（Figure 4，Section 4.2）。
   • 结果：作者称损失随出口深度单调下降，排序为全模型、exit-21、exit-18、exit-15，且在优化全程、两个模型和两个基准上都成立。LLaMA2 四条曲线在大约 50 步后进入窄带，exit-15 只略高；LLaMA3 的 exit-15 在全部 150 步都与另外三条分开，并收敛到更高损失。
   • 作者解读：更深的出口更容易被后缀优化；分离在 LLaMA3 上更明显。引言称 LLaMA3 全模型的最终 GCG 损失比 exit-15 低 3×。正文未给出各点损失数值；Figure 1 只标出坐标轴刻度，文本转换读不到各点坐标。

   效用

   • 测了什么：六基准，无攻击（Table 2）和附加各出口最强 GCG 后缀（Table 3）。
   • 结果：作者称干净效用随深度单调上升。Table 2 中 Balcony-LLaMA3-8B 的 MMLU 在 Exit 21 为 0.626、Full 为 0.621，不是严格上升。7B 的 ARC-E 从 exit-15 到 full：干净为 0.617、0.662、0.683、0.739，带后缀为 0.482、0.485、0.489、0.572。
   • 作者解读：作者称攻击下效用大体稳定，7B 的 ARC-E 是例外，后缀干扰的是任务表现本身。引言第 3 点称后缀对效用的影响在各出口均匀，附带代价由骨干而非出口决定，因此浅层的稳健性不能归因于攻击下能力下降。

   深度、优化与越狱成功的关系

   • LLaMA3：作者称干净效用、GCG 更容易把损失降下去、以及 ASR，从 exit-15 到全模型一起上升。作者认为浅层稳健性与该深度形成的任务和指令跟随能力较少有关，而不是独立的、按深度局部化的安全机制。
   • LLaMA2：干净效用仍随深度上升，但 exit-15 的 ASR 已经高，向全模型只温和增加；四条损失曲线在前 50 步进入窄带。作者认为这个骨干里、GCG 所利用的表示很早已经大体就位。
   • 作者的排除：两模型用相同出口、语料和自蒸馏目标。作者认为这排除了训练侧混淆，差异指向预训练如何把与对齐相关的计算分布到深度上。作者还认为后缀是在导向肯定性不安全补全，效用不能当作稳健性的代理：低能力出口也可以高 ASR，低 ASR 也不能当成子模型已损坏。

   其他消融与分析

   • 论文没有出口位置、步数、后缀长度或攻击方法的消融表。
   • Table 1 的训练超参未与越狱指标做对照实验。
   • Figure 1 在 HarmBench 上把 ASR 对最终 GCG 损失作图；文本转换看不到各点坐标，不转写未标注数值。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称结论是关联性的，后续包括路由、更强攻击和内部表示。

   作者指出的局限与后续方向

   • 关联性：作者称这些发现是关联性的（Section 5）。
   • 设置范围：作者称发现来自单一攻击和固定出口点（Section 5）。
   • 后续工作：扩展到路由策略、更强攻击，以及内部表示分析，留作未来工作（Section 5）。

   论文没有单独的 Limitations 节；上述内容写在 Conclusion。

   实验覆盖范围

   • 动态模型为 Balcony-LLaMA2-7B 与 Balcony-LLaMA3-8B，出口为 15、18、21 和全深度 32 层（Table 1，Section 4）。
   • 越狱实验为 GCG、150 步、每基准 50 个行为，基准为 HarmBench 与 AdvBench；成功由 HarmBench judge 分数高于 0.5 判定（Section 4）。
   • 效用实验为 HellaSwag、ARC-C、ARC-E、WinoGrande、PIQA、MMLU，含干净输入和附加各出口最强 GCG 后缀（Table 2、Table 3）。
   • 论文说明聚焦深度而非宽度，因为去掉整层更贴近 GPU 的顺序计算（Section 1）；采用 Balcony 是为了不改动基座参数（Section 2.2）。
   • 论文未报告重复次数、judge 的具体模型，以及评审与人工判定的一致性。

   收起这一问

6. 06总结一下论文的主要内容

   浅层出口往往更难被GCG攻破，但幅度随骨干变化，效用代价大体不随出口变。

   作者调查深度动态推理的出口深度如何改变越狱稳健性。

   • 问题：效率方法允许从中间层出结果，但优化式越狱此前针对全深度推理。作者用冻结骨干的 Balcony，使出口差异不被基座重训混淆，并称这是首次全面调查。
   • 做法：LLaMA2-7B 与 LLaMA3-8B 各 32 层，出口为 15、18、21 与全模型。GCG 在各出口优化对抗后缀 150 步，每个越狱基准 50 个行为；另在六个选择题基准上比较干净输入和带后缀输入。
   • 成功率：HarmBench / AdvBench 上，LLaMA3 全深度 ASR 均为 28%，exit-15 为 4% 与 2%，exit-18 为 12% 与 0%。LLaMA2 的 exit-15 已为 36% 与 46%，全深度为 44% 与 54%。
   • 损失与效用：作者称 GCG 损失随深度单调下降，全模型最好优化，并称 LLaMA3 全模型最终损失比 exit-15 低 3×。干净效用大体随深度上升；8B 的 MMLU 在 Exit 21 为 0.626、Full 为 0.621。作者称后缀对效用的影响大体均匀，7B 的 ARC-E 除外。
   • 作者结论：浅层比深层更抗 GCG，但幅度取决于骨干：LLaMA3 的脆弱性集中在后层，LLaMA2 的浅层已经容易被攻击。作者把这些发现称为关联性的，并称它们来自单一攻击和固定出口。

   收起这一问

相关论文