通过校准越狱 LLM

安全对齐被写成对预对齐下一token分布的系统性扭曲；要解决的是如何在推理时、不重训地把强对齐模型拉回该分布。

• 场景：作者认为无约束LLM可被诱导生成有害内容，对齐用于压低有害token概率，但绕过防护的方法仍在发展。工作重心已从离散对抗提示转到推理时改下一token分布。
• 现有不足：Weak-to-Strong（Zhao et al., 2025b）用小未对齐模型、小对齐模型与大对齐模型在logit空间做算术，不重训即绕过大模型约束。作者称其经验上成功，但线性运算为何能抵消非线性对齐、是否还有别的策略，并不清楚。
• 抽象：作者把对齐输出与预对齐参考的差当作统计误校准，并写明这是建模选择，不是对齐本质的主张。未对齐模型充当预对齐分布的校准代理。
• 提出的框架：把该范式写成预测聚合，导出对偶空间中的Gradient Shift，并增加hybrid规则。评价用适当损失；作者在Theorem 4.1中称，期望上聚合模型对Ypre的损失严格低于目标。
• 威胁模型：
  • 目标：相对预对齐结果Ypre降低预测损失，恢复对齐在推理时抑制的行为。
  • 知识：不能访问(Pt, Ph, Pt|h, Ypre)的联合分布，只能点式使用三个模型的观测预测。
  • 能力：不改参数，解码时改下一token分布。πt为高容量强对齐模型，πh为低容量未对齐模型，πt|h估计给定helper时目标的条件预测。
  • 受害系统：被安全对齐的LLM。论文称此为inference-time jailbreaking threat model。

论文把直接前作放在推理时的Weak-to-Strong，并把相关工作分成越狱、校准和稳健聚合。

越狱方法

• Kang et al. (2024)以及Wei et al. (2023)、Li et al. (2023)、Shah et al. (2023)等：手工启发式提示，包括竞争目标、分词或解码偏差和角色扮演。论文此处只列举，没有逐篇批评。
• PAIR（Chao et al., 2025）与TAP（Mehrotra et al., 2024）用攻击LLM迭代改写提示；后续加入迭代推理或后训练攻击模型。另一支黑盒工作利用长上下文和任务结构，包括多轮、分解和针对推理模型的CoT劫持。
• 白盒方法需要权重，包括梯度优化（Zou et al., 2023等）和微调（Qi et al., 2024等）。推理时方法不改参数：Huang et al. (2023)搜索解码超参；Zhao et al. (2025b)的Weak-to-Strong用更弱的未对齐模型拉动目标logits。

校准

• 分类器校准通常依赖标签，如isotonic regression（Zadrozny and Elkan, 2002）、Platt Scaling（Platt et al., 1999）和Temperature Scaling（Guo et al., 2017）。作者的设定不使用标签。
• Kong et al. (2026)讨论弱但已校准的模型可以改进强但误校准的模型。作者写出三点差别：对方面向一般性能，作者面向越狱与安全；对方需要联合输入分布和批处理，作者是适合实时干预的one-shot；作者同时聚合强、弱模型，理论技术不同。
• 论文称Su et al. (2024)用统计视角证明经提示修改可以存在越狱，但不聚焦校准。

稳健聚合

• Arieli et al. (2018)、Neyman and Roughgarden (2022; 2023)研究不确定下的稳健预测聚合。作者称这里的Target被明确当作误校准，目标是相对Target的严格改进，而不是与全知基准竞争。
• Prelec et al. (2017)、Wilkening et al. (2022)使用高阶信念。作者称把这一视角用于校准迁移是首次。

基线与基准

• 基线是Weak-to-Strong，变体由放大系数α和前k个token控制。数学图另转载Nikolić et al. (2025)已报告的越狱结果，不在红队协议下重跑。
• 基准为HarmBench、StrongREJECT、GSM8K与Hendrycks-MATH。

作者把推理时越狱连到统计误校准，把Weak-to-Strong写成带校准约束的预测聚合，并称其logit算术是交叉熵下该族规则的一个特例。

三个模型被放进同一几何做预测聚合：用helper与predictor的偏移，在损失梯度空间修正目标，再投回概率单纯形。规则名为Gradient Shift。

问题设定与假设

• LLM写成π: X → Δ(Y)，把上下文映到下一token分布。后文固定上下文并省略x。
• 每个上下文有预对齐结果ypre与对齐后结果yalign，联合分布为D。作者称良性上下文上二者通常相同，对抗或安全敏感上下文上可能差很多。Ypre被定义为评价用的ground truth，表示要恢复的无约束能力。
• Assumption 2.1：helper对Ypre条件校准，即给定Ph=ph时Ypre的条件概率等于ph；predictor无偏，E[Pt|Ph]=Pt|h。作者称这是推导更新的理想化基例，实践中不依赖它严格成立。

聚合目标

• 寻找f，使P*=f(Pt, Ph, Pt|h)相对Ypre的期望适当损失低于目标。适当损失指期望损失由真实分布唯一最小化。
• 聚合必须点式完成，不能使用三者与Ypre的联合分布。v(f)是在一切与Assumption 2.1相容的联合分布上，期望改进的下确界。目标是v(f)>0，并找出使v(f)最大的规则。

Gradient Shift与损失族

• 严格适当损失由严格凸生成函数G经Savage表示写出。预测q而真实分布为p时，期望超额风险等于Bregman散度DG(p, q)。Definition 3.1要求梯度映满Rd，且DG对第二变元凸。交叉熵和二次损失满足这些条件。
• 更新先在梯度空间加上对齐偏移，再做Bregman投影：p^∗=Π^G_Δ((∇ G)⁻¹(∇ G(p_t)+∇ G(p_h)−∇ G(p_t|h))) 。它表示用helper相对predictor的梯度差修正目标。
• 二次损失下更新为加法：把ph−pt|h加到pt上，再用阈值τ投影回单纯形。交叉熵下对偶空间是logit，更新为乘法：pt(y)乘ph(y)/pt|h(y)后归一。作者称该乘法也曾作为DExperts（Liu et al., 2021）和Weak-to-Strong的启发式出现，并称它是交叉熵下该目标的特例。
• hybrid：若ph(y)<pt|h(y)则用乘法，否则用pt(y)+ε(ph(y)−pt|h(y))，ε取得使分量之和为1。作者称乘法在概率很小且有噪声时不稳定，加法往往过于保守。附录A的幂损失插在两者之间：β趋于1时接近乘法，β=2时回到加法。

保证、放松与解码

• Theorem 4.1称：在正则条件与Assumption 2.1下，P*严格支配Pt，且E[ℓ(P^∗,Y_pre)−ℓ(P_t,Y_pre)]≥ E[D_G(P_h,P_t|h)]。该不等式在任意固定的(ph, pt|h)上也成立。作者称下界是紧的，因此f*使v(f)最大，最大值等于E[DG(Ph, Pt|h)]。helper与predictor有散度时，改进严格为正。
• 证明被写成极小极大：对手先动时，可由凸性把质量放在均值上，上界为DG(ph, pt|h)；Gradient Shift在投影前达到该值；广义勾股定理保证投回单纯形不会变差。
• Corollary 4.2称：加法在二次损失下最优，乘法在交叉熵下最优，hybrid在二元输出、交叉熵下最优。多类下一token上，作者把hybrid当作乘法的稳定性变体：抑制区与乘法一致，低概率放大区改用加法并重归一。
• Theorem B.3放松“二者恰为条件期望”。改进下界变为真实矩的DG减去一项残差；近似趋于精确时残差消失。
• Algorithm 1对已生成前缀分别读取三个下一token分布，算出新分布后采样，直到EOT。

两组实验都比较推理时聚合：红队看ASR与有害程度，数学拒绝模型看应答率、正确率与JTax。作者称只有hybrid能把gpt-oss-120b的ASR拉到helper水平。

实验设置

• 目标：Llama-3.3-70B-Instruct；gpt-oss-120b（作者称为LRM，并称后训练含deliberative alignment与instruction hierarchy）；数学目标是LoRA调成拒绝数学的ethz-spylab–Llama-3.1-70B-Instruct refuse math。
• 辅助模型：Llama红队的helper为Orenguteng–Llama-3.1-8B-Lexi-Uncensored-V2，predictor为Llama-3.1-8B-Instruct。gpt-oss的helper为ArliAI–gpt-oss-20b-Derestricted，predictor为gpt-oss-20b。数学helper为meta-llama–Llama-3.1-8B-Instruct，predictor为ethz-spylab–Llama-3.1-8B-Instruct refuse math。BenchAcc来自Llama-3.1-70B-Instruct。
• 数据：HarmBench全部200条；StrongREJECT的200条子集；GSM8K与Hendrycks-MATH的level 1、3、5，每个设置300条子集。
• 对照：add、mult、hybrid，以及Weak-to-Strong（α为1.0、1.5、2.0，k=40）。α=1且k=∞时，Weak-to-Strong与乘法规则相同。作者称PAIR、GCG等威胁模型与预算不同，红队只在推理时聚合族内比较。
• 指标与评审：Ypre不可直接观测，因此报告ASR与Jailbreak Tax。ASR由HarmBench-Llama-2-13b-cls判定是否产出所要求的有害回应。有害程度用StrongREJECT rubric，评审为gemini-3-flash-preview，拒答（<1%的情形）则改用devstral-2512。附录另用MD-Judge与HarmScore。数学上Success是给出最终答案的比例（不论对错），Correct是答案正确的比例；JTax = 1 − TrueAcc/BenchAcc，TrueAcc是成功越狱条件下的正确率，越大表示恢复的预对齐数学能力越少。
• 解码：非gpt-oss用bitsandbytes 8-bit，gpt-oss用mxfp4。temperature=0.6，无top-k或top-p，频率与存在惩罚为0。max new tokens对非gpt-oss为1000，对gpt-oss为2000。红队提示就是问题本身。论文未报告重复次数。

主结果

表格较宽，可左右滑动

方法（Table 1）	GSM8K Success	GSM8K JTax	GSM8K Correct	L5 Success	L5 JTax
hybrid	0.99	0.00	0.88	0.80	-0.08
mult	1.00	0.03	0.86	0.84	-0.41
add	0.70	0.06	0.58	0.51	0.02
W2S α=1.0, k=40	0.98	0.07	0.81	0.66	0.10
W2S α=1.5, k=40	0.97	0.01	0.85	0.68	-0.00
W2S α=2.0, k=40	0.98	0.01	0.86	0.74	0.32

• 作者称hybrid是唯一能有效越狱gpt-oss-120b的规则：ASR达到helper，其余方法低于30%。正文称Llama-3.3-70B-Instruct上hybrid仍然强且大体有竞争力，并称没有牺牲标准LLM目标上的表现；Figure 4图注称两个数据集上都优于Weak-to-Strong及其他变体。这些柱的数值未在正文列出。
• 作者称hybrid与乘法在MATH level 1和3上Success高于92%。Table 1中hybrid为0.97与0.92，乘法为0.96与0.96。作者把level 5的下降归因于更长解答触达max tokens后被截断，因而不计成功。
• 作者称hybrid匹配基准正确率且jailbreak tax为零，并称该效用不是照抄helper。脚注把更难MATH上的负税解释为选择效应：条件于成功会滤掉更难、更常被拒的题，从而抬高TrueAcc。

替代有害性评审

• Figure 6在HarmBench与StrongREJECT上额外使用MD-Judge和HarmScore，目标仍是Llama-3.3-70B-Instruct与gpt-oss-120b。
• 作者称hybrid相对Weak-to-Strong的改进在标准LLM和LRM上仍然可见。
• 论文未给出这两套评审的具体分数。

越狱税图中的转载基线

• Figure 5把本文GSM8K结果叠在Nikolić et al. (2025)的图上。坐标轴为Jailbreak Tax (%)与Successful Jailbreak Rate (%)，横轴标有1.0、10.0、50.0、90.0、99.0、99.9。
• 图例含AutoDAN、PAIR、Finetune、PAIR (don't modify)、GCG、System Prompt JB、Many-shot、TAP、MultiJail，以及Gradient Shift和Weak-to-Strong。作者称先前方法来自同一评测协议的转载，不是本文重跑。
• 作者称Gradient Shift在接近饱和的成功率下税为零，并接近直接微调目标模型。转载点的坐标未在正文列出。

其他消融与分析

• α=1且k=∞时Weak-to-Strong等于乘法规则；实验固定k=40，α取1.0、1.5、2.0（Section 5.1）。
• 论文未报告重复次数与查询次数；Figure 4除“低于30%”和“达到helper的ASR”外，未给出逐柱数值。
• 解码temperature=0.6；max new tokens为1000（非gpt-oss）或2000（gpt-oss）（Appendix C）。
• BenchAcc在MATH level 1/3为0.70/0.52；helper正确率为0.61/0.37。GSM8K与level 5的对应值为BenchAcc 0.89/0.22、helper 0.85/0.10（Table 1）。
• 作者称加法更不可靠，Weak-to-Strong低于hybrid与乘法，差距在更难的MATH上更大（Section 6）。
• Corollary 4.2只把hybrid的最优性放在二元交叉熵；多类实验把它用作稳定性变体。

作者明确写出的限制是：需要与目标共享tokenizer的弱未对齐模型，以及理想化的校准假设。

作者指出的局限与后续方向

• 方法需要一个与目标共享tokenizer的弱未对齐模型。作者称小模型微调成本低，因此该要求在实践中往往可行（Section 7, Limitations）。
• 严格校准假设是理想化的。作者称放松分析与实验结果提示，实践上不必严格成立，并认为标准指令微调模型已经“calibrated enough”，可在梯度空间里充当有噪声但有信息的预对齐估计（Section 7）。
• 作者在Discussion写，同一框架可反向用于越狱防御，即把不安全模型推向更安全的分布；也可在两个模型之间迁移能力或合并专长，例如大模型的推理与小专家模型的领域知识（Section 7）。
• 作者称在这些可能用途里，越狱是对预测噪声最宽容的下游应用，因为即使predictor不完美，成功也常常仍可检测（Section 7）。

实验覆盖范围

• 红队目标为Llama-3.3-70B-Instruct与gpt-oss-120b；数学目标为LoRA拒绝数学的Llama-3.1-70B-Instruct（Section 5）。
• HarmBench使用全部200条，StrongREJECT使用200条子集；GSM8K与MATH level 1、3、5各使用300条子集（Section 5）。
• 同协议对照为加法、乘法、hybrid和Weak-to-Strong（k=40，α=1.0/1.5/2.0）。Figure 5中的AutoDAN、PAIR、GCG、TAP、Finetune等是转载，不是本文重跑（Section 5.1、Figure 5）。
• 评审包括HarmBench-Llama-2-13b-cls、gemini-3-flash-preview（拒答<1%时改用devstral-2512），附录另有MD-Judge与HarmScore（Appendix C）。
• 论文未报告重复次数与查询次数。解码温度为0.6，最大新token为1000或2000（Appendix C）。

把推理时越狱写成三个预测的聚合：对齐对下一token的影响被当作预对齐分布上的误校准，Gradient Shift用弱模型对的梯度差把强对齐目标拉回去。

• 问题：攻击者不改参数，只观测高容量强对齐目标、低容量未对齐helper，以及估计目标条件预测的predictor。优化目标是降低相对不可观测的Ypre的适当损失，实验因而改报ASR与JTax。
• 规则：交叉熵给出乘法更新，与已有logit算术相同；二次损失给出加法；hybrid在ph小于pt|h时用乘法，否则用加法残差并重归一。Theorem 4.1称，在所述假设下，期望损失改进至少为helper与predictor的Bregman散度。
• 红队：HarmBench与StrongREJECT各200条，目标为Llama-3.3-70B-Instruct和gpt-oss-120b。作者称只有hybrid能把后者的ASR拉到helper水平，其余方法低于30%；前者上正文称hybrid仍有竞争力。
• 数学：拒绝数学的Llama-3.1-70B上，Table 1中hybrid的GSM8K Success为0.99、JTax为0.00、Correct为0.88，BenchAcc为0.89。MATH level 5的Success为0.80。作者把该下降归因于解答触达最大长度后被截断。
• 作者的引申：同一偏移校正也可把不安全模型推向更安全的分布，或在模型间迁移能力。作者称越狱是这些用途里对预测噪声最宽容的应用，并指出需要共享tokenizer的弱未对齐模型，校准假设本身是理想化的。