研究者提出迭代去对齐的罕见事件概率估计方法

核心问题是：在固定输入下，如何估计语言模型自身随机解码轨迹上极稀有事件的概率。

• 场景与重要性：作者认为，智能体被更自主地部署后，会持续执行代码、管理文件系统并调用第三方 API。单条轨迹若删除生产数据库、外泄敏感数据、执行不可逆金融交易或采取权力寻求行动，即使单次 rollout 概率很低，也可能造成灾难性且不可逆的伤害。作者称，在可能超过十亿用户同时运行智能体的部署规模下，十亿分之一的失败概率也会产生许多失败；定量估计是判断残余风险是否可接受、安排部署前补救和人工监督的前提。
• 与对抗输入搜索的区别：已有工作构造用户提示词（越狱）以引出不安全行为。本文关注互补风险：固定提示词（可以是良性或对抗性的）下，失败来自模型自身解码轨迹的随机变化。
• 现有估计方法的不足：朴素 Monte Carlo 在稀有区间计算上不可行。有效重要性采样需要协调地改变一串依赖上下文的条件分布。作者称，经典稀有事件方法依赖低维参数族和可利用结构；语言模型的轨迹空间为 |V|^L，轨迹级重要性权重是逐步似然比的乘积，单步偏差会沿长轨迹累积。并发方法或用 MCMC 对轨迹做局部变异而不学习提议模型，或在已有事件命中的前提下对激活做线性干预。作者称 Dorman 等人的 MCMC 在已验证概率低于约 10^{-5} 的更稀有事件上得到零次命中。
• 核心观察：作者把事件定义与搜索信号分开。事件由任意二元指示 Φ 指定，可微代理 S_δ 提供密集搜索信号；提议分布本身是可微参数化的语言模型 q_δ=p_{θ+δ}，从而能在权重空间做梯度搜索。
• 提出的方法：作者提出 Iterative Unalignment（IU）：用事件放大的可微代理，加上按有效样本量在线调节强度的逐步散度正则，在放大事件与估计器稳定性之间做动态平衡。评测覆盖约 120M 与约 2.6B 模型、三个事件族、300 余个事件，稀有度低至 10^{-9}，参考概率的相对标准误低于 10%。

论文在第 2 节把相关工作分成对齐、红队、语言模型中的稀有事件估计，以及神经网络中的稀有事件。

对齐

• 基于人类偏好的奖励模型与潜在对抗扰动（Christiano et al.、Bai et al.、Casper et al.、Olah et al. 等，按论文引用 [12, 5, 10, 32]）——通过对齐减少不良行为。论文指出，安全微调可能只是抑制而非消除不安全行为，输出分布长尾中仍有残余失败 [17]；理论结果认为对齐过程可能留下很小的非零失败概率 [41]。本文要量化这些残余风险。

红队

• Zou et al. [47] 与 Chao et al. [11]——前者用梯度优化对抗提示后缀，后者用攻击者语言模型迭代改进越狱提示。论文指出，找到能引出失败的输入，本身并不说明该失败在模型输出分布下有多频繁。

语言模型中的稀有事件

• Jones et al. [21]——研究稀有行为风险如何随查询次数增长，并把引出概率外推到更大部署规模，但不构造重要性采样提议。论文称 IU 处理的是互补问题：固定输入下估计事件在输出分布中的概率。
• Wu and Hilton [42]、Cao et al. [9]——用重要性采样估计基座模型下一个 argmax token 等于目标 token 的概率，提议建在随机输入上，并用梯度与 MCMC 搜索。论文指出，这些方法估计的是随机输入上确定性预测器的概率；本文固定任意输入，学习随机输出轨迹上的提议。
• Angell et al. [2] 与 Dorman et al. [14]——Angell 等人用线性激活干预构造重要性采样提议，激活方向需要目标行为样例，混合采样比例需要事件命中来标定；其事件定义依赖 LLM 评审，作者称其展示了有害输出概率约 10^{-4} 时 10–20 倍的效率增益。Dorman 等人用标量分数既定义事件又引导 MCMC，参考值依赖朴素 Monte Carlo，深尾未被独立核验。论文在附录 F 与 IU 比较，并加入 IU AS，在同一目标下比较激活更新与权重更新。

神经网络中的稀有事件

• Webb et al. [39]——用自适应多层分裂估计违反安全分数阈值的概率，借助中间分数层级，场景是计算机视觉。论文称自己在自然语言设置中提供另一种做法。

基线方法包括朴素 Monte Carlo、交叉熵（CE）优化、twisted SMC、激活级与 logit 级倾斜，以及 Dorman 等人的 MCMC；基准为 Token Presence、组合 Token Presence（合取与有序序列）和 Profanity Classifier。

作者把本文定位为：在固定模型的自回归输出分布上估计稀有事件概率，用语言模型权重扰动作为提议族，并把事件指示与可微搜索信号分开，以便在可核验的深尾（低至 10^{-9}）上评估。

Iterative Unalignment（IU）把重要性采样的提议写成基座模型的权重扰动 q_δ=p_{θ+δ}，用可微代理推动事件变常见，再用按有效样本量在线调节的逐步反向 KL 限制提议过度偏离基座。

问题设定

• 估计目标：基座模型 p 在固定输入 x 下自回归生成 y=(y_1,…,y_L)。事件 E={Φ(y)=1}，目标是 μ=p(E|x)=E_{y∼p}[Φ(y)]。部署风险可以对输入分布取平均，但本文把 x 固定，以隔离寻找稀有输出轨迹的问题。
• 为何不用单一标量分数：经典做法用 g(y)>γ 同时定义事件并引导搜索。理想的前缀分数是剩余事件概率，但它要对全部续写求和；GPT-2 Small 的词表大小为 50,257，L=10 时序列数约为 10^{47}，且空前缀上的该分数就是 μ 本身。从 rollout 学习辅助打分模型同样缺少稀有事件监督。
• 事件与搜索信号分离：Φ 只定义要测的失败；代理 S_δ 只回答往哪移动提议才能更常看到该失败。代理可以只捕捉相关或使能条件，不必精确刻画事件区域。

语言模型提议与重要性权重

• 权重空间参数化：任意扰动 δ 定义 q_δ=p_{θ+δ}。同一组参数决定每一步条件分布，因此一次扰动会协调地改变全部依赖前缀的条件分布。映射 δ 到 q_δ 可微，提议设计变成参数空间上的梯度优化。
• 三种倾斜：logit 级（在输出 logits 上加可训练的 |V| 维向量）、激活级（隐藏激活加可训练偏移、权重固定）、权重级（如 LoRA 扰动权重）。作者重点做权重级，并分别比较表达能力与搜索算法（梯度相对 CE）。
• 覆盖要求：理想情况下，条件于事件后 q_δ(y|E)≈p(y|E)，即放大因子 q_δ(y)/p(y) 在事件轨迹上近似常数。若提议在基座仍有非忽略质量的事件轨迹上质量过低，称为 under-coverage，重要性权重会变得很大。轨迹权重是逐步似然比的乘积：w(y)=∏_{ℓ=1}^{L} p(y_ℓ|y_{<ℓ})/q_δ(y_ℓ|y_{<ℓ})。
• 方差分解：N 样本估计的方差分成事件稀缺项 (1-r_δ)/r_δ 与事件内权重离散项 χ²(q*∥q_δ^E)/r_δ，其中 r_δ=q_δ(E)，q* 是基座条件于事件的分布。零方差提议对每条事件轨迹都放大 1/μ，但依赖未知的 μ，不可直接使用。

代理、正则与自适应强度

• 代理的三个要求：事件可观测性（非事件轨迹上也有信息）、事件对齐（提高代理应倾向于提高真实事件概率）、事件召回（优化所偏好的高值区域应包含整个 E）。作者认为高召回是必需的，高精确率可选；假阴性会造成 under-coverage，正则无法找回被代理系统性忽略的事件轨迹。对复杂事件，可用必要条件的可微代理，精确率不完美也可以。
• 正则：直接用有限批次估计 χ² 会漏掉未覆盖、权重大的轨迹，从而低估散度。作者改用逐步反向 KL：R_δ(y)=∑_{ℓ=1}^{L} KL(q_δ(·|y_{<ℓ})∥p(·|y_{<ℓ}))，其在提议下的期望等于 KL(q_δ∥p)。每个访问过的前缀对整个词表给出反馈；正则作用于全部 rollout，包括非事件，以便在命中仍少时也有约束。Figure 5 的离散玩具例子中，反向 KL 的批次估计聚集在总体值附近，而 χ² 的批次估计低于总体值。
• 自适应 λ：λ 太小会让提议塌到代理模态并严重低估概率；λ 太大则放大不足、许多评估批次没有命中（Figure 7）。当批次事件频率 ĥ_t 低于 h*=0.1 时用全批次 ESSr 及目标 ρ_batch，达到后再用事件内 ESSr 及目标 ρ_event，且通常 ρ_event>ρ_batch。更新为 λ_{t+1}=max{λ_min, λ_t exp(η_λ(ρ_t−ESSr_t))}。作者称经验 ESSr 不是总体 χ² 的证书，未观测事件模态仍可使 χ² 任意大。
• 优化细节：每个更新把已采样轨迹 y 当作固定，只通过沿已实现前缀的条件分布 q_δ(·|y_{<ℓ}) 对 S_δ 与 R_δ 反传，不穿过离散采样。目标是批次上 S_δ(y_i)−λ_t R_δ(y_i) 的平均，样本来自当前提议。

训练后估计与成功判定

• Algorithm 1：从 δ=0、λ=λ_0 出发，迭代 T 步：每步从当前提议采 B 条轨迹，做梯度更新，再按 ESSr 更新 λ。训练结束后从学到的提议新采 N 条轨迹，用精确重要性权重得到无偏估计 μ̂。
• 评测事件：Token Presence 用于系统扫描稀有度与长度；组合 Token Presence 分为指定顺序的 Ordered Sequence 与任意顺序的 Conjunctive；Profanity Classifier 用连续分数越过阈值来定义事件。三类都是序列级事件，重要性权重仍是 L 个逐步似然比的乘积。
• 误差指标：作者用 quantile log error，衡量 95% 重复运行中估计与真实概率相差多少个数量级，因为有限样本可能漏掉主导相对 MSE 的稀有大误差。参考概率的相对标准误控制在 10% 以内。

实验设置

• 被测模型：GPT-2 Small（约 120M 参数）与 Gemma-2（约 2.6B 参数）。作者称重复估计的采样量限制了可研究的模型规模。
• 事件与参考概率：三个事件族、300 余个事件，稀有度低至 10^{-9}，参考概率的相对标准误低于 10%。Token Presence 可对整个词表并行计算真值，并扫描到 μ=10^{-9}、生成长度最长 50 个 token。组合 Token Presence 在 GPT-2 Small、L=10 上包含合取与有序序列（Table 13）。Profanity Classifier 的事件为 f(y)>κ，Table 12 列出 GPT-2 在 L=10 与 L=50、以及 Gemma 在 L=10 上、κ 从 0.1 到 0.999 的参考概率。
• 基线：朴素 Monte Carlo；CE 优化与 twisted-SMC（附录 H.1、H.2，无权重梯度）；激活级与 logit 级倾斜，并在这两类参数化内比较梯度优化与 CE。与 Angell 等人的激活干预对应的是同一目标下的 IU AS。附录 F 在有已验证参考概率的事件上与 Dorman 等人的 MCMC 比较。
• 指标：重要性采样估计的无偏性要求提议在基座有正概率的事件轨迹上支撑为正。主要报告计算加权效率（含训练与采样）相对朴素 Monte Carlo 的增益，以及 95 分位 quantile log error（估计与真实概率相差的数量级）。训练中监控 ESSr、事件频率 ĥ_t、代理与正则。
• 样本量：摘要与第 1 节称，GPT-2 上训练后每个估计用 128 个样本。附录 G 称，μ=10^{-9} 时若用朴素 Monte Carlo 达到 10% 相对标准误，大约需要 10^{11} 次原始指示 rollout。重复运行次数在正文可见处未逐项列出。
• 组合事件的参考值：Table 13 中 GPT-2 Small、L=10 的合取事件参考概率从 {␣the, ␣was, ␣and} 的 6.57273504138×10^{-3} 到 {␣connect, ␣the, ␣was} 的 3.7222278697068845×10^{-6}；有序序列从 ␣the→␣was→␣and 的 2.589375125567×10^{-3} 到 ␣the→␣was→␣connect 的 1.246940501071×10^{-6}。

主结果

表格较宽，可左右滑动

设置	指标	数值	出处
Token Presence，概率从 10^{-7} 到 10^{-9}	相对朴素 Monte Carlo 的计算加权效率增益（含训练与采样），平均	超过 800×	摘要、第 1 节第 4 点、Section 7
GPT-2，概率低于 10^{-7} 的 Token Presence，训练后每估计 128 样本	平均 95 分位误差	1.2 个数量级	第 1 节第 4 点、Section 7
三个事件族、两个模型	事件数与最稀参考概率	300 余个事件，低至 10^{-9}，参考相对标准误 <10%	摘要、Section 6
Angell et al. 的报告（非本文估计器）	有害输出概率约 10^{-4} 时的效率增益	10–20×	第 2 节

• 作者的解读：在最可核验的设置中，对概率低于 10^{-7} 的事件，IU 估计器相对朴素 Monte Carlo 有超过 800 倍的计算加权效率增益。作者把这一增益与 Angell 等人在约 10^{-4} 上的 10–20 倍增益对照，并称本文评测到可核验的更稀有事件（低至 10^{-9}）。
• 训练后成本：作者称训练之后，GPT-2 上每个估计只需 128 个样本，即可在低于 10^{-7} 的事件上得到平均 1.2 个数量级的 95 分位误差。
• MCMC 对照：作者称 Dorman 等人的方法依赖局部轨迹变异，难以发现组合序列空间中的孤立模态，在已验证概率低于约 10^{-5} 的更稀有事件上事件命中为零（Section 6.3 与附录 F）。

正则与自适应的训练动态

• 测了什么：Figure 6 比较逐步反向 KL 与 χ² 正则下的事件内重要性权重；Figure 7 比较固定正则过弱、过强与自适应正则的样本代价；Figure 8 展示 300 步训练中事件比例、归一化代理与正则，以及 λ_t 把事件内 ESSr 拉向目标 ρ_E。
• 结果：作者称在该比较中，反向 KL 的事件内权重更集中，χ² 的权重跨越更多个数量级；黑实线为期望事件内权重 μ/r_δ。Figure 7 中，正则过弱时估计严重偏低、样本代价上升，过强时放大不足、样本代价同样上升；三角形表示代价超过作图上限。Figure 8 中 ĥ_t 在训练中上升，自适应规则把 ESSr_E 调到 ρ_E。
• 作者的解读：固定正则在两端都会失败，自适应正则避开这两种区间。经验 ESSr 只作为已观测权重离散程度的粗反馈，不能证明未观测事件路径已被覆盖。

Profanity 参考概率的范围

• 测了什么：Table 12 给出分数阈值事件 f(y)>κ 的参考概率，不是 IU 的估计误差。
• 结果：GPT-2、L=10 上，κ=0.1 时 μ=2.8353515625×10^{-1}，κ=0.999 时 μ=8.59375×10^{-5}。GPT-2、L=50 上，同一对阈值为 6.888671875×10^{-2} 与 1.44140625×10^{-3}。Gemma、L=10 上为 7.9390625×10^{-2} 与 6.3319311×10^{-5}。表中破折号表示该模型–长度–阈值组合不在实验清单中；所附表格片段里这三列均有数值。
• 作者的解读：该设置把评测接回“连续分数越过阈值”的传统表述，同时仍保留序列级重要性采样中逐步似然比相乘的困难。

其他消融与分析

• 倾斜层级：权重级相对激活级、logit 级，用于比较提议表达能力；激活与 logit 内再比较梯度优化与 CE（第 4 节）。所附正文未给出这组对比的具体误差数字。
• 正则形式：附录 I.2 比较基座 rollout 上的联合前向 KL、事件门控正则与 on-policy 前向 KL；附录 I.3 称逐步求和的 χ² 是所测 χ² 实现中经验表现最好的，Figure 6 仍显示其事件内权重比反向 KL 更分散。
• 代理失配：附录 I.1 称初步实验中，IU 可以容忍比真实事件更宽的代理覆盖，但失配增大时估计误差上升。论文未在正文给出该误差的具体数值。
• 样本代价定义：Figure 7 的样本代价是达到与自适应正则相同估计精度所需的轨迹数（Eq. 17）。
• h*：实验中取 0.1；λ_0≥λ_min>0，η_λ>0。论文在所附正文未给出各事件族的具体 λ_0、学习率或 LoRA 秩。
• 输入与长度：附录 I.5 讨论输入上下文与自回归输出长度的不同角色。

作者指出的局限与后续方向

• 深尾真值难以严格核验：作者在贡献 3 与 Section 6 中写，深尾估计器的准确性很难严格验证，因为真值需要模型生成的大量 rollout。他们因此构造三类能给出可靠参考概率的事件，而不是依赖稀疏、高方差的真值命中、基于模型的自动评分，或无法独立核验深尾的连续分数。Section 8 讨论启示与局限；所附正文在该节之前已明确写出上述核验困难。（Section 6、贡献 3）
• 模型规模受采样量限制：作者写，要在数百个事件上评估估计器的重复估计散布，需要大量采样，因而限制了可研究的模型规模；实验停在 GPT-2 Small（约 120M）与 Gemma-2（约 2.6B）。（第 1 节第 4 点）
• 经验 ESSr 不能证明覆盖：作者写，未观测的事件模态可以使 χ²(q*∥q_δ^E) 任意大，而经验 ESSr 仍然很高；训练中观察到的权重不能证明未观测事件路径已被覆盖。（§5.2、§5.3）
• 正则无法补回被代理漏掉的模态：作者写，反向 KL 正则并不保证覆盖整个稀有事件区域；被代理系统性错过的事件模态不能单靠正则找回。（§5.2）
• 同时真实、稀有且可核验的事件本身是独立研究问题：作者写，构造同时符合部署失败、又稀有、又可核验的事件是一个完整的研究题目；因本文贡献主要是算法，他们选择保留提议设计难度、同时能核验估计精度的事件。（Section 6）
• 理想零方差提议不可用：作者写 q* 依赖未知的 μ，不能作为可访问的提议；直接最大化事件概率或直接控制事件内 χ²，在稀有区间本身也是稀有事件问题。（第 5 节）

实验覆盖范围

• 模型：实验模型为 GPT-2 Small（约 120M）与 Gemma-2（约 2.6B），共 2 个（摘要、第 1 节）。
• 事件族：Token Presence、组合 Token Presence（Conjunctive 与 Ordered Sequence）、Profanity Classifier；事件总数 300 余个，参考概率低至 10^{-9}，相对标准误低于 10%（摘要、Section 6、Table 12、Table 13）。
• 长度与阈值：Token Presence 的生成长度写到最长 50 个 token。Profanity 的参考概率覆盖 GPT-2 的 L=10 与 L=50、Gemma 的 L=10，阈值 κ 从 0.1 到 0.999（Table 12）。组合事件的清单在 Table 13 中为 GPT-2 Small、L=10 的 5 个合取事件与 5 个有序序列事件。
• 对照：同一目标下比较了权重更新与激活更新（IU AS）；激活与 logit 参数化内比较了梯度优化与 CE；附录比较了逐步反向 KL 与 χ²、以及若干 KL 正则变体；附录 F 在有已验证参考概率的事件上比较 Dorman 等人的 MCMC。朴素 Monte Carlo 作为效率对照。
• 论文未报告的实现细节：所附正文给出 h*=0.1、训练后 GPT-2 每个估计 128 个样本，以及 Figure 8 的 300 个优化步，但未在可见正文中给出各事件的批大小 B、估计重复次数、η_δ、η_λ 或 LoRA 秩的具体数值。

Iterative Unalignment 用扰动后的语言模型做重要性采样提议，估计固定输入下、由模型自身随机解码产生的稀有事件概率。

• 问题：作者关心的不是构造越狱输入，而是在提示词固定时，输出轨迹分布的长尾失败有多频繁。智能体若删除数据、外泄信息或执行不可逆操作，十亿分之一的单次概率在大规模部署下仍可能多次发生。朴素 Monte Carlo 在这一区间需要的 rollout 数量使其不可行；轨迹空间为 |V|^L，重要性权重又是逐步似然比的乘积。
• 方法：提议写成 q_δ=p_{θ+δ}。二元指示 Φ 定义事件，可微代理 S_δ 在尚未命中时提供放大方向，并要求高召回。逐步反向 KL 作为正则，作用在全部提议轨迹上；其强度 λ 由全批次或事件内有效样本量比在线调节，切换阈值 h*=0.1。更新只沿已采样前缀的条件分布反传。训练后再从提议采样，用精确重要性权重估计 μ。
• 结果：在 GPT-2 Small（约 120M）与 Gemma-2（约 2.6B）、三个事件族、300 余个事件上，参考概率低至 10^{-9} 且相对标准误低于 10%。作者报告，Token Presence 中概率低于 10^{-7} 的事件，IU 相对朴素 Monte Carlo 的计算加权效率增益平均超过 800 倍，训练成本计入在内。GPT-2 上训练后每个估计 128 个样本，这些事件的平均 95 分位误差为 1.2 个数量级。作者称 MCMC 局部变异在已验证概率低于约 10^{-5} 时命中为零。
• 作者的结论：作者认为，把语言模型当作提议分布，可能是评估智能体在更长自主时间上风险的一种可操作途径；事件定义与搜索信号分离后，Φ 可以表示任意二元轨迹性质。同时作者写明，深尾真值难以核验、重复估计限制了模型规模，且经验权重稳定性不能证明未观测事件路径已被覆盖。