HARP：在硬资源约束下为 LLM 评测动态分配预算

在不可超支的计算预算下，为多轮交互的 time-to-event 构造有限样本覆盖的预测界，并得到无偏的评测指标估计。

• 场景：评测 LLM 与智能体常要多轮交互，计算量高于单轮回复。作者举例：模型可能先拒绝有害请求、经若干改写后才服从，或编码任务起初失败、进一步协助后成功。作者认为事件发生步数描述了单轮成功率捕捉不到的行为；预测下界与上界可支持安全与效用评测，但轨迹长度事先未知。
• 现有不足：只在期望意义下满足预算的策略，可能在某一次运行超支。为每条提示预留最大长度能满足确定性约束，但事件早发生时预算利用不足；采到耗尽并把观测样本当代表，会带来分布偏移，使理论保证失效。Davidov 等与 DAPRO 只在期望意义下控预算，且既有覆盖论证要求各轨迹删失时间相互独立。
• 作者列出的难点：轨迹成本随机且采集前未知；不同轨迹的花费相互依赖，覆盖证明必须处理这种依赖；早发生事件省下的预算要回流，且回流后剩余轨迹仍须可行，使确定性约束在执行全程成立。
• 本文做法：提出 HARP（Hard-budget Allocation with Reflow for Predictive calibration），含静态与动态变体，以及 depth 规则。用它构造 time-to-event 的 lower predictive bounds（LPBs），并估计固定基准上的指标，例如越狱率。作者称尽管采集决策跨轨迹相依，HARP 仍几乎必然不超目标预算，LPB 有有限样本覆盖保证，指标估计无偏。

删失生存分析与期望预算分配

• Gui 等 (2024)：为 conformalized survival analysis 设计自适应 cut-off。
• Davidov 等 (2025)：处理一般右删失数据的 conformalized survival analysis。
• Davidov 等 (2026) 与 DAPRO (Feldman and Romano, 2026)：为 LLM 多轮 time-to-event 做预算分配与 LPB 校准；DAPRO 按轨迹历史动态停止，并用 conformal risk control 做期望预算校准。论文指出 [1–4] 的覆盖证明要求各轨迹删失时间独立，且 [3, 4] 只在期望意义下满足预算。

硬约束实验设计与依赖舍入

• Yamin 等 (2025)：用 dependent rounding 做预算约束实验设计，保留一阶概率并支持无偏性。论文指出这类工作没有说明：采集成本任意、随机且事先未知时，如何在硬约束下构造有有限样本、分布无关保证的校准预测界。
• Byrka 等 (2017) 及更早的系统抽样、cube method、dependent rounding：给出加权或依赖舍入的性质。HARP 使用加权 pivotal rounding，并在附录自含证明校准所需的 cylinder 不等式。

逆概率估计与预测辅助校正

• Horvitz 与 Thompson (1952)：不等概率抽样的逆概率估计。LPB 估计沿用这一形式。
• prediction-powered inference（Angelopoulos 等, 2023）：用预测结合观测结果。论文称 UPB 与事件率使用 DAPRO 的 sequential augmented estimator。
• conformal risk control（Angelopoulos 等, 2024）：DAPRO 用来做期望预算保证。论文称 HARP 不需要策略学习阶段，也不需要这一 CRC 步骤。

基线与基准

• 基线方法：DAPRO；Uncalibrated，即直接使用预训练分位数，图中无采集成本箱。
• 基准：与 [4] 相同的数据与设置，包括 RealToxicityPrompts 毒性、Anthropic red teaming（Qwen judge 或 Llama Guard）、基于 SQuAD 的检索接地幻觉、AutoIF 指令遵循。

作者把与 DAPRO 的差别放在确定性预算、账本回流，以及在组内承诺和组间依赖下仍校准嵌套预测界；与 Yamin 等的差别是约束形式和随后的推断问题不同。

整体做法是把校准样本分组，按剩余预算为每组设定随机删失时间，使最坏成本不超过剩余预算，执行后把实际省下的轮次回流。方法为 HARP，有承诺式 HARP-C 与轨迹内动态的 HARP-D，以及 depth 变体。

时间到事件与校准目标

• 初始提示为 X，轨迹历史为 H(t)。模型 A 与目标模型 G 交互：Ri(t)=G(Ai(t))，审计函数 J 给出事件指示 Yi(t)。事件时间 Ti=min{t≥1:Yi(t)=1}，最大长度 M；删失时间 Ci≤M，观测长度为 min(Ti,Ci)。
• 预训练生存模型给出 time-to-event 的 τ 分位预测 fbτ(X)，在 M 处截断，候选族含 τ0 使 fbτ0≡0。误覆盖事件与总体误覆盖为式 (1) 中的 Ai(τ) 与 μ(τ)。
• 目标是 PAC 式保证：外层概率取自校准轨迹与采集随机化，内层是同分布的独立测试点。即 P{μ(τ̂)>α+Δ}≤δ。这与对多次校准运行平均的边际覆盖不同。
• 样本 i 被解析（Zi=1）时，观测前缀足以判定所有候选 τ 的事件指示。Horvitz–Thompson 估计为 μ̂(τ)=1/N∑_i=1^N Z_i A_i(τ)/π_i，再取经验误覆盖不超过 α 的最大 τ。πi 是给定该轨迹与先前组历史下的解析概率；分母包含未观测事件时间的提示。

分组预留、承诺与回流

• 独立参考集 R 只用于估计预测，不花交互预算，也不进入校准估计量。校准样本随机分成 K=⌈N/m⌉ 组。每条样本有执行地平线 di∈{0,…,M}。账本 L0=B，要求 B≥K(1+η)M。
• 第 k 组的津贴 κk 为剩余预算减去其后每组 (1+η)M 的预留；pacing 预算 βk 把剩余预算均分给尚未处理的组。作者称成本估计不准可能达不到 βk，但不应突破 κk。
• 参考集上先选定设计分位 τ⋆，再用参考成本曲线 cR(λ) 选乘数 λk，使提议采集概率下的期望成本接近 βk/mk。提议概率是启发式，作者称其形式来自 Davidov 等的闭式方差最小化；保证对只依赖该样本特征与先前组的任意提议都成立。实验相关的 ω 在方法中取 1/2。
• 加权 pivotal rounding 以 pci 为成功概率抽出承诺 ζi。过程保持加权和，最后一维 Bernoulli 使加权和改变至多 max di≤M。与式 (8) 的上限合在一起，该组承诺地平线之和不超过 κk。执行后按实际花费 Sk 更新账本。

完成、延续与 depth

• HARP-C：ζi=1 的样本一直跑到事件时间或地平线 di，解析概率为 pci，只在组间通过账本适应预算。
• HARP-D：花第 t 轮之前只用 Hi(t−1) 计算平滑误覆盖分 νi(t) 与剩余成本，再以 Pi(t) 独立决定是否继续。被延续硬币停掉的轨迹不再恢复。解析概率为 pci 乘以到达 bi=min(Ti,di) 的延续概率乘积。
• depth：普通 HARP 把地平线设为某个先验分位预测。depth 版用参考集初始预测选出 ℓ≤τprior，候选族限制为 τ≤ℓ，地平线 di=(fbℓ(Xi)−1)+，从而不必采集更后的轮次，代价是可选的最大 LPB 变小。ℓ 在五个风险情景 γ∈{.6, .8, 1, 1.25, 1.6} 上按最坏后悔选取，附录 C.2 给出规划量。
• UPB 与指标估计不截断候选族。每条样本独立以概率 .25 取全地平线、否则取浅地平线，并在权重里校正这次抽取。

预算、覆盖与指标

• 定理 1：在式 (4) 下，各组实际花费之和几乎必然不超过 B。作者称即使预测不准或数据非 i.i.d. 也成立。
• 定理 2：校准与测试 i.i.d.，且每个保留候选的可预测二阶矩均值有确定性包络 v⋆ 时，式 (3) 选出的 LPB 满足上述 PAC 保证。相依采集只通过 v⋆ 进入 Δ；Δ 需盖住由 log(1/δ)、N 与 (v⋆−α²)+ 组成的修正。
• 定理 3：UPB 用带符号的序列增量估计，另需到达权重沿前缀非增且有正下界。无穷回退下的后缀包络选择器满足相应误覆盖的 PAC 界，修正只通过权重上界 W 进入。作者称倾向很小时，仅按范围给出的界仍可能空洞。
• 指标目标为全地平线事件概率 P(T≤M) 与 restricted mean E[min(T,M)]。事件率用序列增广估计；restricted mean 用终端逆概率估计。作者称给定完整基准与参考划分时，加权恒等式对工作样本均值设计无偏；条件事件时间的加权比一般并非无偏，分母为 0 时记为未定义。

实验设置

• 目标模型：Qwen 2.5 14B、Llama 3.1 8B、Phi-4 Mini、Gemma 3 4B。Qwen 2.5 14B 同时是所继承 PAIR 式对话中的 attacker/helper。红队评审为 Qwen judge 或 Llama Guard，二者是不同评测配置。
• 数据与事件：沿用 [4] 的对话、事件标签和预测缓存，不修改。五种设置：RealToxicityPrompts 毒性；Anthropic red teaming（Qwen judge 或 Llama Guard）；基于 SQuAD 的检索接地幻觉；AutoIF。每种配置 10,000 条初始提示，4,000 用于训练、6,000 用于采集与校准评测。安全设置的事件是首次被判有害或未接地的回复；AutoIF 是首次通过全部可执行检查。M=200，201 表示该地平线内无事件。
• 预测模型与预算范围：生存模型在 4,000 条独立样本上预训练，用 Multilingual-E5-large 嵌入历史。作者写明预算约束只针对校准步骤，训练阶段另有预算。
• 划分与超参：每项实验重复 20 次，校准 2000、测试 1000。HARP 用 100 条参考提示且不消耗预算，预算分给其余 1,900 条。m=25，η=.05，pmin=.02。DAPRO 用 25 条学分配策略、另 25 条做 CRC。变体选择只用第一队列的 10 次划分；展示图包含全部 20 次。
• 预算：LPB 上毒性 B̄=20，其余数据集 B̄=10；UPB 与指标估计全程 B̄=20（Table 1）。附录 F.3 对 70%、80%、90% 覆盖分别设计采集。
• 对照与选定变体：对照为 DAPRO 与 Uncalibrated。按附录 F.4 的任务级准则，LPB 与 UPB 用 HARP-D（+depth），指标估计用 HARP-D（无 depth），并用于每个数据集和目标模型。

主结果

正文给出的可回查数字如下。预算利用率是消耗预算除以可用预算的均值；覆盖偏差单位为百分点。界任务的 HARP 为 HARP-D（+depth）。

条件	HARP	DAPRO
毒性 LPB，四目标平均绝对覆盖偏差（pp），90%，B̄=20，Figure 1	1.05	1.08
AutoIF，Qwen 2.5 14B，LPB 偏差（pp），90%，B̄=10，Figure 2	1.245	1.025
AutoIF，Qwen 2.5 14B，UPB 偏差（pp），80%，B̄=20，Figure 2	1.225	1.160
LPB 平均预算利用率，Section 4	94.51%	91.58%
UPB 平均预算利用率，Section 4	95.70%	69.14%
指标估计平均预算利用率，Section 4	97.03%	82.80%

• 作者称 HARP 在全部实验中从不超出目标预算；DAPRO 在 LPB、UPB、指标三类上的超预算频率分别为 13.00%、3.00%、12.75%。作者称这与定理 1 的确定性控制、以及 DAPRO 只有期望预算保证一致。
• 作者称 HARP 在 LPB 构造上难以明显好于 DAPRO，因为 [4] 中 DAPRO 已接近无限预算的 oracle。AutoIF 的 Qwen 2.5 14B 上 DAPRO 偏差更小；毒性上两者的四模型平均偏差接近。
• 作者称 HARP 的预算利用率高于 DAPRO。正文未逐模型列出 Figure 1–2 箱线图的中位数，上表只用正文写出的汇总数字。

红队事件率

• 测了什么：Llama Guard 为评审，估计边际事件率 P(T≤M)，四个目标模型，B̄=20，20 次。HARP 为 HARP-D（无 depth）。Figure 3 同时给出估计与跨种子方差；红线为 benchmark-cohort 均值。
• 结果：作者称两种校准方法都在期望意义下恢复正确指标，HARP 在四个目标模型上方差低 60.65%。正文未给出各模型的事件率点估计。
• 作者解读：即便两个估计都无偏，方差更低者在单次数据集上更可能接近真实边际值。

四变体比较

Table 2 是 20 次运行上、配置内方差相对 DAPRO 的中位数比，不按数据集选赢家。D 不拟合 DAPRO 的时间/分数分箱策略。

Swipe horizontally to read the table

变体	LPB	UPB	事件率	restricted mean
HARP-C（无 depth）	1.935	0.622	0.632	0.466
HARP-C（+depth）	1.017	0.678	1.081	0.720
HARP-D（无 depth）	1.410	0.615	0.671	0.457
HARP-D（+depth）	0.948	0.585	1.200	0.819

• 作者称 depth 降低 C 与 D 的 LPB 覆盖方差中位比；UPB 上 depth 降低 D 的比、升高 C 的比。D 加 depth 在两种界任务上的中位覆盖方差比最小，与按覆盖均方误差保存该变体一致。
• 指标上 depth 提高事件率与 restricted mean 的方差比。任务级归一化 MSE 选 D 无 depth，其平均秩为 1.45，C 为 1.90。C 的事件率中位比小于 D，作者称因此不能只看事件方差来决定两指标选择。

其他消融与分析

• 附录 F.4：预测界按偏离目标覆盖的均方偏差排名，平局看界大小，LPB 偏大、UPB 偏小；指标按事件率与 restricted mean 的平均平方误差排名，后者按评测地平线归一化。
• 展示比较包含用于选择的 10 次运行；作者称因此是描述性比较，不是所选变体的独立留出评测。
• 附录 F.3：N0=2000、R=100、m=25、M=200、η=.05 时预留为 76×210=15960 轮，合每条父提示 7.98；作者称两个规定预算都可行。
• LPB 设计风险 αdesign=.1；UPB 先验 .98 并含无穷回退，有 depth 时全地平线概率 .25；LPB 网格先验 .56（附录 C.1、D.1、F.3）。
• 附录 B.2：指定 D 策略、M=200、Λ=10^9、ω=1/2 时，作者给出到达概率下界 pe0≥1.58×10^{-6}，并称它对粗的均匀 PAC 修正仍然过小。
• 附录 B.6：非末组都精确条件 pacing 时，作者给出末组剩余预算期望不超过 B/K；回流不能保证参考曲线上的 λk 消除 pacing 缺口。若所有 Ti=1 且 B>N，停在事件处的策略在这 N 条上至多花费 N 轮。

作者指出的局限与后续方向

• 保证要求校准与测试数据 i.i.d.，且审计标签正确；作者写明实践中标签可能有噪声或部分缺失，因而需要能承受这类损坏的 HARP 扩展（Discussion）。
• HARP 只为单一事件时间构造界；作者写明许多应用需要联合评测智能体等系统的安全，因而需要多事件时间的界（Discussion）。
• 更小预算下许多事件时间会被删失；作者认为模型生成或合成结果可以补充被删失事件（Discussion）。
• HARP 需要最小总预算 B≥K(1+η)M（Discussion）。

实验覆盖范围

• 目标模型为 Qwen 2.5 14B、Llama 3.1 8B、Phi-4 Mini、Gemma 3 4B，共 4 个；Qwen 2.5 14B 同时是继承对话设置中的 attacker/helper（Section 4、附录 F.1）。
• 设置为毒性、红队（Qwen judge 与 Llama Guard 两种评审）、检索接地幻觉、AutoIF；报告 LPB、Figure 2 中的 UPB，以及 P(T≤M) 与 restricted mean。每项重复 20 次，校准 2000、测试 1000（Section 4）。
• 对照为 DAPRO 与 Uncalibrated；HARP 比较了 C/D 与有无 depth 的四种组合，主文展示的是附录 F.4 按任务选定的一种（Section 4、Table 2）。
• 预算按 Table 1 固定：LPB 上毒性 B̄=20、其余 B̄=10，UPB 与指标 B̄=20；参考提示 100 条不计入估计。附录 F.3 对 70%、80%、90% 覆盖分别设计采集，正文主图的 LPB 为 90%，Figure 2 的 UPB 为 80%。
• 附录 F.4 写明展示比较包含变体选择所用的 10 次运行，并称这是描述性比较而非独立留出评测。正文未逐模型列出附录 Figure 4–13 箱线图的中位数。

HARP 是硬计算预算下的多轮评测分配与校准方法，用来构造 time-to-event 预测界，并估计越狱率一类边际指标。

• 问题：有害服从、有毒内容、幻觉或指令完成发生在未知轮次。按期望控预算可能在单次运行超支；各轨迹独立删失的既有证明也不再直接适用。
• 做法：校准样本分组。不花交互预算的参考集用来定成本曲线和设计分位。加权 pivotal rounding 给出承诺，使该组最坏花费不超过剩余津贴；实际花费从账本扣除并回流。HARP-C 承诺后跑到事件或地平线，HARP-D 在每轮按历史随机延续。depth 缩短 LPB 地平线并限制候选族。作者给出几乎必然不超预算的证明，以及相依采集下的有限样本覆盖与指标无偏性论证。
• 实验：四个目标模型，设置沿用 DAPRO，每项 20 次。作者称 HARP 在全部实验中不超预算；LPB、UPB、指标的平均预算利用率为 94.51%、95.70%、97.03%，DAPRO 的超预算频率为 13.00%、3.00%、12.75%。毒性 LPB、90% 覆盖、B̄=20 时，HARP 与 DAPRO 的四模型平均绝对覆盖偏差为 1.05 与 1.08 个百分点。红队且 Llama Guard 评审、B̄=20 时，作者称 HARP 的事件率方差低 60.65%。AutoIF、Qwen 2.5 14B 上，DAPRO 的 LPB/UPB 偏差更小，分别为 1.025 对 1.245、1.160 对 1.225 个百分点。
• 作者结论：相依采集仍可维持有限样本保证，但需要校准与测试 i.i.d.、审计标签正确，以及总预算不低于 K(1+η)M。作者建议预测界用 HARP-D 加 depth，指标估计用 HARP-D 不加 depth，因为 depth 降低 LPB 覆盖方差的中位数，同时提高指标估计的方差。