Tail-Influence Sampling：面向 CVaR 策略评估的尾部影响采样

在可分别查询的条件转移上，如何分配固定评测预算，才能更准确估计一条固定策略的下尾 CVaR。

• 场景：作者称平均回报相近的策略，罕见失败可以差很多。下尾 CVaR 是指定最差比例运行的平均回报；用完整运行做 Monte Carlo 往往要很多次，语言模型工作流每次还含多次模型调用，评测预算常限制对罕见严重失败的测量。
• 现有分配的不足：作者称对每个状态–动作对均匀采样，会忽略它们在失败中的作用不同；按访问频率采样，则把预算集中在常见对上。常见状态的结果可以很可预测，较罕见状态的不确定性却可能改变失败严重程度的估计。
• 核心观察：同一可查询条件律（kernel）可在多个剩余步数被复用，一次观测同时进入多段回报计算。作者定义 tail influence：可能结果差异大，且这些差异会改变最差运行严重程度的估计时，该 kernel 分数高。
• 本文做法：提出 Tail-Influence Sampling（TIS）：均匀 pilot 拟合条件律，按估计的 influence scale 分配新查询，并留均匀探索份额。anchored TIS 再与访问份额各半混合，以应对 pilot 漏掉罕见后果后的欠分配。作者还给出精确网格上尾部与均值最优分配重合的条件。

分布表示与给定抽样下的推断

• 分类分布强化学习：Bellemare 等（2017）与 Rowland 等（2018）给出分类分布表示和投影；本文用它存放各剩余步数上的回报分布。
• 指定抽样律下的极限：Zhang 等（2025）在指定的、可以非均匀的抽样律下给出回报律与泛函极限；Cheng 等（2026）给出基于分位数评估的半参数效率保证。作者称这些结果分析的是已指定抽样律下的估计。
• 短缺与效率：Rockafellar 与 Uryasev（2000）、van der Vaart（1998）建立短缺恒等式与效率理论。作者称本文增加的是可计算、可学习的 Bellman 分配信号。

自适应样本分配

• Neyman 与自适应分层：Neyman（1934）按层内标准差分配；Étoré 与 Jourdain（2010）、Carpentier 等（2015）学习该分配所需方差。作者称其层内目标已经给定，而本文分数本身依赖未知延续模型与 CVaR 截断。
• 小 pilot 与防御性混合：Cai 与 Rafi（2022）讨论小 pilot 下 Neyman 分配；Hesterberg（1995）、Owen 与 Zhou（2000）把目标设计与更宽的参考设计混合。作者用后者支持锚定变体。

均值评估与风险敏感控制

• 轨迹设计：Mukherjee 等（2022）的 ReVar、Mukherjee 等（2024）的 SaVeR 针对均值策略评估采集轨迹。作者称本文改为对固定策略的尾部泛函做独立条件查询。
• 改变策略的风险控制：Tamar 等（2015）、Bäuerle 与 Jaśkiewicz（2024）改变策略；Deng 等（2025）在生成模型访问下研究迭代 CVaR 策略优化的样本复杂度。作者称本文固定策略，只优化条件查询次数。

基线与基准

• 基线：Uniform、learned occupancy、learned mean influence、complete rollout，以及用总体尺度、无 pilot 的 oracle+floor。
• 环境与数据：滑的 CliffWalking、季节性库存及 18 例中断族、FrozenLake、rainy Taxi；冻结律上的 MMLU-Pro 审阅工作流与 FinQA 数值审阅。

作者把本文与上述工作的区别放在：分配分数依赖未知的 Bellman 延续与 CVaR 截断；学习该分数与分配后，在所述条件下可达到含 pilot 成本的 oracle 一阶 MSE。

整体做法是用 pilot 估计每个可复用 kernel 的 tail influence，再把新查询按该尺度分出去。方法名为 Tail-Influence Sampling（TIS）。

评测对象与可查询核

• 对象是有限时域、动态平稳的 MDP 中一条固定策略。状态和动作有限，奖励在 [0, 1]，回报为各步奖励之和，落在 [0, H]。目标是根状态回报的下尾 CVaR：最差 α 比例运行的平均回报，截断处只取所需概率质量。
• 查询组 g=(s, a) 是一个可独立查询的条件律。一次查询返回奖励和下一状态；组内独立同分布，组间独立。总成本是各组查询数之和。一次 rollout 的每个转移计一次查询。
• 回报分布放在固定网格上，Bellman 更新把即时奖励加到延续分布后再投影回网格。同一拟合律在该组出现的每个剩余步数复用。网格相对真实回报 CVaR 另有至多 HΔ 的近似误差。后文极限固定时域、状态动作集、网格、α 和保留组。

尾部影响与 oracle 份额

• 作者把 CVaR 写成短缺。正分位数边际指截断严格落在某一网格原子的概率质量内部；此时小的概率误差不改变分位数，CVaR 误差等于短缺误差乘以 -1/α。
• 对一次观测，先把该 kernel 在所有使用处的更新误差加总，再用伴随权重传到根短缺，得到一阶影响；其标准差 σ_g 是分配尺度。共享核先加总再取方差，从而保留同一次抽取的跨阶段协方差。
• 固定份额 w_g>0 时，作者给出归一化 CVaR 误差的极限方差为各组 σ_g 的平方除以 w_g 之和。最小化它得到 Neyman 份额 w_g^∗=σ_g/∑_jσ_j，方差 V^∗=(∑_gσ_g)²。尺度为零的组，探索份额趋于零时接近最优。
• Theorem 2 称，在正边际下，该方差是固定设计、各组法则不受限的乘积模型中，相对 DQM 切空间的局部半参数效率界；经验分类 Bellman 估计达到该界。Proposition 1 构造访问、条件矩和根回报律都可对齐的一步模型，其中占用与均值最优分配的渐近 MSE 系数可达 oracle 的 G 倍。

TIS：从 pilot 学习份额

1. 每组抽 m_N 个 pilot，拟合临时条件律，算出 pilot 根分位数、短缺和伴随权重。
2. 每个 pilot 结果先合并各阶段效应，再算组内离散程度，得到 σ̂_g。
3. 新查询份额为 (1-λ_N) 乘归一化尺度，加上 λ_N/G 的均匀地板；尺度全为零则均匀分配。
4. 每组先留两个主样本，其余用最大余数舍入花完。最终 CVaR 只用新的主样本，pilot 丢弃。

Theorem 3 的日程是：m_N 趋于无穷，总 pilot 相对 N 趋于零，λ_N 趋于零，但 √N 乘以 λ_N 趋于无穷，且 log(1/λ_N) 相对 m_N 趋于零。作者称此时 TIS 的渐近方差和含 pilot 成本的一阶 MSE 达到 oracle。固定组数下，总 pilot 阶为 N 的 2/3 次、地板为 N 的 -1/4 次即满足。该极限是固定模型上的逐点结果，不是对越来越罕见的事件或缩小的边际一致。

锚定，以及何时不必区分尾部

• 小 pilot 可能漏掉有后果的结果，从而给该组过少主样本。anchored TIS 取尾部分配与 pilot 访问分配的平均，权重为 1/2。舍入前，其领先方差至多是两个分量中较好者的两倍。
• 在 Theorem 3 的条件下，作者称锚定估计的渐近 MSE 常数 V_anc 满足 V* ≤ V_anc ≤ 2V*。这不保证有限预算 MSE 更低。作者称 plain TIS 是尺度估计可靠时的有效极限；锚定用至多两倍的渐近常数，换对漏掉罕见结果的保护。
• Proposition 2：若网格含声明结果空间允许的每个部分回报，递推在乘积模型上精确，且次最大回报概率 π 小于 α，则最差 α 比例包含全部次最大回报再加足够的最大回报，CVaR 与均值同步移动，两者的 Neyman 分配相同。作者用归一化尾部份额与均值份额的总变差距离作诊断。

实验设置

• 表格环境：滑的 CliffWalking-v1，H=20，α=.1，149 个平稳核，500 次重复；季节性库存 H=8、41 块、α=.1，300 次重复。另有预先指定的 18 例库存中断族，以及 FrozenLake-v1、rainy Taxi-v4。
• 语言模型：六个冻结生成器为 Qwen3-4B-Instruct-2507、Phi-4-mini-instruct、Granite-4.2-8B、Mistral-Small-24B-Instruct-2501、Qwen3-32B、GLM-4-32B-0414。MMLU-Pro 为 50 道固定题，每题一个工作流；FinQA 留出 50 题，从 312 道扫描中筛出。
• 基线：Uniform、learned occupancy、learned mean、complete rollout。oracle+floor 用总体尺度且无 pilot，是参考而不是可学习方法。
• 指标：分类 CVaR 的 MSE，以及相对 uniform 的 MSE 比。目标是精确闭网格上的总体 CVaR。预算计入丢弃的 pilot 和 rollout 的全部转移。条件查询可直接访问 kernel，rollout 用整条轨迹，比较是费用匹配，不是同等访问。
• pilot 与判定：正文实验多用地板 λ_N=N^{-1/4}。CliffWalking 的丢弃 pilot 为每组 max{8, ⌈4N^{2/3}/149⌉}。解析优劣用配对 |z|≥2。作者写明查询采自冻结律，live GPU/API 费用不在范围内。
• 重复：受控分离 1000 次，CliffWalking 500 次，库存、MMLU-Pro 与 FinQA 主对比多为 300 次。

主结果

CliffWalking，H=20，α=.1，400 次查询/核，MSE×10³（Table 6，500 次重复）：

方法	MSE×10³
Uniform	216.877
learned occupancy	3.189
learned mean	2.307
complete rollout	7.954
anchored TIS	2.182
TIS	1.884
oracle+floor	1.674

• 作者报告，此预算下 TIS 的 MSE 比 learned occupancy 低 40.9%，比 learned mean 低 18.3%，比费用匹配的 complete rollout 低 76.3%，比 population occupancy 低 31.3%。摘要把前两项对比写成 41% 与 76%。
• 表未列入 population occupancy、population mean、MC-UCB 与 no-cov 变体。作者报告 MC-UCB（frozen）在该列高于 uniform。
• 库存 1,200 查询/块时，正文写 MSE/uniform 为 TIS .657、learned occupancy .918、learned mean .866、rollout 2.22。Table 4 的 MSE×10³ 为 TIS 0.116、occupancy 0.161、mean 0.152、rollout 0.391、uniform 0.176，与这些比值不完全相同；绝对数以 Table 4 为准。

语言模型审阅与锚定

• 测了什么：50 道 MMLU-Pro。状态是答案与置信度；固定策略先作答，再按置信度带选择 reconsider、challenge 或 verify。H∈{2,4,6}，α=.1，奖励为归一化 Brier 效用。每题 91 个可直接查询的 kernel。
• 结果：H=6、400 查询/核时，plain TIS 相对 uniform 的 MSE 在 Qwen3-4B 为 1.38、GLM-4-32B 为 1.77（Table 7）。六个生成器上 occupancy 的观测 MSE 都低于 plain TIS。anchored TIS 为 uniform 的 .056–.093，并在 5/6 个生成器上点估计最低。
• 作者解读：作者称失败来自 pilot 饿死有影响的组。作者报告附录 Figure 5(a) 的回放中，实现方差与 oracle 方差之比的 90 分位从 plain TIS 的 136 降到 anchor 的 5.8。按步分开拟合复用提示词时，H=2 与共享 TIS 相当，H=4、6 的 MSE 为共享 TIS 的 4–10 倍（Table 9）。

FinQA 留出数值审阅

• 测了什么：从 8 个冻结候选中选择，再审阅两次（H=3）。普通审阅与单位–符号审计使用不同模板。终端效用随相对数值误差下降。开发阶段在留出校准前固定了筛选、生成器、锚定分数和地板。
• 结果：100–200 查询/核时，anchored TIS 相对 uniform 的 MSE，Qwen3-4B 为 .089–.100，Phi-4-mini 为 .216–.327；plain TIS 在 8 格中有 7 格相对 uniform 未解析。400/800 查询时，anchor 在两条 Phi 工作流上相对 occupancy 为 .81–.86，相对 rollout 为 .68–.88，8 个对比均解析；Qwen 上 occupancy 与 rollout 仍更好。作者把 Qwen 的近确定性题目放在 Proposition 2 的罕见失败情形。
• 更长回路：同一冻结核、H=6、100–400 查询/核时，Phi 的 anchor MSE 在两条工作流上为 rollout 的 .29–.64，均解析（Table 17）。摘要称六次调用 FinQA 可达 2.4–3.4 倍更低的 MSE；表注称 400 查询的比 .29/.41 对应 3.4 倍与 2.4 倍。

尾部分数是否本身有用

• 等正则混合：占用份额分别与均匀或 learned mean 份额各半混合，并支付同样的 pilot（Table 2）。anchor 相对均匀混合在 160/166 个设置中解析更低，没有解析更高。
• 与均值混合：FinQA（含计算器故障变体）尾部–均值距离中位数为 .000，均值混合同样好或更好。MMLU-Pro 的 confident-error 效用下，24 格中有 23 格 anchor 相对均值混合解析更低。Brier 效用在距离不低于 .24 的 15 格中有 14 格解析更低，低于 .18 的 12 格中只有 2 格。
• pilot 诊断：作者在评测前规定，pilot 距离中位数不低于 .21 就用 anchor，否则用均值混合。该规则在 148 格中有 141 格选到更好或持平的设计（附录 E.9）。

其他消融与分析

• 受控分离（Table 1，G=10，α=.1）：t=1 时 TIS 的 MSE/uniform 在 100/400 查询为 .22/.16，oracle+floor 为 .13/.12；t=0（均匀最优）时 TIS 为 5.42/4.30。
• 18 例库存族、1,200 查询/块：TIS 与 anchor 相对 occupancy 和 rollout 在 18/18 解析更低，相对 learned mean 为 17/18。作者报告 MSE/uniform 中位数为 TIS .61、anchor .69、occupancy .93、mean .84、rollout 2.56。
• CliffWalking 去掉交叉层协方差：400 查询/核时 TIS no-cov 的 MSE×10³ 为 1.875，TIS 为 1.884。作者称此处收益主要来自汇集复用核。
• FrozenLake（α=.2）400 查询/核：TIS 的 MSE 为 .00791，learned mean 为 .00577，uniform 为 .01464。rainy Taxi（α=.1）上 TIS 与 learned mean 均为 .00020，uniform 为 .00033。
• 回顾性费用插值（含 pilot）：CliffWalking 上 TIS 相对 occupancy/rollout 的查询比为 .65–.84/.32–.45；库存为 .55–.72/.26–.30。
• 用总体 influence 与实际计数，方差公式预测观测 MSE 的中位对数比，MMLU 为 −.001，FinQA Phi 为 −.006（附录 E.10，作者标明为回顾性核对）。

作者指出的局限与后续方向

• 保证的前提：Discussion 写明，保证要求固定维分类模型、正分位数边际、独立查询，以及所述 pilot 与地板日程。
• 有限预算：同一节写明，有限预算 MSE 保证仍然开放。
• pilot 界的范围：附录 D.1 写明，该下尾界支持渐近 MSE 证明，本身不给出可由数据算出的 pilot 规模，也不给出最终估计的有限样本 MSE 界。
• 后续对象：作者称工具失败与多轮安全评测是自然的下一步对象（Discussion）。

实验覆盖范围

• 表格实验包括 CliffWalking（H=20，α=.1，149 核，500 次重复）、季节性库存（H=8，41 块，300 次重复）、预先指定的 18 例中断族，以及 FrozenLake 与 rainy Taxi（附录 E.2）。
• 语言模型实验使用六个冻结生成器。MMLU-Pro 为 50 题、H∈{2,4,6}，其中三个生成器另有 H=8、10。FinQA 留出 50 题、两种审阅模板，H=3 与 H=6（Section 5，附录 E.3、E.8）。
• 对照包括 uniform、learned occupancy、learned mean、complete rollout、oracle+floor，以及占用与均匀或均值份额的等权混合（Table 2）。
• 误差相对闭网格上的分类 CVaR 计算；解析与否用配对 |z|≥2。查询按冻结律采样，作者写明 live GPU/API 费用不在范围内（Section 5）。
• 论文报告了各主实验的重复次数，以及 pilot 规模和地板；附录 E.10 的方差公式核对被作者标为回顾性。

在条件转移可独立查询时，用 tail influence 把固定评测预算分给对一条固定策略的下尾 CVaR 更重要的 kernel。

平均回报相近时，罕见失败仍可能差很多。完整 rollout 把大部分预算花在到不了最坏状态的转移上。TIS 先用均匀 pilot 拟合各 kernel，把一次观测在所有 Bellman 复用处的一阶 CVaR 效应加总，再按其波动分配新查询，并留均匀地板；最终估计只用新样本。anchored TIS 把该份额与访问份额各半混合。精确网格上，若次最大回报概率低于 α，尾部与均值的最优分配相同。

• CliffWalking（H=20，α=.1，400 查询/核）上，作者报告 TIS 的 MSE 比 learned occupancy 低 40.9%，比费用匹配的 complete rollout 低 76.3%（Table 6）。
• 库存 1,200 查询/块时，Table 4 的 MSE×10³ 为 TIS 0.116、uniform 0.176、rollout 0.391。正文给出的 MSE/uniform 与这些绝对数的比值不完全相同。
• MMLU-Pro、H=6、400 查询/核时，plain TIS 相对 uniform 在 Qwen3-4B 为 1.38、GLM-4-32B 为 1.77；anchored TIS 为 uniform 的 .056–.093（Table 7）。
• confident-error 效用下，anchor 在 24 格中有 23 格相对等正则的均值混合解析更低。FinQA、H=6、400 查询/核时，Phi 两条工作流的 anchor/rollout 为 .29 与 .41；摘要据此称 2.4–3.4 倍更低的 MSE。

作者的结论是：给 CVaR 分配查询比给均值更难，因为 kernel 的价值依赖未知延续和尾部截断，且复用核的一次抽取同时影响多个 Bellman 阶段。在所述假设下，作者称 TIS 达到含 pilot 成本的 oracle 一阶 MSE，锚定变体的渐近常数不超过 oracle 的两倍。实践中用 pilot 估计的尾部–均值分歧选择分配。有限预算 MSE 保证仍然开放。