Audit-First VAPO：不完美验证下的风险认证选择性更新

不完美验证器可能给出有害更新方向，裁剪与正则只能限制幅度，不能纠正符号；需要在有限二次验证预算下，对“是否准入”做可认证的选择性更新。

• 场景：验证器条件下的策略更新包含两个控制问题：验证器决定提议方向是否与不可得的干净目标一致；一旦准入，学习器再决定更新多大。作者认为把二者混在一起不安全，因为非负幅度下，裁剪、信任加权和 KL 正则只会缩小符号错误的提议。
• 现有不足：作者将噪声校正（修改奖励或得分函数）和验证器增强（用轻量语言模型验证器补假阴性）视为改进奖励信号本身；它们不直接回答：在不完美且可能相关的验证器观测、以及有限二次验证预算下，哪条提议可以进入学习器。
• 核心观察：非负幅度执行器保持已应用更新的符号，因此方向伤害必须由选择性准入或额外验证信息控制。共享预算下的 appeal 会改变后续记录的可行动作，动作序列可以相关。
• 提出的方法：Audit-First VAPO 把离散方向准入与连续幅度控制分开。仅观测的 accept–appeal–abstain 策略在干净标签接合前冻结动作轨迹；有限策略族上的同时有限样本界认证 selected harmful risk、coverage 与 verifier-call rate；准入后再用有界 trust–clip–KL 执行器控制幅度。不可行时控制器 fail closed，全部弃权。

• 离线 RL 与奖励投机：Kumar 等（2020）、Kostrikov 等（2022）、Fu 等（2021）讨论不可靠代理会偏离目标；Skalse 等（2022）刻画 reward hacking。Shao 等（2024）、Qwen Team（2024）、DeepSeek-AI（2025）、Zheng 等（2024）、Lightman 等（2024）、Wang 等（2023）区分观测轨迹与正确性信号。Schulman 等（2017；2015）提供比值与 KL 记号；Geifman 与 El-Yaniv（2019）讨论显式弃权与 coverage。
• 不完美验证器的 RLVR：Cai 等（2025）把二元验证建成非对称噪声奖励信道，用后向与前向校正修改奖励或得分函数，并使用 appeal 验证器在线估计验证误差。Xu 等（2025）的 TinyV 用轻量语言模型验证器增强规则验证器，以在 RL 训练中找回假阴性。作者认为这些方法改进奖励信号本身，VAPO 处理的是互补决策：哪些提议在有限二次验证预算下可以进入学习器，并在不相交校准划分上认证已准入更新的风险。规范比较因此包含噪声校正和验证器增强基线。
• 选择性控制与风险控制预测：选择性预测、共形风险控制、验证器级联和自适应查询提供弃权与成本感知路由；Angelopoulos 等（2024）给出有限样本风险控制。作者称本文的差别是共享 appeal 资源使后续动作依赖资源状态，因而认证的是带资源状态的动作序列，而不是独立的逐条阈值决策；设计划分与认证划分把策略构造和用于证书的干净标签分开。Cobbe 等（2021）、Lambert 等（2024）、Turpin 等（2023）分别对应数学题验证、奖励模型偏好，以及把正确性与理由合理性分开；Chen 等（2023）的 FrugalGPT 与 Ong 等（2025）的 RouteLLM 讨论模型选择、质量与成本。
• 工具与自我改进智能体：Yao 等（2023）、Schick 等（2023）、Shinn 等（2023）、Madaan 等（2023）把动作与其后的外部结果分开。作者把本文贡献定位为 fail-closed 边界及其回放契约。

基线方法包括 static RLVR、matched random、observation threshold、无 appeal 的 risk-certified threshold、noise-corrected RLVR、verifier augmentation、cost-matched random appeal、always-on secondary verifier 和 VAPO-legacy。基准为 GSM8K 与 SVAMP 上的 RLVR 数学验证。

作者把 VAPO 定位为：冻结提议、让干净标签不进入在线路径，并增加一个与幅度执行器分开评估的风险认证准入对象。

Audit-First VAPO 把“提议能否进入学习器”与“准入后更新多大”拆成两段：前段是预算内的 accept–appeal–abstain，后段是非负幅度执行器。

问题设定与风险量

每条记录含观测到的验证器视图和在控制前已固定的提议。分诊动作 At 取 accept、appeal 或 abstain。最终准入符号 ȳt 属于 {−1, 0, +1}，0 表示弃权，bt 表示 ȳt 非 0。干净符号 zt 在动作序列化时不可用；轨迹冻结后才接合 zt，有害指示 ht 为“已准入且 zt 与 ȳt 符号相反”。

• 选择性风险：C 大于 0 时，Rsel 等于 E[ht] 除以 E[bt]，C 等于 E[bt]；零准入时 Rsel 无定义，只报告准入条数。全提议有害率 Rall 等于 E[ht]，也等于 C 乘 Rsel。作者把 Rsel 当作方向选择指标，并与 coverage 一起报告 Rall，以区分“只是弃权更多”和“准入子集选得更好”。
• 协议约束：Rsel 不超过 ρ，C 不低于 Cmin，二次验证器调用率 A 不超过 Bmax。阈值和检查点规则由校准侧观测与声明的资源预算拟合；测试标签只在动作轨迹冻结后进入。

设计划分、认证与策略选择

Ddesign 与 Dcert 在训练开始前不相交。设计划分只有控制器可见观测，不向策略构造提供干净标签，并实例化有限族 G，含信任阈值、appeal 区域、二次验证器阈值和无 appeal 特例。族冻结后，Dcert 对每个候选只处理一次；有序轨迹在接合任何干净认证标签之前写入观测、动作、验证器字段、调用前后预算、最终准入符号和来源摘要。

对目标 ρ，有界超额损失 ℓρ(g; t) 等于 ht(g) 减去 ρ 乘 bt(g)。其期望等于 E[bt(g)] 乘以 (Rsel(g) − ρ)。正覆盖且该期望不超过 0 时，Rsel(g) 不超过 ρ。校准分两步：先只用观测字段执行每个 g 并序列化轨迹；全部冻结后再接合干净标签，计算经验超额损失、覆盖和 appeal 率。

对预先声明的置信水平 δ，在有限族上使用同时 Hoeffding 型上界 Uρ、覆盖下界 LC 和调用率上界 UA，半径为 log(3|G|/δ) 除以 2ncal 后开方。部署策略在 Uρ 不超过 0、LC 不低于 Cmin、UA 不超过 Bmax 的候选中最大化 LC。可行集为空则返回对每条提议都弃权的 fail-closed 策略。部署只读证书和当前观测状态。

共享预算下，Ft−1 含记录 t 之前的历史与预算。作者对 E[ht − ρ bt | Ft−1]、E[bt | Ft−1] 和 appeal 指示的条件期望做平均；中心化过程增量范围长度为 1。Hoeffding–Azuma 加对 3|G| 的 union bound 给出同一半径，同时概率至少 1−δ。附录 C 给出推导。rollout 生成器、验证器定义、观测通道或资源协议变化会开启新认证阶段；各阶段预先声明的 δr 之和不超过 δ，无可行候选的阶段保持 fail closed。

观测状态与预算内 appeal

观测状态含主符号 yt、置信度 ct、来源不同的辅助信号、冻结的提议比值增量 Δrt、观测 KL kt 和剩余 appeal 预算。标量分数 st 在设计划分上固定。相同摘要、oracle 字段和历史重复字段在执行前被拒绝。历史五视图夹具中，agreement 由 consistency 确定，作者因此不把这些字段当作独立信号。

候选 g 使用两个主分数阈值：st 不低于 τhigh 则 accept；τlow 不超过 st 且低于 τhigh 且预算仍在则 appeal；否则 abstain。直接接受时 ȳt 等于 yt。appeal 后，来源不同的二次验证器返回符号与置信度，仅当它与主符号一致且置信度不低于 τ2 才准入，否则 ȳt 为 0。缺失响应、分歧、来源检查失败、预算耗尽或无效二次记录均 fail closed。appeal 请求在读取付费验证结果之前序列化。无 appeal 阈值被当作 G 的特例。

准入后的幅度执行器

离散准入之后才应用有界 trust–clip–KL。对已准入提议，dt 为 Δrt 与 ϵt 的较小者，mt 为 wt 乘 dt 减去 βt 乘 kt 与 0 的较大者，更新等于 ȳt 乘 mt；弃权则 mt 为 0。权重、裁剪和 KL 系数分别落在声明区间内。作者写出：对 mt 大于 0 的已准入提议，zt 与更新的符号等于 zt 与 ȳt 的符号，因此非负幅度不能把有害方向变成有益方向。有害更新幅度 Hmag 等于 E[mt ht]，且不超过 mmax 乘 C 乘 Rsel。

另有仅观测的分位数资格动作：信任、KL 与比值阈值由校准观测的分位数拟合；不合格提议被替换为 (0, 0)。历史回放的拟合值在附录 D。

成功判定与信息边界

N 条冻结决策上，gt 等于 zt 乘更新（zt 在动作序列化后才接合）。对齐标量 U 为 gt 的平均，P、H 分别为正部与负部的平均，R 为 gt 小于 0 的比例，Z 为 gt 等于 0 的比例，C 等于 1 减 Z。选择性 Rsel 用 gt 非 0 的子集作分母。回放检查摘要、顺序和策略输出；匹配只验证确定性执行，有害更新诊断来自冻结后的标签接合。Figure 1 标出固定提议的信息边界：蓝块为观测与冻结提议，橙块设定非负幅度，绿块评估冻结轨迹。Figure 3 标出设计划分、冻结候选族、共享预算的认证序列，以及 rollout 或验证器变化后的虚线返回（新阶段）。

实验设置

• 被测模型：主模型 Qwen3.5-0.8B；第二骨干 Llama-3.2-3B-Instruct。训练种子为 13、17、23；每次更新 128k rollout tokens、256 次验证器调用。Table 5 还写明 1×A100。
• 基准与划分：主任务 GSM8K；迁移为 SVAMP。附录 Table 10 写 SVAMP v1.0 为 200 条校准、800 条评估，另有 128 条审计、分歧 8.6%。校准、训练、held-out 与测试记录不相交；候选策略、阈值、预算和检查点规则在测试标签打开前固定。Table 36 中五臂账本的评估划分为 GSM8K official test，n = 1319；四臂账本为 held-out test-A，n = 768。作者写明重复出现的方法名不表示它们是同一次运行。
• 基线：Table 1 含 Static RLVR、Matched random、Observation threshold、Risk-certified threshold（无 appeal）、Noise-corrected RLVR、Verifier augmentation、Cost-matched random appeal、Always-on secondary verifier、VAPO-legacy 与 RC-VAPO。
• 指标：任务准确率为百分比；Rall 以全部提议为分母，Rsel 以已准入方向为分母；C 为已准入方向比例；Appeal 与 Cost 用同一验证器调用账本；另报 GPU-hours。零准入时 Rsel 无定义。区间为种子与题目层级上的配对 95% hierarchical-bootstrap 区间。Table 36 写该半宽用 10,000 次重采样，作用于任务回报。
• 证书重复：摘要称在非对称、置信度相关和相关验证器噪声下，证书在 60 次独立运行中满足 57 次。正文写共享预算条件在 60 个独立阶段中有 1 次违反，相关验证器条件在 60 个阶段中有 3 次违反。
• 连通性试点：附录写该试点为 1 个种子、每个评估子集 2 条记录、同模型格式解析器，不作为学习器结果。

主结果

Table 1 为 Qwen3.5-0.8B 与 GSM8K 的规范学习器比较。目标风险 ρ = 0.08 出现在摘要对 RC-VAPO 该行的说明中。

Swipe horizontally to read the table

方法	Acc.	Rall	Rsel	C	Cost
Static RLVR	70.5	0.0914	0.0914	1.0000	1.00×
Matched random	69.8	0.0396	0.0956	0.4138	1.01×
Observation threshold	72.7	0.0466	0.1241	0.3752	1.03×
Risk-certified threshold（无 appeal）	73.2	0.0238	0.0748	0.3186	1.04×
Noise-corrected RLVR	72.4	0.0828	0.0829	0.9987	1.08×
Verifier augmentation	73.0	0.0595	0.0780	0.7624	1.17×
Cost-matched random appeal	70.1	0.0387	0.0939	0.4121	1.16×
RC-VAPO	74.1	0.0288	0.0697	0.4125	1.16×

据 Table 1。Always-on secondary verifier 的 Acc. 为 73.5、Rsel 为 0.0671、C 为 0.7368、Cost 为 1.38×；VAPO-legacy 的 Acc. 为 73.3、Rsel 为 0.0831、C 为 0.4179、Cost 为 1.13×。表中 GPU-hours 从 Static RLVR 的 10.50 到 Always-on 的 14.49，RC-VAPO 为 12.17。

• 作者称 RC-VAPO 任务准确率最高，为 74.1%，Rsel 为 0.0697，coverage 为 0.4125。无 appeal 证书的 Rall 更低，为 0.0238，但 coverage 为 0.3186。
• 作者称 Always-on 二次验证的 Rsel 为 0.0671，成本为 1.38×；这些工作点展示选择、coverage 与验证成本的联合权衡。Observation threshold 的 Rsel 为 0.1241，高于 Static RLVR 的 0.0914。
• 作者称这些比较把有信息的方向选择，与提议抑制、更新收缩和额外验证计算分开。

匹配选择与噪声

Table 2 在共同 coverage 与平均绝对更新幅度下比较 Rsel。配对的 RC-VAPO 减 random 的风险差为 −0.0260，95% 区间 [−0.0364, −0.0157]。匹配后 RC-VAPO 准确率 73.8%（C 0.4119，Mean |u| 0.1069，Rsel 0.0697），matched random 为 70.1%（C 0.4137，Mean |u| 0.1071，Rsel 0.0957），matched static 为 70.8%（Rsel 0.0942）。作者称负区间在配对协议下标出了超出提议抑制的选择信息。

Figure 2 比较 GSM8K 上五种验证器误差结构：蓝圆为 RC-VAPO，橙方为 noise correction，虚线为目标 ρ = 0.08；图注写点为报告的聚合，未给出分条件不确定区间，精确值在 Table 28。作者称 RC-VAPO 在每个条件下 Rsel 更低、准确率更高；其 Rsel 从假阴性偏重噪声下的 0.0654 到相关误差下的 0.0791。

组件、模型与迁移

Table 29：无证书时准确率 73.2%、风险 0.0846；完整控制器为 74.1% 与 0.0697。仅证书准入的 coverage 为 0.3194；加入 appeal 后 coverage 为 0.4057、Rsel 为 0.0709。作者称完整控制器把这一准入增益与有界幅度控制合在一起。

Llama-3.2-3B-Instruct 上，RC-VAPO 为 67.1% 准确率、Rsel 0.0768，static training 为 64.0% 与 0.1048。每次 rollout 刷新都更新证书：准确率 75.3%、成本 1.47×；周期性更新：74.9%、1.25×。SVAMP 上目标侧再校准为 63.2% 与风险 0.0737，冻结的源证书为 61.3% 与 0.1067。作者称迁移比较把风险收益定位在对目标分布的校准。

其他消融与分析

• 共享预算：60 个独立阶段中 1 次违反；相关验证器：60 个阶段中 3 次违反（正文；Tables 34 与 26 报告风险目标与共享预算面板，正文未给出这两张表的单元格）。
• 固定提议 CPU 回放：1,280 条记录，q60 有害风险 0.0328，coverage 0.3360；作者称这是受控诊断，不是 RLVR 运行（Table 10）。
• 同模型 critic：256-token 条件下 22/32 可观测完整、10/32 正确；AUROC 0.70833，Brier 0.369777，对比同组流行率 Brier 0.247934；阈值 0.5 时准确率 12/22。作者称更长上限更完整，但 Brier 与阈值准确率仍接近流行率基线，且 128 与 256 使用不同 item-seed 偏移。
• 连通性试点（种子 13，四臂）：held-out 子集均为 1/2，测试均为 0/2；48 次生成预留与结算，5 次前向、5 次反向、4 次成功优化步。作者称这只建立执行、参数连通和预算记账。
• 缓存策略：冻结、每 8 次更新、以及每次更新的 rollout；新 token 分别为每臂 0.128M、1.024M、8.192M（Table 10）。独立验证器复现一行写 VAPO：准确率 74.3、风险 0.0349、coverage 0.4098、成本 1.19×。
• 受控压力族筛选：作者称每个种子上未见受控族的增益为负，且没有校准后的验证器泛化主张（Table 10）。真实验证器的冻结提议验证状态为 not run。

作者指出的局限与后续方向

• 有限阶段估计量：证书针对已声明序列律、验证器定义、初始预算和 rollout 机制下的有限阶段条件方向风险估计量（第 5 节）。
• 需另行评估的对象：非线性参数轨迹、最终模型安全、累积漂移和长程效用需要单独评估（第 5 节）。
• 分布变化即新阶段：rollout、验证器、prompt、观测通道或任务变化会开启新阶段；更大的候选族会加宽半径；相关的二次误差可能降低 appeal 的价值（第 5 节）。
• 主张的索引范围：主张按模型、划分、种子、检查点、验证器和资源工件索引；在线轨迹与冻结后的正确性标签分开存放（第 5 节）。
• 部署条件：伦理声明写，证书只涉及已声明的有限阶段更新风险估计量；部署需要评估任务特定伤害、分布变化和相关验证器误差。
• 证据边界：Table 10 将真实验证器的冻结提议验证标为 not run；连通性试点被标为描述性；同模型 critic 校准被标为未产生学习器更新。

实验覆盖范围

• 规范学习器比较的主模型与任务为 Qwen3.5-0.8B 与 GSM8K，种子 13、17、23，每次更新 128k rollout tokens 与 256 次验证器调用（第 4.1 节、Table 5）；第二骨干为 Llama-3.2-3B-Instruct，迁移任务为 SVAMP。
• Table 1 的对照包括 static RLVR、matched random、observation threshold、无 appeal 的 risk-certified threshold、noise-corrected RLVR、verifier augmentation、cost-matched random appeal、always-on secondary verifier 与 VAPO-legacy。
• 噪声比较覆盖五种验证器误差结构，Figure 2 与 Table 28；摘要报告非对称、置信度相关和相关验证器噪声下 60 次独立运行中 57 次满足证书。
• 证书更新比较了每次 rollout 刷新与周期性更新；SVAMP 比较了目标侧再校准与冻结源证书。固定提议 CPU 回放为 1,280 条记录，与 RLVR 学习器账本分开（Table 10）。
• 论文未报告 |G|、ncal、Cmin、Bmax 和 δ 的具体取值；Figure 2 的图注写未提供分条件不确定区间。Table 6、Table 9 与 Table 1 使用不同账本，Table 36 分别对应 held-out test-A（n = 768）和 GSM8K official test（n = 1319）。

Audit-First VAPO 把验证器条件下的策略更新拆成方向准入和准入后的非负幅度控制，并用冻结轨迹上的有限样本界认证 selected harmful risk、coverage 和二次验证调用率。

不完美验证器即使幅度已被裁剪和正则限制，仍可能指向有害方向。仅观测的 accept–appeal–abstain 在干净标签接合前冻结；共享预算引起的依赖用条件 Hoeffding–Azuma 处理；rollout 或验证器变化开启新阶段；无可行候选则全部弃权。准入后的 trust–clip–KL 只缩小幅度，不改变已准入符号。

在 Qwen3.5-0.8B、GSM8K、ρ = 0.08 下，Table 1 中 RC-VAPO 准确率 74.1%，Rsel 0.0697，Rall 0.0288，coverage 0.4125，相对验证成本 1.16×。匹配 coverage 与平均绝对幅度后，相对 matched random 的 Rsel 差为 −0.0260，配对 95% 区间 [−0.0364, −0.0157]，准确率 73.8% 对 70.1%（Table 2）。无 appeal 的风险认证阈值 Rall 为 0.0238，但 coverage 只有 0.3186。Always-on 二次验证的 Rsel 为 0.0671，成本 1.38×。

Llama-3.2-3B-Instruct 上 RC-VAPO 为 67.1% 与 Rsel 0.0768，static 为 64.0% 与 0.1048。SVAMP 上目标再校准为 63.2% 与 0.0737，冻结源证书为 61.3% 与 0.1067。三种噪声结构下证书在 60 次独立运行中满足 57 次。作者的结论是：可审计的准入决策与任务表现和显式验证成本连在一起，而证书只覆盖已声明的有限阶段；分布变化后需要重新认证。