VeriFine：通过扩展验证实现具身推理的自我改进

自改进会改变失败模式，固定评审会同时卡住优化反馈和高价值样本的发现。

• 场景： 作者认为验证既给策略优化提供反馈，也决定哪些样本值得学。驾驶和机器人导航还要处理空间定位、时间理解、因果和安全相关决策，作者认为这使验证更难。
• 现有不足： 作者认为静态评审在策略接近其有效验证边界后反馈变差，可能出现 reward hacking、分布偏移甚至性能下降；已解决场景变多后，静态训练集的学习信号变少。
• 做法假设： 作者把扩展验证定义为识别新出现的策略错误，并把它变成可复用监督，使评审、课程和策略一起演化。作者认为验证成为瓶颈时，只需少量人工指导。
• 提出的框架： VeriFine 是智能体 harness。策略改进环用无参考 rubric 评审诊断反复失败、构造自适应课程并更新策略；进展停滞时，评审改进环对有信息量的失败案例查询人工，经协同校准（coactive calibration）更新评审，再指导下一次选数和优化。作者在驾驶的强化微调（RFT）和导航的监督微调（SFT）上检验该框架。

扩展验证

• 推理时与训练时： Snell 等（2025）、Zhang 等（2025）用验证器把额外计算用于候选生成、搜索和排序；Gou 等（2024）、Xie 等（2025）、Wan 等（2026）用细粒度 critic 诊断错误并指导修订。训练侧，Yuan 等（2024）、Liu 等（2025）、Zhang 等（2025）用评审目标做策略优化，Zang 等（2025）、Cui 等（2025）用验证过滤噪声并优先未解决失败。
• 评审本身： Tan 等（2025）、Zhou 等（2025）构建评审基准；Saha 等（2025）、Whitehouse 等（2026）探索改进评审。作者指出既有工作多改进验证的单一角色（并引 Singh 等，2026），没有把自适应选数、策略优化、评审演化和选择性人工校准闭合成环。

自改进与 autoresearch

• 智能体自改进： Schmidgall 等（2025）、Chen 等（2026）用智能体形成假设、做实验并迭代精炼，作者将其归入目标导向的 autoresearch。
• 策略与评审一起改： Zhou 等（2026）、Zha 等（2026）同时考虑两者；Wang 等（2026）、Xu 等（2026）让评审适应策略行为。Gunjal 等（2026）、Li 等（2026）、Liu 等（2026）使用 rubric 评审；作者称结构化准则能提供比单一分数更细的判断。
• 人工重校准： 作者引 Huang 等（2024）说明自生成反馈不可靠时会遇到瓶颈，并引 Dwaracherla 等（2024）、Wang 等（2026）说明此时少量选择性人工指导可以重校准评审。作者把这种适应接到课程构造上。

具身推理评测

• 驾驶推理： Wang 等（2025）、Huang 等（2026）引入结构化推理数据；Nie 等（2024）、Peng 等（2026）、Zhou 等（2026）等工作讨论推理对场景理解、泛化或规划的作用。论文此处是描述，没有逐篇对照本文。

• 参考式评测： 作者指出既有推理评测常用受限问答和人工参考（Sima 等，2024）；LingoJudge（Marcu 等，2024）只对照人类推理、不用视觉信息。作者称这类基于参考的评测难扩展，且对标注噪声敏感。Sun 等（2026）的驾驶评审主要评轨迹质量。

• 机器人评审： Ma 等（2025）、Tan 等（2025）、Huang 等（2026）、Liang 等（2026）、Luo 等（2026）评视频中的任务进度或完成，Kwok 等（2026）评动作与指令对齐。作者称不依赖人工推理参考、直接基于视频核验自由形式具身推理，仍少被研究。

• 基线与数据： 驾驶策略环的对照是随机选数、LingoJudge 和作者的 VeriFine-Judge-RB；数据为内部驾驶推理集。导航使用 VLNVerse 场景采集的数据；Figure 4 的对照是更新前策略，论文未给出与 Table 1 同结构的导航基线表。

作者把本文定位为用智能体 harness 把自适应选数、策略优化、评审演化和选择性人机校准接成闭环，并以无参考 rubric 评审核验自由形式的驾驶与导航推理。

VeriFine 把扩展验证写成策略、课程和无参考评审的迭代协同演化。跨轮保留的是修订后的 rubric 和课程构造状态；受控实验里，每个新策略都从同一基座初始化，并使用固定的单策略训练预算。

问题设定

• 输入与输出： 样本的物理上下文 x_i 含视觉观测、自车状态和任务指令。策略 π_θt 生成自由形式推理和任务决策。文中实例是视觉-语言-动作模型，输出为推理加预测动作序列。
• 两个更新： 策略环在候选池上构造课程并更新策略；验证成为主要瓶颈时，评审环查询人工并更新评审。起点是初始策略、初始评审和大候选池。
• 状态含义： 作者称系统级改进积累在验证和课程过程中，而不是把同一套权重连续训下去。

无参考 rubric 评审

• 输出定义： 评审不对照人工推理参考，直接看物理上下文。输出为 J_φt(x_i,ŷ_i)=(s_i,z_i,e_i)，分别是总分、结构化诊断分和可选解释。论文称该评审为 VeriFine-Judge。
• 教师—学生： 前沿视觉语言模型当教师，因其在大规模 RFT 中成本和延迟过高，协同校准后把评测能力蒸馏到紧凑学生。驾驶实验的教师是 Claude Opus 5，学生骨干是 Qwen3-VL 2B，并在内部驾驶数据上用 VLA 规划任务做 PAI-AV 预训练。
• 准则分组： 准则分 Action 与 Component。驾驶预测五个二值维度：指令一致、安全，以及视觉依据、行为相关要素覆盖、与动作的因果关系；另有连贯性诊断。动作匹配失败则动作分记 0，否则为匹配与安全的平均。总分是 s^Driving_i=0.6A_i+0.4C_i，即动作分与要素分的加权和；动作不一致时去掉动作信用，要素项仍可保留对场景理解的信用。
• 导航聚合： 导航预测安全、目标一致、视觉依据和因果四个二值维度，不单列完整性。不安全则总分为 0；涉及操作的指令只评到目标的导航，不评操作是否完成。附录 A.2 给出聚合与校准细节。

策略改进环

• 失败发现： 当前策略在人工质检的锚点评测子集 P 上生成输出，评审给出结构化结果。智能体按场景和准则维度汇总，区分系统性错误与孤立失败，再写成候选池上的可执行筛选条件。
• 课程的两种用途： 一种是优先策略仍弱的上下文，一种是滤掉不可靠的训练目标。作者写明：暴露弱点的场景可以有学习价值，但对该场景的错误回答不适合当监督示范。评审更新后，课程可收回先前误判的样本，或排除先前误收的样本。
• 两种优化： 驾驶用 GRPO，奖励是无参考评审总分，并带相对参考策略的 KL 项；正文称该 KL 约束更新不要过度偏离当前策略。实现中 KL 系数为 0.02。导航用 SFT，评审只决定训练集成员，分数不进入损失。
• 监控： 候选策略用同一监控协议评估。失败分析既指导下一次课程，也用来发现当前评审的可能限度。

评审改进环

• 触发： 在固定的基于参考评审 VeriFine-Judge-RB 上监控 P，不用正在演化的无参考评审当进度评测器。用最近 K 次策略变化的平均进展，以及评审奖励变化与策略进展之差的绝对值，检测平台和两者不一致。附录 A.4.3 写每 150 步检查，K=4，阈值 0.5；论文未说明 0.5 的单位。
• 查询集： 触发后从新更新策略的 rollout 中构造不确定、不一致和高影响案例，并保留高分与低分输出。低分案例用于划决策边界。累计评审集并入新案例，以避免新修订丢掉已有能力。初始评审也用同一流程，基于基座策略。
• 协同校准： 人工先对物理上下文和候选输出做粗校准。智能体再迭代提出、评估并选择 rubric 修订。对齐进入平台后，把争议案例连同诊断分和解释交给人工；人工可确认、改某一维度、澄清准则，或修改自己先前的分数。作者称人工判断不被视为不可错的真值。仅当当前批次的人类对齐提高、且先前案例没有较大退步时接受修订。每轮最多 20 版 rubric；Pearson 相关的平均改进连续超过十次迭代仍小于 0.2 时请求人工复核。准则维度保持不变，改的是子准则细节和示例。

成功如何比较

• 策略： 各轮策略在独立测试集上用固定的 VeriFine-Judge-RB 比较，避免演化中的无参考评审自己当跨轮尺子。另用同一个最终无参考评审给所有策略打分。
• 评审： 与人工分比 Pearson 相关和 MAE。评审测试标签冻结，不参与 rubric 修订或模型选择；测试标注由另一组标注者独立完成，且看不到评审分数。

实验设置

• 驾驶策略： Alpamayo 1.5 8B，GRPO，固定 2700 步。每轮从同一基座初始化，训练集规模和优化预算匹配。课程为 25K 条，来自共享 400K 池。每步 32 个 prompt、每 prompt 16 条 rollout，AdamW 学习率 1×10−5，KL 系数 0.02，20 个 H100 节点（Sec 4.1，A.4.2）。
• 评审： 教师为 Claude Opus 5，蒸馏到 Qwen3-VL 2B 学生；学生骨干有 PAI-AV 预训练。固定策略尺子是 VeriFine-Judge-RB，为从 Lingo-Judge 初始化的 DeBERTa-v3-base，约 50 万对上微调。对照还有 LingoJudge。附录骨干比较含 GPT-6 Astra 与 Gemini 3.8 Flash。导航策略同样从 Qwen3-VL 2B 基座初始化，与学生评审不是同一次训练。
• 驾驶数据： 内部数据 200 万 clips、25 个国家。锚点集 P 为 2134，策略测试集 2772，均经人工质检。评审子集为 433 个常规与 179 个挑战场景；对应测试集 514 与 218，并集 732。测试标签冻结（Sec 4.1，Table 4）。
• 导航： VLNVerse 场景，SFT，评审只进课程。每轮保留 13K。策略评测/测试 182/220，来自 28 个场景、46 个 episode；较大测试集含转向 53、直行 69、门口 36、接近 36、到达 26。评审累计评测/测试 212/281（Table 5）。
• 指标与评审协议： 驾驶策略都在策略测试集上用固定 RB 评审；RF 列是同一个最终无参考评审给所有策略的分数，不是各行自己的奖励评审。推理分为 0–100。轨迹为 ADE 与 minADE6，单位米。评审质量是与人工分的 Pearson r 和归一化到 0–1 的 MAE。
• 重复与触发： 论文未报告主训练重复次数。Figure 3 图注称阴影为 95% bootstrap CI。边界检查每 150 步，K=4，阈值 0.5（A.4.3）。

主结果

下表为驾驶策略环，同一初始化、匹配的单策略预算。RB 为固定 VeriFine-Judge-RB，RF 为同一个最终无参考评审。无参考各行的课程评审与奖励评审相同。据 Table 1。

Swipe horizontally to read the table

课程评审 / 奖励评审	RB	RF	minADE6	ADE
无 / 无（基座）	60.56	68.05	1.049	2.139
Random / LingoJudge	63.45	69.82	1.064	2.133
LingoJudge / LingoJudge	65.75	72.60	1.172	2.242
Random / VeriFine-Judge-RB	64.03	69.95	1.080	2.166
VeriFine-Judge-RB / 同左	67.70	75.20	1.164	2.235
VeriFine-Judge-R1	67.30	77.51	1.106	2.177
VeriFine-Judge-R2	70.59	79.61	1.078	2.139
VeriFine-Judge-R3	71.61	83.13	1.029	2.117

• 协同演化： 作者称三轮关注从常规场景转到挑战失败，再做跨场景平衡。Table 1 把 R3 相对基座标为 RB +18.2%、RF +22.2%。正文称学生评审在最终评审测试集上的相关性达到 0.82。Figure 1 另标注相关性 0.53、0.71、0.82，正文未逐项标明教师或学生。
• 选数与参考： 作者称 RB 奖励固定时，评审引导选数高于随机；首轮无参考配置与最强基于参考的配置接近，且推理时不依赖人工参考。作者称 R3 比该基于参考配置高 5.8%。
• 轨迹列： R1、R2 的 minADE6 高于基座，R3 低于基座；若干基于参考配置的 ADE 也高于基座，R3 两列最低。作者称训练没有动作奖励。作者称 RF 与 RB 的改进趋势相近，无参考评审可以给与记录行为不同、但有依据且安全的候选记分。

评审改进与分布转移

• 对齐： 作者称教师相关性从 0.55 到 0.85，MAE 从 0.25 到 0.13；最终学生为 r=0.82、MAE=0.17，VeriFine-Judge-RB 为 0.82/0.16，LingoJudge 为 0.65/0.23（正文与 Fig. 3）。作者称在评审测试集上，RB 的 r 为 0.82，并称 LingoJudge 为 SOTA 方法、其 r 为 0.65。
• 新失败： 附录 Fig. 6 中，R1 学生在 R1 测试子集（n=514）上 r=0.72，在后期挑战子集（n=218）上 r=0.07；R2 把后者提高到 0.74。R3 不新增测试子集。作者称学生在累计集上的 Pearson 从 0.71 到 0.82，最终教师为 0.85。
• 骨干： 附录 Fig. 5 使用同一最终 rubric。作者称协同校准将 Opus 5 的相关性从 0.67 提到 0.85，且显式 rubric 优于无 rubric。作者称后加入的 GPT-6 Astra 与 Gemini 3.8 Flash 均未明确优于校准后的 Opus 5。图中还有若干分，正文未按模型写明，此处不对齐。

测试时选择

• 协议： 另一个策略对 401 个独立场景各生成 6 个推理-动作候选。各评审从同一候选池按预算 1 到 6 选择（Sec 4.3）。对照含随机、R2、LingoJudge、VeriFine-Judge-RB 和人类上界。
• 结果： 预算为 6 时，终版评审选出的人类推理分为 78.6。作者称高于 R2 评审和 LingoJudge，与 VeriFine-Judge-RB 相当。候选生成固定，作者称增益来自选择而不是更强的生成策略。
• 图： Figure 3(c) 纵轴为 Selected Human Score。图注称阴影为 95% bootstrap CI。正文未列出每个预算的分数。

导航任务

• 设置与分数： 同一双环，导航专用 rubric，优化为 SFT。Figure 4 标注推理分 68.09、74.14、77.59。作者称从 68.09 到 77.59，相对提升 14%，关注从常规场景转到探索效率。
• 评审： 作者称最终评审与人类的相关性接近 0.85。Figure 4 还标有 0.82、0.85、0.87，正文未逐轮对应。
• 定性： 作者称更新后的策略修正了旧策略在移动、目标理解和停止上的失败。图为顺序观测，此处不复述动作原文。作者称评审修订后的策略回升与驾驶结果相呼应。

其他消融与分析

• Table 2：同一轮奖励评审、同一基座和预算下，评审引导相对随机的 RB 提升，作者写为 R1/R2/R3 的 14.6%、8.1%、4.5%。随机加 R1 奖励的 RB 为 58.71、RF 为 68.90、minADE6 为 1.349、ADE 为 2.594。
• Table 2 其余随机行：R2 为 RB 65.32、RF 76.67、minADE6 1.119、ADE 2.317；R3 为 RB 68.53、RF 81.59、minADE6 1.053、ADE 2.222。作者称 RF 评测器上的排序与 RB 相同。
• 附录 A.1.1：随机数据上的 RFT，LingoJudge 与 VeriFine-Judge-RB 相对基座的推理分提升，作者写为 4.8% 与 5.7%；奖励评审固定后，换成对应评审引导课程，再有 3.6% 与 5.7% 的相对提升。
• Table 3：八个学生变体共用 Qwen3-VL 2B。作者称 PAI-AV 预训练使 Pearson 最多提高 8%、MAE 最多降低 16.7%。带预训练、分类头、rubric 子分：r=0.82，MAE=0.17，0.07 秒/样本；教师为 r=0.85、MAE=0.13、20.92 秒/样本，表注 300×。
• Table 3：无 PAI-AV 时，分类头加子分为 r=0.76、MAE=0.19、0.07 秒。作者称生成式显式推理相对只输出分数仅 +0.01 r，延迟超过 5 倍；带预训练时两组为 r=0.76、2.40 秒与 r=0.75、0.45 秒。论文选择带预训练的分类头加子分，理由是诊断更细、延迟与直接预测总分相当。
• 学生训练使用 35K 条教师标注，等权二元交叉熵；0.1 标签平滑只用于动作匹配门。总分由子分聚合，不直接监督（A.2.2，A.4.2）。

作者指出的局限与后续方向

• 固定策略评测集： 评审评测集会随策略变化以捕捉新失败，但框架仍用固定策略评测集作为跨轮锚点。作者提出后续可保留固定留出测试集以便比较，同时加入与策略和评审一起演化的自适应策略评测集，为失败发现和课程提供信号（附录 A.5）。
• 参考推理仍经人工核验： 作者写框架仍依赖带推理标注的数据。无参考 VeriFine-Judge 可在训练中滤低质量推理，但策略评测用的参考推理仍经人工核验。作者提出可共同演化一个标注器，用结构化评审反馈生成并修订参考推理（附录 A.5）。
• 减少常规人工查询： 作者称协同校准已把人工经验收进演化中的 rubric，并减少重复查询。后续可把人工修正、指示和 rubric 修订蒸馏成可复用指导模型，以进一步减少人工，并在没有常规人工指导时继续改进评审（附录 A.5）。

实验覆盖范围

• 驾驶主实验为三轮。策略是 Alpamayo 1.5 8B，用 GRPO；每轮从同一基座初始化，并匹配训练集规模与优化步数（Sec 4.1，A.4.2）。
• 导航实验是 Qwen3-VL 2B 上的 SFT，数据来自 VLNVerse 场景；评审只用于课程，不进入损失（Sec 4.4，A.3.2）。
• 作者运行并报告了各轮教师与学生评审、VeriFine-Judge-RB、LingoJudge，以及 Claude Opus 5、GPT-6 Astra、Gemini 3.8 Flash 的骨干比较（Fig. 3、Fig. 5、Table 1、Table 3）。
• 测试时选择覆盖 401 个场景、每场景 6 个候选、预算 1 到 6（Sec 4.3）。驾驶策略测试集 2772，评审测试并集 732（Table 4）。
• 论文未报告主训练的重复次数；Figure 3 图注给出 95% bootstrap CI。触发阈值写为 0.5，论文未说明其单位（A.4.3）。

VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。

• 问题： 作者认为验证既提供优化反馈，也决定学哪些样本。策略变强后，静态评审可能给出不准反馈，静态数据的学习信号也会变少。具身任务还要核对空间、因果和安全相关决策。
• 方法： 策略环在人工质检的锚点集上诊断反复失败，从大池选课程；驾驶用 GRPO、评审总分当奖励，导航用 SFT、评审只决定样本去留。评审环在平台期从新策略 rollout 中抽不确定和高影响案例，人机一起改 rubric。人工分数不被当作不可错真值。每轮策略从同一基座重训，跨轮留下的是评审和课程状态。前沿教师经校准后蒸馏到紧凑学生，以便大规模打分。
• 驾驶： 固定 RB 评测下，推理分从 60.56 到 71.61，作者标注相对基座 +18.2%；同一最终无参考评测为 83.13，作者标注 +22.2%（Table 1）。学生评审与人类的 Pearson 为 0.82。R1 学生在后期挑战子集上为 0.07，R2 升到 0.74。R3 的 ADE 与 minADE6 为 Table 1 最低，而若干基于参考的配置轨迹误差高于基座。
• 选择与导航： 401 个场景、6 个候选时，终版评审选出的人类推理分为 78.6。导航 SFT 的推理分从 68.09 到 77.59，作者称相对提升 14%，评审相关性接近 0.85。
• 作者结论： 作者称扩展验证能在失败模式变化时支持持续自改进，并且同一双环可用于强化微调和监督微调。附录提出固定策略评测集、人工核验的参考推理，以及进一步减少常规人工查询，是后续可做的事。