R-Quest：用问题有效性与新颖性反馈维持推理模型自我进化

自进化推理模型反复用自生成题目训练后性能会回落，需要找出回落来源并维持多轮改进。

• 出现场景：作者讨论的设置是 questioner 与 solver 从同一初始化出发，用 GRPO 交替更新，前者出题、后者解题，以减少对人工策划数据的依赖（Section 1）。作者称持续自进化可能逆转早期收益，并导致 performance collapse。
• 既有循环的缺口：以 R-Zero 为例，solver 没有被明确训练去拒绝无效题；按答案一致性留下的题目里，无效题比例更高。重复惩罚按 BLEU 簇大小计算，同一数学任务若被拆进多个簇，惩罚会被削弱（Section 2）。
• 作者的诊断：在 Qwen3-4B-Base 的 R-Zero 上，每轮抽 200 题，有效题比例从第 1 轮 76.5% 降到第 5 轮 39.5%，过滤后第 5 轮为 27.64%（Figure 3a）。第五轮过滤池另抽 200 题，最大三类任务占 59.5%，最大类被 BLEU 拆成 22 个簇（Figure 4）。
• 本文做法：提出 R-Quest。先训练 solver 识别并拒绝无效题，再把该判断写入 questioner 奖励并过滤 solver 数据；用冻结基座模型判断采样题目对是否为同一数学任务，使不确定性奖励只给被判有效且新颖的题。作者称后续自进化不再调用更强外部模型。

自改进与自对弈出题

• 无外部奖励的强化学习（Zhao et al., 2026b; Zuo et al., 2026; Agarwal et al., 2026）：用模型置信度、答案一致性与熵作训练信号。论文此处只作归类，没有逐篇对照本文。
• Absolute Zero（Zhao et al., 2026a）：用代码执行验证自生成任务与解答。R-Zero（Huang et al., 2025）与 Self-Questioning Language Models（Chen et al., 2026）：用模型派生反馈训练出题器与解题器。
• 引言把更早的自进化工作（Huang et al., 2023; 2026a; Tao et al., 2024; Tan et al., 2024; Yu et al., 2025; Xiang et al., 2026）和 questioner–solver 组织方式（含 Liu et al., 2025; Shi et al., 2026）列为背景；性能回落对应到 Huang et al., 2025 与 Li et al., 2026a。

有环境锚定的学习

• 相关框架把学习放在博弈、文档语料、视觉任务和工具环境中（Liu et al., 2026; 2025; Yue et al., 2026; Huang et al., 2026c;b; Li et al., 2026b; He et al., 2025; Dai et al., 2026; Sun et al., 2026）。论文作分组描述，没有逐篇指出不足。

题目有效性

• 合成数学数据上的有效性工作包括 MathDebugger（Liang et al., 2026）、逐步核验数学题（Shen et al., 2026）和 TTCS（Yang et al., 2026）。论文把它们归入有效性相关工作。
• VHG（Lai et al., 2026）：自对弈时用更强外部模型 GPT-5.4 核验一般数学题。作者称本文在 mid-training 中教会 solver 拒绝无效题，后续自进化不再调用更强外部模型。

多样性控制、基线与基准

• OCNR（Lee et al., 2026）：用 solver 表示上的 one-class novelty reward 抑制 iteration-collapse。R-Diverse（Li et al., 2026a）：针对底层推理过程的重复，自进化期间额外使用 Qwen2.5-Coder-7B 与 Jina-Code-Embeddings-1.5B。作者称这偏离了由模型自行产生训练反馈的目标。
• 基线与基准：实验对比基座、R-Zero、OCNR、R-Diverse。数学为 AMC、Minerva、MATH-500、GSM8K、OlympiadBench、AIME24、AIME25；代码为 HumanEval+、MBPP+；通用为 MMLU-Pro、SuperGPQA、BBEH（Section 4.1, Appendix E）。Table 1 的数学列名写作 MATH。

作者称本文考察的是自生成题目支持持续改进的条件，并把新颖性收成“两题是否为同一数学任务的变体”，由冻结的同一基座模型做少量批内比较。

整体沿 R-Zero 的 questioner–solver 交替 GRPO，R-Quest 加上有效性反馈与任务级新颖性反馈。两角色共享初始化，questioner 被训练去出有不确定性、且按词面簇惩罚重复的题；solver 只用中间一致性题目，以多数票答案作伪标签（Section 2.1）。

有效性感知的 solver 初始化

• 数据：取 Qwen3-4B-Base 上 R-Zero 前五轮 solver 训练集，去重后每轮抽 460 题（400 训练 / 60 验证）。GPT-5.6-Sol 先判断有效性并尝试作答，再对有效题独立生成参考答案；不能可靠核验的答案被丢弃。最终 2,240 题：训练 1,943（有效 802、无效 1,141），验证 297（有效 121、无效 176）（Table 4, Appendix A.1–A.2）。附录 A 给出完整提示词。
• 训练目标：用 GRPO 让基座对有效题给出数学答案，对无效题输出 INVALID；只有认定题目本身有缺陷时才拒绝。奖励为 R_init(q,a)=1[a=a^∗(q)]−λ 1[a=INVALID ∧ a^∗(q)≠ INVALID]，即答对或正确拒绝得正分，拒绝有效题被惩罚。附录取 λ=0.5：正确为 1，误拒为 -0.5，其余为 0，空答案框为 -0.1。
• 设置：Qwen3-4B-Base 与 OctoThinker-3B-Hybrid-Base 都做该初始化。每题 8 条回答，15 步，批内 512 题，学习率 10^-6，KL 系数 10^-2，温度 1.0，top-p 0.99；第 15 步检查点作为后续 solver 起点（Table 6, Appendix A.3）。

采样成对的新颖性判断

• 判据：冻结的对应基座模型比较两题。正文定义：数学设定与所求任务类型基本相同即视为同一类型；只改数值或措辞不算新类型，只属于同一宽泛领域也不足以算重复。附录 B.1 给出完整提示词。
• 降成本：全对比较为 O(B^2)。对每个候选无放回抽 K 道其他题，任一被判为同类型即拒绝，代价为 O(BK)。K 相对 B 较小时，通过概率约为 (1-p)^K。论文举例：K=8 时，同类型占 10% 的通过率约 43%，占 30% 时约 6%。默认 K=8。questioner 的 rollout 批最初有 2,048 个生成候选（Appendix B.2）。

带两类反馈的交替更新

• 有效性门：对题目 q，solver 在尝试解题时若发现缺陷则输出 INVALID。u(q) 为 INVALID 所占比例。有效性门为 g_valid(q)=1/2−u(q)；g_valid(q)<0，即超过一半回答为 INVALID，则判为无效。
• questioner 奖励：无效时奖励就是 g_valid(q)（为负）。通过后改用标准解题指令，重新采样，令 s(q) 为最大答案簇的比例，不确定性奖励为 min{s(q), 1-s(q)}。g_novel(q) 为 1 或 0。通过有效性门后，奖励等于 g_novel(q) 乘该不确定性奖励；不新颖则为 0。格式不合要求的生成奖励为 -1。questioner 用该奖励做 GRPO。
• solver 数据：更新后的 questioner 出候选题。先做同样的多数票有效性检查，通过者再采样数学解答。保留 s(q) 在 [0.3, 0.8] 且多数票答案非空的题，伪标签为多数票。正文没有写把新颖性门再用于 solver 训练集过滤。
• 回放与超参：每轮把初始化训练集混入 solver 数据的 10%，沿用初始化任务与奖励，以保持拒绝无效题的能力。新题上的 solver 奖励为：与伪标签数学等价得 0.9，再加 0.1 的指定推理与答案框格式分。有效性采样 9 条，通过后数学解答 10 条。每轮 questioner 5 步、solver 15 步；rollout 批 512；questioner 每输入 4 条回答、solver 5 条。学习率 10^-6，KL 系数 10^-2（Appendix C.2, Table 7–8）。出题与解题提示词沿用 R-Zero，附录 C.1–C.2 给出全文。

实验设置

• 被测骨干：Qwen3-4B-Base，以及正文中的 OctoThinker-3B-Hybrid-Base（Table 1–2 写作 OctoThinker-3B）。作者称二者覆盖 Qwen 与 Llama 族；OctoThinker 用 mid-training 处理直接对 Llama 基座做 GRPO 增益有限的问题。
• 基准：7 个数学基准为 AMC、Minerva、MATH（Appendix E 写 MATH-500）、GSM8K、OlympiadBench、AIME25、AIME24；代码为 HumanEval+、MBPP+；通用为 SuperGPQA、MMLU-Pro、BBEH。论文未写各基准条数。
• 基线：基座、validity initialization、R-Zero、OCNR、R-Diverse。OCNR 按设计做两倍过采样，每轮 20,000 道候选；其余方法每轮 10,000 道。R-Diverse 使用 Qwen2.5-Coder-7B 与 Jina-Code-Embeddings-1.5B。
• 指标与判定：AMC 与两个 AIME 报告 mean@32，其余推理基准为贪心准确率；代码在 EvalPlus 上报告 pass@1。数学答案与参考答案的等价由 Qwen3-32B 判定；通用域为贪心解码下的 exact match。各域取评估轮次中该域平均最高的检查点。论文未报告主训练重复次数。
• R-Quest 训练：solver 用 Section 3.1 的初始化，每轮回放 10% 初始化数据；有效性门为 9 条回答的多数票；新颖性门 K=8，由冻结的对应基座模型判断。
• 主数学对比的轮次：与先前工作一致，Table 1 比较的是五轮自进化内数学平均最高的检查点，不是第 10 轮。

主结果

下表为各域平均（百分数）。数学据 Table 1，代码与通用据 Table 2。未列入 validity initialization。

Swipe horizontally to read the table

域与骨干	R-Quest	R-Zero	R-Diverse	OCNR	Base
Qwen数学	51.64	49.10	49.82	49.57	46.17
Octo数学	30.69	28.25	28.61	28.12	24.90
Qwen代码	62.69	59.27	60.50	60.28	58.79
Octo代码	18.90	14.14	14.98	15.60	13.67
Qwen通用	32.75	31.21	31.76	31.56	28.79
Octo通用	15.50	14.10	14.50	13.83	8.30

• 作者称 R-Quest 在两个骨干上的三域平均都高于所评方法。相对 Table 1 的基座，作者称数学平均提高 5.47 与 5.79 个点；相对 R-Zero 再高 2.54 与 2.44 个点，并称增益分别为 R-Zero 的 1.87 倍与 1.73 倍。
• 作者称 validity initialization 的数学表现接近基座，R-Quest 的大部分增益出现在随后的自进化中。代码与通用域也是如此：作者称数学课程下的自进化带来了域外提高，并认为少强化那些依赖未写明假设的解答，可能有助于按题目给定信息推理。
• 分项并非每列都是 R-Quest 更高。Table 1 中 OctoThinker 的 Minerva，R-Zero 为 29.78，R-Quest 为 29.41；Qwen 的 MATH 上 R-Quest 与 OCNR 同为 77.60。

十轮数学自进化

• 测了什么：把 Qwen3-4B-Base 的自进化延到十轮，看七个数学基准的平均（Figure 1、Figure 5）。
• 结果：R-Zero 在第 3 轮到 49.10，第 10 轮降到 34.60，低于基座 46.17。R-Quest 第 10 轮为 51.92，作者称同轮领先 17.32 点，且第 1 至第 10 轮每个检查点都超过 R-Zero 的峰值。作者还写出：十轮后 R-Quest 比基座高 5.75 点，R-Zero 比基座低 11.57 点。
• 作者的解读：只保留有效性或只保留新颖性，峰值都高于 R-Zero；有效性对维持增益更关键，去掉后后期回落，去掉新颖性则回落较缓且仍高于基座。Figure 5 还标有 49.22 与 37.84，正文未把这两个数对应到具体曲线。

自进化中的有效性与伪标签

• 测了什么：在留出的 297 题上，用贪心一条回答评估各轮 solver 的有效性判断；另从每轮未过滤题池抽 200 题，由 GPT-5.6-Sol 判有效率，并只在被判有效的题上核对多数票答案（Figure 6, Appendix A.1）。
• 结果：R-Quest 的 balanced accuracy 从初始化后的 64.80% 到第 10 轮 72.93%；第 10 轮无效题召回 86.36%，R-Zero 在十轮中处于 10.23% 到 26.14%。题池有效率：R-Quest 从第 1 轮 88.0% 到第 4–10 轮的 94.5–97.5%，R-Zero 从 76.5% 到 49.0%。第 10 轮多数票准确率：R-Quest 54.69%，R-Zero 2.06%。Figure 6(c) 的带是逐点 95% Wilson 区间，正文未给出区间端点。
• 作者的解读：R-Quest 的有效性判断在自进化中继续变强，出题转向有效题，并保住了更可用的多数票监督；R-Zero 的变差从出题延伸到答案监督。

题目类型集中度

• 测了什么：前五轮每种方法每轮无放回抽 200 条 solver 训练题，由 GPT-5.6-Sol 按数学构造与所求任务分组；top-five 份额为三次随机顺序的平均（Figure 7, Appendix B.3）。
• 结果：R-Zero 的 top-five 份额从第 1 轮 17.0% 到第 5 轮 69.0%。默认 K=8 的 R-Quest 第 5 轮为 24.0%。把 K 增到 16 后，第 4 轮 top-five 从 30.0% 降到 16.8%，但数学表现全程低于 K=8。
• 作者的解读：作者认为过严的多样性控制可能压掉同一题型里更难的变体；新颖性控制应在新题型与既有题型上的更难题之间取得平衡。

其他消融与分析

• Table 3（Qwen3-4B-Base 域平均）：去掉新颖性为数学 51.02、代码 61.98、通用 31.80；去掉有效性为 50.27、61.28、31.53；两者都去掉即 R-Zero，为 49.10、59.27、31.21；冻结有效性判断器（新颖性仍开）为 49.93、61.85、32.39。
• Table 9：去掉新颖性时 AIME25 为 15.42、MATH 为 78.00，高于完整 R-Quest 的 13.44 与 77.60；作者称个别基准上消融更高，三域平均仍是完整方法最高。
• 修复对照（Figure 3b）：各 1,273 题，其中相同有效题 766、其余 507 题在修复集中被替换；修复集七数学基准最终平均 49.91，原题集 46.54，图中标注 +3.37 points。
• 无效题类型（Table 5，1,317 题）：矛盾 380（28.9%），无解 362（27.5%），歧义 315（23.9%），信息缺失 181（13.7%），构式不良 72（5.5%），其他 7（0.5%）。
• Figure 4：第五轮过滤池 200 题中，最大三类合计 59.5%（31.5%、17%、11%），其余 40.5%。
• Appendix Figure 8：同类型占 5% 时，K=8 与 K=16 的近似通过率分别为 66.3% 与 44.0%；占 20% 时为 16.8% 与 2.8%。正文称 K=16 把 20% 份额题型的拒绝概率提到 97.2%。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion 与附录没有 Future Work 或 Limitations 节，也没有把某项结果写成“这是不足、留待以后做”。

实验覆盖范围

• 被测骨干为 Qwen3-4B-Base 与 OctoThinker-3B-Hybrid-Base；对照包括基座、validity initialization、R-Zero、OCNR、R-Diverse（Section 4.1, Table 1–2）。
• 评测含 7 个数学基准、HumanEval+、MBPP+、MMLU-Pro、SuperGPQA、BBEH；数学等价由 Qwen3-32B 判定，通用域为 exact match，代码为 pass@1（Appendix E）。
• 主对比每轮 10,000 道候选题，OCNR 为 20,000；各域报告评估轮次中平均最高的检查点。十轮曲线在 Figure 5 给出的是 Qwen3-4B-Base 的七数学基准平均。
• 有效性标注、修复、题型分组和题池有效率使用 GPT-5.6-Sol；诊断与题池分析每轮抽 200 题，有效性能力评测用留出的 297 题，多样性分组对同一样本做 3 次随机顺序（Section 2.2, 4.3, Appendix A–B）。
• 论文未报告主训练的重复次数，也未报告 GPT-5.6-Sol 有效性标注与 Appendix A.2 所述人工复核之间的一致性数值。

R-Quest 处理的是推理模型自进化中的题目质量：questioner 与 solver 用 GRPO 交替从自生成题目学习时，多轮之后平均成绩会下降。

• 回落来源：作者在 R-Zero 上把下降和两类题目连在一起。无效题占比随轮次上升，答案一致性过滤还会提高其在 solver 训练集中的比例；BLEU 聚类会把同一数学任务拆开，使按簇大小计算的重复惩罚变弱。匹配设置下，把无效题换成修复版后，solver 的七数学基准最终平均为 49.91，原题集为 46.54（Figure 3b）。
• 方法：用 R-Zero 题目做成的标注集做初始化，让 solver 对无效题输出 INVALID，并惩罚误拒。自进化中，超过半数回答为 INVALID 的题得到负向 questioner 奖励，并被排除出 solver 数据；通过者才按答案不确定性得分，该分数还要经过冻结基座模型的采样成对新颖性门，默认 K=8。solver 每轮混入 10% 初始化数据。作者称此后不再调用更强外部模型。
• 五轮主结果：Table 1–2 中，R-Quest 在 Qwen3-4B-Base 上的数学、代码、通用平均为 51.64、62.69、32.75，在 OctoThinker-3B 上为 30.69、18.90、15.50，均高于同表的基座、R-Zero、OCNR 和 R-Diverse。分项有例外：Octo 的 Minerva 上 R-Zero 为 29.78，高于 R-Quest 的 29.41。
• 十轮：Qwen3-4B-Base 的七数学基准平均在第 10 轮为 51.92，同轮 R-Zero 为 34.60。作者称领先 17.32 点，并称 R-Quest 比基座高 5.75 点、R-Zero 比基座低 11.57 点。去掉有效性反馈会出现后期回落。
• 作者的结论：评估自生成题目的有效性与任务新颖性，是维持自我改进的一个可用组成部分；分析中 R-Quest 的无效题召回在第 10 轮为 86.36%，题型集中度低于 R-Zero。