STRETCH：面向 LLM 渐进式进化的统一自教框架

自改进训练里固定难度无法跟着模型能力上移，模型要么停在舒适区，要么在过难任务上奖励崩溃。

• 场景与重要性：作者认为 LLM 在数学求解和策略性社交交互上已有较强能力，后训练正从人类标注转向 self-play。传统 RL 把模型放在静态数据集或预设难度上；掌握固定分布后会进入能力平台期并过早收敛，初始任务过难则找不到有效轨迹，出现奖励崩溃。
• 现有方法的不足：作者称现有自改进框架缺少渐进提升机制。课程学习或 self-play 常依赖冻结的环境生成器，或使用多个分离模型（如 Yang et al., 2026; Karlekar et al., 2026）。
• 核心观察：作者借用认知脚手架理论，把学习分成 Comfort Zone、Stretch Zone 与 Difficulty Zone（Figure 1a）。作者认为最优学习应落在刚好超出舒适区的 Stretch Zone；静态题目会在模型变强后把模型重新丢回舒适区（Figure 1b）。
• 本文提出什么：提出 STRETCH（Self-Taught Reasoning Evolution via Targeted CHallenge）。同一参数空间内，模型交替担任可学习的 Scaffolder（按历史反馈生成位于当前 Stretch Zone 的约束）和 Learner（与外部环境交互并用 RL 优化求解轨迹），形成难度对齐与求解能力的双环共演化。

共演化框架

• Absolute Zero Reasoner（Zhao et al., 2025）：无外部人类标注或蒸馏数据的 self-play 推理框架；本文将其与 R-Zero 作为同任务、同指标的受控 self-play 基线。
• DeepSeekMath（Shao et al., 2024）：用自生成数据做数学推理，并提出 GRPO 以提升推理并降低显存占用；STRETCH 的更新采用 GRPO。
• 生成器–求解器联合演化：GenEnv（Guo et al., 2025）让 LLM 智能体与可扩展环境模拟器按难度对齐共演化；R-Zero（Huang et al., 2025）从同一基座分别优化 Challenger 与 Solver；TTCS（Yang et al., 2026）让题目合成器与推理求解器从同一预训练模型共演化；COvolve（Sygkounas et al., 2026）把环境与策略设计建模为二人零和博弈；G-Zero（Huang et al., 2026）用提示诱导的响应做无验证器共演化。作者将 GenEnv、TTCS 等与“需维护两个分离大模型”对照。

认知脚手架

• ZPD 与脚手架理论：McLeod (2024) 讨论最近发展区；Wilson and Devereux (2014) 将脚手架表述为“高挑战、高支持”；Newen and Fabry (2025) 提出脚手架的模式理论；van Nooijen et al. (2024) 讨论脚手架如何调节工作记忆中的信息流。
• LLM 上的操作化：SMART（Kim et al., 2025）用大模型给小模型有选择的提示；SEELE（Li et al., 2025）在 RLVR 中按自适应长度附加提示，使 rollout 准确率靠近理论上约 50% 的区间。作者称 STRETCH 的难度奖励在成功率 0.5 处取最大，与这一信息量最大的区间一致。

基线与基准

• 谈判（CraigslistBargain，He et al., 2018）：提示方法 Vanilla、GDPZero（Yu et al., 2023）、Pro-CoT（Deng et al., 2023）；训练方法 DPDP（He et al., 2024）、DMNA（Liu et al., 2025）；另有受控实现的 Absolute Zero 与 R-Zero。指标为 AT、SR、PG。
• 运筹（Mano Complex，Huang et al., 2024b；Complex OR，Xiao et al., 2024）：Vanilla、Vanilla+CoT（Wei et al., 2022）、ORLM（Huang et al., 2024a）、LLMOPT（Jiang et al., 2025）、StepORLM（Zhou et al., 2026），以及 Absolute Zero、R-Zero。指标为 ER、SA。附录 C 另用 NL4Opt 与 Mano Easy。

作者把 STRETCH 定位为：在单一参数空间内用角色提示切换 Scaffolder 与 Learner，并用显式难度匹配和经验回放，而不是冻结生成器或两个分离模型。

STRETCH 在同一基座 πθ 上用角色系统提示切换 Scaffolder 与 Learner，以异步双环做难度对齐和探索（Figure 2），再用 epoch 级黄金经验回放把成功轨迹写回共享参数。

问题设定与形式化

• 高层目标：作者把后训练写成同时优化题目有效性、可学习性和回放稳定的下游行为。式 (1) 为 max_θ E_{q∼πθ}[I_valid(q) R_diff(q)] + λ R_replay(θ)。I_valid 由领域验证器给出，R_diff 偏向 Learner 能力边界上的任务，R_replay = −L_SFT 提高已验证成功轨迹的似然。作者称该式由交替 GRPO 与 epoch 级回放实现，而不是单一可微损失。
• 角色切换：Difficulty Alignment（左环）更新 π_Scaffolder，历史 Learner 快照冻结；Exploration（右环）更新 π_Learner，Scaffolder 冻结。作者称这样每步奖励来自一致的对手快照。

Scaffolder：把题目推向 Stretch Zone

• 分组出题与冻结 rollout：给定基础上下文 c，Scaffolder 采样一组自适应问题 Q（式 2）。对每个 qi，冻结的 Learner 采样 m 条轨迹（式 3）。实验中 n = 8、m = 8。
• 难度对齐奖励：外部 LLM-as-a-Judge 判定每条解是否正确，经验成功率 p̂_i 为 m 条中正确比例。式 (4) 为 R_diff(qi) = (p̂_i (1−p̂_i))^α，在 p = 0.5 取最大；α 控制奖励尖锐程度，论文未给出 α 的取值。p̂→1 或 p̂→0 时奖励下降。不可行的 OR 约束验证器奖励为 0；谈判轨迹用成功且符合规则的对话做回放正则。
• GRPO：在一组 m 个问题上归一化奖励得到优势 A_j，用裁剪概率比更新 Scaffolder（式 5）。

Learner：攻下当前边界

• 自适应约束与采样：冻结 Scaffolder 生成 q_adapt，Learner 采样 m 条轨迹（式 6）。
• 奖励：OR 上 R_acc 由代码执行与最优性给出二元奖励；谈判上由 LLM-as-a-Judge 联合评价成交与策略一致性。组内计算相对优势后用 GRPO 更新（式 7）。谈判评审为 GPT-4o-mini；OR 用 Python 编译器加 GPT-4o-mini 返回执行与最优性的二元奖励。

渐进螺旋与黄金经验回放

• 步级交错：每个训练步先做一次 Scaffolder 更新，再做一次 Learner 更新，使出题难度与求解能力同步前进。
• epoch 级回放：每 N 个交错步后，从成功试验收集 Scaffolder 的高质量自适应题和 Learner 的最优轨迹，组成在线回放缓冲 D_gold，用 SFT 交叉熵（式 8）更新共享 πθ。作者称这锚定格式良好的轨迹，缓解长程 RL 中的格式崩溃，并反过来提高 Scaffolder 标定难度的精度。论文未在正文给出 N 的数值；更多配置指向 Appendix A。
• 训练实现：两个基座为 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct，LoRA 微调，两张 NVIDIA H100。角色仅靠系统提示区分，不维护两个独立大模型。

实验设置

• 被测基座：Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct。外部评审/模拟为 GPT-4o-mini；OR 另用 Python 编译器。消融中 External Scaffolder 也使用 GPT-4o-mini。
• 数据与指标：谈判用 CraigslistBargain，AT（越低越有效率）、SR（达成有效协议的比例）、PG（最终售价相对初始要价的比例，越低表示谈判收益越高）。OR 用 Mano Complex 与 Complex OR，ER 为代码可执行率，SA 为在满足约束下得到最优目标值的比例。附录 C 另报 NL4Opt 与 Mano Easy 的 ER、SA。论文未写各集样本条数。
• 基线：谈判为 Vanilla、GDPZero、Pro-CoT、DPDP、DMNA，以及同任务上下文、同指标的 Absolute Zero 与 R-Zero。OR 为 Vanilla、Vanilla+CoT、ORLM、LLMOPT、StepORLM，以及同样受控实现的 Absolute Zero 与 R-Zero。作者称后两者是域内对比，不是对原论文评测套件的总排名。
• 训练与评审：Scaffolder 每步 n=8 道自适应题，Learner 每题 m=8 条轨迹。谈判奖励由 GPT-4o-mini 评价成交；OR 由编译器与 GPT-4o-mini 给执行和最优性的二元奖励。LoRA，两张 H100。Figure 3 的消融为 6 个 epoch。论文未报告重复次数与统计显著性检验。

主结果

据 Table 1、Table 2，STRETCH 与同表基线如下（OR 为百分比；谈判 AT/SR/PG 为原文数值）。

表格较宽，可左右滑动

模型	设置	Mano ER/SA	Complex OR ER/SA	Craigslist AT/SR/PG
Qwen2.5-7B-Instruct	StepORLM 或 DMNA	65.8 / 62.4	57.3 / 52.6	DMNA 7.94 / 0.71 / 0.67
Qwen2.5-7B-Instruct	R-Zero	64.8 / 61.7	58.2 / 53.2	7.56 / 0.72 / 0.69
Qwen2.5-7B-Instruct	STRETCH	67.9 / 63.6	58.7 / 55.0	7.32 / 0.79 / 0.61
Llama-3.1-8B-Instruct	R-Zero	60.5 / 52.3	55.3 / 46.8	7.46 / 0.73 / 0.84
Llama-3.1-8B-Instruct	STRETCH	61.2 / 54.8	56.2 / 49.5	6.96 / 0.75 / 0.73

• 硬约束：作者称在 Qwen2.5-7B-Instruct 的 Complex OR 上，STRETCH 的 ER 58.7%、SA 55.0%，StepORLM 为 57.3% 与 52.6%。Mano Complex 上 STRETCH 为 67.9% ER、63.6% SA，AZR 为 63.4% 与 60.1%，R-Zero 为 64.8% 与 61.7%。Llama 上 STRETCH 的 Mano SA 54.8%、Complex OR SA 49.5%，为 Table 1 该列最高。
• 软约束：Qwen 上 STRETCH 的 SR 0.79、PG 0.61、AT 7.32，均为 Table 2 该模型最高或最低（按箭头方向）。相对 R-Zero，SR 高 0.07、PG 低 0.08；相对 AZR，SR 高 0.06、PG 低 0.07。作者认为更低 PG 说明模型不是只为成交而让步。
• 例外：Llama 上 DPDP 的 AT 为 6.83，短于 STRETCH 的 6.96。作者写明这是成功率–收益上的优势，而不是每个骨干、每个指标都最好。Table 1 中 Llama 的 Mano SA，Absolute Zero 为 53.7%，低于 STRETCH 的 54.8%，但 StepORLM 的 SA 为 49.5%，与 Complex OR 上 Llama 的 StepORLM SA 45.8% 不同列。

难度对齐消融

• 测了什么：Section 4.3 在 Qwen2.5-7B-Instruct 上比较 Untrained-Frozen、SFT-Frozen、External Scaffolder（GPT-4o-mini）、Binary Reward 与 STRETCH，Figure 3 画 6 个 epoch 的 Mano Complex 与 Complex OR 的 SA。图中曲线端点数值在文本转换后不可读，正文未给出各 epoch 的 SA 表。
• 作者的解读：作者称 Untrained-Frozen 为下界；SFT-Frozen 起点更高，但 Epoch 2 之后持平，因为难度固定，Learner 耗尽题目训练价值并进入舒适区。外部 GPT-4o-mini 早期较强，中途平台，作者归因于它不能内化 Learner 边界，也不能使用共享黄金回放。
• 二元奖励：作者称 Binary Reward 在全对或全错时奖励为 0、混合准确率时为 1，因而在过易与过难之间摆动，Learner 梯度不稳定。作者称 STRETCH 用连续 R_diff 把 Scaffolder 锚在能力边缘，并维持上升螺旋。

共演化复杂度与机制分析

• token 长度：Figure 4 用平均 token 长度代理复杂度。作者称 OR 域中 Scaffolder 题目从平均 35 token 增至 156 token，Learner 成功轨迹从 123 token 增至超过 416 token，6 个 epoch 同步上升。作者认为这不是堆无意义 token，而是约束复杂度上升；Table 4 与 Appendix B 给了分段示例，此处不复述具体约束文本。
• 共享参数、回放与目标成功率（Table 3，Mano Complex 的 ER/SA 与 CraigslistBargain 的 SR/PG）：Separate LoRAs 在 Qwen 上为 63.2 / 55.6 与 0.64 / 0.76，Llama 上为 57.8 / 52.6 与 0.67 / 0.82；共享的 STRETCH 为 67.9 / 63.6、0.79 / 0.61 与 61.2 / 54.8、0.75 / 0.73。作者称共享适配器在两个骨干上同时提高 OR 执行/求解和谈判成功/收益。
• 回放与 p：去掉 Golden Experience Replay 后，Qwen 的 Mano 为 ER 54.3%、SA 44.7%，谈判 SR 0.47、PG 0.76；作者称 Epoch 4 出现格式崩溃。目标 p=0.8 为 62.4 / 56.7 与 0.73 / 0.71；p=0.2 为 57.8 / 50.5 与 0.66 / 0.83；p=0.5 为 67.9 / 63.6 与 0.79 / 0.61。作者称过易题目常已被解开，过难则成功轨迹更少。

其他消融与分析

• 更简单 OR 集（Table 5）：Qwen 上 STRETCH 的 NL4Opt ER/SA 为 91.8 / 90.6，StepORLM 为 92.4 / 90.1；Mano Easy 为 93.6 / 91.5，StepORLM 为 93.1 / 91.2。Llama 上 STRETCH 的 NL4Opt 为 90.1 / 86.4，StepORLM 为 89.5 / 87.2（SA 更高的是 StepORLM）；Mano Easy 为 90.3 / 88.4，StepORLM 为 89.1 / 86.3。作者称自我对弈加难并未造成基础推理的灾难性遗忘，并称接近上限。
• Table 5 未列入 Absolute Zero 与 R-Zero。Qwen 的 NL4Opt ER 上 StepORLM（92.4%）高于 STRETCH（91.8%）。
• 论文未报告查询次数、训练步数 N、学习率或多次运行的方差。

作者指出的局限与后续方向

• 奖励可验证性（Limitations）：难度对齐奖励和 Learner 准确率奖励依赖环境反馈。OR 中无效或不可行约束由程序验证器拒绝；谈判中 GPT-4o-mini 同时是卖方模拟器和奖励/评测的一部分。作者称改进可能部分来自适应该模型的行为与偏好，且服务会随时间变化。
• 替换评审仍需外部验证（Limitations）：作者称已在发布代码中记录提示词和确定性对话种子，并把流程设计成可用其他评审替换 GPT-4o-mini。独立的人类评估或跨模拟器评估仍然必要，才能确认超出这一设置的迁移。
• 无约束环境（Limitations）：目前验证于认知复杂度与任务约束可形式化、可客观评价的领域。作者认为把这种参数共演化延伸到开放式任务——难度梯度主观、多维或没有清晰数学边界——是更广的挑战。
• 主观 Stretch Zone（Limitations）：为没有客观边界的领域构造可计算、普遍适用的 Stretch Zone，作者称为有待进一步理论工作的开放问题。
• 主张范围（Limitations）：经验主张限于已评测的、有约束落地的设置，并不确立一般的开放式或自主 LLM 演化。

实验覆盖范围

• 被测训练基座为 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct；主表覆盖 Mano Complex、Complex OR 与 CraigslistBargain，附录 Table 5 覆盖 NL4Opt 与 Mano Easy。
• 谈判奖励与卖方模拟使用 GPT-4o-mini；OR 使用 Python 编译器，并由 GPT-4o-mini 参与执行与最优性判定（Section 4.1、Limitations）。
• 难度对齐消融在 Qwen2.5-7B-Instruct 上训练 6 个 epoch，配置包括冻结、SFT 冻结、外部 GPT-4o-mini Scaffolder 与二元奖励（Section 4.3、Figure 3）；共享 LoRA、去掉回放以及目标 p=0.8、0.2、0.5 见 Table 3。
• Absolute Zero 与 R-Zero 以同一任务上下文和评测协议重新实现后写入 Table 1 与 Table 2；作者写明这不是对原论文评测套件的总排名。
• 论文未报告各数据集条数、重复次数、α、回放间隔 N，以及评审与人工的一致性。

STRETCH 是面向可验证约束任务的自改进框架：同一套参数轮流当出题的 Scaffolder 和解题的 Learner，让难度跟着能力走。

• 问题：固定题库或预设难度下，模型掌握分布后进入平台期；题目一开始过难则奖励崩溃。作者用 Stretch Zone 描述“刚好超出当前能力”的区间。
• 做法：左环用冻结 Learner 的经验成功率构造 R_diff，使奖励在成功率 0.5 最大，再用 GRPO 更新 Scaffolder；右环在冻结 Scaffolder 出的新约束上用 GRPO 更新 Learner。每步先更新出题再更新解题。epoch 级把成功题目和成功轨迹放进 D_gold 做 SFT。OR 用编译器验证，谈判用 GPT-4o-mini 判成交与约束。基座为 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct，n=8、m=8，LoRA。
• OR：Qwen 上 STRETCH 的 Mano Complex 为 ER 67.9%、SA 63.6%，Complex OR 为 58.7% 与 55.0%（Table 1），高于同表的 StepORLM、受控 AZR 与 R-Zero。Llama 上 Mano SA 54.8%、Complex OR SA 49.5%，为该表对应列最高。
• 谈判：Qwen 上 SR 0.79、PG 0.61、AT 7.32（Table 2）。Llama 上 SR 0.75、PG 0.73，但 AT 6.96 长于 DPDP 的 6.83。作者把这写成成功率与收益上的优势。
• 机制：共享参数优于分角色 LoRA；去掉黄金回放后 Qwen 的 Mano SA 降至 44.7%，作者称 Epoch 4 格式崩溃；目标 p=0.5 高于 p=0.8 与 p=0.2（Table 3）。题目与成功解答的平均 token 长度在 6 个 epoch 中一起上升（Figure 4：题从 35 到 156，解答从 123 到超过 416）。
• 作者的结论：在有可靠出题与验证的 OR 和谈判设置上，共享角色、回放稳定和边界难度目标有帮助。作者同时把主张限制在这些约束任务，并认为开放式场景的 Stretch Zone 以及独立于 GPT-4o-mini 的评审仍需进一步研究。