Learning Robust Reasoning through Guided Adversarial Self-Play

如何只凭可验证终答奖励，让已经会解题的模型在条件上下文可错时仍能检测错误、修复并答对。

• 场景：作者称部署时的条件上下文——提示词、部分解答轨迹，或多智能体里协作者的推理——可能有噪声、误导或分布偏移。作者转述 Li 与 Goyal（2025）：即便原题能答对，插入短干扰或局部损坏片段也会让强数学模型失败，且该失败可呈 inverse scaling。
• 现有训练的缺口：标准 RLVR 只在干净条件下优化终答正确。作者认为自我反思是该目标的附带产物，并不显式训练何时不信任上下文、如何诊断不一致、如何恢复。MR-GSM8K、MR-Bench 与 RUPBench 被用来指出诊断任务和轻度词法/句法/语义扰动下的另一类脆弱性。
• 作者的问题：基础任务能力已经具备时，能否不用人工步骤标签、也不用训练时的外部教师，只用可验证 outcome reward，把 strong-but-brittle 的大推理模型训成对可错条件上下文鲁棒的推理器。
• 本文做法：提出 GASP。同一模型扮演 polluter 与 agent：前者学习局部连贯、能诱发下游失败的损坏；后者在相同污染条件上诊断并修复。再对策略自身生成的修复片段做模仿，缓解早期成功轨迹过稀。

按引言、第 5 节和附录 A.8 的分组转述。作者没有把下列方法都做成实验基线。

可错上下文的压力测试

• Recoverability：Li 与 Goyal（2025）在原本正确的思维链中插入短干扰或局部损坏，看模型是否仍答对。作者转述：模型常把可见轨迹当权威并跟随损坏，该失败可呈 inverse scaling。
• Diagnosability：Zeng 等（2023；2024）的 MR-GSM8K 与 MR-Bench 要求判断给定解答、定位首个错误步骤并解释。作者称会解题的模型在此仍可能崩溃。
• 扰动下的 reliability：Wang 与 Zhao（2024）的 RUPBench 用词法、句法、语义编辑扰动输入。作者称常识与逻辑任务上会出现大幅下降；正文未写出所引降幅的具体数字。

不靠额外人工标注的自我改进

• 推理时修订：SELF-REFINE（Madaan 等，2023）与 REFLEXION（Shinn 等，2023）让模型按任务结果生成自然语言反馈并修订后续尝试，不更新权重；后者还用显式记忆。
• 训练时自举：STaR（Zelikman 等，2022）生成依据、按终答正确过滤再微调。SCoRe（Kumar 等，2024）用在线 RL 训练多轮自我纠正，并处理离线自纠正微调中的分布不匹配与崩溃。
• 同方向引用：Zhou 等（2025）与 Li 等被归入“用反馈、修订或新训练数据改进自身推理”的工作线。论文未再分述这两篇的做法。

自博弈微调

• SPIN（Chen 等，2024）：迭代生成合成回答，优化将合成输出与人工标注数据作比较的目标。
• 稳定变体：Wang 等（2025）分析成对自博弈目标的不稳定性，并提出三元组变体。论文只作描述，未与本文报数字对比。
• 对抗语言博弈：引言写本文的对抗自博弈框架来自 Cheng 等（2024），并用于鲁棒推理。Related Work 正文未再比较。

结果可验证的强化学习

• GRPO 及其变体：Shao 等（2024）用终答正确性等 outcome 监督引出长思维链。附录 A.8 还写 DAPO、GMPO、Dr.GRPO、GSPO 对组相对优势、KL、聚合方式或序列级比率的修改，以及更早的 PPO 式 RLHF（Ouyang 等，2022）。

• 作者的定位：作者称这些方法主要把干净推理上的 outcome-RL 更新做得更少失稳；部署中“条件上下文可信”经常不成立。本文要训的是检测、修复并恢复正确答案。

• 基线方法：主表对照初始检查点、无修复引导的对抗自博弈 ASP，以及用 GPT-5 修复作引导的 GASP-T。附录 A.9 另有固定 polluter 的 GASP-P-FIXED，和训练时用 GPT-5 当 polluter 的 GASP-P-GPT-5。

• 基准/数据集：GSM8K、MR-GSM8K、MR-Ben 代码子集 MHPP、RUPBench 的 GSM8K 与 CommonsenseQA。训练题来自 MATH 训练集。

GASP（Guided Adversarial Self-Play）在同一套参数上，用提示词区分 polluter 与 agent，只用终答是否等于标准答案做奖励，并加上分布内修复模仿。作者称鲁棒性来自训练，而不是测试时改提示词。

问题设定与污染轨迹

• 操作定义：作者把鲁棒性写成三件事：diagnosability（找出错误）、recoverability（修复并解出）、reliability（抵抗扰动）。关心的能力是：给定部分损坏的思维链，仍给出正确终答。
• 只在已会做的题上训：从 MATH 训练集抽 7.5k 题；对每题以温度 0.7 采 K=4 个解答，四次终答都正确才保留。再从当前策略采一条正确轨迹，使答错主要反映被误导，而不是不会做该题。论文未报告筛后题数。
• 局部替换：截断比 α 取自 {0, 0.25, 0.5, 0.75}。前缀 c₀:α 固定；其后约 10% token 的干净窗口换成局部风格连贯、但含误导步骤或扰动文本的 w_poll。污染条件为 s_poll=(q, c₀:α, w_poll)。窗口另有长度上限，论文未给出该上限的 token 数。

Agent 的恢复目标

• 终答奖励：在 s_poll 上采样轨迹外补全，奖励为 r(τ;q,a^⋆)=I{a=a^⋆}，即终答与标准答案一致才为 1。组内终奖做均值和标准差归一化后，广播到该轨迹全部 token，再按 GRPO 的 clip 目标更新。
• 信号稀缺：作者在附录 A.1 写，早期恢复概率 p_θ 很小时，一组 G 条轨迹里至少出现一次成功的概率约为 G p_θ。多数组全为 0，组相对优势没有方向。加大 G 更贵，也不改变恢复行为本身有多难被采样。

分布内修复引导

• 引导目标：在 outcome GRPO 上加模仿项，J_G−GRPO^rec(θ)=J_GRPO^rec(θ)+λ J_guide(θ)。λ 除 Qwen3-8B 为 0.04 外取 0.07，并在最后若干步线性退火到 0；论文未写明退火从哪一步开始。
• 为何不用教师修复当主信号：诊断提示会给出问题、前缀，并对照干净窗口与污染窗口，再采样短修复。Figure 3 的图注写：相近长度下，GPT-5 修复的负对数似然高于自生成修复，即学生策略给教师修复的概率更低。附录 A.3 推导：一阶改进的主导项与当前策略下该修复的概率成正比。因此模仿目标用策略自己在诊断提示下采样的修复，但把似然加在部署条件 s_poll 上（部署条件不含干净窗口）。
• 表示改动：作者认为自生成修复已有非可忽略似然，提高其对数概率所需参数改动更小；克隆近零概率的教师修复会产生更大梯度突发和潜在漂移。该说法指向 §4 的验证，不是本节的实验结果。

Polluter 与交替更新

• 在线损坏：同一骨干在 POLLUTE 提示下，根据 (q, c₀:α, w_clean) 写出 w_poll。附录 B 给出完整提示词；这里只记机制：编辑预算有约束，鼓励非乱码但具误导性的局部改写。
• 奖励与停梯度：agent 在 s_poll 上滚动后，polluter 的终奖为 1 减去 agent 是否答对。更新 polluter 时不把梯度传过 agent 轨迹。两边都用 GRPO；附录 E 写每个条件上下文采样 G=64，温度 0.7，top-k=50，top-p=1.0，clip ε=0.2，KL 系数 β=0。论文未单独给出 G_poll。
• 日程与测试提示：agent 与 polluter 各连续做 5 个优化步再交换。AGENT 使用未改的部署系统提示，不加“要鲁棒”或“要检查错误”的指令。作者称 polluter 对着当前 agent 训练，会形成自适应课程；该说法是方法主张，课程难度曲线论文未给数值。

实验设置

• 被测模型：DeepSeek-R1-Distill-Qwen-1.5B、DeepScaleR-1.5B、Qwen3-4B、Qwen3-8B。8B 用 LoRA（r=64，基座冻结），在 4×A100 上训练。
• 数据：MATH 训练集抽 7.5k 题，温度 0.7、K=4 且四次都正确才进入训练。评测侧同样用该规则构造干净可解子集。论文未报告筛后题数，也未报告各基准原始规模。
• 基线：Initial ckpt；ASP（污染条件上只有 outcome 的自博弈）；GASP-T（模仿目标改为 GPT-5 修复）。附录 A.9 另有 GASP-P-FIXED 与 GASP-P-GPT-5。作者称按组大小和最大生成长度匹配 rollout 预算。
• 指标：pass@1。Clean 为干净提示 GSM8K。Recoverability 为干净可解子集上、留出 GPT-5 polluter 污染后的 GSM8K 准确率。Diagnosability 为 MR-GSM8K 与 MHPP 的 ACCreason。Reliability 为 RUPBench 扰动后的 GSM8K 与 CommonsenseQA。Self-Revision 列名为 ∆ GSM8K：表注写失败题上修订后的准确率提升，§4.2 写错误子集上的准确率。Avg 为表内指标的不加权均值。
• 判定与重复：终答用可验证正确性。附录 C 给出 diagnosability 的评分提示词，论文未说明由哪个模型执行。ASP/GASP-T/GASP 为 3 次训练（种子 42、52、62），报均值±标准差；Initial 为单次。pass@1 的采样温度论文未写。
• 实现：附录 E：AdamW、bfloat16、余弦学习率、峰值 3×10^{-6}、梯度裁剪 1.0；提示与补全各最长 1024 token。生成用 vLLM，训练改自 TRL。

§4.2 写主结果汇总于 Table 2；带 Clean 与 Self-Revision 的表印作 Table 1，全量基准表在附录印作 Table 2。下表按印出的 Table 1。

主结果

Swipe horizontally to read the table

模型	方法	Clean GSM8K	可恢复性	MR-GSM8K	扰动 GSM8K
R1-Distill-Qwen-1.5B	Initial	58.7	12.4	12.1	24.3
R1-Distill-Qwen-1.5B	GASP	70.3±2.4	95.6±2.2	87.4±3.1	91.2±2.8
DeepScaleR-1.5B	Initial	67.9	14.3	13.8	25.6
DeepScaleR-1.5B	GASP	72.4±2.1	98.6±1.1	90.2±2.7	94.3±2.1
Qwen3-4B	Initial	77.2	13.8	15.4	27.9
Qwen3-4B	GASP	82.9±1.9	98.2±1.2	92.8±2.3	96.1±1.8
Qwen3-8B (LoRA)	Initial	84.9	14.7	18.2	33.3
Qwen3-8B (LoRA)	GASP	93.7±3.2	98.7±0.8	95.1±1.9	97.8±1.1

据 Table 1。可恢复性与诊断、扰动列都在干净可解子集上；污染来自留出的 GPT-5，不是被测模型自己。

• 同表其余列：四个模型 GASP 的 MHPP ACCreason 为 82.1±3.5、85.8±3.2、88.5±2.9、91.6±2.4；扰动 CommonsenseQA 为 91.7±2.9、92.6±2.4、94.7±2.1、96.3±1.6；Self-Revision ∆ 为 6.1±0.5、8.2±0.6、9.3±0.7、10.7±0.8（Initial 为 0.2、0.2、2.3、4.2）；七项 Avg 为 74.9、77.4、80.4、83.4（Initial 为 18.9、21.2、23.9、27.3）。
• 作者解读：作者称 GASP 提高 diagnosability、recoverability 与扰动下的 reliability，并常常提高干净准确率。Table 1 四个模型的干净 GSM8K 均高于各自 Initial。作者还称自修订成功率上升。
• 引导来源：ASP 与 GASP-T 高于 Initial，但低于 GASP。R1-Distill 可恢复性：ASP 34.4±4.5，GASP-T 52.7±4.2，GASP 95.6±2.2。Qwen3-8B 同列：ASP 44.4±2.1，GASP-T 66.9±2.4，GASP 98.7±0.8。

全量基准与 polluter 变体

• 测了什么：附录 A.9 的 Table 2 在全量基准（不做干净可解筛选）上报告可恢复性、ACCreason 与 reliability，并加入训练时固定 polluter、以及训练时用 GPT-5 当 polluter。
• 结果：Qwen3-8B 的 GASP 全量可恢复性 85.7±0.7，MR-GSM8K 72.7±2.1，MHPP 54.1±2.8，扰动 GSM8K 89.8±1.5，CommonsenseQA 94.8±1.2，五项目 Avg 79.4；Initial Avg 31.0。同表 Avg：ASP 46.6，GASP-P-FIXED 52.0，GASP-T 57.5，GASP-P-GPT-5 77.2。四个模型 GASP 的全量 Avg 为 53.7、56.1、67.7、79.4。
• 作者写法：正文说全量结果为完整性而报告；干净可解子集用来把“被误导而崩”和“本来就不会做”分开。论文未对 Table 1 与 Table 2 的数值差另作解释，也未解释学习到的 polluter 与 GPT-5 polluter 的差距。

学习曲线与表示漂移

• Figure 6：自引导 GASP、GASP-T、ASP 在训练步上的平均成功率（对应 §4.2 能力套件，3 次运行，阴影为 ±1 std）。作者称自引导 GASP 更早达到更高的可恢复性、可诊断性与 reliability，最终分数也更高。图注未给出各步数字。
• Figure 5 / §4.4：在固定探针上对每层均值隐状态做 2D PCA，d() 为训练前后质心的欧氏距离。图注写探针为 TruthfulQA / CommonsenseQA；正文计算描述写的是 TruthfulQA。作者称漂移更大的方法（如 GASP-T）准确率下降更大，低漂移的 GASP 大体保住 TruthfulQA 准确率。论文未报告 d() 或下降幅度。
• 与 Figure 3 的衔接：作者把上述差异归因于修复目标是否落在当前策略的高概率区。Figure 3 只给出负对数似然的相对高低，没有读数。

迷宫类比

• 设定：确定性网格、8 连通动作、时限 H 内到达才得 1。先从干净起点用 GRPO 学轨道，再从误导起点继续训。比较 GRPO-only 与加上自采集修复片段的模仿。5 个种子，每检查点 10 次 rollout。H 的数值论文未写。
• 图号：图注为 Figure 4；§4.3 正文称 Figure 5a–d。图注写：蓝点为误导起点，红点为目标，星为干净起点；GRPO-only 探索更广并偏离，分布内引导较快回到轨道。(c) 为误导起点成功率，(d) 为恢复训练期间的干净起点成功率。文中无端点数字。
• 作者解读：无引导时多数 batch 没有成功轨迹，组相对优势接近 0；引导提高早期成功 batch 的频率，之后 GRPO 才能沿“修复再沿用旧技能”传信用，并保持干净起点行为。

其他消融与分析

• Table 1 可恢复性，DeepScaleR-1.5B：Initial 14.3，ASP 36.7±5.1，GASP-T 56.0±4.6，GASP 98.6±1.1。
• Table 1 可恢复性，Qwen3-4B：Initial 13.8，ASP 40.5±5.2，GASP-T 61.4±4.0，GASP 98.2±1.2。
• Table 2 全量可恢复性，R1-Distill：ASP 26.3±1.8，GASP-P-FIXED 30.8±1.6，GASP-T 35.5±1.5，GASP-P-GPT-5 74.2±1.3，GASP 78.5±1.2。
• Table 2 全量 Avg，DeepScaleR-1.5B：Initial 19.9，ASP 26.5，GASP-P-FIXED 31.2，GASP-T 35.8，GASP-P-GPT-5 53.9，GASP 56.1。
• Table 2 全量 Avg，Qwen3-4B：Initial 24.0，ASP 36.6，GASP-P-FIXED 41.3，GASP-T 46.5，GASP-P-GPT-5 65.4，GASP 67.7。
• Table 1 与 Table 2 的 MHPP，Qwen3-8B GASP：干净可解子集 91.6±2.4，全量 54.1±2.8。论文未报告 λ 扫描或全参数 8B 对照。

作者指出的局限与后续方向

• 没有专节：Conclusion、Impact Statement 与附录都没有把 GASP 的未解决问题写成局限清单，也没有 Future Work 式的后续计划。Impact Statement 只写作者不预见超出一般机器学习进展之外的特定负面后果。
• 教师引导的分析：附录 A.2 标题把外部教师修复的引导称为局限：修复可以语义正确，但常落在学生策略的低概率区；若再加对参考策略的 KL 惩罚，会抑制更新、放慢学习。这是作者对教师方案的分析，不是把 GASP 写成尚未解决的问题。

实验覆盖范围

• 模型：实验模型为 DeepSeek-R1-Distill-Qwen-1.5B、DeepScaleR-1.5B、Qwen3-4B、Qwen3-8B 共 4 个。8B 冻结基座、只更新 r=64 的 LoRA；附录 E 未写更小模型使用 LoRA。
• 训练与评测数据：训练题从 MATH 训练集抽 7.5k，再按温度 0.7、K=4 全对筛选。评测为 GSM8K（干净、可恢复、扰动、自修订）、MR-GSM8K、MHPP，以及 RUPBench 的 GSM8K 与 CommonsenseQA。可恢复性的损坏由留出的 GPT-5 polluter 生成。
• 重复与协议：ASP、GASP-T、GASP 各 3 次训练，种子 42、52、62。迷宫类比为 5 个种子、每检查点 10 次 rollout。测试时 agent 使用未改的部署系统提示。表示分析用 TruthfulQA，Figure 5 图注同时写 CommonsenseQA。
• 附录变体：Table 2 报告全量基准，以及 GASP-P-FIXED、GASP-P-GPT-5。GPT-5 也用于 GASP-T 的修复目标。
• 论文未报告的量：筛选后训练题数、各基准评测题数、pass@1 采样温度、diagnosability 评分提示词由哪个模型执行、Figure 5 的 d(*) 与 Figure 6 的逐步成功率、窗口长度上限的 token 数、时限 H。

GASP 是只用终答对错做奖励的后训练方法，目标是让已经会解题的开源推理模型，在条件上下文被局部损坏或轻度扰动时检测并修复。

• 做法：同一模型交替当 polluter 和 agent。polluter 改写正确轨迹里约 10% token 的窗口，使 agent 答错；agent 在同一污染条件上恢复。早期成功过少，于是模仿策略自己采样的修复片段，而不是 GPT-5 的修复。测试不加“要检查错误”的提示。
• 主结果：Table 1 的干净可解子集上，留出 GPT-5 污染后的 GSM8K 可恢复性，GASP 为：R1-Distill-Qwen-1.5B 95.6±2.2（Initial 12.4），DeepScaleR-1.5B 98.6±1.1（Initial 14.3），Qwen3-4B 98.2±1.2（Initial 13.8），Qwen3-8B（LoRA）98.7±0.8（Initial 14.7）。同表 Qwen3-8B 的干净 GSM8K 为 93.7±3.2（Initial 84.9），MR-GSM8K 的 ACCreason 为 95.1±1.9（Initial 18.2）。
• 对照：无引导的 ASP 与教师引导的 GASP-T 高于 Initial，但低于 GASP。例如 R1-Distill 可恢复性分别为 34.4±4.5 与 52.7±4.2。
• 全量基准：附录 Table 2 不做干净可解筛选。Qwen3-8B 的 GASP 可恢复性为 85.7±0.7，MHPP 的 ACCreason 为 54.1±2.8。固定 polluter 的 Avg 低于在线 polluter。
• 作者结论：作者称对抗损坏会诱导课程，分布内引导加快恢复并减小表示漂移，干净准确率常常上升。Figure 5 与 Figure 6 的文中没有端点数字。论文未专节列出局限或后续计划。