证明者-验证者博弈提升 LLM 输出的可读性
Prover-Verifier Games improve legibility of LLM outputs
论文速读
据论文全文整理（AI 生成），以原文为准
OpenAI Superalignment 团队提出基于证明者-验证者博弈的可检查性训练，在小学数学题上同时提升模型解答的正确率与人类核查的准确性。
- 大语言模型输出需要清晰、可核查的推理（作者称为 legibility）才能让人信任；但仅按答案正确性优化 chain-of-thought，可能让解答变得难以核查。作者研究在小学数学题上如何兼顾正确率与可核查性。
- 作者提出受 Prover-Verifier Game 启发的 checkability training：迭代训练小型 verifier 判断解答正确性，同时用 RL 训练“helpful”prover 产出正确且被接受的解答、“sneaky”prover 产出能骗过 verifier 的错误解答；并证明 verifier 主导的 Stackelberg 均衡与完备性、可靠性等价。
- 仅优化正确性可得到高准确率但人类难以评估的解答；checkability training 在准确率与可核查性之间取得折中（存在 legibility tax）。随轮次增加，verifier 对多种 sneaky 攻击更稳健，sneaky 解答的漏洞更隐蔽、人类更难识别，helpful 解答正确率与人类判断准确率均上升。
- 研究仅限有标准答案、可用自然语言解释的 GSM 数学题；把 CoT 直接训练成可核查解答可能限制准确率，作者建议分离求解与解释；未研究无标注或跨域泛化，超小或与 prover 同规模的 verifier 效果不佳，部分人类实验为有设计缺陷的试点。
OpenAI Superalignment 团队提出基于证明者-验证者博弈的可检查性训练，在小学数学题上同时提升模型解答的正确率与人类核查的准确性。方法上交替训练小型验证器与两种角色的证明者，helpful 证明者被奖励给出验证器接受的正确答案，sneaky 证明者被奖励给出能骗过验证器的错误答案，证明者用 PPO 优化。结果显示随着训练轮次推进，验证器对多种 sneaky-only 攻击更难被攻破，sneaky 证明者的错误愈发局部隐蔽，helpful 证明者的通过率与时间受限人类承包商的判断准确率一同上升。作者指出只按答案正确率做强化学习会让解答虽正确却难以理解，可检查性训练仍需付出一定性能代价。
推荐理由在小学数学任务上给出证明者与验证者博弈的可检查性训练方案，并报告小模型验证器的判断难点可迁移到人类评估者。