PyINE：用可验证 Python 执行轨迹研究推理模型的捷径与监督

研究者提出 PyINE 框架，用带插桩的 Python 程序作为可验证的执行基底，来研究推理模型在给出看似合理但不完整推理时，监督者能否判断其输出是否可信。框架中程序定义任务环境，执行轨迹为结果和中间事实提供权威标签，任务变体可机械生成而非依赖静态人工标注。首个版本 PyINE-v1 由近 100 万条确定性执行轨迹和超过 50 万条匹配的 LLM 生成代码变体构成，用于反事实评估。研究者用标准 RL 与可验证奖励在提示词变化的任务上训练出一个走捷径的模型，该模型在预测执行结果上明显提升，但当误导性的人类面向线索与程序实际行为冲突时仍会系统性出错。随后他们评估了激活探针、训练文本分类器、提示词评判器和轻量辩论协议作为监督者，发现数据集层面的汇总性能会掩盖对最关键失败的覆盖不足：廉价的学习型监督者常漏掉罕见的捷径驱动错误，更强的模型检查更均衡但成本高得多，也更难转化为可靠的阈值决策。