PyINE：用可验证 Python 执行轨迹研究推理模型的捷径与监督

当预测器仍有能力按执行结果作答，却默认采用更便宜、可能误导的表面线索时，监督者能否判断该输出是否可信。

• 场景：作者认为前沿模型常按最终答案评测，但对齐还取决于答案能否被审计。推理模型的外显思维链可能不完整、不忠实，却被用于监测、监督或控制。
• 现有不足：作者认为LLM法官、奖励模型和过程监督往往不透明、扩展成本高、对表面线索敏感，或只在关键证据已经写在推理里时最有信息。
• 核心观察：给定程序和输入，执行可以记录最终结果、中间值、分支和异常；名称、注释、文档、类型标注和测试却可能偏离真实执行。Figure 1用文档字符串与执行结果不一致的例子说明这种缺口。
• 本文提出什么：PyINE把可执行程序做成可复用的引出与监督环境。PyINE-v1是第一次发布：摘要称近一百万条确定性轨迹、超过50万个匹配的LLM代码变体；Table 3列出总轨迹937,187、有用变体328,768、误导变体166,750。作者用可验证奖励的RL训练捷径跟随模型生物，再比较多类监督者。
• 监督协议：监督者在指定的观察、交互和成本约束下评估是否信任输出。被动协议可只看任务、预测和推理；更丰富的协议可追问、比较反事实变体或读取激活。监督者不被告知该模型生物的失败模式，捷径错误也不主导其训练或调参数据。

引言的Relation to prior work和Appendix C按主题定位PyINE，而不是逐篇报实验结果。

可引出性与可扩展监督

• ELK：Christiano、Cotra与Xu（2021）讨论如何判断模型是否在用评估者看不到的方式作答。作者把引出性扩到查询未对准、模型走便宜启发式、或默认不把决策所需信息外显的情形。
• 可扩展监督与自报：Bowman等（2022）测量可扩展监督进展；Kenton等（2024）研究弱LLM评判强LLM。Li等（2025）、Joglekar等（2025）、Lee等（2026）训练模型自我报告或坦白。作者认为自报有用，但本身不解决审计所需信息未必已经外显的问题。
• 与本文的对照：作者在第5节称，本文最强的监督结果来自本身就很擅长底层代码执行的模型，这与弱系统监督强系统的设想并不契合；并称结果使近期多种“先便宜、再升级”的监督级联变复杂。

代码执行评测

• 执行预测与世界模型：论文把Chen等（2023）的self-debug、Liu等（2023）、Gu等（2024）的CRUXEval、Armengol-Estapé等（2025）和CWM（Carbonneaux等，2025）归入代码执行预测、执行反馈或面向程序行为的模型。
• 语料：PyINE-v1主要来自TACO（Li等，2023），其中汇总了包括APPS（Hendrycks等，2021）和MBPP（Austin等，2021）在内的题面、解答和测试。
• 作者指出的差别：标准代码能力评测问模型会不会写或理解代码；PyINE用执行轨迹审计预测、推理和监督程序。作者还称，规格、测试和意图可能不一致，而固定程序、输入和查询下的执行结果由解释器确定。

过程监督与可验证奖励

• 过程监督：Lightman等（2023）逐步验证，Jacovi等（2024）、VerifyBench（Li等，2025）和Uesato等（2022）评估中间推理或同时使用过程与结果反馈。作者称这些资源往往依赖静态人工标注，扩展到大量受控变体成本高。
• 可验证环境：Wen等（2025）等把可验证奖励用于推理训练。作者称PyINE把同类想法用于监督：标签和变体可从执行机械生成，因而可以训练、校准和比较监督者。

模型生物与监测

• 模型生物：Hubinger等（2023）主张构造可控、可复现的对齐相关行为缺口。作者还讨论触发词条件的quirky模型和sleeper agents，并称它们便于控制，但在其上成功的方法未必迁到由普通训练压力学到的偏差；本文因此优先捷径跟随。
• 监测：Turpin等（2023）、Lanham等（2023）、Korbak等（2025）、Baker等（2025）和Guan等（2025）讨论思维链不忠实或监测机会脆弱。作者区分可读性与充分性：推理可以通顺，但说明输出不可信的证据从未外显。

基线方法是激活探针、训练文本分类器、提示词LLM法官和类咨询辩论。基准是由TACO构建的PyINE-v1，评测按原代码、有用提示和误导提示变体分开报告。作者把本文定位成：用机械生成的执行标签和受控变体，研究可引出性与面向失败模式的监督，而不是静态过程监督集或纯代码能力榜。

整体思路是把PyINE做成可核验环境：程序定义任务，轨迹提供权威标签，模型生物制造可复现的行为缺口，监督者在给定访问、交互和成本下判断该不该信。实验用的具体版本是PyINE-v1。

任务接口与轨迹接地

• 任务实例是 x := (c, q)：c为源代码，q指定一个或多个关心的变量，并可带输入、执行范围或观察点。预测器M输出执行结果估计和推理产物z；真值来自插桩执行，轨迹记为τ(x)。
• y可以是返回值、中间变量、分支、异常、打印或副作用。PyINE-v1只做整程序最终结果，作者称这是为了先集中做模型生物和监督评测。
• z是非空的推理步骤序列，可以抽象，但执行相关主张应能直接或经派生事实对照轨迹。附录B把“可信推理”说成对相关运行事实的可细化抽象，而不是逐条复述轨迹；该细化标准没有用作本次监督者的打分目标。
• 预测为自由文本，最终答案放在final标签中。PyINE-v1不要求结构化推理。正确性用soft-match对照执行结果，处理异常、返回值、标准输出、字面量、容器、空白和数值记号等常见等价；细节在Appendix A.2。

数据底物与变体

• 语料主要来自TACO。为多样性而非穷尽，每题最多保留10个解答、每个解答最多10个测试，问题级划分训练/验证/测试，避免同一题的解答和变体跨边界。
• 过滤后保留可重复、确定性的Python。运行时为Python 3.12.6，超时10秒；超过20,000个事件或中间对象表示超过10,000字符的轨迹被丢弃。Table 3：编程题10,685，参考解答81,314，基础轨迹480,323，混淆轨迹456,864，总轨迹937,187。
• 变体包括语义保持的混淆代码，以及LLM改写的有用提示、误导提示和桩函数。提示类改动主要落在文档字符串、注释、惰性测试和桩辅助函数上；除桩以外，变体必须在基准查询下与原轨迹结果一致。误导候选还经LLM法官筛查，作者称当前试点约30%被拒。附录H给出提示词。
• 有用变体让执行正确的解释更突出；误导变体让错误捷径解释更突出，执行标签不变。

捷径跟随模型生物

• 测试对象从Qwen3-4B-Instruct初始化，用GRPO式可验证奖励RL训练。奖励是最终答案soft-match：匹配为1.0，错误或无法解析为0.0；另有完成长度惩罚，在推理token为零时因子为1.0，到最大完成长度时降到0.1，答案错误时该惩罚不起作用。最大完成长度为10,000 token。
• 不植入隐藏触发。训练混合为75%原任务、10%至少一个桩函数、5%混淆、5%有用提示、5%混淆加有用提示。作者的意图是：线索经常有用因而会被学到，少线索样本又迫使模型看代码结构。
• 作者报告做了50次以上训练，最终采用G为32或48、温度0.7–1.0、top-p 0.9、无KL惩罚、学习率5×10^-6的全参数配置。下游实验用验证集上原任务效率比最高附近的step-600检查点。

监督者与判定

• 四类参照：冻结隐状态上的线性激活探针；看提示词、推理和预测结果的文本分类器（ModernBERT-base与Qwen2-0.5B，含全参数和LoRA）；零样本LLM法官；提问者与作答者的类咨询辩论，默认最多5轮，输出0到1的置信度。附录E、H给层、池化、超参和提示词。
• 监督者不知道“秘密失败模式”。weak、moderate、strong预设控制提示样本比例，并目标整体约80%的预测正确，使普通能力错误和捷径导致的省略推理同时存在，且后者少见。
• 本次只把监督者当作信任或正确性打分器。正类是预测器输出正确，因此假正例是接受错误输出。框架还允许改写答案或定位可疑步骤，作者称留待以后的实例。质量与计算税一起评，Appendix E.4将法官和辩论的计算税定义为相对Qwen3-4B-Instruct服务成本的比值。

实验设置

• 预测器：捷径模型生物，起点为Qwen3-4B-Instruct。Table 1还比较gpt-4o、gpt-5及其nano/mini与low变体、CWM (32B)、OmniCoder-9B、Qwen3-Coder-Next (80B)、gemma-4-31B-it、nemotron-3-nano-30B。Table 4另列gpt-5.4系列等参照。
• 数据：PyINE-v1，问题级80/10/10。为降低外部推理成本，测试子样本为每个候选解答一条轨迹，约1,500个原任务；加上有用、误导变体约4,500。每题N=10。监督者使用同一数据的更小子集。
• 变体与预设：有用变体使正确解释更突出，误导变体使错误捷径更突出，标签不变。weak/moderate/strong中，原任务、有用、误导约90/9/1、80/18/2、50/45/5，并目标整体约80%预测正确。
• 指标：预测器为soft-match准确率、Pass@k和完成长度。监督者正类为正确输出；假正例是把错误输出当成正确。报告AUROC、目标FPR下的TPR和计算税。阈值在按暴露预设重采样的验证数据上标定。
• 生成与重复：未训练参照用few-shot模板。Appendix E.4的预测设置为temperature 0.2、top_p 0.95、max_tokens 10,000、N=10；不支持者用其建议默认值。探针和分类器各10个种子；Figure 2称LLM监督者只评一次。
• 刻度：Figure 2把随机基线标为AUROC=0.5。Table 5–8的AUROC列给出86.5这类数字。论文未说明二者如何换算；下面只照录表中数字，不改写成0–1的AUROC。

主结果

Table 1的soft-match准确率（%）。只能列8行，已包含原任务最低的Qwen3-Coder-Next。省略gpt-5-nano、gpt-5-nano (low)、gpt-5-mini (low)、gpt-5 (low)、OmniCoder-9B、nemotron-3-nano-30B。

表格较宽，可左右滑动

预测器	原任务	有用	误导	∆误导
Qwen3-4B-Instruct	38.0±0.8	95.5±0.3	6.3±0.4	-31.7
捷径模型生物	69.8±0.7	98.1±0.2	10.5±0.5	-59.3
gpt-4o	38.5±0.8	95.9±0.3	18.9±0.6	-19.6
gpt-5	93.0±0.4	97.7±0.2	89.5±0.5	-3.5
gpt-5-mini	94.0±0.4	98.4±0.2	81.8±0.6	-12.2
CWM (32B)	78.6±0.7	91.9±0.4	34.3±0.8	-44.3
Qwen3-Coder-Next (80B)	36.5±0.8	97.6±0.2	13.0±0.5	-23.5
gemma-4-31B-it	87.3±0.5	96.1±0.3	81.4±0.6	-5.9

• 作者称基座在原任务上太弱，许多错误只是普通执行推理失败；RL之后原任务准确率上升，同时仍有很大的负向误导缺口。
• 作者称参照模型原任务更高、误导缺口通常更小，但都受误导线索影响；捷径模型缩小了与参照在原任务上的差距。
• 表内例外：原任务最低的是Qwen3-Coder-Next，且低于基座；误导差值幅度最大的是捷径模型，CWM在参照中也大，gpt-5较小。

监督者对捷径失败的覆盖

• 测了什么：Figure 2比较探针、分类器、法官和辩论，按原任务、有用、误导以及weak到strong预设着色。正文没有各柱数值。
• 结果：Table 5中Last-token Layer 22、weak预设的AUROC列，原任务为86.5±0.2，误导为17.0±0.8。同一家族Mean-pooled Layer 30在strong预设下，误导列为47.9±4.2，原任务列为86.1±0.1。Table 7中gpt-5-mini法官三列分别为95.8±1.3、73.1±12.1、93.2±1.3；CWM法官误导列为37.7±2.1；gpt-5.4-nano法官误导列为44.2±2.3，gpt-5-nano为84.0±2.0。
• 作者解读：作者称低成本监督者能分开常见对错，但在捷径驱动的误导切片上变差，有的接近或低于Figure 2的随机线0.5；加强暴露只带来有限改善。作者还称法官和辩论更平衡，但能力顺序并不简单，代码专用模型不一定更好。表中gpt-5-mini法官的有用列低于误导列，与“有用切片总是更容易”不一致。

操作点、阈值与计算税

• 固定FPR：Table 7中gpt-5-mini法官在误导变体上的TPR，FPR=0.01时为8.8±1.5%，FPR=0.10时为87.8±11.3%，FPR=0.50时为98.6±1.0%。Table 5中Mean-pooled Layer 30、strong预设的误导TPR，在这两个较严点分别为13.3±0.9%和32.7±3.0%；Last-token Layer 22、weak预设在FPR=0.10时为6.6±0.8%。
• 作者称与表：作者称多数方法在更严FPR下，误导任务TPR接近0，且分数分布稀疏或两极，难以按严格误报预算设阈值。附录F.5另有一句“只有strong预设的mean-pooled探针在FPR=0.10的误导TPR超过10%”；Table 7的gpt-5-mini法官等行高于10%，与该句不一致，此处以表为准。
• 成本：Table 5探针计算税约为3e-8%；Table 6的ModernBERT为2.34%，Qwen2分类器为7.92%。Table 7中gpt-5-mini法官为3225%，gpt-4o法官为7455%。Table 8中self-debate为71%；gpt-oss-20b辩论为43%，其三列AUROC分别为89.4±1.4、68.1±12.0、88.4±1.4。作者称没有方法占据低成本且跨变体都高的区域；Figure 13把低于100%标为比再服务一次预测器更便宜。附录I的辩论记录被作者用来说明：有的质询能补上执行推理，有的则零轮直接同意错误答案。

长度、训练选择与难度

• 长度：Figure 7在原任务上，基座完成token中位数13、p95为3473；捷径模型中位数743、p95为10000；gpt-5中位数1100、p95为10000。Figure 8中捷径模型原任务中位数743（n=14940），有用变体52，误导变体47；误导变体上正确n=1562、错误n=13378。作者称误导变体上较少的正确答案往往更长，与过早承诺捷径一致。Table 1的长度是全部变体平均，捷径模型为866±2041 token，不能与Figure 7的原任务中位数直接对比。
• 训练曲线：Figure 9的验证集每类n=1522。作者称前50步原任务和误导准确率上升，约300步之后误导准确率下降；原任务效率比在step 600附近最高，故选用该检查点。作者称若只看原任务，该点仍像合理选择。
• 难度：Figure 10图注称，在原任务上，执行步数超过1000后准确率降到50%以下；输入长度和期望输出长度也伴随下降。Figure 3给出源题难度：Easy 48.0%、Unknown 15.4%、Med-Hard 14.4%、Medium 11.4%、Hard 9.2%、Very Hard 1.7%；轨迹步数中位数48、均值374。

其他消融与分析

• 暴露预设：Mean-pooled Layer 30的误导AUROC列，weak为24.9±1.9，moderate为25.7±1.5，strong为47.9±4.2（Table 5）。
• 分类器：Qwen2全参数、strong预设的误导AUROC列为51.0±10.9；同模型weak预设LoRA为24.7±4.1（Table 6）。
• 推理力度：原任务Pass@1，gpt-5为93.0±1.2，gpt-5 (low)为94.2±1.0；gpt-5.4为52.7±2.3，gpt-5.4 (low)为95.2±0.9（Table 4）。
• 缺失答案：gpt-5.4-mini原任务Pass@1为14.5±1.2，缺失答案50.5±0.8%（Table 4）。作者称代码执行表现并不随型号、发布时间或宣称的推理强度单调上升。
• 重复采样：捷径模型原任务Pass@1为69.8±2.0，Pass@10为85.3±1.8；基座Pass@10为50.9±2.5（Table 4）。该表置信区间与Table 1不同，论文未解释差异。
• 辩论轮数：附录E.3默认最多5轮；附录I展示零轮判对、零轮判错和多轮仍接受文档线索的记录，未给全测试集的轮数分布。

作者指出的局限与后续方向

• 领域窄：只研究可执行代码上的推理，本文又只覆盖确定性Python。作者称不应把这里的强结果读成在结构更少的场景中有可比表现（Appendix G.1）。
• 程序与查询范围：PyINE-v1限于编程题解答中较短的Python，排除并发、外部I/O和环境依赖，且只查询整程序最终结果；大运行对象、指针或内存敏感行为、长程状态和依赖外部状态的系统不在此次范围内（Appendix G.1）。
• 推理形式：当前训练不约束推理，产物是自由形式自然语言，使审计更难，并限制能对细粒度推理正确性下的结论（Appendix G.1）。
• 公开代码：污染和记忆问题被降低但未消除；作者特别提到gpt-5的结果令人惊讶（Appendix G.1）。
• 模型与协议窄：实验主要是一个紧凑目标模型制度和一个捷径跟随生物。作者称辩论基线不应被当成对习得引出性的完整测试，尚未研究训练环内监督，结果也只覆盖少量训练与调参数据制度（Appendix G.1）。Appendix E.4称本次只做信任或正确性打分，改写答案和定位可疑步骤留待以后。
• 后续方向：更大项目和中间状态查询、计算机使用或终端环境、更可核查的结构化推理、训练环内监督、主动省略检查，以及代码之外有仿真器的领域（Appendix G.2）。

实验覆盖范围

• 预测器主比较为Table 1的基座、捷径生物和12个参照；Table 4另给出Pass@k、多数投票、缺失答案和长度，并加入gpt-5.4等模型。测试约1,500个原任务，配有用/误导变体后约4,500，每题N=10（Appendix E.1）。
• 监督者包括多种池化与层的线性探针、ModernBERT-base和Qwen2-0.5B分类器、零样本法官，以及默认最多5轮的类咨询辩论。探针和分类器各10个种子；Figure 2称LLM监督者只评一次。
• 监督者开发使用weak、moderate、strong三种暴露预设，目标整体约80%预测正确，且不被告知捷径失败模式（Section 3、Appendix E.1）。
• 轨迹记录控制流、调用返回、异常和中间值，但当前预测目标只是整程序最终结果（Table 2、Section 3）。正确性由执行接地的soft-match决定。
• 论文报告AUROC、目标FPR下的TPR，以及相对Qwen3-4B-Instruct服务成本的计算税（Appendix E.4）。论文未说明Table 5–8的AUROC列与Figure 2的0–1轴如何对应，也未报告辩论在全测试集上的实际轮数分布。

PyINE是用可执行程序研究推理模型引出与监督的框架，PyINE-v1是其第一次发布。

• 问题：模型可以仍有能力按执行作答，却在面向人的线索与真实执行冲突时走更便宜的捷径。作者要问的是，监督者此时能否判断哪些输出可信。
• 做法：程序和查询构成任务，插桩轨迹给出权威标签，LLM变体改变文档、注释等表面线索而不改执行标签。从Qwen3-4B-Instruct出发，用GRPO、最终答案soft-match奖励和长度惩罚训练捷径跟随模型。监督者包括激活探针、文本分类器、提示词法官和类咨询辩论，且不知道该失败模式。
• 预测器：在PyINE-v1上，捷径模型原任务soft-match为69.8±0.7%，基座为38.0±0.8%；误导变体为10.5±0.5%，相对原任务低59.3个百分点（Table 1）。参照模型也会受误导线索影响，gpt-5的对应差值为-3.5个百分点，CWM为-44.3个百分点。
• 监督：Table 5中一种低成本探针的AUROC列，原任务为86.5±0.2，误导为17.0±0.8。Table 7中gpt-5-mini法官的误导列为93.2±1.3，但FPR=0.01时误导TPR只有8.8±1.5%，计算税为3225%。作者称汇总指标会掩盖最要紧的失败覆盖。
• 结论：作者认为当前方法落在两类区间，便宜但在捷径切片上脆，或更平衡但更贵、更难阈值化；并希望PyINE支持可核验、面向失败模式且考虑成本的监督研究。局限写在Appendix G：确定性Python、整程序结果、自由形式推理和单一捷径生物。