思维链监督需为忠实性与可监控性分别提供证据
Chain-of-Thought Oversight Requires Separate Evidence for Faithfulness and Monitorability
AI 导读
论文指出,思维链监督中“推理轨迹可见即可监控”的常见假设混淆了模型内部计算、推理产物、输出与监控判断之间的不同属性,并将它们区分为推理可见性、机制忠实性、机制可定位性与行为可监控性。作者在三个开源权重推理模型上开展了两项案例研究。在安全漏洞推理研究中,探针与激活消融提供了内部表征与因果影响的证据,但可访问参考答案的监控器在留出测试中未能超过多数类基线。在权威提示事实推理研究中,监控器能正确区分答案是否被改变,但七项机制分析未能隔离出紧凑的因果机制。作者据此提出一套证据链报告标准,要求每项主张标注目标属性、访问层级与所用产物,并把各必要环节标为已支持、未支持或假设。