学会被监测：思维链可监测性的因果界与感知干预的后训练方法
Learning to Be Monitored: Causal Bounds and Intervention-Aware Post-Training Recipes for Chain-of-Thought Monitorability
AI 导读
研究者针对大语言模型的思维链（CoT）监测提出更紧的评估框架与后训练方法。论文指出，既有指标最小准则敏感度（TPR_mc）可能高估监测器检出真正由干预引起的目标行为的频率，因为干预下观察到的目标行为不一定由干预导致；论文将 TPR_mc 确立为因果检出率的上界，并推导出互补的下界。作者构建了覆盖多种干预类型的控制与干预配对任务训练集，用 off-policy 自蒸馏、强化学习和 on-policy 自蒸馏三种方法分别训练各基座模型的变体；在扩展评估框架下，三种方法在多种模型与监测器配置上普遍提升了相对各自基座模型的思维链可监测性。代码开源于 https://github.com/xinyue-lxy/learning-to-be-monitored。