Apollo Research 成员:针对类 CoT 表面训练可能类似针对 CoT 训练
Training against CoT-like surfaces may be similar to training against CoT
AI 导读
Apollo Research 一位成员提出,对类 CoT 表面(如代码注释)施加训练压力,效果可能与针对 CoT 训练类似。其推测模型可能没有区分“被标记为推理”与“听起来像推理”的独立特征。作者称此前研究 Output Supervision Can Obfuscate the Chain of Thought 已提出类似论证并提供实证支持。