跳到正文
原文
LessWrong· Ezra Newman·本站收录· 原文发表· 对齐 →· 扫描记录里的位置 →

Apollo Research 成员:针对类 CoT 表面训练可能类似针对 CoT 训练

Training against CoT-like surfaces may be similar to training against CoT

AI 导读

Apollo Research 一位成员提出,对类 CoT 表面(如代码注释)施加训练压力,效果可能与针对 CoT 训练类似。其推测模型可能没有区分“被标记为推理”与“听起来像推理”的独立特征。作者称此前研究 Output Supervision Can Obfuscate the Chain of Thought 已提出类似论证并提供实证支持。

阅读原文lesswrong.com